Tomorrow-Chatbot

Liebes Tomorrow-Team,

bitte stellt den Chatbot wieder ab.

Dass der Chat am Wochenende nicht persönlich besetzt ist, kann ich gut verstehen. Aber dann lieber ein spĂ€tere, persönliche Antwort anstatt einem Bot der immer nur sagt „Sorry, could not find an answer for you. Please try again“. Davon hat wirklich niemand was :exploding_head:! Es entsteht nur der Eindruck, dass Supportanfragen abgeblockt werden sollen.

Trade Republic macht es ĂŒbrigens so: Wenn man eine Supportanfrage schickt, bekommt man per E-Mail eine EingangsbestĂ€tigung. Wenn es verwandte FAQ Fragen gibt, werden die in der E-Mail angezeigt und verlinkt mit der Frage, ob sie das Problem lösen. Wenn man ja klickt, wird die Anfrage geschlossen, ansonsten natĂŒrlich nicht.

Viele GrĂŒĂŸe
David

4 Like

Finde ich auch eine gute Idee. Ich hab durch den Chatbot auch noch nie irgendeine sinnvolle Hilfe erhalten


Chatbots sind eh der letzte Dreck, sofern sie nicht richtig gut sind. Ist wie mit Sprachbedienung.

1 Like

Sagen wir, ein Bot kann 20 % aller Anfragen hilfreich „beantworten“. Dann ist er fĂŒr 80 % unbrauchbar. Das qualifiziert wohl nicht als „richtig gut“? Aber unter UmstĂ€nden schaufelt er bereits so nennenswert Ressourcen fĂŒr ein Support-Team frei.

@dafoe Trade Republics Lösung gefÀllt mir auch gut.

Wenn er 20% aller Anfragen hilfreich beantworten kann, wĂ€re das schon ziemlich gut. FĂŒr die verbleibenden 80% sollte halt strukturiert eine Art Ticketsystem im Hintergrund arbeiten, damit man so wenig wie möglich mehrfach erzĂ€hlen muss.

Außerdem darf der Chatbot nicht 5 Schritte brauchen, um zu wissen, dass er nicht helfen kann. Und wenn

Sieht tatsĂ€chlich so aus, als sei der gesamte Text um Verwendungszweck genau so von der Haspa eingefĂŒgt worden, insofern trifft hier Tomorrow sicherlich keine Schuld. Danke fĂŒrs klĂ€ren helfen!

Dazu fĂŒhrt, dass der Chatbot sagt

Willkommen im Tomorrow Chat. Wir sind von Montag bis Freitag zwischen 9 und 18 Uhr persönlich zu erreichen. Unser Chatbot ist natĂŒrlich rund um die Uhr fĂŒr Dich da. Wenn der Dir nicht weiterhelfen kann und Du uns nicht aus der Tomorrow-App kontaktierst, hinterlasse uns bitte Deine Mailadresse, dann melden wir uns bei Dir zurĂŒck.
Welcome to Tomorrow Chat. We’re personally available from Monday to Friday between 9 AM and 6 PM. Of course, our chatbot is here for you around the clock. If that’s not solving your request and you do not contact us from within the Tomorrow app, please leave us your email address and we will get back to you.
Hab ich richtig verstanden, dass Du Dein Tomorrow Konto kĂŒndigen möchtest?

Dann sollte die Korrekturschleife eng sein uns schnelle Verbesserungen bringen. Bei solchen Interfaces ist die Geduld fast immer unfassbar kurz bemessen. Mag ungerechtfertigt sein, ist aber trotzdem so.

Warum glaubst du, dass dein Chatverlauf nicht an den Supportmitarbeiter weitergegeben wird? Ich wĂŒrde da nichts weiter schreiben sondern einfach Mailadresse dalassen und gut is.

Ich habe ehrlich gesagt ĂŒberhaupt keine Erfahrung mit Chatbots. Ich bin nur bei Revolut hin und wieder mit „Rita“ konfrontiert. Aber das macht nichts. Ich schreibe mein Anliegen als wĂŒrde ich einen Brief schreiben. So viel Infos wie möglich, alles, was ich denke, dass der Support braucht, damit er mein Anliegen bearbeiten kann. Ich will nach Möglichkeit keine RĂŒckfragen oder so. Wenn ich das getan habe, antwortet der Bot. Er schnallt entweder selbst, dass er das nicht kapiert und schaltet zum Supportagenten weiter. Oder er antwortet Nonsense, dann kann man sich mit einem Live-Agenten manuell verbinden lassen. Aber der hat natĂŒrlich Zugriff auf den Chatverlauf.

Das klappt meiner Erfahrung nach recht gut und flott.

WĂ€re schon interessant, was so hĂ€ufige Fragen eigentlich sind? Wie stark ĂŒberschneidet sich das mit den FAQs? Ich selbst lese FAQs, hĂ€ufig auch ohne konkrete Frage. Ich finde, es ist ein guter Weg, ein Produktangebot besser zu begreifen. Deswegen stolpere ich selbst vermutlich kaum ĂŒber Fragen, die ein Bot beantworten könnte.

Ich mache mal folgendes Experiment. Hier kommen 10 Fragen, die ich dem Bot stelle. Einfach mal nach GutdĂŒnken, was ich mir vorstellen kann, dass Nutzer eben fragen. Manche als Satz formuliert, manche einfach als Schlagwort. Ich habe nichts davon vorher ausprobiert. Ich habe auch nicht vorher noch mal schnell in den FAQs nachgesehen, um Treffer zu „provozieren“. Mal sehen, welche Trefferquote der Bot erreicht?

  1. GebĂŒhren
  2. AuslandsgebĂŒhren
  3. Wie kann ich die Kreditkarte sperren?
  4. Wie lange dauert eine Überweisung?
  5. Warum ist mein Konto gesperrt?
  6. Ersatzkarte
  7. Was kostet es, Bargeld am Geldautomaten abzuheben?
  8. Ich brauche dringend Hilfe, ich glaube, meine Karte wurde geklaut.
  9. Telefonnummer Kundenbetreuung
  10. Neues Handy

Was denkt ihr, ist das realistisch? Wie hoch wird die Quote sein?

1 Like

GrĂŒn: Bot hat auf hilfreiche Infos, thematisch richtig, weitergeleitet.
Rot: Bot hat nichts verstanden.
Orange: Bot hat mich falsch verstanden.

3 Like

So war das nicht gemeint, aber scheinbar habe ich das nicht sauber genug formuliert. Mag sein, dass bei Tomorrows Chatbot die Informationen weitergegeben werden (fĂŒr den Kunden sieht es ja aus wie „ein Chat“, in dem alles an Historie immer zu sehen ist). Meine Kritik war genereller Natur, so wie ich auch deine 20/80-SchĂ€tzung als eher generell wahrgenommen habe. Oder hast du konkrete Zahlen, die belegen, dass 20% aller Chatbot-Anfragen bei Tomorrow erfolgreich gelöst werden und dadurch den Support entlasten?

Ich kenne Chatbots von diversen Anbietern (Congstar, Telekom, interne IT-Applikationen bei der Arbeit, ein Schokoladenhersteller hat sowas auch mal getestet). Im Grunde konnten die immer zwei bis drei Dinge gut, aber nur dann, wenn die Kunden auch die genau richtigen Begriffe genutzt haben. Dasselbe gilt fĂŒr Sprachbedienung. „Anrufen bei Frank am Handy“ fĂŒhrt zum Erfolg, aber „Frank Handy anrufen“ nicht, weil Frank nicht mit Nachnamen „Handy“ heißt :man_shrugging: diese Nuancen erkennen solche Maschinen nur, wenn man völliges Over-Engineering betreibt - oder man geht Richtung das, was wir landlĂ€ufig KI nennen. Denn ohne KI sind solche Softwarelösungen schwer zu entwickeln. Wobei sie befriedigend eigentlich nur mit Deep Learning und neuronalen Netzwerken und lauter anderen, extrem datenintensiven VorgĂ€ngen sicher zu stellen sind. Nix fĂŒr ungut, aber das traue ich Tomorrow einfach nicht zu, so von den Ressourcen her. Und so eine datenintensive Dienstleistung irgendwo einzukaufen, das wĂŒrde der Datensparsamkeit, die wir eigentlich gerne haben wĂŒrden, doch schon ziemlich widersprechen.

(Full disclosure: Ich hab mal an der Entwicklung einer Sprachbedienung mitgearbeitet, darum habe ich ein bisschen mehr Einblick in das Thema.)

NatĂŒrlich hast du Recht: „Was sind hĂ€ufig gestellte Fragen?“ ist extrem wichtig zu wissen, auch fĂŒr genau deinen genannten Anwendungsfall:

1, 6, 7, 9 hĂ€tte ich fĂŒr machbar gehalten. Dass ausgerechnet die eher schlecht liefen, zeigt, wie wild das ist :rofl:

Kombinier mal zwei Anfragen: „Ich habe ein neues Handy und meine Karte verloren.“ Allein die Wahrscheinlichkeit, dass das ĂŒberhaupt als zwei Dinge erkannt wird, geht gegen null.

Ich habe keine Infos zur EffektivitĂ€t. Revolut gibt an, Rita löst 25% der Anfragen. Mein kleiner Selbsttest landet immerhin bei 3 vom 10. Deswegen wollte ich den Test ja machen, um bei einer Quote zu landen. NatĂŒrlich ist die nicht reprĂ€sentativ.

Der Tomorrow-Bot ist schon schrullig. Grade eben hat er auf eine eindeutig deutsche Eingabe gemeldet, dass er leider keine RatschlÀge auf englisch gibt.

Ich kann die generelle Kritik an Support-Chats nachvollziehen, weil Kunden einfach unstrukturiert drauf los plaudern und dann eine sofortige Antwort erwarten, wie als wĂŒrde man anrufen. Ich nutze Chats aber selbst eigentlich gerne, weil man es gut nebenher erliegen kann. Bots ignoriere ich einfach. Ist so ein „Hilfts nichts, schadets nichts“-Ding bei mir. Und in der Regel teilt er effektiv mit, wann ein Mitarbeiter erreichbar ist.

1 Like

Genau das ist das Problem mit solchen Systemen - der Endnutzer :grin:

FĂŒr 80 % ist es frustrierend, aber der Effekt, den 20 % erledigte Anfragen haben, rechtfertigt eventuell fĂŒr Firmen wie Revolut den Einsatz. Ich traue mir hier eigentlich kein Urteil zu, weil eben ĂŒberhaupt keine Daten dazu vorliegen.

Moin ihr Lieben. Das ganze Thema Chatbot ist ja doch relativ heiß geworden. Ist ja auch klar, wenn man immer mit ihm zu tun hat, wenn man sich bei uns meldet. Hier kurz mal ein paar Bullet-Points aus unserer Sicht.

Gute Nachrichten:

  1. Der Chatbot löst fĂŒr uns gerade >20 % der Anfragen. Das ist verdammt wichtig fĂŒr uns.
  2. Der Chatbot versteht fast alles, was wir wollen, dass er versteht.
  3. Das Feedback, dass wir zum Chatbot bekommen, ist sehr positiv (>80% positives Feedback).

Die Pain-Points:

  1. Woimmer der Chatbot Mist baut, ist das meist der Fehler von uns, dass wir den Conversation Flow falsch konzipiert haben, oder einen Fehler gemacht haben.
  2. Der Chatbot versteht Euch in einigen wenigen FĂ€llen total falsch. Das bereitet uns Kopfweh. :wink:
  3. Wir arbeiten hart am Chatbot: 11 Seiten gemeinsames Dokument mit Problemen sind bereits gesammelt. Einiges davon konnten wir schon adressieren.

Fazit: Dass der Chatbot nicht von heute auf morgen top lĂ€uft, ist glaube ich allen klar. Dass er nie unser bester Mitarbeiter sein wird auch. Aber er nimmt uns einfach eine s**tload an Arbeit ab. Das hat den Vorteil, dass wir uns wirklich auf die Anfragen konzentrieren können, die eine ausfĂŒhrliche und persönliche Antwort erfordern.

Ich hoffe, ihr habt noch ein wenig Geduld mit dem Bot und bleibt uns treu. Wir sind auf jeden Fall intensiv an der Verbesserung des Bots dran :slight_smile:

(Edit): Nach 3 Stunden InaktivitĂ€t schließen wir im Support in der Regel den Chat. Wenn dann wieder geantwortet wird, springt der Bot automatisch wieder an.

3 Like