Tomorrow-Chatbot

Liebes Tomorrow-Team,

bitte stellt den Chatbot wieder ab.

Dass der Chat am Wochenende nicht persönlich besetzt ist, kann ich gut verstehen. Aber dann lieber ein spätere, persönliche Antwort anstatt einem Bot der immer nur sagt „Sorry, could not find an answer for you. Please try again“. Davon hat wirklich niemand was :exploding_head:! Es entsteht nur der Eindruck, dass Supportanfragen abgeblockt werden sollen.

Trade Republic macht es übrigens so: Wenn man eine Supportanfrage schickt, bekommt man per E-Mail eine Eingangsbestätigung. Wenn es verwandte FAQ Fragen gibt, werden die in der E-Mail angezeigt und verlinkt mit der Frage, ob sie das Problem lösen. Wenn man ja klickt, wird die Anfrage geschlossen, ansonsten natürlich nicht.

Viele Grüße
David

5 „Gefällt mir“

Finde ich auch eine gute Idee. Ich hab durch den Chatbot auch noch nie irgendeine sinnvolle Hilfe erhalten…

Chatbots sind eh der letzte Dreck, sofern sie nicht richtig gut sind. Ist wie mit Sprachbedienung.

3 „Gefällt mir“

Sagen wir, ein Bot kann 20 % aller Anfragen hilfreich „beantworten“. Dann ist er für 80 % unbrauchbar. Das qualifiziert wohl nicht als „richtig gut“? Aber unter Umständen schaufelt er bereits so nennenswert Ressourcen für ein Support-Team frei.

@dafoe Trade Republics Lösung gefällt mir auch gut.

Wenn er 20% aller Anfragen hilfreich beantworten kann, wäre das schon ziemlich gut. Für die verbleibenden 80% sollte halt strukturiert eine Art Ticketsystem im Hintergrund arbeiten, damit man so wenig wie möglich mehrfach erzählen muss.

Außerdem darf der Chatbot nicht 5 Schritte brauchen, um zu wissen, dass er nicht helfen kann. Und wenn

Sieht tatsächlich so aus, als sei der gesamte Text um Verwendungszweck genau so von der Haspa eingefügt worden, insofern trifft hier Tomorrow sicherlich keine Schuld. Danke fürs klären helfen!

Dazu führt, dass der Chatbot sagt

Willkommen im Tomorrow Chat. Wir sind von Montag bis Freitag zwischen 9 und 18 Uhr persönlich zu erreichen. Unser Chatbot ist natürlich rund um die Uhr für Dich da. Wenn der Dir nicht weiterhelfen kann und Du uns nicht aus der Tomorrow-App kontaktierst, hinterlasse uns bitte Deine Mailadresse, dann melden wir uns bei Dir zurück.
Welcome to Tomorrow Chat. We’re personally available from Monday to Friday between 9 AM and 6 PM. Of course, our chatbot is here for you around the clock. If that’s not solving your request and you do not contact us from within the Tomorrow app, please leave us your email address and we will get back to you.
Hab ich richtig verstanden, dass Du Dein Tomorrow Konto kündigen möchtest?

Dann sollte die Korrekturschleife eng sein uns schnelle Verbesserungen bringen. Bei solchen Interfaces ist die Geduld fast immer unfassbar kurz bemessen. Mag ungerechtfertigt sein, ist aber trotzdem so.

Warum glaubst du, dass dein Chatverlauf nicht an den Supportmitarbeiter weitergegeben wird? Ich würde da nichts weiter schreiben sondern einfach Mailadresse dalassen und gut is.

Ich habe ehrlich gesagt überhaupt keine Erfahrung mit Chatbots. Ich bin nur bei Revolut hin und wieder mit „Rita“ konfrontiert. Aber das macht nichts. Ich schreibe mein Anliegen als würde ich einen Brief schreiben. So viel Infos wie möglich, alles, was ich denke, dass der Support braucht, damit er mein Anliegen bearbeiten kann. Ich will nach Möglichkeit keine Rückfragen oder so. Wenn ich das getan habe, antwortet der Bot. Er schnallt entweder selbst, dass er das nicht kapiert und schaltet zum Supportagenten weiter. Oder er antwortet Nonsense, dann kann man sich mit einem Live-Agenten manuell verbinden lassen. Aber der hat natürlich Zugriff auf den Chatverlauf.

Das klappt meiner Erfahrung nach recht gut und flott.

Wäre schon interessant, was so häufige Fragen eigentlich sind? Wie stark überschneidet sich das mit den FAQs? Ich selbst lese FAQs, häufig auch ohne konkrete Frage. Ich finde, es ist ein guter Weg, ein Produktangebot besser zu begreifen. Deswegen stolpere ich selbst vermutlich kaum über Fragen, die ein Bot beantworten könnte.

Ich mache mal folgendes Experiment. Hier kommen 10 Fragen, die ich dem Bot stelle. Einfach mal nach Gutdünken, was ich mir vorstellen kann, dass Nutzer eben fragen. Manche als Satz formuliert, manche einfach als Schlagwort. Ich habe nichts davon vorher ausprobiert. Ich habe auch nicht vorher noch mal schnell in den FAQs nachgesehen, um Treffer zu „provozieren“. Mal sehen, welche Trefferquote der Bot erreicht?

  1. Gebühren
  2. Auslandsgebühren
  3. Wie kann ich die Kreditkarte sperren?
  4. Wie lange dauert eine Überweisung?
  5. Warum ist mein Konto gesperrt?
  6. Ersatzkarte
  7. Was kostet es, Bargeld am Geldautomaten abzuheben?
  8. Ich brauche dringend Hilfe, ich glaube, meine Karte wurde geklaut.
  9. Telefonnummer Kundenbetreuung
  10. Neues Handy

Was denkt ihr, ist das realistisch? Wie hoch wird die Quote sein?

1 „Gefällt mir“

Grün: Bot hat auf hilfreiche Infos, thematisch richtig, weitergeleitet.
Rot: Bot hat nichts verstanden.
Orange: Bot hat mich falsch verstanden.

3 „Gefällt mir“

So war das nicht gemeint, aber scheinbar habe ich das nicht sauber genug formuliert. Mag sein, dass bei Tomorrows Chatbot die Informationen weitergegeben werden (für den Kunden sieht es ja aus wie „ein Chat“, in dem alles an Historie immer zu sehen ist). Meine Kritik war genereller Natur, so wie ich auch deine 20/80-Schätzung als eher generell wahrgenommen habe. Oder hast du konkrete Zahlen, die belegen, dass 20% aller Chatbot-Anfragen bei Tomorrow erfolgreich gelöst werden und dadurch den Support entlasten?

Ich kenne Chatbots von diversen Anbietern (Congstar, Telekom, interne IT-Applikationen bei der Arbeit, ein Schokoladenhersteller hat sowas auch mal getestet). Im Grunde konnten die immer zwei bis drei Dinge gut, aber nur dann, wenn die Kunden auch die genau richtigen Begriffe genutzt haben. Dasselbe gilt für Sprachbedienung. „Anrufen bei Frank am Handy“ führt zum Erfolg, aber „Frank Handy anrufen“ nicht, weil Frank nicht mit Nachnamen „Handy“ heißt :man_shrugging: diese Nuancen erkennen solche Maschinen nur, wenn man völliges Over-Engineering betreibt - oder man geht Richtung das, was wir landläufig KI nennen. Denn ohne KI sind solche Softwarelösungen schwer zu entwickeln. Wobei sie befriedigend eigentlich nur mit Deep Learning und neuronalen Netzwerken und lauter anderen, extrem datenintensiven Vorgängen sicher zu stellen sind. Nix für ungut, aber das traue ich Tomorrow einfach nicht zu, so von den Ressourcen her. Und so eine datenintensive Dienstleistung irgendwo einzukaufen, das würde der Datensparsamkeit, die wir eigentlich gerne haben würden, doch schon ziemlich widersprechen.

(Full disclosure: Ich hab mal an der Entwicklung einer Sprachbedienung mitgearbeitet, darum habe ich ein bisschen mehr Einblick in das Thema.)

Natürlich hast du Recht: „Was sind häufig gestellte Fragen?“ ist extrem wichtig zu wissen, auch für genau deinen genannten Anwendungsfall:

1, 6, 7, 9 hätte ich für machbar gehalten. Dass ausgerechnet die eher schlecht liefen, zeigt, wie wild das ist :rofl:

Kombinier mal zwei Anfragen: „Ich habe ein neues Handy und meine Karte verloren.“ Allein die Wahrscheinlichkeit, dass das überhaupt als zwei Dinge erkannt wird, geht gegen null.

Ich habe keine Infos zur Effektivität. Revolut gibt an, Rita löst 25% der Anfragen. Mein kleiner Selbsttest landet immerhin bei 3 vom 10. Deswegen wollte ich den Test ja machen, um bei einer Quote zu landen. Natürlich ist die nicht repräsentativ.

Der Tomorrow-Bot ist schon schrullig. Grade eben hat er auf eine eindeutig deutsche Eingabe gemeldet, dass er leider keine Ratschläge auf englisch gibt.

Ich kann die generelle Kritik an Support-Chats nachvollziehen, weil Kunden einfach unstrukturiert drauf los plaudern und dann eine sofortige Antwort erwarten, wie als würde man anrufen. Ich nutze Chats aber selbst eigentlich gerne, weil man es gut nebenher erliegen kann. Bots ignoriere ich einfach. Ist so ein „Hilfts nichts, schadets nichts“-Ding bei mir. Und in der Regel teilt er effektiv mit, wann ein Mitarbeiter erreichbar ist.

1 „Gefällt mir“

Genau das ist das Problem mit solchen Systemen - der Endnutzer :grin:

Für 80 % ist es frustrierend, aber der Effekt, den 20 % erledigte Anfragen haben, rechtfertigt eventuell für Firmen wie Revolut den Einsatz. Ich traue mir hier eigentlich kein Urteil zu, weil eben überhaupt keine Daten dazu vorliegen.

Moin ihr Lieben. Das ganze Thema Chatbot ist ja doch relativ heiß geworden. Ist ja auch klar, wenn man immer mit ihm zu tun hat, wenn man sich bei uns meldet. Hier kurz mal ein paar Bullet-Points aus unserer Sicht.

Gute Nachrichten:

  1. Der Chatbot löst für uns gerade >20 % der Anfragen. Das ist verdammt wichtig für uns.
  2. Der Chatbot versteht fast alles, was wir wollen, dass er versteht.
  3. Das Feedback, dass wir zum Chatbot bekommen, ist sehr positiv (>80% positives Feedback).

Die Pain-Points:

  1. Woimmer der Chatbot Mist baut, ist das meist der Fehler von uns, dass wir den Conversation Flow falsch konzipiert haben, oder einen Fehler gemacht haben.
  2. Der Chatbot versteht Euch in einigen wenigen Fällen total falsch. Das bereitet uns Kopfweh. :wink:
  3. Wir arbeiten hart am Chatbot: 11 Seiten gemeinsames Dokument mit Problemen sind bereits gesammelt. Einiges davon konnten wir schon adressieren.

Fazit: Dass der Chatbot nicht von heute auf morgen top läuft, ist glaube ich allen klar. Dass er nie unser bester Mitarbeiter sein wird auch. Aber er nimmt uns einfach eine s**tload an Arbeit ab. Das hat den Vorteil, dass wir uns wirklich auf die Anfragen konzentrieren können, die eine ausführliche und persönliche Antwort erfordern.

Ich hoffe, ihr habt noch ein wenig Geduld mit dem Bot und bleibt uns treu. Wir sind auf jeden Fall intensiv an der Verbesserung des Bots dran :slight_smile:

(Edit): Nach 3 Stunden Inaktivität schließen wir im Support in der Regel den Chat. Wenn dann wieder geantwortet wird, springt der Bot automatisch wieder an.

3 „Gefällt mir“

https://www.it-finanzmagazin.de/kunden-chatbots-unhoeflich-108817/

2 „Gefällt mir“

Direkt mal im Team geteilt. Danke @Frnk

Finde ich bei einer Bank komplett fehlplatziert. Schon klar, er wehrt Standardfragen ab, aber wenn ich als Kunde eine seriöse und nicht dämliche Frage oder gar einen Notfall habe und mir dann ein Chatbot begegnet, kriege ich einfach nur das Kotzen. Der von Tomorrow ist zudem nicht einmal gut.

2 „Gefällt mir“

Dann kannst du hier immer noch den Weg über eine E-Mail gehen. Tomorrow antwortet dort meiner Erfahrung nach ebenfalls sehr zügig, eventuell sogar mit einem Rückruf bei einem Notfall.

Man kann doch auch direkt anrufen, oder? Würde ich im Notfall eh machen.

Gibt es Telefonsupport bei Tomorrow?

Schon.

Quelle: Support : Tomorrow

Ah, interessant. Wäre dann auch interessant für den Kollegen mit den 2500€ schätze ich @christofhamburg