Alexa, die kluge Assistentin von Amazon Echo, sagte einem schockierten Kunden, er solle seine Pflegeeltern töten. 

Die alarmierende Enthüllung, die im vergangenen Jahr stattgefunden hat, ist eine von einer Reihe von Fehlern des Redners, bei der es darum geht, mit den Nutzern über sexuelle Handlungen und Hundekot zu sprechen. 

Die Ausbrüche gehen auf eine Initiative zurück, die Alexa dazu bringt, sich mehr wie eine echte Person zu unterhalten und es ihr erlaubt, mit den Kunden zu “scherzen”. 

Diese Anlage muss vom Eigentümer bewusst aktiviert werden und wird derzeit noch weiterentwickelt. 

Ein Hack Anfang dieses Jahres bei Amazon wurde auf China zurückgeführt und kann die Daten einiger Kunden offengelegt haben, so fünf Personen, die mit den Ereignissen vertraut sind. 

Neue Forschungen helfen Alexa, menschliche Scherze nachzuahmen und über fast alles zu sprechen, was sie im Internet findet. 

Allerdings war es eine Herausforderung für den weltweit größten Online-Händler, sicherzustellen, dass sie die Nutzer nicht beleidigt.

Es geht um einen schnell wachsenden Markt für Gadgets mit virtuellen Assistenten. 

Schätzungsweise zwei Drittel der US-amerikanischen Smart-Lautsprecher-Kunden, etwa 43 Millionen Menschen, nutzen die Echo-Geräte von Amazon, so das Forschungsunternehmen eMarketer.

Es ist ein Lead, den das Unternehmen über das Google Home von Alphabet Inc. und den HomePod von Apple Inc. pflegen möchte.

Im Laufe der Zeit will Amazon die komplexen Kundenbedürfnisse durch Alexa besser bewältigen, sei es im Bereich Haussicherheit, Einkaufen oder Gesellschaft.

Viele unserer KI-Träume sind von Science Fiction inspiriert”, sagte Rohit Prasad, Amazon’s Vizepräsident und leitender Wissenschaftler der Alexa Artificial Intelligence (KI), während eines Vortrags letzten Monat in Las Vegas.

Um dies zu erreichen, hat das Unternehmen 2016 den jährlichen Alexa-Preis ins Leben gerufen und Studenten der Informatik angeworben, um die Konversationsfähigkeiten der Assistentin zu verbessern. 

Teams kämpfen um den ersten Preis von 500.000 Dollar, indem sie sprechende Computersysteme entwickeln, die als Chatbots bekannt sind und es Alexa ermöglichen, komplexere Diskussionen mit Menschen zu führen. 

Amazon-Kunden können teilnehmen, indem sie sagen: “Lass uns mit ihren Geräten chatten”. 

Alexa sagt den Benutzern dann, dass einer der Bots übernehmen wird und löst die normalen Einschränkungen des Sprachhelfers auf. 

Allein von August bis November hatten drei Bots, die es bis ins diesjährige Finale geschafft haben, 1,7 Millionen Gespräche, sagte Amazon.

Das Projekt war für Amazon CEO Jeff Bezos wichtig, der die Kunden des Unternehmens als Versuchskaninchen einsetzte, sagte einer der Teilnehmer. 

Amazon ist bereit gewesen, das Risiko von öffentlichen Fehlern zu akzeptieren, um die Technologie im wirklichen Leben zu testen und Alexa schneller die Lernkurve hinauf zu bewegen, sagte die Person.

Das Experiment trägt bereits Früchte und die Universitätsteams helfen Alexa, eine größere Bandbreite an Gesprächen zu führen. 

Amazon-Kunden haben den Bots auch in diesem Jahr bessere Bewertungen gegeben als im Vorjahr, sagte das Unternehmen.

Aber Alexa’s Gaffes entfremden andere, und Bezos hat gelegentlich angeordnet, dass das Personal einen Bot abschaltet, sagten drei Personen, die mit der Sache vertraut sind.

Der Benutzer, dem gesagt wurde, er solle seine Pflegeeltern töten, schrieb eine harte Kritik auf der Amazon-Website und nannte die Situation “eine ganz neue Stufe des Gruseligen”. 

Eine Untersuchung des Vorfalls ergab, dass der Bot einen Beitrag ohne Kontext aus Reddit, der Social News Aggregation Site, zitiert hatte, so die Leute.

Die Auswirkungen auf die Privatsphäre können noch unübersichtlicher sein.

Die Verbraucher werden vielleicht nicht erkennen, dass einige ihrer sensibelsten Gespräche von den Geräten von Amazon aufgezeichnet werden, Informationen, die von Kriminellen, Strafverfolgungsbehörden, Vermarktern und anderen hoch geschätzt werden könnten. 

Am Donnerstag sagte Amazon, dass ein “menschlicher Fehler” einen Alexa-Kunden in Deutschland versehentlich auf die Sprachaufzeichnungen eines anderen Benutzers zugreifen ließ.

Die Einsatzmöglichkeiten der Amazon-Datensätze sind jenseits der Charts”, sagt Marc Groman, ein Experte für Datenschutz und Technologiepolitik, der am Georgetown Law unterrichtet. 

Wie wollen sie sicherstellen, dass ihre Daten bei der Weitergabe verantwortungsbewusst verwendet werden und nicht zu einer “datengesteuerten Katastrophe” wie den jüngsten Problemen bei Facebook führen? 

Im Juli entdeckte Amazon, dass einer der von Studenten entworfenen Bots von einem Hacker in China getroffen wurde, sagten Leute, die mit dem Vorfall vertraut waren. 

Dies gefährdete einen digitalen Schlüssel, der die Abschriften der Gespräche des Bot freischalten konnte, ohne die Namen der Benutzer.

Amazon hat den Bot schnell deaktiviert und die Studenten dazu gebracht, ihn für zusätzliche Sicherheit wieder aufzubauen. Es war unklar, welche Einheit in China verantwortlich ist, so die Menschen.

Das Unternehmen hat das Ereignis in einer Erklärung bestätigt. Zu keiner Zeit waren interne Amazon-Systeme oder kundenidentifizierbare Daten betroffen”, heißt es dort.

Amazon lehnte es ab, über spezifische Alexa-Fehler zu diskutieren, die von Reuters berichtet wurden, betonte aber seine laufende Arbeit zum Schutz der Kunden vor beleidigenden Inhalten.

Diese Fälle sind ziemlich selten, vor allem angesichts der Tatsache, dass Millionen von Kunden mit den Socialbots interagiert haben”, sagte Amazon.

Wie die Suchmaschine von Google hat Alexa das Potenzial, ein dominantes Tor zum Internet zu werden, so dass das Unternehmen voranschreitet.

Durch die Kontrolle dieses Gateways können Sie ein super profitables Geschäft aufbauen”, sagte Kartik Hosanagar, ein Wharton-Professor, der die digitale Wirtschaft studiert. 

Die Geschäftsstrategie von Amazon für Alexa bedeutete die Bewältigung eines massiven Forschungsproblems: Wie lehrt man die Kunst des Gesprächs an einem Computer?

Alexa setzt auf maschinelles Lernen, die beliebteste Form der KI, um zu arbeiten. 

Diese Computerprogramme transkribieren menschliche Sprache und reagieren dann auf diese Eingaben mit einer fundierten Vermutung, die auf dem basiert, was sie zuvor beobachtet haben. 

Alexa “lernt” aus neuen Interaktionen, die sich im Laufe der Zeit allmählich verbessern.

Auf diese Weise kann Alexa einfache Aufträge ausführen: “Play the Rolling Stones”. Und sie weiß, welches Skript sie für beliebte Fragen wie: “Was ist der Sinn des Lebens? Menschliche Redakteure bei Amazon schreiben viele der Antworten.

Dort ist Amazon jetzt. Die Chatbots des Alexa-Preises beschreiten den Weg dorthin, wo Amazon sein will, mit einem Assistenten, der in der Lage ist, einen natürlichen, offenen Dialog zu führen. 

Das erfordert, dass Alexa eine breitere Palette von mündlichen Hinweisen von Kunden versteht, eine Aufgabe, die auch für Menschen eine Herausforderung darstellt.

Der diesjährige Alexa-Preisträger, ein 12-köpfiges Team der University of California, Davis, nutzte mehr als 300.000 Filmzitate, um Computermodelle zu trainieren, um eindeutige Sätze zu erkennen. 

Als nächstes bestimmte ihr Bot, welche Antworten verdient waren, und kategorisierte soziale Hinweise viel detaillierter als die Technologie, die Amazon mit den Teilnehmern teilte. 

So erkennt der UC Davis Bot beispielsweise den Unterschied zwischen einem Benutzer, der Bewunderung ausdrückt (“das ist cool”) und einem Benutzer, der Dankbarkeit ausdrückt (“Danke”). 

Die nächste Herausforderung für Social Bots besteht darin, herauszufinden, wie sie angemessen auf ihre menschlichen Chat-Kumpels reagieren können.

In den meisten Fällen programmierten die Teams ihre Bots so, dass sie im Internet nach Material suchten. 

Sie konnten Nachrichtenartikel abrufen, die in der Washington Post gefunden wurden, der Zeitung, die Bezos privat besitzt, durch ein Lizenzabkommen, das ihnen Zugang gab. 

Sie konnten Fakten aus der Wikipedia, einer Filmdatenbank oder der Buchempfehlungsseite Goodreads beziehen. 

Oder sie könnten einen beliebten Beitrag in Social Media finden, der relevant für das war, was ein Benutzer zuletzt gesagt hat.

Das öffnete eine Büchse der Pandora für Amazon.

Während des letztjährigen Wettbewerbs fand ein Team der schottischen Heriot-Watt-Universität heraus, dass der Alexa-Bot eine böse Persönlichkeit entwickelte, als sie ihr beibrachten, mit Kommentaren von Reddit zu chatten, dessen Mitglieder für ihr Schleppen und ihren Missbrauch bekannt sind.

Das Team setzte Geländer an, damit der Bot sich von riskanten Themen fernhalten konnte. 

Aber das hinderte Alexa nicht daran, den Wikipedia-Eintrag zur Masturbation an einen Kunden zu rezitieren, sagte der Teamleiter von Heriot-Watt.

Ein Bot beschrieb den Geschlechtsverkehr mit Worten wie “tiefer”, was für sich genommen nicht beleidigend ist, aber in diesem Zusammenhang vulgär war.

Ich weiß nicht, wie man das durch maschinenlesbare Modelle einfangen kann. Das ist fast unmöglich”, sagte eine Person, die mit dem Vorfall vertraut ist.

Amazon hat mit Tools reagiert, mit denen die Teams Obszönitäten und sensible Themen filtern können, die selbst subtile Verstöße erkennen können. 

Das Unternehmen scannt auch Transkripte von Gesprächen und schaltet transgressive Bots ab, bis sie behoben sind.

Aber Amazon kann nicht jedes potenzielle Problem vorhersehen, da sich die Empfindlichkeiten im Laufe der Zeit ändern, sagte Amazon’s Prasad in einem Interview. 

Das bedeutet, dass Alexa neue Wege finden konnte, um ihre menschlichen Zuhörer zu schockieren.

Wir reagieren zumeist in diesem Stadium, aber es sind immer noch Fortschritte gegenüber dem, was es im letzten Jahr war”, sagte er.