Am 09.03.2020 fand am CITEC an der Universität Bielefeld ein Workshop im Rahmen unseres IMPACT Forschungsprojektes statt. Wir luden hierzu externe Expert*innen aus verschiedenen Fachrichtungen ein, die uns konstruktives Feedback zum Gesamtprojekt, zu unseren aktuellen Arbeiten in WP2 und WP5, und zu unseren kommenden Arbeiten in WP4 gaben.
Externe Expert*innen
Leonie Beining (Projektleiterin „Algorithmen für das Gemeinwohl“, Stiftung Neue Verantwortung)
Prof. Dr. Eric Hilgendorf (Strafrecht, Uni Würzburg)
Ulrich Kühn (Datenschutzbeauftragter der Stadt Hamburg)
Prof. Dr. Jochen Steil (Informatik, TU Braunschweig)
Stefan Trockel (mercury.ai)
Projektpartner*innen
Prof. Dr. Nicole Krämer, Dr. Jessica Szczuka, Universität Duisburg-Essen
Prof. Dr. Barbara Hammer, Universität Bielefeld
Prof. Dr. Stefan Kopp, Lina Varonina, Universität Bielefeld
Prof. Dr. Alexander Rossnagel, Dr. Christian Geminn, Universität Kassel
Prof. Dr. Arne Manzeschke, Evangelische Hochschule Nürnberg
Vorstellung der Projektarbeiten
Zu Beginn stellte Prof. Krämer das Forschungsprojekt vor. Während immer mehr Menschen mit Maschinen sprechen, stellt sich die Frage, worin Nutzen und Schaden liegen, wie die Interaktion mit Sprachassistenten unsere mentalen Modelle über die dahinterliegenden Algorithmen beeinflusst und wie die Inklusion von vulnerablen Gruppen, insbesondere Kindern und Senioren, gelingen kann. Langfristig soll der Weg zu einer verantwortungsvollen Technologieentwicklung geebnet werden. Hierbei spielen insbesondere die Bereiche Transparency, Communication und Relationship-building eine tragende Rolle. Dementsprechend unterteilt sich das Forschungsprojekt in drei Szenarien, in denen jeweils auf einem der Bereiche ein besonderer Schwerpunkt liegt.
Szenario 1 (WP2): Wie interagieren Kinder mit einem Sprachassistenten? Wie erfolgt Beziehungsaufbau?
→ Fokus Relationship-building
Szenario 2 (WP3): Wie interagieren Erwachsene, die sich über gesundheitliche Aspekte informieren möchten, mit einem Sprachassistenten?
→ Fokus Transparency
Szenario 3 (WP4): Wie hilfreich können Sprachassistenzsysteme bei der Betreuung und Pflege von Senioren sein?
→ Fokus Communication
Das Forschungsprojekt startete am 01.04.2019 und wird bis 2024 laufen. Bisher wurde ein Policy Paper zu den interdisziplinären Herausforderungen des Projektes veröffentlicht und im derzeitigen WP2-Stadium werden Studien zum Umgang von Kindern mit Sprachassistenzsystemen durchgeführt.
Sichtweisen der Expert*innen
Die externen Expert*innen stellten nun ihre eigene generelle Perspektive auf das Thema „KI und Sprachassistenten und ihre Auswirkungen auf die Gesellschaft“ dar. Hier gab es vielfältige spannende Ansichten, von allgemeiner Skepsis bis hin zur Potentialwahrnehmung aus Nutzer-, Beobachter- und Unternehmerperspektive.
So wird beispielsweise auf der einen Seite das Interesse derer, die solche Systeme auf den Markt bringen, angesprochen, auf der anderen Seite wird gefragt, welches Potenzial diese Entwicklungen wirklich haben und ob sie momentan nicht nur „Quatsch-Anwendungen“ sind. Es wird angeregt, darüber nachzudenken, welche Anwendungsszenarien überhaupt sinnvoll sein können (Erledigung von Alltagsdingen, Abwesenheitsvertretung, Übersetzungsanwendungen). Für das IMPACT Projekt sollte klarer definiert werden, wieviel Kognition in den Anwendungen enthalten sein soll.
Es wird darauf hingewiesen, dass das Projekt stärker darauf achten muss, expliziter die Begrifflichkeiten zu definieren: Welche Arten von Systemen sollen betrachtet werden, welche Erklärungen sind gemeint? Zusätzlich sollte hinterfragt werden, ob alles „explainable“ sein muss. So existieren viele technische Systeme (Motor, Flugzeuge), von denen niemand verlangt, dass sie im Detail von den Nutzer*innen verstanden werden müssen. Praktisch kann von normalen Nutzer*innen auch nicht alles verstanden werden.
Aus datenschutzrechtlicher Perspektive wird berichtet, dass Nutzer*innen in Bezug auf Sprachassistenten tatsächlich von Sorgen berichten, dass sie zum Beispiel abgehört werden. Entsprechende Überprüfungen haben aber bislang nicht ergeben, dass diese Sorge begründet ist. Allerdings wird eine hohe Anzahl an Fehlaktivierungen beobachtet. Es scheint unterschiedliche Nutzer*innengruppen zu geben: diejenigen, die überkritisch sind und solche, die sorglos mit den Geräten umgehen. Aus datenschutzrechtlicher Sicht ist die Frage der Transparenz insbesondere bezogen auf den Aspekt, ob deutlich gemacht wird, welche Daten gesammelt und verarbeitet werden, spannend. Es sollte zum Beispiel sowohl akustisch als auch visuell deutlich gemacht werden, wenn das Gerät Daten aufzeichnet. Da Minderjährige eine besonders vulnerable Gruppe sind, kann eine wichtige Erkenntnis des Projektes sein, ob die Gerätenutzung durch Kinder anders ist als durch Erwachsene. Ebenfalls muss erforscht werden, wie auch in dieser Gruppe ein kritischer Gebrauch ermöglicht werden kann.
Des Weiteren wird die Rolle der Sprache reflektiert: Auf der einen Seite ist Sprache weitgehend barrierefrei, kann als direktes Kommunikationsmittel genutzt werden und ermöglicht Teilhabe. Auf der anderen Seite wird Sprache vergleichsweise unvorsichtig genutzt. Auch die gesellschaftliche Perspektive ist wichtig: Was bedeuten Sprachassistenten für die Vielfalt, für Offenheit (kommt es zum Beispiel zu Einschränkungen auf bestimmte Empfehlungen)? Sprache verführt gegebenenfalls dazu, bei Entscheidungsmöglichkeiten die erste Alternative zu akzeptieren, da man sich anders als bei visuellem Interface keinen Überblick über das visuelle verschaffen kann. Zusätzlich ist zu fragen, was die Technologie in Bezug auf das gesellschaftliche Miteinander auslöst. Wie verändert sich die Erwartungshaltung, welche Effekte haben die (weiblichen) Stimmen auf die Verfestigung stereotyper Frauenbilder? Daraus ergeben sich ggf. auch politische Handlungsimplikationen. In diesem Zusammenhang muss auch analysiert werden, inwiefern die Schnittstelle maximal intuitiv sein soll und inwieweit die Assistenten wie Menschen klingen sollen. Gegebenenfalls könnte es hilfreich sein, Sollbruchstellen einzubauen, die das Maschinelle deutlich machen. Es gibt allerdings unterschiedliche Ansichten dazu, ob es ein Problem ist, wenn die Kategorien Mensch-Maschine verschwimmen. Es wird angeführt, dass Roboter Robbe Paro ja auch hilft – vor allem dadurch, dass sie für ein Tier gehalten wird.
Hinsichtlich der Transparenz sollte deutlich gemacht werden, was das Gerät kann, was es nicht kann und wo die Grenzen sind. Es sollte auch deutlich werden, was die Kriterien sind, die dazu führen, dass etwas empfohlen wird (inklusive der Information, wer Sprachassistenten aus welchem Grund entwickelt). Die Frage, was eine gute Erklärung ist, ist offen und sollte weitere untersucht werden.
Auch in diesem Zusammenhang muss auf Seiten der Entwickler geklärt werden, wie man im Umfeld von wirtschaftlichen, rechtlichen und ethischen Erfordernissen navigiert. Insbesondere ethische Erfordernisse geraten auf Seiten der Entwickler häufig aus dem Blick, da die Inhalte (z.B. eines Chatbots) vom Auftrag gebenden Unternehmen verantwortet werden und die Verantwortlichkeit des technischen Entwicklers damit abgegeben wird.
Aus rechtlicher Sicht ist ein weites Spektrum gegeben, bis hin zu Aspekten, die dem harten Strafrecht unterliegen und zu mehreren Jahren Haft führen können (oder auch Schadensersatz für geschädigte Personen). Generell setzt das Recht bei realen Problemen an und soll verhältnismäßig sein.
Eine wichtige Frage ist die nach Verantwortlichkeiten. Eventuell greift die Produkthaftung, zum Beispiel wenn eine Maschine jemanden strafrechtlich beleidigt. Aber das System selbst ist hier nicht strafrechtlich relevant, dem Hersteller ist keine Intention nachzuweisen, eventuelle Manipulateure findet man nicht. Möchte man hierzu einen neuen Straftatbestand einführen im Sinne der Ausweitung des Strafrechts? Das ist letztlich eine ethische, gesellschaftliche und politische Frage.
Gegebenenfalls können Produkthaftungen erweitert werden. Diejenigen, die KI einsetzen, haben eigentlich auch ein Eigeninteresse, KI erklärbar zu machen, auch um nachweisen zu können, dass das Problem nicht vom Anbieter verursacht wurde. Strafrechtliche Überlegungen sind auch deshalb hilfreich, weil man strafrechtliche Haftung nicht durch die Nutzer*innen abbedingen lassen kann: im Gegensatz zum Zivilrecht kann nicht auf Regulierung verzichtet werden. Des Weiteren ist noch offen, inwieweit die e-Person eine Lösung im Sinne der Haftungsrechte sein kann. In unserem Rechtssystem ist dies ein Fremdkörper, in anderen Ländern (z.B. Indien) ist dies normal.
Feedback zum aktuellen Forschungsstand
Anschließend wurde von Mitgliedern des IMPACT-Teams der aktuelle Forschungsstand im WP2-Stadium in den Bereichen Informatik, Ethik, Recht und Psychologie mitsamt den bereits laufenden und geplanten Studien vorgestellt. Die Expert*innen gaben uns hierzu jeweils ihre Einschätzung und diskutierten mit uns vielfältige Fragen: können Sprachassistenten einen wertvollen Beitrag in der Erziehung leisten? Wie wichtig ist der Aspekt der Erklärbarkeit der Algorithmen, für Kinder und für Erwachsene? Welche Erklärungen und wie viele davon sind hilfreich? Und wie wichtig ist im Hinblick darauf die Transparenz? Wer ist im Falle eines Systemfehlverhaltens haftbar? Um welche Art von Assistenz soll es genau gehen? Was sind Wünsche von Nutzer*innen und was ist realisierbar?
Ausführlich wurde die Sinnhaftigkeit der „contrafactual explanations“ (gleichzusetzen mit adverserial examples) diskutiert. Als zukünftige Forschungsaufgabe wurde diskutiert, dass Menschen besser verstehen können sollen, welche Eingabemerkmale es sind, die zu einer Ausgabe führen. Man kann Erklärungen auf drei unterschiedliche Arten darbieten: 1) Exemplar, 2) eine positiv auf features ausgerichtete Erklärung, 3) eine negative, auf Kontrafaktisches ausgerichtete Erklärung. Eine Studie, in der diese drei Erklärungen gegeneinander getestet werden, könnte lohnenswert sein. Ferner muss geklärt werden, ob sich kontrafaktische Erklärungen nicht nur bei Entscheidungen zur Kreditvergabe, sondern auch bei Vorschlägen des Sprachassistenten eignen. Um zu erfahren, welche Erklärungen notwendig sind, muss vom Nutzenden ausgegangen werden (vgl. Beining, 2019, https://www.stiftung-nv.de/sites/default/files/wie_algorithmen_verstandlich_werden.pdf). Aus rechtlicher Sicht sollte der „dümmste anzunehmende Nutzer“ die Logik verstehen können. Kontrafaktische Erklärungen sind wahrscheinlich dann akzeptierbar, wenn die Erklärung auf etwas rekurriert, das man prinzipiell erfüllen kann und dadurch reagiert werden kann (problematisch aber, wenn man erfährt, dass nur Frauen/Männer einen günstigeren Versicherungstarif erhalten).
Erklärt werden muss aber im Sinne von computational literacy nicht nur das Funktionieren des Systems, sondern auch das ökonomische Modell (da nur dann verständlich wird, wie wertvoll die eigenen Daten für die Unternehmen sind).
Insgesamt wird das Projekt aufgefordert, besser zu schärfen, was wir bearbeiten: geht es um Interface Technologie oder um decision support oder um Dialog?
Als Fazit wurde festgehalten, dass das IMPACT Projekt die Sprachassistenten in einem Zusammenhang von ethischen, rechtlichen, interaktionstechnischen und algorithmischen Fragen beobachtet, und sich nicht auf spezifische Sprachassistenten(anbieter) fokussiert. Dabei sollen die Terminologie und genutzten Begriffsdefinitionen geschärft werden und auch der das Projekt besonders auszeichnende Aspekt der Sprache in Fokus gebracht werden.
Nach den Diskussionen wurde von den Projektmitgliedern ein Ausblick auf die kommenden WP3 und WP4 Stadien gegeben. Hier soll es in WP3 insbesondere um Transparenz gehen, wobei unterschiedliche Erklärungsmethoden konstruiert und untersucht werden, die Menschen bei der Entscheidungsfindung unterstützen sollen. Die Erklärungsmethoden werden auch aus rechtlicher Sicht hinsichtlich Privatheit und Datenschutz analysiert; aus psychologischer Sicht geht es um mentale Modelle über die den entscheidungsunterstützenden Systemen darunterliegenden Algorithmen, die uns erlauben, Vertrauen in Systeme zu entwickeln und evtl. zu stärken. In WP4 wird der Fokus auf der Verbesserung der Kommunikationsfähigkeiten der virtuellen Assistenten liegen, indem mithilfe von verschiedenen Methoden des Maschinellen Lernens, bspw. Reinforcement Learning, Personalisierung des Dialogverhaltens der Assistenten und die Anpassung an die Besonderheiten der menschlichen Gesprächspartner erfolgen kann. Empirisch werden die Unterschiede von verbessertem vs. herkömmlichem Dialogverhalten untersucht und aus rechtlicher und ethischer Sicht wird es um die Frage gehen, ob künstliche Intelligenz mehr Prozesse in der Pflege von Senioren übernehmen sollte.
Hinsichtlich der Erklärungen betonten die Expert*innen nochmals, dass es begrüßenswert ist, dass tatsächlich Studien gemacht werden, um den Nutzen von Erklärungen zu testen. Es sollte in den Vordergrund gestellt werden, dass es darum geht, das „informed“ bei „informed consent“ zu gewährleisten. In diesem Sinne sollte (auch bei Kindern) die Fähigkeit zum Hinterfragen gefördert werden. Bei Kindern ist auch besonders wichtig zu untersuchen, was sie verstehen und was sie nicht verstehen. Es wird diskutiert, ob es bei Kindern eine automatisch entwickelte Medienkompetenz gibt, davon ist aber insgesamt nicht auszugehen. Aus Sicht der Anbieter ist es interessant zu wissen, ob mit der Verfügbarkeit der Erklärungen die Nutzung vermieden wird. Außerdem ist anzunehmen, dass die Notwendigkeit von Erklärungen mit dem Anwendungskontext variiert: Bei Gesundheitsanwendungen ist es wichtiger, die Vorschläge nachvollziehen zu können als bei einem Rezeptvorschlag.
Außerdem wurde der partizipative Citizen Science Ansatz vorgestellt, der die Gesellschaft in die Forschung mit einbezieht und bei der Ideenentwicklung und Sammlung von Wissen auf beiden partizipierenden Seiten hilfreich ist. Der citizen science Ansatz wurde begrüßt, auch dort sollte allerdings geschärft werden, worum es geht.
In der Nachbereitung wurde nochmals zusammengefasst, welche Aspekte die Projektmitglieder als besonders zentral bewerten:
- Notwendigkeit der Präzision in der Terminologie (worüber reden wir, wozu genau wollen wir uns äußern und einen Beitrag leisten)
- Erkenntnis, dass wir besser erklären müssen, was wir leisten wollen (zum Beispiel im Hinblick auf kontrafaktische Erklärungen)
- Notwendigkeit, Sprachassistenten stärker in den Vordergrund zu stellen und stärker zu explizieren, welchen Gegenstand wir adressieren (Mischung von Dialog und entscheidungs-assistiven Systemen)
- Die Frage, wie menschlich Dialogsysteme sein müssen und sollen, sollte weitere Betrachtung erfahren (im Sinne der Frage, ob es Hinweise auf die Maschinenhaftigkeit geben soll), handelt es sich um einen „Missbrauch von Menschlichkeit“?
- Weitere Exploration der Frage, wie wichtig Transparenz ist: Ist es wichtig, dass Menschen die Maschinen verstehen und sollen sie sie verstehen müssen?
- Es wurde erkannt, dass ethische Fragen im Praxisalltag eher in den Hintergrund gedrängt werden, welche Strategien kann es geben, um dies zu überwinden?
- Aus rechtlicher Sicht wurde bestätigt, dass es sinnvoll ist, weniger spezifische Einzelprobleme in den Blick zu nehmen, sondern sich eher an verfassungsrechtlichen Problemen zu orientieren.