Der Wissenschaftler Christoph Heilig forscht zu Großen Sprachmodellen wie ChatGPT. Im Interview spricht er über Romane auf Knopfdruck, Chatbots, die beim Plotten helfen und die zukünftige Rolle von Schreibenden.
Christoph Heilig, Sie sind Theologe und beschäftigen sich mit neutestamentlichen Texten. Dabei denkt man nicht unbedingt an Künstliche Intelligenz und Große Sprachmodelle wie ChatGPT. Wie sind Sie als Wissenschaftler dort gelandet?
Schwerpunkte meiner Forschung waren und sind die Wahrscheinlichkeitstheorie und die Textlinguistik. Um beides geht es auch bei Großen Sprachmodellen. Sie produzieren Texte in wahrscheinlichen Wortfolgen. Um die Qualität solcher Texte einzuschätzen, hilft außerdem mein erzähltheoretischer und literaturwissenschaftlicher Hintergrund.
ChatGPT wird oft als stochastischer Papagei bezeichnet, der nur nachplappert, was ihm mithilfe riesiger Datensammlungen antrainiert wurde. Können Große Sprachmodelle kreativ sein?
Die Metapher des stochastischen Papageis trifft zumindest teilweise zu. Es ist richtig, dass Große Sprachmodelle aus ihren Trainingsdaten Wahrscheinlichkeitsmuster extrahieren und dann das wahrscheinlichste nächste Wort eines Textes raten. Für falsch halte ich allerdings, dass die Produkte dieses Prozesses auf uns nicht kreativ wirken können. Es gibt mehrere Studien die zeigen, dass Große Sprachmodelle der neuesten Generation mit den kreativen Denkleistungen der meisten Menschen durchaus mithalten können, wenn man gängige Definitionen von Kreativität zugrunde legt.
Warum wirken solche maschinell produzierten Texte auf uns kreativ?
Diese Texte werden nicht deterministisch produziert. Das heißt, immer wenn ein neues Wort angefügt wird, kann das Große Sprachmodell sich zwischen verschiedenen Optionen entscheiden. Das geschieht nach einem Wahrscheinlichkeitsmuster, je nachdem welche Wörter die KI in welchen Kontexten in den Trainingsdaten erkannt hat. Dementsprechend variieren die Texte in der Produktion. Als Benutzer kann ich außerdem einstellen, wie frei das Sprachmodell bei den jeweiligen Entscheidungen ist, ob es also auch unwahrscheinlichere Wörter bevorzugen darf. Wenn ich die Einstellungen entsprechend wähle, klingen die Texte nicht ganz so mechanisch, wie wir das sonst von ChatGPT kennen.
Können Große Sprachmodelle sich auch kreativ auf die menschliche Wahrnehmung beziehen, also zum Beispiel eigenständig Metaphern kreieren?
Das ist ein interessanter Punkt. Die kognitive Linguistik der vergangenen Jahre hat gezeigt, dass Metaphern sehr viel mehr sind als nur Sprachfiguren. Sie sind Ausdruck dessen, wie wir uns als Menschen die Welt erschließen. Weil Künstliche Intelligenzen bisher noch keine Körper haben, könnte man annehmen, dass Menschen hier im Vorteil sind. Ich beobachte aber, dass Großen Sprachmodelle Sprache durchaus so verwenden können, dass sich uns dadurch neue Sinndimensionen in der Beschreibung der Welt erschließen. Offenbar haben wir so viel körperlich geprägte Sprache ins Internet gestellt, dass so etwas funktioniert.
Wie sieht es mit dem individuellen Stil eines Autors oder einer Autorin aus? Lässt sich der auch mittels KI imitieren?
Bei entsprechend umfangreichem, hochwertigem und konsistentem Trainingsmaterial ist das kein Problem. Ich gehe davon aus, dass es in der Zukunft möglich sein wird, sich auf Knopfdruck einen Wunschroman im Stil des eigenen Lieblingsautors produzieren lassen.
Können Große Sprachmodelle denn bereits ganze Romane schreiben?
Dafür gibt es mehrere begrenzende Faktoren. Zum einen fehlt noch das Feintuning der Modelle und entsprechend hochwertiges Trainingsmaterial. Der andere limitierende Faktor war bisher die Kontextgröße, also die Datenmenge, die ein Großes Sprachmodell bei seiner Antwort berücksichtigen kann. Weiß die KI im zweiten Kapitel also noch, was im ersten Kapitel steht? Mit der neuen Version von Claude und vor allem von Gemini, also Google, wird das immer besser funktionieren. Da kommen wir in einen Bereich, wo man ganze Bücher produzieren lassen kann, zumindest in mehreren Schritten. Vielleicht sind noch Überarbeitungen oder kritische Rückfragen durch die Nutzerin oder den Nutzer notwendig. Aber grundsätzlich bestehen damit die technischen Möglichkeiten, dass ein Großes Sprachmodell einen Roman von mehreren hundert Seite erstellen kann.
Werden Autorinnen und Autoren dann nach und nach überflüssig?
Ich glaube, das hängt davon ab, mit welcher Motivation man sich an den Schreibtisch setzt. Wenn es nur darum geht, einen Test zu produzieren, der menschlich wirkt, braucht es den Autor oder die Autorin schon bald eigentlich nicht mehr. Wenn man jedoch schreibt, um sich auszudrücken und mitzuteilen, wird man das auch weiterhin tun wollen. Da könnte man Künstliche Intelligenz eher als Gesprächspartner nutzen.
Wie kann so eine Unterstützung durch Künstliche Intelligenz aussehen?
Mit den benutzerdefinierten GPTs von Open AI kann man sich bereits einen Gesprächspartner nach eigenen Bedürfnissen basteln, auch ohne große Codier- und Prompting-Skills. Dann hätte man zum Beispiel einen Chatbot, der einem kritisches Feedback zur Plot- oder Charakterentwicklung gibt.
Finden die Bücher von menschlichen Autorinnen und Autoren zukünftig überhaupt noch ein Publikum oder werden sie von kostengünstigeren KI-generierten Produkten verdrängt?
Ich glaube, dass es für von Menschen geschriebene Bücher weiterhin einen Markt gibt. Ein großer Teil der Bücher wird ja bereits jetzt von Vielleserinnen und Viellesern gekauft. Die werden auch in Zukunft die neuesten Bücher ihrer Lieblingsautorinnen und -autoren lesen wollen.
Wie ist es mit weniger prominenten Schreibenden? Haben die noch einen Platz in der Öffentlichkeit, wenn Künstliche Intelligenz immer mehr kann?
Durch diese Technologie wird es zu Umwälzungen kommen, die uns gesamtgesellschaftlich betreffen. Und viele Akteure, die diesen Diskurs eigentlich mitgestalten sollten, sind darin meiner Beobachtung nach nicht sehr erfolgreich. Ich sehe einen Journalismus, der viel von dem nachplappert, was die CEOs der großen KI-Konzerne verlauten lassen. Und eine Politik, die überfordert ist und sowieso sehr langsam. Auch die Wissenschaft ist durch ihre Strukturen langsam und wird oft nicht entsprechend wahrgenommen. Deswegen finde ich es wichtig, dass Kreative gerade jetzt schreiben. Das heißt nicht, dass alle Dystopien schreiben müssen. Aber wir sollten uns fragen, was uns als Menschen ausmacht, in was für eine Art Zukunft wir gehen wollen und was wir dabei nicht verlieren wollen. Sich damit öffentlich auseinanderzusetzen, wird immer wichtiger.
Mehr von Christoph Heilig auf der narrativa 8: „Wenn Autor und KI gemeinsam halluzinieren“, darum geht es in seinem Eröffnungsvortrag am Samstag, 22. Juni, in München. Zur Anmeldung.
Christoph Heilig ist Theologe und leitet eine interdisziplinäre Forschungsgruppe zum Thema der Erzählperspektive an der LMU München. Ein Schwerpunkt seiner Arbeit liegt auf der Frage nach der Qualität von Texten, zu denen Große Sprachmodelle wie GPT fähig sind.