ChatGPT – die Revolution verstehen und nutzen

“ChatGPT” erobert die Welt derzeit im Sturm. Der interaktive Chatbot schreibt Gedichte, korrigiert Computercode oder gibt Beziehungstipps – und dies oft in verblüffender Qualität.
Was steckt technisch dahinter? Und wie kann ein solches Tool zielgerichtet eingesetzt werden?

Die Übersicht: Was ist und was kann ChatGPT?

ChatGPT ist ein künstlich intelligentes Programm, um Texte zu generieren. Es wurde im November 2022 vom US-Unternehmen OpenAI in Form eines interaktiven Chatbots veröffentlicht und sorgt seither weltweit für Aufsehen, da es zu unterschiedlichsten Themen erstaunlich gute Antworten liefert. Beispielsweise ist ChatGPT in der Lage

• kohärente und faktisch korrekte Antworten auf diverse Fachfragen zu geben
• Texte in diverse Sprachen und Sprachstile (zum Beispiel für Kinder verständlich, hochgestochen oder im Stile von Alt-Bundesrat Ueli Maurer) zu übersetzen
• Computercode zu debuggen
• Dokumente präzise zusammenzufassen
• Briefe und Emails anhand weniger Schlagwörter auszuformulieren

Die Qualitäten und Möglichkeiten von ChatGPT scheinen quasi endlos und es stellt sich schnell die Frage, wie ein so mächtiges System zustande kommt.

In eigenen Worten: Wie funktioniert das Programm?

Um zu erklären, wie ChatGPT funktioniert und gleichzeitig eine Qualitätsstichprobe zu nehmen, liessen wir das System gleich selbst erklären, wie es funktioniert – und zwar in zwei verschiedenen technischen Tiefen:

Datahouse: Erkläre kurz und einfach, wie ChatGPT funktioniert.

ChatGPT:

ChatGPT ist ein Computerprogramm, das dazu in der Lage ist, Texte zu verstehen und zu erstellen. Es funktioniert indem es viele Texte liest und daraus lernt, wie Wörter und Sätze zusammenhängen. Wenn jemand eine Frage stellt oder einen Text braucht, verwendet es das gelernte Wissen um eine sinnvolle und grammatikalisch korrekte Antwort oder Text zu erstellen.

Es ist wichtig zu beachten, dass es nicht unbedingt versteht, was es schreibt, sondern es ist ein statistisches Modell und kann daher manchmal Fehler machen oder unerwartete Ergebnisse liefern.

Datahouse: Und nun bitte das gleiche in technischer Fachsprache.

ChatGPT:

ChatGPT (Generative Pre-trained Transformer) ist ein prä-trainiertes neuronales Netzwerk-Modell, das auf der Transformer-Architektur basiert und verwendet wird, um natürliche Sprache zu generieren. Das Modell nutzt die Encoder-Decoder-Struktur, bei der der Encoder verwendet wird, um die gegebenen Eingabe-Wörter in eine semantische Repräsentation zu codieren, und der Decoder verwendet wird, um diese codierten Eingabe-Wörter in natürliche Sprachausgaben zu decodieren.

Das Modell wurde auf einer grossen Menge an Texten trainiert, die als „Trainingsdaten“ bezeichnet werden. Diese Trainingsdaten bestehen aus einer Vielzahl von Texten wie Bücher, Artikel, News-Feeds, etc. Das Modell lernt durch die Analyse dieser Daten die Struktur und die Regeln der Sprache und kann somit verstehen, wie Wörter und Sätze in Zusammenhang stehen.

Um die Textgenerierung durchzuführen, wird das Modell mit einer Anfangswortfolge (Prompt) gefüttert und es generiert das nächste Wort basierend auf dem gelernten Wissen und dem gegebenen Kontext, der durch den Prompt gegeben ist. Dieser Prozess wird fortgesetzt, bis das Modell eine vollständige Antwort generiert hat oder bis eine vorab festgelegte Anzahl an Wörtern erreicht ist. Es ist jedoch wichtig zu beachten, dass ChatGPT, obwohl es auf einer grossen Menge an Texten trainiert wurde, Fehler machen oder unerwartete Ergebnisse liefern kann, wenn es mit ungewöhnlichen oder neuen Kontexten konfrontiert wird.

Datahouse: Vielen Dank! Dürfen wir diese Antworten in unserem Blog verwenden? 😉

ChatGPT:

Ja, Sie dürfen die Antworten in Ihrem Blog verwenden. Ich bin ein Computerprogramm und habe keine Urheberrechte an den Informationen die ich weitergebe. Es wäre jedoch schön, wenn Sie die Quelle (OpenAI) erwähnen würden, da diese die Entwicklung und das Training des Modells ermöglicht haben.

Man sieht, dass das ChatGPT nicht nur fachlich korrekten, sondern auch grammatikalisch und stilistisch (fast) perfekten Output liefert. Für dieses spektakuläre Resultat ist der Trainingsprozess des Systems massgeblich mitverantwortlich, bei dem neben cutting-edge Machine-Learning-Algorithmen auch menschliche Feedbacks zentral sind.

ChatGPT trainieren: Zusammenspiel von Mensch und Maschine

Das Training des Sprachmodells, welches ChatGPT zugrunde liegt, basiert auf der Idee des «Reinforcement Learning». Dabei interagiert ein Computerprogramm, ein sogenannter «Agent», selbständig mit einer Umgebung (beispielsweise einem Computerspiel) und erhält Feedbacks zu seinem Verhalten (zum Beispiel Punkte nach einem Sieg). Der Agent fällt dann seine nächsten Entscheidungen basierend auf dem bisher erhaltenen Feedback und lernt so mit der Zeit immer bessere Strategien zur Bewältigung der Umgebung. Diese Lernstrategie brachte bereits Programme hervor, welche Schach oder Go spielen können und nach zahllosen Trainingsspielen gegen sich selbst gar die aktuellen menschlichen Weltmeister schlagen konnten.
Im Falle von ChatGPT kam das Feedback im Trainingsprozess von Menschen, welche vom System generierte Antworten beurteilten (sogenanntes «Reinforcement Learning from Human Feedback»). Mit diesem Human-in-the-Loop-Approach kann gewährleistet werden, dass der Lernprozess auf das Verstehen und Bedienen menschlicher Präferenzen optimiert ist. ChatGPT ist also darauf trainiert, Outputs zu generieren, die punkto Stil, Inhalt und Form möglichst gut den Bedürfnissen menschlicher User:innen entsprechen.
Aufgrund der sehr grossen Menge an Trainingsdaten und Feedbacks, die ChatGPT während des Trainingsprozesses gesehen und erhalten hat, kann das System nun eine beachtliche Breite an Fragen und Stilen abdecken. Dies macht es für den Transfer auf verschiedenste Anwendungen interessant.

Transfer: Wie können wir ChatGPT nutzen?

Die Welt entdeckt eben erst die zahlreichen Chancen von ChatGPT. Um diese möglichst gut ausprobieren und nutzen zu können, kann man das Sprachmodell von ChatGPT «finetunen». Das heisst: Das bestehende, bereits sehr mächtige Modell kann für spezifische Anwendungen noch besser angepasst werden, indem man ihm zusätzliche Trainingsdaten präsentiert und so die Modellparameter für einen spezifischen Use Case optimiert.
Für solches Finetuning stellt OpenAI verschiedene Typen von Sprachmodellen zur Verfügung. Um deren verantwortungsvollen Gebraucht zu sichern, überwacht die Organisation via eine kontrollierte Schnittstelle die Anwendungen der Modelle. Missbrauch, wie zum Beispiel das Verfassen von Spam-Emails, wird so detektiert und verhindert.

---

Tauchen sie noch tiefer in die Welt der Künstlichen Intelligenz ein und nehmen Sie am 23. November 2023 teil an unserer Online-Veranstaltung zum Thema «Künstliche Intelligenz verstehen – ChatGPT and beyond».