Vielleicht hilft es für das Verständnis auch mal, zu wissen wie Chat-GPT (GPT steht an der Stelle übrigens für
Generative
Pre-Trained
Transformer) eigentlich funktioniert. Denn "wissen" im eigentlichen Sinne tut der Bot nichts. Er "versteht" auch nichts. Den ganzen Formulierungen liegen letztlich "einfach" Berechnungen von Wahrscheinlichkeiten zugrunde.
Ganz kurz gefasst hat der Bot anhand von (sehr viel) Material gelernt, mit welchen Wahrscheinlichkeiten bestimmte Wortstücke = Token in der Nähe von anderen Token vorkommen. Bei der Engine GPT-3.5, die Chat-GPT zugrunde liegt, sind ca. 430 Mrd. Token aus Web-Crawl Ergebnissen genutzt worden, etwa 67 Mrd. aus Büchern und z.B. 3 Mrd. aus Wikipedia. Der Kontext für jedes einzelne Token beträgt wiederum 2048 andere Token. Daraus ergeben sich bei GPT-3.5 insgesamt ca. 175 Mrd. Parameter für das Modell, die in die Berechnungen einfließen.
Gibt man ihm nun einen Prompt, also eine Eingabe, dann wird diese zunächst auch wieder in die einzelnen Token zerlegt und es werden die wesentlichen Bestandteile über entsprechende Berechnungsmethoden identifiziert (das entspricht im Prinzip dem Verstehen der Frage bzw. Aufforderung).
Wird nun ein Prompt gestellt (also der eingegebene Text, dabei muss es sich nicht mal um eine explizit formulierte Frage oder Aufforderung handeln), dann wird entsprechend der Eingabe die Wahrscheinlichkeit für die folgenden Token optimiert und daraus ergibt sich dann ein mehr oder weniger verständlicher, sinnvoll klingender und zusammenhängender Text. Aufgrund der unglaublichen Menge an Lernmaterial und des großen Kontexts wirkt das tatsächlich bei diesen großen Sprachmodellen eben "intelligent".
Bei der Beantwortung einer Frage können aufgrund der verwendeten Berechnungsmethoden außerdem unterschiedliche Token als als nächste zu ergänzende Bestandteile ermittelt werden, so dass man bei der Beantwortung der exakt gleichen Frage bzw. Aufforderung auch unterschiedliche Antworten erhalten kann.
Im Prozess des Lernens für das Sprachmodell wurde wiederum ein zweites KI-Modell eingesetzt, um die Antworten zu bewerten (sonst müssten tausende Menschen tausende Eingaben generieren und die Antworten bewerten). Dieses 2. KI-Modell wurde aber wiederum von Menschen trainiert.
Beispiel: der Prompt "die Katze" wird von der KI ergänzt um "ist kuschelig", "ist ein domestiziertes Säugetier", "ist faul" oder "schmeckt gut", weil all diese Ergänzungen mit gewissen Wahrscheinlichkeiten aus dem gelernten Material hervorgehen. Die KI selbst kann nicht bewerten, welche dieser Antworten passt, hier muss der Mensch ran. Auf Basis der Antworten der Menschen lernt wiederum das zweite KI-Modell, die Antworten zu beurteilen.
Es gibt also letztlich vor allem zwei Ansatzpunkte, wo bias (also Verzerrungen, Vorurteile oder wie man es auch nennen mag) ins Spiel kommen kann:
- beim Lernen, weil in dem Lernmaterial schon entsprechende Tendenzen vorhanden sind
- beim Bewerten der Antworten, weil die Menschen, die das bewertende KI-Modell trainieren, ihre eigenen Vorurteile mit ins Spiel bringen
Was noch dazu kommt (mit Blick in die Zukunft): Die Modelle lernen ja aus dem im Netz gefundenen Wissen. Dieses wird in Zukunft aber voraussichtlich ja auch zu immer größeren Teilen auch ein Output von KI sein. Das heißt die zukünftige KI lernt auch anhand der Ausgaben ihrer Vorgänger. Hier besteht natürlich die Gefahr, dass sich Vorurteile verstärken. Zusätzlich kann der Mensch versuchen, durch Generierung von Unmengen von potentiellen Lerninhalten (tausende Wikipedia-Artikel beispielsweise), die "Wissensbasis" eines solchen Modells zu beeinflussen.
Ich hoffe ich hab es einigermaßen verständlich rüber gebracht, denn dieses Wissen ist im Prinzip notwendig um Chat-GPT zu "verstehen" und die Kommunikation mit dem Bot einschätzen und bewerten zu können.