ChatGPT ein AI BOT auf überraschend hohem level?

Um Antworten auf echte Fragen zu erhalten, taugt es wenig, umso mehr taugt es dazu, die wahrscheinlichsten Ansichten des Volkes zu analysieren.
Ich vermute, dass diese KI -um einen Boshaftigkeits- und einen Populismus- Algorithmus erweitert- schon seit Jahren ohne menschliches Zutun eine Zeitung für eine Berliner Verlagsgruppe produziert.
 
Vielleicht hilft es für das Verständnis auch mal, zu wissen wie Chat-GPT (GPT steht an der Stelle übrigens für Generative Pre-Trained Transformer) eigentlich funktioniert. Denn "wissen" im eigentlichen Sinne tut der Bot nichts. Er "versteht" auch nichts. Den ganzen Formulierungen liegen letztlich "einfach" Berechnungen von Wahrscheinlichkeiten zugrunde.

Ganz kurz gefasst hat der Bot anhand von (sehr viel) Material gelernt, mit welchen Wahrscheinlichkeiten bestimmte Wortstücke = Token in der Nähe von anderen Token vorkommen. Bei der Engine GPT-3.5, die Chat-GPT zugrunde liegt, sind ca. 430 Mrd. Token aus Web-Crawl Ergebnissen genutzt worden, etwa 67 Mrd. aus Büchern und z.B. 3 Mrd. aus Wikipedia. Der Kontext für jedes einzelne Token beträgt wiederum 2048 andere Token. Daraus ergeben sich bei GPT-3.5 insgesamt ca. 175 Mrd. Parameter für das Modell, die in die Berechnungen einfließen.
Gibt man ihm nun einen Prompt, also eine Eingabe, dann wird diese zunächst auch wieder in die einzelnen Token zerlegt und es werden die wesentlichen Bestandteile über entsprechende Berechnungsmethoden identifiziert (das entspricht im Prinzip dem Verstehen der Frage bzw. Aufforderung).

Wird nun ein Prompt gestellt (also der eingegebene Text, dabei muss es sich nicht mal um eine explizit formulierte Frage oder Aufforderung handeln), dann wird entsprechend der Eingabe die Wahrscheinlichkeit für die folgenden Token optimiert und daraus ergibt sich dann ein mehr oder weniger verständlicher, sinnvoll klingender und zusammenhängender Text. Aufgrund der unglaublichen Menge an Lernmaterial und des großen Kontexts wirkt das tatsächlich bei diesen großen Sprachmodellen eben "intelligent".

Bei der Beantwortung einer Frage können aufgrund der verwendeten Berechnungsmethoden außerdem unterschiedliche Token als als nächste zu ergänzende Bestandteile ermittelt werden, so dass man bei der Beantwortung der exakt gleichen Frage bzw. Aufforderung auch unterschiedliche Antworten erhalten kann.

Im Prozess des Lernens für das Sprachmodell wurde wiederum ein zweites KI-Modell eingesetzt, um die Antworten zu bewerten (sonst müssten tausende Menschen tausende Eingaben generieren und die Antworten bewerten). Dieses 2. KI-Modell wurde aber wiederum von Menschen trainiert.
Beispiel: der Prompt "die Katze" wird von der KI ergänzt um "ist kuschelig", "ist ein domestiziertes Säugetier", "ist faul" oder "schmeckt gut", weil all diese Ergänzungen mit gewissen Wahrscheinlichkeiten aus dem gelernten Material hervorgehen. Die KI selbst kann nicht bewerten, welche dieser Antworten passt, hier muss der Mensch ran. Auf Basis der Antworten der Menschen lernt wiederum das zweite KI-Modell, die Antworten zu beurteilen.

Es gibt also letztlich vor allem zwei Ansatzpunkte, wo bias (also Verzerrungen, Vorurteile oder wie man es auch nennen mag) ins Spiel kommen kann:
  • beim Lernen, weil in dem Lernmaterial schon entsprechende Tendenzen vorhanden sind
  • beim Bewerten der Antworten, weil die Menschen, die das bewertende KI-Modell trainieren, ihre eigenen Vorurteile mit ins Spiel bringen
Was noch dazu kommt (mit Blick in die Zukunft): Die Modelle lernen ja aus dem im Netz gefundenen Wissen. Dieses wird in Zukunft aber voraussichtlich ja auch zu immer größeren Teilen auch ein Output von KI sein. Das heißt die zukünftige KI lernt auch anhand der Ausgaben ihrer Vorgänger. Hier besteht natürlich die Gefahr, dass sich Vorurteile verstärken. Zusätzlich kann der Mensch versuchen, durch Generierung von Unmengen von potentiellen Lerninhalten (tausende Wikipedia-Artikel beispielsweise), die "Wissensbasis" eines solchen Modells zu beeinflussen.

Ich hoffe ich hab es einigermaßen verständlich rüber gebracht, denn dieses Wissen ist im Prinzip notwendig um Chat-GPT zu "verstehen" und die Kommunikation mit dem Bot einschätzen und bewerten zu können.
 
Vielleicht hilft es für das Verständnis auch mal, zu wissen wie Chat-GPT (GPT steht an der Stelle übrigens für Generative Pre-Trained Transformer) eigentlich funktioniert
Du hast einen mMn wichtigen Schritt in der Erklärung vergessen: Wenn ich das richtig verstanden habe ist der Schritt von GPT-3 zu GPT-3.5 hauptsächlich eine neue Art von Trainingsmaterial gewesen. Und zwar die Konversation mit echten Menschen. OpenAI (die Macher von ChatGPT) haben einfach Leute davor gesetzt und sich mit dem Netz unterhalten lassen und wenn das Netz eine "schlechte" Antwort gegeben hat haben sie das korrigiert und in den neuen Lernkorpus eingefügt.
 
Du hast einen mMn wichtigen Schritt in der Erklärung vergessen
Jein, dieses Fine-Tuning habe ich ja auch benannt, das ist das von mir erwähnte zweite, von Menschen trainierte KI-Modell mit dem eben die Antworten bewertet wurden. Das war ja in dem Sinne wirklich nochmal eine Art Durchbruch, der dafür gesorgt hat, dass unsinnige und falsche Antworten zu einem größeren Teil eliminiert werden konnten.
Von GPT-3.5 zu Chat-GPT hat zwar auch nochmal Fine-Tuning stattgefunden, um vor allem ethisch fragwürdige Antworten (wie zerstöre ich am besten das VM meines Konkurrenten?) zu unterdrücken, aber das habe ich mal außen vor gelassen.

Worum es mir insgesamt ging war, dass man eben nicht den Chat-Bot als "verstehenden" Gesprächspartner im klassischen Sinne sehen kann, sondern dass einfach nur Wörter in der wahrscheinlichsten Reihenfolge aneinandergereiht wiedergegeben werden.
 
Gute Erklärung, @Barbarossa.
Ein Problem liegt wohl an den Erwartungen. ChatGPT gehört zu den Sprachmodellen, es erzeugt also Sprache aufgrund von Verknüpfungen und Wahrscheinlichkeiten. Jetzt hohe ethische Erwartungen daran zu stellen, ist vielleicht wenig zielführend. Im Ethikrat sitzen, soweit ich weiss, keine Linguisten und man würde Sprachforscher nicht über Sterbehilfe, Suizid und Gendiagnostik befragen.
Gleichzeitig ist es eine Form von KI, und diese wird auch heute schon eingesetzt, um Bewerbungen zu sortieren. Da entscheiden also Computer (indirekt) auch über Menschen.
 
Jetzt hohe ethische Erwartungen daran zu stellen, ist vielleicht wenig zielführend.
Genau das passiert aber. In Afrika werden jede Menge Leute eingestellt ( schön billig) um genau zu prüfen, womit gefüttert wird.
Über die folgenden für die Angestellten möchte ich jetzt nicht reden,das würde zu weit führen. Aber klar wird gefiltert was rein geht und was nicht.
 
@schlafrad Erstmal: von meinem Verständnis her wird nicht geprüft, "womit gefüttert wird", sondern wie ChatGPT damit umgehen soll. Das Material wird man ja in Zukunft auch nicht auswählen und filtern können, also muss die Reaktion darauf beeinflusst werden.
Und ja, sehr zweifelhaft, womit Leute (für wenig Geld) dafür arbeiten müssen.:(
 
@schlafrad ...also muss die Reaktion darauf beeinflusst werden.
das ist ein ganz wichtiger Punkt. ChatGPT soll ja keine "falschen" Ergebnisse liefern. Ich frage mich nur, wer entscheidet was richtig und falsch ist? Wenn die Antworten nicht dem aktuellen Mainstream entsprechen und nicht politisch "korrekt" sind, sind sie dann falsch und müssen elliminiert werden? Ich habe es schon mal geschrieben: Wer die Kontrolle über diesen Vorgang hat, hat die Kontrolle über die Menschen. Im Moment sind wir davon noch ein gutes Stück entfernt, nur die Entwicklung verläuft rasent schnell.
Ich fürchte halt, dass die kommenden Generationen von Chat-Bots der feuchte Traum jeder Regierung werden. Man darf nur die Kontrolle nicht verlieren. Dann kann man schön seine Agenda vom "Wahrheitsministerium" unter das Volk bringen. Schöne neue Welt.
 
Es gibt überall die Gefahr von Missbrauch.
Aber auch die Möglichkeiten für eine bessere Zukunft. Ein schönes Beispiel ist hier das gerne vertäufelte Darknet.
 
Worum es mir insgesamt ging war, dass man eben nicht den Chat-Bot als "verstehenden" Gesprächspartner im klassischen Sinne sehen kann, sondern dass einfach nur Wörter in der wahrscheinlichsten Reihenfolge aneinandergereiht wiedergegeben werden.

Tatsächlich ist das ja die (damals noch komplett hypothetische) Frage, was denn überhaupt Bewusstsein ausmacht.

Ich (wie gesagt mit dem Hintergrund, dass ich "Künstliche Intelligenz" bis zum Doktor studiert hab) bin mittlerweile schon länger davon überzeugt, dass unser menschliches Gehirn eine reine "Eingabe -> Ausgabe" Maschine ist. Halt mit der Einschränkung, dass die Eingabe die unser Gehirn verarbeitet einfach unheimlich komplex und immer auch mit Rauschen behaftet ist. Das führt halt dazu, dass derselbe Mensch unter denselben Umständen nicht exakt dasselbe tut, einfach weil die Eingabe nie exakt dieselbe sein kann.
"Freier Willen" ist demnach eine Illusion ... da gibts auch einige interessante Experimente zu bei denen (wieder einfach gesagt) gezeigt wird, dass das Gehirn schon hunderte Millisekunden bevor eine "bewusste" Entscheidung getroffen wird "weiß" was es tut.

Die Tatsache, dass ein paar Milliarden Zahlen in einem künstlichen Neuronalen Netz einen "Gesprächspartner" ergeben dem man ein Bewusstsein zudichten könnte bekräftigt mich in der Ansicht eigentlich nur.

---

(Interessanter Nachsatz: Auf irgendeinem Level ist das alles nicht neu was gerade passiert ... das ist alles Kram der in den 60ern schon "bekannt" war ... der Unterschied ist einfach, dass man heutzutage im Vergleich zu damals "unendlich" Rechenleistung und Trainingsdaten zur Verfügung hat ... ja, es gab bedeutende Entwicklungen ... aber im großen und ganzen ist das immer noch das Wasser von damals)
 
Habe mal ChatGPT gefragt, was die Vorteile von Liegerädern sind. Hier die Antwort vom AI-Chatbot :):

Liegeräder, auch bekannt als Recumbent-Fahrräder, bieten eine Vielzahl von Vorteilen im Vergleich zu herkömmlichen Fahrrädern. Hier sind einige der wichtigsten Vorteile:

  1. Bequemlichkeit: Liegeräder haben eine entspannte Sitzposition, die den Druck auf den Rücken, die Schultern, die Arme und das Gesäß verringert. Das bedeutet, dass Sie länger und bequemer fahren können, ohne sich müde oder wund zu fühlen.
  2. Aerodynamik: Liegeräder haben eine aerodynamische Form, die den Luftwiderstand verringert und das Fahren effizienter macht. Sie können daher schneller fahren, ohne so viel Energie zu verbrauchen wie auf einem herkömmlichen Fahrrad.
  3. Geringere Belastung: Auf einem Liegerad wird das Gewicht des Fahrers auf eine größere Fläche verteilt, was den Druck auf die Hände und Handgelenke verringert. Dies ist besonders wichtig für Menschen mit Handgelenksproblemen oder Sehnenentzündungen.
  4. Komfort: Liegeräder sind oft mit bequemen Sitzen und Federung ausgestattet, was zusätzlichen Komfort bietet. Auch die aufrechte Haltung ermöglicht eine gute Sicht auf die Umgebung.
  5. Sicherheit: Da Liegeräder eine niedrigere Sitzposition haben als herkömmliche Fahrräder, sind sie oft leichter zu kontrollieren und haben eine höhere Stabilität. Außerdem sind sie aufgrund ihrer auffälligen Form besser sichtbar im Verkehr.
  6. Gesundheitliche Vorteile: Liegeräder sind eine gute Option für Menschen mit Rückenproblemen oder Übergewicht, da sie eine geringere Belastung auf den Rücken ausüben und mehrere Muskeln des Körpers trainieren können.
Zusammenfassend bieten Liegeräder eine Vielzahl von Vorteilen, die sie zu einer attraktiven Alternative zu herkömmlichen Fahrrädern machen können.
 
Abgesehen von den Wiederholungen eine erstaunlich gute Zusammenfassung. Es fehlt allerdings die höhere Sicherheit bei Unfällen dank geringerer Fallhöhe, "Knautschzone" (Füße voran) und Fehlen von Abflügen über den Lenker.
 
auch bekannt als Recumbent-Fahrräder,
Ich wüsste nicht, dass ich in deutschsprachiger Kommunikation schon relevant oft "Recumbent" gelesen / gehört hätte. :unsure: (Und im Englischen sagen sie dann nicht "Fahrrad".)

die den Druck auf den Rücken […] verringert
Liegerad hat Druvk auf den Rücken, Aufrechtrad nicht. Das ist keine Verringerung.
Auch die aufrechte Haltung ermöglicht eine gute Sicht auf die Umgebung.
Das sind Aufrechträder, nicht Liegeräder. (Liegeräder können mit relativ aufrechter Position für noch ganz gute Sicht gebaut werden, aber liegen generell in dem Punkt hinter Aufrechträder.)
aufgrund ihrer auffälligen Form besser sichtbar im Verkehr.
Gemischt. Sie können auf einen kurzen Blick mit der üblich trainierten Objekterkennung schlechter wahrgenommen und eingeordnet werden, wenn man sie aber erstmal wahrnimmt, halten sie durch ihre Fremdheit die Aufmerksamkeit des Betrachters. (Dies kann übrigens auch dazu führen, dass der Betrachter so abgelenkt von seiner eigenen Teilnahme am Straßenverkehr ist, dass die Wahrscheinlichkeit eines Unfalls zwischen ihm und dem Liegerad trotzdem erhöht ist.)
mehrere Muskeln des Körpers trainieren können
Naja, ein paar Muskeln werden mehr beansprucht aber meist werden mehr Muskeln deutlich weniger beansprucht.


Also technisch ist es erstaunlich, was das Teil jetzt hinbekommt, aber normalerweise würde ich den Text als ziemlich schlampig recherchiert bewerten. Es taugt, um wenn nan selbst einen Text schreibt, mal zu schauen, ob es einem noch Punkte liefert, die man selbst bis dahin vergessen hätte, aber ich würde von diesem ausgehend immernoch eher einen neuen Text schreiben, als ihn zu bearbeiten oder gar unbearbeitet zu veröffentlichen.
Es kommt eine Flut an unzuverlässigen "Informations"webseiten auf uns zu, die ungeprüfte AI-Texte als Wahrheit darstellt. Als Webseiten für Produktvergleiche gab es das ja schon, die ohne eines auch nur anzusehen einfach z.B. das meistverkaufte Produkt empfehlen (oder natürlich das, das den Vergleich sponsort).
 
Sprache ist nie 100 % eindeutig, und das hier ist ein Beispiel dafür.
Liegerad hat Druvk auf den Rücken, Aufrechtrad nicht. Das ist keine Verringerung.

Du denkst jetzt an den Sitz, der auf den Rücken drückt. Gemeint war aber wohl, dass die Sitzposition einen Druck auf die Bandscheiben und anderen Teile des Rückens ausübt.

Auch die aufrechte Haltung ermöglicht eine gute Sicht auf die Umgebung.
Das sind Aufrechträder, nicht Liegeräder. (Liegeräder können mit relativ aufrechter Position für noch ganz gute Sicht gebaut werden, aber liegen generell in dem Punkt hinter Aufrechträder.)

Ich glaube, es geht hier um die Kopfhaltung (nicht Körperhaltung) und dass man nicht wie bei einem Upright den Kopf in den Nacken legen muss, um nach vorne zu schauen.

Aber es ist natürlich auch so, dass ChatGPT nicht versteht, was es da schreibt. Es ist ein wenig wie eine Suchmaschine, die die Ergebnisse zusammenfassen kann und manchmal auch Dinge falsch interpretiert. Das habe ich auch in der Software-Entwicklung gemerkt, wo es teilweise auf falschen Tatsachen bestanden hat.
Interessant ist auch, dass ChatGPT niemals 2x die exakt gleiche Antwort gibt, hier der neueste Versuch:

Liegeräder, auch als Liegedreiräder oder Recumbent-Bikes bezeichnet, haben im Vergleich zu herkömmlichen Fahrrädern einige Vorteile. Hier sind einige der wichtigsten Vorteile von Liegerädern:

  1. Komfort: Eine der wichtigsten Eigenschaften von Liegerädern ist der höhere Komfort im Vergleich zu herkömmlichen Fahrrädern. Da der Fahrer in einer entspannten Position liegt, entsteht weniger Druck auf den Händen, Handgelenken und dem Gesäß. Außerdem sind die Rückenlehnen und Sitze in der Regel besser gepolstert als bei herkömmlichen Fahrrädern.
  2. Aerodynamik: Liegeräder haben aufgrund ihrer Form eine bessere Aerodynamik als herkömmliche Fahrräder. Da der Fahrer in einer horizontalen Position liegt, wird der Luftwiderstand reduziert, was zu höheren Geschwindigkeiten und einer längeren Reichweite führen kann.
  3. Sichtbarkeit: Liegeräder sind aufgrund ihrer ungewöhnlichen Form und Größe im Verkehr oft besser sichtbar als herkömmliche Fahrräder. Dies kann zu einer erhöhten Sicherheit im Straßenverkehr beitragen.
  4. Vielseitigkeit: Liegeräder gibt es in vielen verschiedenen Ausführungen und können für verschiedene Zwecke eingesetzt werden, wie zum Beispiel für Freizeitfahrten, Pendeln oder Langstreckenreisen. Es gibt sogar Liegeräder, die speziell für Offroad-Fahrten entwickelt wurden.
  5. Gesundheitliche Vorteile: Da der Fahrer in einer entspannten Position liegt, werden die Muskeln und Gelenke weniger belastet als bei herkömmlichen Fahrrädern. Dies kann zu einer Verringerung von Schmerzen und Verletzungen führen, insbesondere bei Personen mit Rückenproblemen oder anderen körperlichen Einschränkungen.
Insgesamt bieten Liegeräder eine komfortable, aerodynamische und vielseitige Alternative zu herkömmlichen Fahrrädern, die für viele Menschen eine gute Wahl sein kann.


Aber auch hier merkt man, dass der Bot den Inhalt nicht wirklich versteht. Z. B. die Polsterung von Liegeradsitzen mit Sätteln zu vergleichen, ist ein Vergleich von Äpfeln mit Birnen ...
 
Also die Flut an schlampige recherchierten und geschrieben Texten fluten uns doch heute schon? Das kann mit AI eigentlich nur noch besser werden...
 
Zurück
Oben Unten