Praktisches & Grundsätzliches zur Informatik


ChatGPT

Warum mich KI an Aladins Geist aus der Flasche erinnert

Mein Standpunkt zu ChatGPT ist folgender:

ChatGPT ist wie menschliche Kommunikationspartner auch: Sie können sich irren oder auch einfach zu wenig gebildet sein, um wirklich zutreffende Antworten kennen zu können. Dennoch wird man hin und wieder auch dann klüger, wenn man sich mit solchen Leuten unterhält (es gibt ja niemand, der alles Wissen der Menschheit kennt und richtig darzustellen weiß).

So gesehen ist jede Variante ChatGPT(D), wo D den Datenbestand bezeichnet, an dem sie trainiert hat, einfach nur weiterer denkbarer Kommunikationspartner (und erstaunlicherweise schon ein derart perfekter, dass er vielen unserer Mitmenschen in nichts mehr nachzustehen scheint.

Den Turing-Test, so scheint mir, hat ChatGPT deswegen schon bestanden.

|

Interessant auch: Am Mittwoch in der zweiten Februarwoche 2023 hat Google sich Mitte dieser Woche im Zuge der Vorstellung ihres Konkurrenten zu ChatGPT derart blamiert, dass Googles Aktienkurs fast sofort um etwa 8 Prozent gefallen sein soll.

Wenn ich richtig verstanden habe, wie es dazu kam, war Googles Chat-System Bard trainiert an Daten nach 2021. ChatGPT aber an Daten vor 2021. Auf die Frage, wann Astronomen den ersten "erdähnlichen" Exoplaneten entdeckt hätten, hat deswegen Googles System (aus meiner Sicht nicht verwunderlich) behauptet, dass er erst kürzlich durch das James-Web-Teleskop. Tatsache ist nun aber:

Note: Dass ständig Exoplaneten entdeckt werden, auch solche, die erdähnlich sein könnten,, ist nichts Neues. Zwei Schweizer Astronomen hatten 1995 den ersten Exoplaneten gefunden, der den sonnenähnlichen Stern 51 Pegasi umkreist. Seit dieser Entdeckung vor fast 30 Jahren sind inzwischen schon mehr als 5000 weitere Exoplaneten gefunden worden.

Interessant an dem Geschehen diesen Mittwoch scheint mir nun, dass mir selbst schon die Woche davor zwei im Internet auf den ersten Blick missverständlich formulierte Presseberichte aufgefallen waren, die Bards Irrtum mit verursacht haben könnten: Ich halte es deswegen für gut möglich, dass ChatGPT, hätte man es mit denselben Daten trainiert, wirklich auch denselben Flüchtigkeitsfehler begangen hätte wie Bard (denn auch ich habe ja zunächst die beiden Titelzeilen — so auf den ersten Blick, für einige Sekunden das Possesivpronomen überlesend — falsch interpretiert). Schade, dass wir es nie erfahren werden, wie ChatGPT – falls trainiert am selben Datenbestand – geantwortet hätte.

Auf jeden Fall spricht in meinen Augen viel dafür, anzunehmen, dass die Antworten beider Systeme – auf welche Frage auch immer – typisch sein könnten für die entsprechende Antwort einer Person, die all die Artikel, an denen so eine KI trainiert wurde, gelesen und bewusst zur Kenntnis genommen hat.

Es ist dies eine Leistung, die ich persönlich einer KI noch lange nicht zugetraut hätte.

Junge Leute, bis hin zu solchen, die noch nicht in Rente sind, scheinen mir (im eigenen Interesse) gut beraten, darüber nachdenken, welche Chancen und Risiken diese Entwicklung mit sich bringt. Die Leistungsfähigkeit von KI wird sich ja ganz sicher exponentiell fortentwickeln.

Aladins Flasche, aus der ein mächtiger Geist sich anschickt zu kommen, scheint nun entkorkt!

|

Note: GPT steht für „Generative Pretrained Transformer“. Es handelt sich um ein ein stochastisches System, das Antworten auf Basis von Daten zusammenstellt, die man ihm vorher in enorm großer Menge gezeigt hat. Der generierte Text ist jener, der dem GPT als am wahrschinlichsten erscheint — das aber unter rein formalen Gesichtspunkten. GPT weiß nicht, was jene Worte und Sätze bedeuten. Erst der Leser ordnet ihnen Sinn zu.

Wie zutreffend so generierte Aussagen sind, hängt stark von der (i.A. unbekannten) Qualität der Daten ab, anhand derer eine gegebene Installation von ChatGPT trainiert wurd.


|

Wie Chips haben auch generative KI-Systeme ein exponentielles Wachstum erlebt.
Allerdings hat sich dieses Wachstum in einer kürzeren Zeitspanne vollzogen, nämlich in den letzten fünf Jahren. Es lässt sich entweder an der zum Trainieren der Modelle erforderlichen Rechenleistung oder an der Anzahl der in den Modellen enthaltenen Parameter, einem Indikator für ihre Komplexität und Flexibilität, messen. Zum Beispiel enthielt das GPT-2 von OpenAI im Jahr 2019 nur 1,5 Milliarden Parameter. Im Jahr 2022 enthielt das PaLM von Google 540 Milliarden Parameter (Stanford University, 2023). Heute (im Frühjahr 2024) wird geschätzt, dass OpenAIs GPT-4 weit über 1 Billion Parameter enthält.







spw/ChatGPT.htmChatGPT . KI . GeistNews?

Mehr + B G E + S H A + More

Gute Charakterisierung der Funktionsweise und der Grenzen von ChatGPT

KIT zu ChatGPT

Wie ChatGPT das Ziegenproblem erklärt

Wie ChatGPT Emergenz und Quanteninformation erklärt

ChatGPT Basics

Denken Menschen ähnlich wie ChatGPT es tut?

Wie ChatGPT sinnvollen Text erzeugt

Ein Video-Vortrag zu ChatGPT, den komplett anzusehen sich lohnt

Beispiel 1

Beispiel 2

Wie Hochreiters LSMT und xLSMT Nachteile der Transformer-Technologie beheben

NX-AI Sourcecode