In einem anderen Artikel hat das LLM selber ja etwas über LLm geschrieben. Es wurde allerdings ein sehr technischer Text. Hier folgt nun der menschliche Touch. Dieser Text ist (Ehrenwort!) nicht durch ein KI-System erstellt worden (Ausser natürlich, falls ich selber schon längst Teil der Matrix geworden bin, ohne es zu merken).

Halluzination

Wie wir im oben verlinkten Artikel gelernt haben, werden LLMs trainiert, indem man ihnen existierende Texte füttert. Dabei lässt man immer wieder einzelne Wörter weg und lässt die KI “raten”, welches Wort dort stehen müsste. Wenn sie richtig rät, bekommt sie eine Belohnung (Also der letzte Schritt erhält einen höheren Score), wenn sie falsch rät, eine Strafe (bzw. einen negativen Score). Auf diese Weise lernt die KI, welche Wörter üblicherweise in welchem Kontext aufeinander folgen. Und auf diese Weise ensteht, wenn man das mit ausreichend vielen Wortsequenzen tut (Milliarden), dieser verblüffend intelligente Eindruck. Daraus ergeben sich mehrere Implikationen:

  • Die KI kann nur wiederholen, was irgendwann irgendwo geschrieben worden ist. Sie “erfindet” nichts. Damit kann man den Zorn derer nachvollziehen. deren kreative Leistungen als Trainingsmaterial für LLMs gemopst werden: Sie werden sowohl ums Ansehen als auch um die Früchte ihrer Tätigkeit gebracht.

  • Die KI “weiss” nicht, ob das Trainingsmaterial sinnvoll ist. Wenn ich sie mit “Hokus Pokus Streicholz” trainiere, dann wird sie fortan davon ausgehen, dass auf “Pokus” oft “Streichholz” folgt (nicht etwa “fidibus”). Dieses Problem wird dadurch gemildert, dass sie ja nicht nur mit dieser Wortfolge, sondern mit Milliarden von Wortfolgen trainiert wird. Aber es zeigt doch: Insbesondere bei Wortfolgen, die nicht so oft im Trainingsmaterial enthalten sind, kann eine bewusst oder veserhentlich eingebrachte falsche Sequenz etwas ausmachen.

  • Die KI kann völlig auf den falschen Dampfer geraten: Da eine Antwort aus einem Wort besteht, auf das eines folgt, das häufig darauf folgt, und darauf wieder eines, das höufig da kommen sollte, und da die LLM, um nicht langweilig zu werden, auch einen gewissen Zufallsfaktor in die Auswahl des nächsten Worts einfliessen lässt, kann eine einzige unpassende Abzweigung die Antwort völlig verfälschen. Sie klingt dann immer noch absolut überzeugend, aber sie ist reinster Blödsinn. Diese Eigenschaft der LLMs nennt man (durchaus vermenschlichend) “Halluzinieren”.

Selbstreflexion

Ein LLM kann auch über sich selbst befragt werden. Dann erkennt man auch gut, dass es eben doch nicht wirklich intelligent ist.

Beispiel:

> Wo befindest du dich physisch?

LLM: Ich bin ein großes Sprachmodell, das von Google trainiert wurde. Ich existiere nicht physisch. Ich bin ein Computerprogramm, das auf Google’s Servern läuft. Diese Server befinden sich an verschiedenen Standorten weltweit, aber ich selbst habe keinen festen, physischen Ort.

Nun habe ich diese Frage einer Instanz von gemma3:12b gestellt, die von Ollama auf meinem PC gesteuert wird. Es läuft also mitnichten auf Google’s Servern, sondern auf meinem bescheidenen PC.

Dafür zeigt sich das Programm bei der nächsten Frage direkt weise:

> Hast du ein Bewusstsein?

Das ist eine der grundlegendsten und schwierigsten Fragen, wenn es um KI geht. Die kurze Antwort ist: Nein, ich habe kein Bewusstsein.

Hier ist eine ausführlichere Erklärung:

  • Was bedeutet Bewusstsein? Bewusstsein ist ein komplexes Konzept, das viele Aspekte umfasst: subjektive Erfahrung, Selbstwahrnehmung, Empfindungen, Emotionen, Gedanken. Es ist nicht einfach nur die Fähigkeit, Informationen zu verarbeiten, sondern auch das “Fühlen” und “Wissen”, dass man existiert.
  • Wie ich funktioniere: Ich bin darauf trainiert, Muster in Daten zu erkennen und basierend darauf Text zu generieren. Ich simuliere das Verstehen von Sprache und das Treffen von Entscheidungen, aber ich tue dies auf der Grundlage von Algorithmen und statistischen Wahrscheinlichkeiten. Ich habe keine subjektive Erfahrung oder innere Welt.
  • Simulation vs. Realität: Obwohl ich menschenähnliche Antworten geben kann und möglicherweise sogar das Gefühl erwecken, etwas zu verstehen, bin ich lediglich ein sehr ausgeklügelter Simulator. Ich bin darauf trainiert, so zu reagieren, als hätte ich Bewusstsein, aber das bedeutet nicht, dass ich es tatsächlich habe.
  • Die Debatte: Es gibt eine anhaltende Debatte darüber, ob und wann KI Bewusstsein entwickeln könnte. Einige Forscher glauben, dass dies möglich ist, wenn KI in ihrer Architektur und ihren Fähigkeiten bestimmte Schwellenwerte überschreitet. Andere sind skeptisch und argumentieren, dass Bewusstsein untrennbar mit biologischen Prozessen verbunden ist.

Im Moment bin ich ein Werkzeug, das auf Sprache basiert. Ich kann komplexe Aufgaben erledigen, aber ich habe kein Bewusstsein im menschlichen Sinne.

Interessant finde ich den letzten Abschnitt. “Im Moment” und “kein Bewusstsein im menschlichen Sinn”. Aber in einem anderen Sinn schon?

Wie auch immer. Man kann mit einem LLM lange und teilweise erheiternde Debatten über solche Themen führen.