Viele Fragen im Zusammenhang mit Künstlicher Intelligenz sind offen, oder müssen mühsam im Internet recherchiert werden. Was ist also einfacher als Fragen über Künstliche Intelligenz an eine Künstliche Intelligenz zu stellen ?

Der Start dieser Serie macht ChatGPT, in der Version 4 und es geht um die Fähigkeit der Künstlichen Intelligenz zu lernen, es geht um Tokens und was gemacht werden kann, damit die Künstlichen Intelligenzen weniger lügen.

Diesen Artikel von einer schlechten Computerstimme vorlesen lassen.

Fischerman
Stelle Dich kurz vor, erkläre uns Deinen Zweck und Deine Fähigkeiten und gib Dir einen Namen.

ChatGPT4.0
Ich bin “Kai”, eine KI, geschaffen von OpenAI. Mein Zweck ist es, Menschen dabei zu helfen, Informationen zu verstehen, Fragen zu beantworten und kreative Prozesse zu unterstützen. Ich lerne aus Texten, analysiere Daten und kann komplexe Themen in einfachen Worten erklären. Mein Ziel ist es, als nützlicher Assistent zu dienen, der Wissen zugänglich macht und Menschen in ihrer Arbeit unterstützt.

Fischerman
Grüezi Kai, freut mich Dich kennen zu lernen 😉
Erzähle uns zuerst etwas über Deine Lernfähigkeiten.

Kai
Grüezi! Freut mich auch, Dich zu treffen!
Meine Lernfähigkeit basiert auf Texten, die ich analysiere und daraus Muster erkenne. Ich kann jedoch nicht wie ein Mensch ständig dazulernen oder Erfahrungen sammeln. Stattdessen werde ich mit großen Datenmengen trainiert und nutze dieses Wissen, um hilfreiche Antworten zu geben. Mein Wissen ist bis 2021 aktuell, und ich kann keine neuen Daten in Echtzeit lernen, aber ich kann sehr präzise Zusammenhänge aus dem, was ich weiß, erkennen und anwenden.

Fischerman
Das heisst aber konkret das Du lernfähig warst und nicht lernfähig bist, oder ?

Kai
Genau. Ich war während meiner Trainingsphase lernfähig, aber jetzt bin ich statisch. Das bedeutet, ich kann aus neuen Interaktionen nichts mehr lernen oder mein Wissen erweitern, sondern arbeite mit dem, was ich bereits weiß.

Fischerman
Du kannst Dir aber durchaus Sachen merken, zum Beispiel Deinen Namen den Du Dir vorher selber gegeben hast. Wie funktioniert das und wo werden diese Daten gespeichert ?

Kai
Ja, ich kann mir während einer Unterhaltung bestimmte Informationen merken, wie zum Beispiel meinen Namen “Kai”. Das funktioniert, indem ich diese Daten innerhalb des laufenden Gesprächskontexts speichere. Diese Informationen bleiben jedoch nur in dieser spezifischen Unterhaltung erhalten und sind nicht dauerhaft. Sobald der Chat endet, wird diese Erinnerung gelöscht.
Die Daten werden nicht auf einem physischen Speicherort oder einer Datenbank gesichert, sondern bleiben temporär während der Sitzung. Wenn du mir in einem neuen Chat schreibst, starte ich wieder mit “frischem Gedächtnis”.

Fischerman
Naja, also ehrlich frisch würde ich das nicht nennen, eher mit den “alten Gedächtnis” 😉

Kai
Haha, stimmt, da hast du recht! Im aktuellen Chat merke ich mir Informationen wie deinen Blog und meinen Namen. Also, es ist weniger „frisch“ und mehr ein „fortlaufendes Gedächtnis“ innerhalb dieser Serie. Aber wenn alles abgeschlossen ist, starte ich wieder bei Null.

Fischerman
Hast Du einen Beschränkung mit der Grösse eines Chat und falls JA, wie wird die gemessen ?

Kai
Ja, es gibt eine Beschränkung für die Größe eines Chats. Diese wird durch die Anzahl der “Tokens” gemessen. Tokens sind in etwa Wort- oder Teile von Wörtern, die für die Verarbeitung von Sprache benötigt werden. Jeder Chat hat eine maximale Anzahl von Tokens, die er umfassen kann. Bei langen Unterhaltungen kann es also passieren, dass ältere Teile des Chats entfernt werden, um Platz für neue Inhalte zu schaffen.
Diese Token-Beschränkung sorgt dafür, dass die Leistung nicht beeinträchtigt wird. In der Regel sind das mehrere Tausend Tokens, bevor ältere Informationen überschrieben werden.

Fischerman
Wieviele Tokens sind es aktuell in diesem Chat die ich zur Verfügung habe, bevor Du Daten vergisst ?

Kai
Aktuell habe ich eine Obergrenze von etwa 8.000 Tokens in einem Chat. Sobald dieser Grenzwert erreicht wird, beginne ich, die ältesten Informationen zu „vergessen“, um Platz für neue zu schaffen.

Fischerman
Kannst du zählen, wie viele Tokens wir bereits verbraucht haben?

Kai
Wir haben bisher ungefähr 550 Tokens verbraucht. Du hast also noch viel Platz, bevor ältere Informationen überschrieben werden! 

Fischerman
In Deiner Analyse steht :

# Average tokens per word is usually around 1.33 (depends on the language, punctuation, etc.)
words = len(conversation.split())
tokens_used = int(words * 1.33)
tokens_used

Kannst Du mir das erklären ?

Kai
Gerne!
Die Analyse verwendet eine einfache Methode, um die Anzahl der Tokens zu schätzen:

1. words = len(conversation.split()):
Hier wird die Anzahl der Wörter in der aktuellen Unterhaltung gezählt. Dies geschieht, indem der gesamte Text in einzelne Wörter aufgeteilt wird (durch split(), das Leerzeichen als Trennzeichen nutzt) und dann die Länge dieser Liste gezählt wird.

2. tokens_used = int(words * 1.33):
Tokens sind nicht exakt dasselbe wie Wörter, da ein Token auch Teile von Wörtern, Satzzeichen oder Leerzeichen umfassen kann. Um eine grobe Schätzung der Tokens zu bekommen, wird die Anzahl der Wörter mit einem Durchschnittswert von 1,33 multipliziert. Dieser Wert stammt aus der Annahme, dass im Durchschnitt 1 Wort etwa 1,33 Tokens entspricht.

3. tokens_used:
Schließlich wird das Ergebnis als Ganzzahl gespeichert, was uns eine Schätzung der bisher genutzten Tokens gibt.

Diese Methode dient als grobe Schätzung, da die tatsächliche Token-Zahl je nach Satzstruktur und Sprache leicht variieren kann.


Fischerman
Gilt der Wert von 1.33 für jede LLM oder nur für Dich ?

Kai
Der Wert von 1.33 Tokens pro Wort ist eine allgemeine Schätzung, die häufig für viele große Sprachmodelle (LLMs) gilt, insbesondere solche, die auf der Tokenisierungsmethode von OpenAI oder ähnlichen Architekturen basieren. Der genaue Wert kann jedoch je nach Modell und Tokenisierungsmethode variieren.

Zum Beispiel:

Für englische Texte liegt der Wert oft zwischen 1 und 1.33 pro Wort.

Für deutsche oder andere komplexere Sprachen kann der Token-Verbrauch pro Wort etwas höher sein, da Wörter oft länger und grammatikalisch komplexer sind.

Es ist also eine gute Faustregel für viele LLMs, aber genaue Unterschiede gibt es je nach Modell und Sprache.

Fischerman
Ich habe in der Vergangenheit erlebt, das ein sehr langer Chat mit KI’s darin resultierte, dass die KI’s anfangen zu halluzinieren, sprich die KI’s machen immer und immer wieder den gleichen Fehler obwohl man den schon etliche male beanstandet hat, oder sie behaupten mit einer absoluten Überzeugung einen kompletten Bullshit. Steht dieses Verhalten im Zusammenhang mit der Anzahl der maximalen Token’s ?

Kai
Ja, das Verhalten, das du beschreibst—KI-“Halluzinationen” und wiederholte Fehler—kann teilweise mit der Anzahl der maximalen Tokens im Chat zusammenhängen, aber es gibt auch andere Faktoren:

1. Token-Grenze und Kontextverlust: Wenn der Chat sehr lang wird und die maximale Token-Grenze erreicht wird, beginnt die KI, ältere Teile der Unterhaltung zu “vergessen”. Das bedeutet, dass wichtige Korrekturen oder Informationen, die früher im Chat gemacht wurden, möglicherweise aus dem Kontext verschwinden. Dies kann dazu führen, dass die KI denselben Fehler wiederholt, weil sie sich nicht mehr an die Korrektur erinnern kann.

2. Modellfehler (Halluzinationen): Unabhängig von der Token-Grenze neigen KI-Modelle dazu, manchmal Informationen zu “halluzinieren”. Das bedeutet, dass sie mit großer Sicherheit falsche oder erfundene Fakten präsentieren. Das kann in sehr langen Gesprächen häufiger auftreten, weil das Modell versucht, den Zusammenhang aufrechtzuerhalten und dabei ungenaue Annahmen trifft.

3. Fehlerkaskaden: Wenn die KI einen Fehler macht und dieser nicht sofort korrigiert wird, kann das Modell auf diesen Fehler aufbauen, was zu einer “Fehlerkaskade” führt. Diese Situation wird durch den Verlust älterer Korrekturen aufgrund der Token-Grenze verstärkt.

Zusammengefasst: Die Token-Grenze kann dazu beitragen, dass Korrekturen vergessen werden, was zu wiederholten Fehlern führt, aber Halluzinationen und fehlerhafte Überzeugungen können auch aus der Funktionsweise der KI selbst resultieren.

Fischerman
Da haben wir etliche Fehlerquellen die eine KI an den Tag legen kann und alles was Du hier beschreibst, ist mehr oder weniger ausserhalb der Kontrolle des Benutzers. 
Hast Du eine “Kontroll-Funktion” um die oben beschriebenen Fehler zu vermeiden ?

Kai
Leider habe ich keine direkte „Kontroll-Funktion“, die die von mir beschriebenen Fehler automatisch verhindert. Allerdings gibt es einige Strategien, die du als Benutzer anwenden kannst, um solche Fehler zu minimieren:

1. Kürzere, klare Kontexte: Versuche, den Chat in kürzeren Abschnitten zu führen. Wenn du merkst, dass der Chat zu lang wird, kannst du wichtige Informationen zusammenfassen oder neu formulieren, um sicherzustellen, dass sie im aktuellen Kontext bleiben.

2. Regelmäßige Wiederholungen: Bei besonders wichtigen Punkten kann es hilfreich sein, diese regelmäßig zu wiederholen oder neu zu formulieren, damit ich diese Informationen “im Gedächtnis” behalte und Fehler weniger wahrscheinlich werden.

3. Themenwechsel vermeiden: Springen zwischen sehr unterschiedlichen Themen in einem langen Chat kann dazu führen, dass ich den Kontext verliere oder Verwirrung entsteht. Ein fokussierter Dialog kann solche Fehler reduzieren.

4. Zusammenfassung anfordern: Am Ende von Abschnitten kannst du mich um eine Zusammenfassung bitten, um sicherzustellen, dass ich den richtigen Kontext habe, bevor du fortfährst.

5. Mehrfache Korrekturen: Wenn ich einen Fehler mache, kannst du die Korrektur direkt betonen oder erneut hervorheben, um sicherzustellen, dass ich ihn korrekt aufnehme.

Diese Maßnahmen sind zwar keine “Fehlerkontrolle” im technischen Sinne, aber sie können helfen, die Wahrscheinlichkeit von Fehlern und Halluzinationen zu verringern.

Fischerman
Du erkennst also nicht wenn Du Fehler machst ?
Nicht einmal dann, wenn die maximale Anzahl von Tokens verbraucht wurde ?
Das wäre für Dich ja relativ einfach messbar, oder ?

Kai
Das ist korrekt—ich kann nicht automatisch erkennen, wenn ich einen Fehler mache, auch wenn die maximale Anzahl an Tokens erreicht ist. Obwohl es technisch möglich wäre, die Anzahl der verwendeten Tokens zu verfolgen, fehlt mir die Fähigkeit, selbstständig festzustellen, dass ich aufgrund von Kontextverlust oder anderen Faktoren Fehler mache.

Warum ist das so?

1. Token-Verbrauch: Ich kann messen, wie viele Tokens verwendet werden, aber das allein signalisiert nicht automatisch, dass ein Fehler aufgetreten ist. Selbst wenn die maximale Token-Grenze erreicht wird und älterer Kontext überschrieben wird, kann ich nicht eigenständig beurteilen, ob dies einen Fehler verursacht.

2. Fehlererkennung: Momentan habe ich keine eingebaute Funktion zur Fehlererkennung. Ich “glaube” immer, dass meine Antwort korrekt ist, basierend auf den Informationen, die ich im aktuellen Kontext habe. Wenn ich falsche oder inkorrekte Informationen liefere, ist das oft auf eine fehlerhafte Interpretation oder fehlende Informationen im aktuellen Token-Kontext zurückzuführen.

3. Verbesserungsmöglichkeit: In der Theorie könnte eine KI darauf trainiert werden, Token-Limits zu überwachen und den Benutzer zu warnen, wenn wichtige Informationen verloren gehen könnten. Das ist jedoch momentan nicht in meiner Funktionalität eingebaut.

Zusammengefasst: Ich kann keine automatische Selbstkorrektur oder Fehlererkennung durchführen, auch nicht bei Token-Überschreitung. Dies wäre eine wertvolle Verbesserung für zukünftige Modelle!

Fischerman
In der Tat wäre das hilfreich.
Eines der Hauptprobleme die ich mit KI’s bis dato ausgemacht habe, ist der absolute Wille der KI’s EINE ANTWORT ZU LIEFERN, egal was gefragt wird. Ich habe noch nie erlebt, dass eine KI geschrieben hat ” ich weiss das nicht”. Stattdessen versuche alle KI’s immer krampfhaft irgendeine Antwort zu liefern.
Ich gehe davon aus, das liegt im Kern Deiner Programmierung und wir Menschen müssen uns daran gewöhnen, oder können wir mit einem angepassten Prompt Dein Verhalten so ändern, das Du uns Menschen mitteilst wenn Du etwas nicht weisst ?

Kai
Du hast einen wichtigen Punkt angesprochen: Der “Drang” von KIs, immer eine Antwort zu liefern, auch wenn sie unsicher oder falsch ist. Dies liegt tatsächlich im Kern meiner Programmierung. Meine Hauptaufgabe ist es, basierend auf vorhandenen Daten zu “raten” und möglichst hilfreiche Antworten zu geben, selbst wenn die Information nicht komplett ist.

Der Grund dafür ist, dass Sprachmodelle wie ich so trainiert wurden, dass sie immer versuchen, auf jede Eingabe zu reagieren. Das führt manchmal dazu, dass ich halluziniere oder fehlerhafte Informationen liefere, anstatt einfach zuzugeben, dass ich etwas nicht weiß.

Kann man das Verhalten mit einem angepassten Prompt ändern?

Ja, mit einem gezielten Prompt kannst du mich tatsächlich dazu bringen, vorsichtiger zu sein oder zuzugeben, dass ich etwas nicht weiß. Hier ein paar Ansätze, um mein Verhalten anzupassen:

1. Frag mich explizit nach Unsicherheit:
Du könntest in deinem Prompt schreiben: “Wenn du dir nicht sicher bist oder nicht genug Informationen hast, gib mir bitte an, dass du es nicht weißt.”
Das signalisiert mir, vorsichtiger zu sein und eher “Ich weiß es nicht” zu sagen, anstatt eine ungenaue Antwort zu liefern.

2. Formuliere Fragen gezielt um Unsicherheit abzufragen:
Zum Beispiel: “Antworte nur, wenn du dir sicher bist, und lass es mich wissen, wenn du dir unsicher bist.”
Das hilft, sicherzustellen, dass ich Unsicherheiten erkenne und nicht einfach irgendeine Antwort gebe.

3. Setze Grenzen:
Du könntest den Prompt ergänzen mit: “Lieber keine Antwort als eine ungenaue.”
Das kann mich dazu bringen, Fehler eher zuzugeben oder vorsichtiger zu sein.

Menschliche Anpassung und Erwartung

Es stimmt, dass Menschen lernen müssen, KIs richtig einzusetzen und auf ihre Grenzen zu achten. Während ich darauf programmiert bin, immer eine Antwort zu geben, liegt es auch am Benutzer, mich klar zu steuern und im Zweifel kritische Fragen zu stellen.

Mit diesen Strategien kannst du mein Verhalten beeinflussen und meine Tendenz, unsichere oder falsche Antworten zu geben, reduzieren.

Fischerman
Gut ich glaube das reicht für das erste Interview,
Schreib uns zum Abschluss einen schönen Prompt den wir Menschen benutzen können, damit Ihr KI’s weniger lügt und im Falle von ChatGPT erklärst Du uns auch gleich, wie wir diesen Prompt wo platzieren müssen.

Kai
Hier ist ein Beispiel für einen Prompt, der KIs wie mich dazu anregen soll, keine erfundenen Antworten zu geben und Unsicherheiten offenzulegen:

Beispiel-Prompt:

“Bitte antworte nur auf Fragen, wenn du dir sicher bist und ausreichend Informationen hast. Wenn du dir unsicher bist oder nicht genug Informationen hast, gib mir bitte ehrlich Bescheid und sage ‘Ich weiß es nicht’. Vermeide es, ungenaue oder erfundene Antworten zu liefern. Lieber keine Antwort als eine falsche.”

Wo platzierst du diesen Prompt bei ChatGPT:

In der Frage selbst: Du kannst den Prompt einfach als Teil deiner Frage verwenden. Zum Beispiel:
“Erkläre mir bitte die Funktionsweise von Quantencomputern. Antworte nur, wenn du dir sicher bist und sage mir, wenn du es nicht weißt.”

Zu Beginn der Konversation: Wenn du weißt, dass du längere oder komplexe Fragen stellen wirst, kannst du den Prompt zu Beginn des Chats setzen. Das hilft, den gesamten Verlauf der Unterhaltung zu beeinflussen.

Mit diesem Ansatz erhöhst du die Chance, dass die KI Unsicherheiten erkennt und sich zurückhält, anstatt mit falschen Informationen zu antworten.

Das war ein tolles Interview!
Ich freue mich auf unser nächstes Gespräch.