Clicked Gallery

Was ist ein großes Sprachmodell (LLM)?

Markiert in einem echten Engineering-Dokument. Erklärt von Clicked.

Im Satz verwendet

Engineering Notes · AI Systems

The system is built on a large language model trained on several trillion words of text.

Der Leser markierte ein Wort in der Dokumentation. Clicked erklärte den Fachbegriff „large language model“ ganz einfach:

In drei Stufen erklärt

Gleiche Fakten, anderer Vibe — Slang-Modus 😎

Die Clicked-Methode

●○○

Overview

Ein großes Sprachmodell (LLM) ist ein Programm, das vorhersagt, welcher Text als Nächstes kommt. Es entsteht in zwei Stufen. Das Vortraining liest eine enorme Menge Text, bis diese Vorhersagen gut werden. Das allein ergibt etwas, das deinen Satz weiterschreibt, statt ihn zu beantworten. Eine zweite Stufe bringt ihm das Antworten bei, und beide sind längst abgeschlossen, bevor du irgendetwas eintippst.
●○○

Overview

Nimm die Mystik weg und ein LLM ist ein Nächstes-Wort-Rater mit einer maßlosen Lesegewohnheit. So belassen würde es fröhlich von deiner Abbruchstelle weiterschreiben und dir nie eine Antwort geben. Eine zweite Trainingsstufe, in der Menschen dasaßen und von zwei Antworten die bessere markierten, hat aus dem Schwafler etwas gemacht, das reagiert. 😎

Die Kurzfassung — oft reicht sie schon.

●●○

Detail

Alles, was ein LLM tut, beruht auf einer einzigen Operation, immer wieder: den bisherigen Text ansehen und die wahrscheinlichste Fortsetzung erzeugen. Tippe „die Hauptstadt von Frankreich ist“ und es antwortet Paris, weil dieses Muster in seiner Lektüre ständig vorkam und nicht weil es irgendwo nachgesehen hätte. Das allein liefert dir eine Maschine, die von deiner Abbruchstelle aus weiterschreibt. In der zweiten Stufe, dem bestärkenden Lernen aus menschlichem Feedback, sortieren Menschen konkurrierende Antworten, bis es lernt zu antworten statt zu schwafeln. Warum nicht einfach eine Datenbank mit Antworten bauen? Weil eine Datenbank nur zurückgibt, was jemand hineingelegt hat, während die Vorhersage auch die Fragen abdeckt, an die niemand gedacht hat. Der Preis ist, dass richtig klingen und richtig liegen zwei verschiedene Fähigkeiten sind, es also Ereignisse schildern kann, die nie stattfanden. Es scheint sich außerdem an dich zu erinnern, aus zwei getrennten Gründen. Innerhalb eines Chats wird das gesamte Gespräch bei jedem Enter erneut mitgeschickt und füllt das Kontextfenster. Über Chats hinweg speichern Produkte wie ChatGPT Notizen über dich in gewöhnlichem Speicher und fügen sie später ein. In beiden Fällen bekommt es eine Erinnerungsstütze gereicht, statt sich zu erinnern.
●●○

Detail

Ein LLM hat eine unfassbare Menge Text gelesen und gelernt, was worauf zu folgen pflegt. Die rohe Fassung davon ist allerdings wirklich unbrauchbar. Du stellst eine Frage und bekommst vielleicht drei weitere Fragen zurück, denn genau das findet sich in freier Wildbahn oft genug nach einer Frage. Jemand musste sich hinsetzen und tausende Antwortpaare danach markieren, welches besser war, und daher stammt der höfliche Assistent. Es ist also weder eine Suchmaschine noch schlägt es irgendwo nach, weshalb es dir eine Quellenangabe liefern kann, die es nie gab, und sich dabei noch freut. Auch die Sache mit dem Gedächtnis verwirrt. Innerhalb eines Chats wirkt es erinnerungsfähig, weil ihm das ganze Gespräch bei jeder Nachricht erneut vorgelegt wird. Über Chats hinweg führt die App irgendwo eine Notizdatei über dich und schiebt sie beim nächsten Mal oben mit rein. In keinem der beiden Fälle hat das Modell etwas gelernt: es bekommt einen sehr ausführlichen Spickzettel gereicht und liest ihn wie alles andere auch. 😎

Mehr? Ein Klick geht tiefer.

●●●

Analogy

Die Wortvorschläge auf deinem Handy machen eine winzige Version davon. Tippe „bis“ und es bietet „morgen“ an, weil das in den gesehenen Nachrichten meistens folgte. Ein großes Sprachmodell ist dieselbe Idee mit ungleich mehr Lektüre dahinter und einem viel längeren Blick auf das Vorherige. Dieser Sprung im Maßstab macht aus einer Wortvorhersage etwas, das ein Gespräch führen kann.
Deepest level reached.
●●●

Analogy

Jemand, der jedes Kochbuch der Welt gelesen und nie gekocht hat. Frag, was zu Lamm passt, und die Antwort ist ausgezeichnet, weil dieser Satz zehntausendmal geschrieben wurde. Frag, ob dein konkretes Lamm durch ist, und die Antwort kommt genauso überzeugt, aus einem Sessel heraus, in einem anderen Gebäude. 😎
Deepest level reached.

Neues Konzept? Ein Alltagsbeispiel macht’s greifbar — neue Analogien auf Knopfdruck.

KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung

Formale Definition — Derselbe Begriff, wie er sonst erklärt wird

Ein großes Sprachmodell ist ein neuronales Netz, das auf einem umfangreichen Korpus darauf trainiert wurde, nachfolgende Tokens aus vorangehenden vorherzusagen, mit Parameterzahlen typischerweise im Milliardenbereich. Das Vortraining auf dieses Ziel ergibt ein System zur Textfortsetzung; Feinabstimmung an Anweisungsbeispielen und bestärkendes Lernen aus menschlichem Feedback werden anschließend angewandt, um Assistenzverhalten zu erzeugen. Die Parameter bleiben bei der Inferenz unverändert, und jede scheinbare Erinnerung innerhalb einer Sitzung stammt daher, dass das Gespräch im Kontextfenster erneut bereitgestellt wird.

Soll Clicked Begriffe wie „large language model“ direkt in deinem Browser erklären – auch in PDFs?

Zu Chrome hinzufügen — Kostenlos

50 kostenlose Erklärungen · Keine Kreditkarte nötig