Clicked Gallery

Was ist Tokenisierung?

Markiert in einem echten Engineering-Dokument. Erklärt von Clicked.

Im Satz verwendet

Engineering Notes · AI Systems

During preprocessing, tokenization splits the raw text into subword units the model actually reads.

Der Leser markierte ein Wort in der Dokumentation. Clicked erklärte den Fachbegriff „tokenization“ ganz einfach:

In drei Stufen erklärt

Gleiche Fakten, anderer Vibe — Slang-Modus 😎

Die Clicked-Methode

●○○

Overview

Tokenisierung ist die Art, wie KI-Modelle Text in Stücke zerlegen, bevor sie ihn lesen. Die Stücke, Tokens genannt, sind meist Wortbrocken statt ganzer Wörter. Modelle sehen, zählen und berechnen nach Tokens, nicht nach Wörtern oder Buchstaben.
●○○

Overview

Tokenisierung heißt: Die KI hackt deinen Text in mundgerechte Brocken namens Tokens, bevor sie irgendwas liest. Keine Buchstaben, keine Wörter, etwas dazwischen — und es ist das einzige Alphabet, das das Modell hat. 😎

Die Kurzfassung — oft reicht sie schon.

●●○

Detail

Ein Tokenizer trägt ein festes Vokabular, typischerweise 50.000 bis 200.000 Einträge, gebildet aus den Zeichenkombinationen, die im Trainingstext am häufigsten vorkommen. Häufige Wörter überleben als einzelnes Token, seltene werden zerteilt, aus Unglücklichkeit wird etwa Un, glücklich und keit. Im Englischen ergibt das im Schnitt rund drei Viertel eines Wortes pro Token, doch derselbe Satz auf Japanisch oder Hindi kann zwei- bis dreimal so viele Tokens kosten, weil das Vokabular überwiegend aus englischem Text gebaut wurde. Diese Lücke zählt, denn API-Preise gelten pro Million Tokens, dieselbe Frage ist in manchen Sprachen also buchstäblich teurer. Tokenisierung erklärt auch einen berühmten Aussetzer: Ein Modell, das die Buchstaben in „strawberry“ nicht zählen kann, sieht gar keine Buchstaben, sondern zwei oder drei Brocken. Auch Zahlen werden an seltsamen Stellen zerhackt, einer der Gründe, warum Rechnen Modelle stolpern lässt.
●●○

Detail

Der Tokenizer besitzt ein festes Menü aus 50k bis 200k Textbrocken, gelernt aus dem Trainingsmaterial, und jeder Satz von dir wird aus diesem Menü nachgebaut. Alltagswörter reisen als ein Token, komische werden gewürfelt, Un-glücklich-keit-Style. Englisch kommt im Schnitt auf etwa drei Viertel Wort pro Token, dieselbe Frage auf Japanisch verbrennt aber zwei- bis dreimal mehr, und da pro Million Tokens abgerechnet wird, zahlen manche Sprachen buchstäblich eine Sprachsteuer. Daher kommt auch die „strawberry“-Nummer: Das Modell sieht nie r-r-r, es sieht ein paar Brocken ohne Buchstaben darin. Gleiches Spiel bei Mathe, Zahlen werden an zufälligen Stellen zerschnitten, und dann wundern sich alle, dass es nicht addieren kann. 😎

Mehr? Ein Klick geht tiefer.

●●●

Analogy

Bauen mit LEGO. Eine Burg wird nicht aus einem Stück gegossen; sie wird aus einem festen Katalog von Standardsteinen zusammengesetzt, und der Baumeister denkt ausschließlich in Steinen. Frag nach der Maserung des Plastiks in einem Stein und du erntest einen leeren Blick, denn der Stein ist das Kleinste, das für ihn existiert.
Deepest level reached.
●●●

Analogy

Nur mit Emojis texten. Mit dem Standardset lässt sich viel sagen, aber nur, was das Set abdeckt. Für deinen speziellen seltsamen Dienstag gibt es kein Emoji, also näherst du dich mit dreien an, die ungefähr in die Richtung zeigen, und manches lässt sich schlicht nicht sagen.
Deepest level reached.

Neues Konzept? Ein Alltagsbeispiel macht’s greifbar — neue Analogien auf Knopfdruck.

KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung

Formale Definition — Derselbe Begriff, wie er sonst erklärt wird

Tokenisierung ist die Zerlegung von Eingabetext in diskrete Einheiten aus einem festen Vokabular, das typischerweise per Byte-Pair-Encoding oder ähnlichen Subwort-Algorithmen aus häufigen Zeichenfolgen aufgebaut wird. Token-Anzahlen bestimmen Sequenzlänge, Kontextverbrauch und nutzungsbasierte Abrechnung, und die Granularität variiert erheblich zwischen Sprachen und Schriftsystemen.

Soll Clicked Begriffe wie „tokenization“ direkt in deinem Browser erklären – auch in PDFs?

Zu Chrome hinzufügen — Kostenlos

50 kostenlose Erklärungen · Keine Kreditkarte nötig