Clicked Gallery

Was ist ein multimodales Modell?

Markiert in einem echten Engineering-Dokument. Erklärt von Clicked.

Im Satz verwendet

Engineering Notes · AI Systems

The lab's newest multimodal model reads a photograph, a spreadsheet and a spoken question in the same request.

Der Leser markierte ein Wort in der Dokumentation. Clicked machte den Fachbegriff „multimodal model“ leicht verständlich:

In drei Stufen erklärt

Gleiche Fakten, anderer Vibe — Slang-Modus 😎

Die Clicked-Methode

●○○

Overview

Ein multimodales Modell ist eine KI, die mehr als eine Art von Eingabe verarbeitet, etwa Text, Bild, Audio und Video. Deshalb kannst du eine Seite fotografieren und im selben Atemzug etwas dazu fragen. Frühere Modelle lasen nur Text, alles andere musste ihnen beschrieben werden.
●○○

Overview

Ein multimodales Modell kann Bilder, Ton und Video aufnehmen, nicht nur Getipptes. Deshalb kannst du dein Handy auf etwas richten und nach der Sache selbst fragen. Die ältere Sorte konnte nur lesen, also musstest du die Welt erst in Worte packen. 😎

Die Kurzfassung — oft reicht sie schon.

●●○

Detail

Ältere Modelle konnten nur Text lesen, also musste alles andere zuerst in Worte gefasst werden, und die meisten Dinge überleben diese Übersetzung nicht. Ein multimodales Modell streicht diesen Schritt, indem es jede Art von Eingabe in dasselbe interne Format verwandelt, bevor es überhaupt etwas verarbeitet. Ein Satz, eine Fotografie und ein paar Sekunden Sprache werden alle zu langen Zahlenlisten. Sind es erst Zahlen, behandelt das Modell sie gleich, und genau deshalb kann eine Frage zu einem Bild in derselben Anfrage stecken wie das Bild. So geht ein Foto einer Quittung oder eines Fehlerbildschirms direkt hinein, und es kann Dinge beantworten, die beides brauchen, etwa was an diesem Diagramm nicht stimmt. Der Preis sind Größe und Tempo, denn Bilder und Audio werden zu weit mehr Zahlen als ein Satz. Das frisst das Kontextfenster und macht jede Antwort langsamer und teurer. Eine Eingabe annehmen zu können ist nicht dasselbe wie sie gut zu beherrschen, also kann ein Modell, das getippten Text zuverlässig liest, eine handgezeichnete Skizze trotzdem falsch lesen.
●●○

Detail

Ältere Modelle hatten eine einzige Tür, und du warst der Türsteher, also kam alles, was du nicht in Worte fassen konntest, nie hinein, und dein Wortschatz war die Obergrenze dessen, was das Ding wissen konnte. Die multimodale Sorte hat die Wand eingerissen. Fotos, Ton und Video werden alle zu denselben Zahlen eingeschmolzen, bevor es zu denken beginnt, sodass ein Bild und eine Frage zu diesem Bild gemeinsam reisen. Halt dein Handy auf eine Speisekarte in Lissabon und frag, was ein Vegetarier bedenkenlos bestellen kann, und es antwortet einfach. Dafür kommen zwei Rechnungen. Ein Foto verschlingt weit mehr seiner Aufmerksamkeitsspanne als ein Satz, also brennst du das Fenster schneller runter und wartest länger. Und etwas sehen zu können ist nicht dasselbe wie es richtig zu sehen. Dasselbe Modell, das eine dichte Textseite ohne Zucken liest, studiert dein Whiteboard-Gekritzel und beschreibt selbstbewusst ein Diagramm, das dort nie stand. 😎

Mehr? Ein Klick geht tiefer.

●●●

Analogy

Jemanden am Telefon durch ein Computerproblem führen. Alles, was du weißt, kommt über seine Beschreibung, wenn er also die blinkende rote Lampe nie erwähnt, existiert sie für dich nicht. Stell dich neben das Gerät und du liest die Fehlermeldung selbst, siehst das ausgesteckte Kabel und hörst das Klicken. Du bist nicht klüger geworden, du hast Zugang zu Informationen bekommen, die die ganze Zeit da waren.
Deepest level reached.
●●●

Analogy

Ein Lied beschreiben, indem du die drei Zeilen tippst, die du halb erinnerst, gegen es einfach ins Handy summen. Gleiches Lied, gleiches Du, völlig unterschiedliche Chancen, dass man dir sagt, welches es ist. Der eine Weg muss das Ganze erst durch deinen Wortschatz quetschen, bevor irgendetwas anderes passiert. Der andere lässt die Maschine das tatsächliche Geräusch hören.
Deepest level reached.

Neues Konzept? Ein Alltagsbeispiel macht’s greifbar — neue Analogien auf Knopfdruck.

KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung

Formale Definition — Derselbe Begriff, wie er sonst erklärt wird

Ein multimodales Modell ist ein maschinelles Lernsystem, das darauf trainiert ist, Eingaben mehrerer Typen anzunehmen, typischerweise Text, Bild, Audio oder Video, indem es jede in einen gemeinsamen Repräsentationsraum projiziert, der die gemeinsame Verarbeitung in einem Durchlauf erlaubt. Das ermöglicht modalitätsübergreifendes Schließen ohne textuelle Zwischenbeschreibung, zum Preis erhöhten Tokenverbrauchs, höherer Latenz und modalitätsabhängig schwankender Verlässlichkeit.

Soll Clicked Begriffe wie „multimodal model“ direkt in deinem Browser erklären – auch in PDFs?

Zu Chrome hinzufügen — Kostenlos

50 kostenlose Erklärungen · Keine Kreditkarte nötig