Clicked Gallery

O que é tokenização?

Subrayado en un documento técnico real. Explicado por Clicked.

Usado numa frase

Engineering Notes · AI Systems

During preprocessing, tokenization splits the raw text into subword units the model actually reads.

O leitor sublinhou uma palavra na documentação. O Clicked explicou o termo técnico «tokenization» em termos simples:

Explicado em três níveis

Os mesmos fatos, outra vibe — Modo slang 😎

O método Clicked

●○○

Overview

Tokenização é como os modelos de IA picam o texto em pedaços antes de lê-lo. Os pedaços, chamados tokens, costumam ser trechos de palavras, não palavras inteiras. Os modelos enxergam, contam e cobram por esses tokens, não por palavras ou letras.
●○○

Overview

Tokenização é a IA picando o seu texto em pedacinhos chamados tokens antes de ler qualquer coisa. Nem letras, nem palavras — algo no meio do caminho, e é o único alfabeto que o modelo tem. 😎

Uma ideia rápida — muitas vezes é tudo de que você precisa.

●●○

Detail

Um tokenizador carrega um vocabulário fixo, tipicamente de 50.000 a 200.000 entradas, montado achando as combinações de caracteres que mais aparecem no texto de treinamento. Palavras comuns como "de" sobrevivem como tokens únicos, enquanto as mais raras são divididas, então infelicidade pode virar in, felici e dade. Em inglês isso dá em média perto de três quartos de uma palavra por token, mas a mesma frase em japonês ou híndi pode custar duas ou três vezes mais tokens, já que o vocabulário foi montado majoritariamente com texto em inglês. Essa diferença importa porque o preço das APIs é por milhão de tokens, então a pergunta idêntica é literalmente mais cara em algumas línguas. A tokenização também explica uma falha famosa: um modelo que não consegue contar as letras de "strawberry" não está vendo letras — está vendo dois ou três pedaços. Números também são picados em lugares estranhos, o que é uma das razões de a aritmética derrubar modelos.
●●○

Detail

O tokenizador é dono de um cardápio fixo de 50 mil a 200 mil pedaços de texto, aprendido do que quer que ele tenha treinado, e cada frase que você manda é remontada a partir desse cardápio. Palavras do dia a dia viajam como um token só, enquanto as esquisitas são fatiadas, estilo in-felici-dade. O inglês fica na média de uns três quartos de palavra por token, mas a mesma pergunta em japonês pode queimar duas ou três vezes mais — e como a cobrança é por milhão de tokens, algumas línguas pagam literalmente um imposto de idioma. É também por isso que a história do "strawberry" acontece: o modelo nunca vê r-r-r, ele vê uns dois pedaços sem letra nenhuma dentro. Mesma coisa com matemática: os números são fatiados em pontos aleatórios, e depois todo mundo se surpreende que ele não sabe somar. 😎

Quer mais? Um clique aprofunda.

●●●

Analogy

Montar com LEGO. Um castelo não é moldado numa peça só; é montado a partir de um catálogo fixo de peças padrão, e quem monta só pensa em peças. Pergunte sobre o grão do plástico dentro de uma peça e você recebe um olhar vazio, porque a peça é a menor coisa que existe para essa pessoa.
Deepest level reached.
●●●

Analogy

Conversar só por emoji. Dá para dizer bastante coisa com o conjunto padrão, mas só o que o conjunto cobre. Não existe emoji para a sua terça-feira estranha e específica, então você aproxima com três que meio que apontam para ela — e algumas coisas simplesmente não têm como ser ditas.
Deepest level reached.

Conceito novo? Um exemplo do dia a dia faz clicar — novas analogias quando quiser.

Explicações de IA podem conter erros · Não é aconselhamento profissional

Definição formal — O mesmo termo, explicado da forma habitual

Tokenização é a segmentação do texto de entrada em unidades discretas extraídas de um vocabulário fixo, tipicamente construído via byte-pair encoding ou algoritmos de subpalavras similares que fundem sequências de caracteres frequentes. As contagens de tokens determinam o comprimento da sequência, o consumo de contexto e a cobrança por uso, e a granularidade da tokenização varia substancialmente entre línguas e escritas.

Quer que o Clicked explique termos como «tokenization» direto no seu navegador, até em PDFs?

Adicionar ao Chrome — Grátis

50 explicações grátis · Sem cartão de crédito