Clicked Gallery

O que é um transformer (em IA)?

Subrayado en un documento técnico real. Explicado por Clicked.

Usado numa frase

Engineering Notes · AI Systems

The paper proposes a leaner transformer that cuts training costs by nearly a third.

O leitor sublinhou uma palavra na documentação. O Clicked explicou o termo técnico «transformer» em termos simples:

Explicado em três níveis

Os mesmos fatos, outra vibe — Modo slang 😎

O método Clicked

●○○

Overview

O transformer é o projeto por trás de quase toda a IA moderna, o T de GPT, e o avanço dele é ler tudo de uma vez em vez de palavra por palavra. Ele faz isso pela atenção: cada palavra olha para todas as outras simultaneamente e pesa quais importam para o seu significado. Essa única mudança é o que tornou possíveis os modelos gigantes de hoje.
●○○

Overview

O transformer é a planta baixa debaixo de basicamente toda IA moderna, o T de GPT. O grande truque único: cada palavra olha para todas as outras simultaneamente e pesa o que importa, então o modelo lê tudo de uma vez em vez de em ordem. Foi isso que deixou a IA ficar enorme. 😎

Uma ideia rápida — muitas vezes é tudo de que você precisa.

●●○

Detail

O transformer é um projeto de rede neural cuja vantagem inteira é ler tudo de uma vez. Os projetos anteriores liam uma palavra por vez carregando adiante uma memória que desbotava, então trechos longos ficavam borrados e, pior, nada podia ser computado até a palavra anterior terminar. O artigo de 2017 Attention Is All You Need resolveu os dois de uma vez. O mecanismo de atenção dele deixa cada token, mais ou menos cada pedaço de palavra, olhar diretamente para todos os outros tokens e pontuar o quanto cada um importa. Na frase "o cachorro perseguiu o próprio rabo", a atenção é o que permite a "próprio" encontrar o cachorro do outro lado da frase, sem corrente de memória nenhuma. Cada camada usa essas pontuações para afiar o que cada palavra significa no seu contexto, e empilhar muitas camadas é como palavras cruas viram significado compreendido. A leitura em paralelo também é o motivo de os modelos terem explodido de tamanho: como nenhuma palavra espera por outra, o treinamento se espalha por milhares de chips ao mesmo tempo, e só isso tornou prático treinar na escala da internet. O preço do todos-olham-para-todos é que o trabalho cresce de forma íngreme conforme o texto se alonga, que é exatamente por que todo modelo tem uma janela de contexto, um teto rígido de quanto ele consegue considerar de uma vez.
●●○

Detail

Um truque, consequências enormes: ler tudo de uma vez em vez de uma palavra por vez. Os modelos antigos eram telefone sem fio, cada palavra esperando a anterior enquanto a memória vazava, então documentos longos ficavam borrados no começo. Aí o Attention Is All You Need de 2017 apareceu com um título convencido — e entregou. Cada token pode encarar diretamente todos os outros tokens e pontuar quem importa para ele, então na frase "o cachorro perseguiu o próprio rabo", a palavra "próprio" acha o cachorro do outro lado da frase, sem corrente, sem vazamento. Cada camada afia essas pontuações, e camadas empilhadas o bastante levam o modelo da soletração ao significado. Efeito colateral um: nada espera por nada, então o treinamento se divide por milhares de chips — daí modelos alimentados com a internet inteira. Efeito colateral dois: todo mundo encarando todo mundo fica caro rápido conforme o texto cresce, que é literalmente por que o seu modelo pede arrego numa janela de contexto. 😎

Quer mais? Um clique aprofunda.

●●●

Analogy

Dois jeitos de uma equipe de detetives trabalhar um caso. No jeito antigo, um detetive lê o dossiê em voz alta do início ao fim enquanto todos dependem da memória do que veio antes, e os detalhes da página dois estão nebulosos na página noventa. No jeito transformer, todas as páginas são pregadas no quadro de cortiça de uma vez e barbantes são esticados entre pistas relacionadas — este álibi conecta com aquele horário, o nome da página noventa com a testemunha da página dois. O significado vem dos barbantes, e nenhuma página fica mais nebulosa só porque veio cedo.
Deepest level reached.
●●●

Analogy

Planejar uma viagem por uma corrente de recados de voz versus num grupo de mensagens. Corrente de recados: cada amigo ouve só o recontar do amigo anterior, e na oitava ligação o nome do hotel está mastigado e as datas são ficção. Grupo de mensagens: cada mensagem nova pode rolar para cima e ler todas as anteriores diretamente, citar a exata que importa e ignorar o resto, então nada é mastigado pela corrente. O único custo: quanto mais longo o grupo fica, mais rolagem cada resposta exige.
Deepest level reached.

Conceito novo? Um exemplo do dia a dia faz clicar — novas analogias quando quiser.

Explicações de IA podem conter erros · Não é aconselhamento profissional

Definição formal — O mesmo termo, explicado da forma habitual

O transformer é uma arquitetura de rede neural baseada em autoatenção, na qual cada token computa relevância ponderada sobre todos os outros tokens da entrada, permitindo processamento paralelo de sequências sem recorrência. Introduzido por Vaswani et al. em 2017, sustenta os grandes modelos de linguagem modernos; seu custo de atenção quadrático em relação ao comprimento da sequência motiva janelas de contexto fixas e pesquisa contínua em variantes eficientes de atenção.

Quer que o Clicked explique termos como «transformer» direto no seu navegador, até em PDFs?

Adicionar ao Chrome — Grátis

50 explicações grátis · Sem cartão de crédito