Clicked Gallery

O que é inferência (em IA)?

Subrayado en un documento técnico real. Explicado por Clicked.

Usado numa frase

The chipmaker's newest processors target inference rather than training, where the volume is.

O leitor sublinhou uma palavra na documentação. O Clicked explicou o termo técnico «inference» em termos simples:

Explicado em três níveis

Os mesmos fatos, outra vibe — Modo slang 😎

O método Clicked

●○○

Overview

Inferência é um modelo de IA fazendo o trabalho de verdade: a sua pergunta entra, uma resposta sai, usando o que o treinamento já ensinou. O treinamento é a construção única; a inferência é cada uso depois dela. Parece a metade barata, e por resposta é, mas roda bilhões de vezes por dia.

●○○

Overview

Inferência é o modelo fazendo o trabalho de verdade: pergunta entra, resposta sai, usando botões que o treinamento já acertou. O treinamento é a única construção gigante; a inferência é cada uso depois. Uma resposta custa centavos, mas multiplique por bilhões e é para lá que o dinheiro vai. 😎

Uma ideia rápida — muitas vezes é tudo de que você precisa.

●●○

Detail

Inferência é tudo o que acontece entre a sua pergunta e a resposta, e é um trabalho completamente diferente do treinamento. O treinamento acontece uma vez, queimando poder computacional enorme por semanas para acertar os botões internos do modelo. A inferência roda esses botões assentados para a frente sobre uma entrada nova: números fluem e uma resposta sai, sem nada dentro do modelo mudar. É por isso que uma única resposta custa uma fração de centavo enquanto treinar o mesmo modelo custou milhões. O porém é o volume, porque um assistente popular responde bilhões de perguntas, e uma fração de centavo multiplicada por bilhões é o que de fato cai na conta de luz. Essa aritmética é por que a indústria trabalha tanto para encolher modelos com quantização e destilação, e por que fabricantes de chips agora projetam processadores voltados à inferência em vez do treinamento.

●●○

Detail

O treinamento é a montanha que você escala uma vez. A inferência é cada passo que você dá depois: a sua pergunta entra, números rasgam pelo modelo já afinado, uma resposta sai, e nada muda por dentro — exatamente por isso uma resposta custa uma fração de centavo. Inofensivo até você multiplicar, porque um assistente popular atende bilhões de perguntas, e frações de centavo vezes bilhões é uma conta de luz genuína com chips genuínos por trás. Então a indústria inteira sua por causa da inferência, encolhendo modelos com quantização e destilação, e os fabricantes de chips agora despacham silício construído para inferência em vez de treinamento. O treinamento faz as manchetes; a inferência faz a fatura. 😎

Quer mais? Um clique aprofunda.

●●●

Analogy

Estudar para uma prova versus fazer a prova. O estudo é exaustivo, caro e acontece uma vez; a prova é duas horas usando o que você já sabe, sem aprendizado novo algum. Um aluno fazendo uma prova é trivial perto do estudo. Mas rode essa prova para cinquenta mil alunos todos os dias e é o salão de provas, não o estudo, que quebra o orçamento.

●●●

Analogy

Aprender a dirigir versus dirigir para o trabalho. As aulas, os testes, a primeira baliza aterrorizante: caro, exaustivo, superado. O trajeto diário só usa o que você já sabe e queima uma gasolina. Faça esse trajeto duas vezes por dia por dez anos e a gasolina, em silêncio, gasta mais que as aulas.

Conceito novo? Um exemplo do dia a dia faz clicar — novas analogias quando quiser.

Explicações de IA podem conter erros · Não é aconselhamento profissional

Definição formal — O mesmo termo, explicado da forma habitual

Inferência designa a execução de um modelo treinado sobre uma entrada nova para produzir uma saída, em distinção ao treinamento, que determina os parâmetros do modelo. A inferência não realiza atualizações de parâmetros mas se repete a cada requisição, tornando o seu agregado de computação, latência e energia o custo operacional dominante dos sistemas implantados, e motivando otimizações como quantização, destilação e hardware especializado em inferência.

Quer que o Clicked explique termos como «inference» direto no seu navegador, até em PDFs?

Adicionar ao Chrome — Grátis

50 explicações grátis · Sem cartão de crédito

Mais da galeria

O que é quantização?

Guardar os números de um modelo com menos precisão — metade da memória, quase nenhuma perda.

O que é destilação de modelos?

Treinar um modelo com as respostas de outro: para encolher o seu, ou para alcançar o de um rival.

O que é uma mistura de especialistas (MoE)?

Modelo enorme, uma fatia pequena acordada por pergunta — e por que isso mantém os modelos de fronteira acessíveis.

O que é uma janela de contexto?

Quanto texto uma IA consegue ter em mente de uma vez — e por que conversas longas esquecem o começo.

O que é um transformer (em IA)?

O projeto por trás do T de GPT: cada palavra presta atenção em todas as outras, ao mesmo tempo.

O que é uma rede neural?

Matemática que aprende as regras a partir de exemplos em vez de tê-las escritas — e por que isso vence.