「推論（インファレンス）」とは？

推論とは、AIモデルが実際の仕事をしている状態、つまり質問が入り、学習済みの知識を使って答えが出てくることです。学習は一度きりの建設で、推論はその後の毎回の利用にあたります。安いほうの半分に見えますし1回あたりは実際そうですが、1日に何十億回も走ります。

推論とは質問と答えのあいだで起きるすべてであり、学習とはまったく別の作業です。学習は一度だけ行われ、モデル内部のダイヤルを設定するために何週間も膨大な計算能力を燃やします。推論は設定済みのそのダイヤルを新しい入力に対して走らせるだけで、数値が流れて答えが出てくる一方、モデルの中身は何も変わりません。だから1回の返答は1セントの何分の一で済み、同じモデルの学習には何百万ドルもかかったのです。落とし穴は量で、人気のアシスタントは何十億もの質問に答えるため、1セントの何分の一に何十億を掛けたものが結局は電気代として届きます。この計算こそ、業界が量子化や蒸留でモデルを縮めることに必死な理由であり、チップメーカーが学習用ではなく推論用のプロセッサを設計するようになった理由でもあります。

試験勉強と、試験そのものを受けることの違い。勉強は消耗するし高くつき、一度で終わりますが、試験のほうはすでに知っていることを使う2時間で、新しい学習は一切起きません。学生一人が試験を1回受けるだけなら、勉強に比べれば取るに足らない負担です。しかし同じ試験を毎日5万人に受けさせるなら、予算を壊すのは勉強ではなく試験会場のほうになります。