Clicked Gallery

「コンテキストウィンドウ」とは?

実際の技術ドキュメントでハイライトされた言葉を、Clickedが解説します。

例文

Engineering Notes · AI Systems

Requests exceeding the model's context window are rejected, so long documents must be chunked before submission.

読者がドキュメント内の単語をハイライトすると、Clickedが技術用語「context window」をやさしく解説しました:

3段階での解説

事実はそのまま、ノリだけ変えて — スラングモード 😎

Clickedのやり方

●○○

Overview

コンテキストウィンドウは、AIモデルが一度に考慮できるテキスト量の上限で、入力と返答の両方を含む。この限界を超えた部分はモデルには見えない。単位はトークンで、単語まるごとではなく単語のかけらだ。
●○○

Overview

コンテキストウィンドウはAIの作業記憶。君の言葉も自分の言葉も含めて、一度に頭に置けるテキスト量のことだ。あふれさせると古いものから静かに落ちていく😎

まずはサッと概要 — それで十分なことも。

●●○

Detail

ウィンドウにはその場の全てが数えられる。これまでの会話、貼り付けた文書、そして生成中の返答だ。サイズはトークンで表され、英語では1トークンが単語の約4分の3にあたり、128,000が標準で、100万をうたうモデルもある。100万は長編小説数冊ぶんだ。会話がウィンドウからあふれると古いメッセージから順に落ちるため、長いセッションは冒頭の指示を忘れる。大きなウィンドウは料金も高くつく。モデルは各トークンを他の全トークンと照合するので、テキストが2倍になると計算はおよそ4倍になるからだ。さらに、モデルは非常に長い入力の中間部分に弱く、冒頭と末尾のほうをよく覚えている。これは lost in the middle と呼ばれる実測された現象だ。
●●○

Detail

ウィンドウには全部カウントされる。チャット履歴、放り込んだPDF、書いている途中の返事まで。単位はトークン(単語の4分の3くらいのかけら)で、128kが普通、100万は発表記事の自慢ネタ。詰め込みすぎると古いメッセージが音もなく崖から滑り落ち、1時間前のルール1をボットが忘れるのはそのせいだ。デカければタダでもない。各トークンを全トークンと照合するから、文章2倍で仕事はほぼ4倍、請求書に響く。おまけに、巨大な塊の真ん中に埋まった情報が一番覚えられないので、80ページ中40ページ目の決定的な一文こそ見落とされる😎

もっと知りたい? ワンクリックで深掘り。

●●●

Analogy

会議室のホワイトボード。必要なことは全部そこに収め、埋まったら一番古い隅を消して新しいメモの場所を作る。1分目の計画が3時間目に消えているのは、忘れたからではなく板の面積が尽きたからだ。
●●●

Analogy

試験週間の机。実際に使うものは全部机の上に置くしかなく、いっぱいになると一番古い山が床に落ちる。月曜の公式シートが消えたのは不注意のせいじゃない。机に縁があるせいだ。

なじみのない概念も、身近なたとえでストンと理解 — 新しいたとえは何度でも。

AIによる解説には誤りが含まれる場合があります · 専門的な助言ではありません

正式な定義 — 同じ用語の、よくある説明

コンテキストウィンドウは、トランスフォーマー型言語モデルが一回の順伝播で注意を向けられる最大系列長をトークン数で表したもので、プロンプトと生成出力の両方を含む。自己注意は系列長の2乗で計算量が増えるため実用的なウィンドウサイズは制約され、系列中間に位置する情報の検索精度は経験的に低下する。

「context window」のような言葉を、ブラウザ上でそのままClickedに解説させませんか?PDFにも対応。

Chromeに追加 — 無料

無料で50回の解説 · クレジットカード不要