LLM（大規模言語モデル）の基本的な学習目標は、ここまでの文脈に続く次のtoken（モデルが扱う文字列の単位）へ高い確率を付けることです。採点方法だけを見ると、巨大な穴埋め問題にしか見えません。
それでも質問応答、翻訳、要約、コード生成、例からの規則推定まで可能になるのは、次tokenを正確に予測するには、文法だけでなく、文書内の関係、世界について書かれた規則性、手順、task形式を文脈から再利用する必要があるからです。目的関数は単純でも、それを大規模かつ多様なdata上で解くための内部計算まで単純とは限りません。
ただし、ここから「次token予測だけで真実を理解できる」「規模を増やせば必ず推論能力が生まれる」とは結論できません。本記事では、能力が生まれるまでのつながりと、目的関数が保証しない範囲を分けて説明します。
- 3文要約
- 先に結論：目的関数だけでなく4つの条件を見る
- 次トークン予測とは
- modelが出すのは1語ではなく、語彙全体の確率分布
- 局所予測の積が文章全体の尤度になる
- なぜ予測に「知識らしい表現」が必要になるのか
- 質問応答・翻訳・コードもtoken列にできる
- prompt内の例から規則へ適応するin-context learning
- scalingで能力が突然現れるのか
- 一般化と暗記は二択ではない
- teacher forcingと生成時のずれ
- decodingで変わるもの、変わらないもの
- なぜ流暢な誤答が起こるのか
- 「賢さ」を1つの点数で測らない
- よくある誤解
- 論文やmodel発表を読むときのチェックリスト
- まとめ
- 関連記事
- 次に読むべき記事
- 参考資料
3文要約
- 次token予測は語彙全体の確率分布を学ぶ課題であり、長い文脈を正確に予測するほど、構文、意味的関係、taskの規則を再利用できる表現が役立ちます。
- 質問応答や翻訳も「入力と指示に続く出力」というtoken列にでき、prompt中の例を使うin-context learningでは、通常、parameterを更新せず文脈に応じて出力分布を変えます。
- 低い予測lossは能力の土台ですが、事実性、出典、指示追従、安全性、未知条件への頑健性を直接保証しないため、別々の評価が必要です。
先に結論：目的関数だけでなく4つの条件を見る
「なぜ賢くなるのか」への短い答えは、次の4条件が重なるからです。
| 条件 | 何が起きるか | 欠けた場合 |
|---|---|---|
| 多様なdata | 会話、説明、翻訳、コード、例題などの形式がtoken列として現れる | 学習していない形式や分野へ広がりにくい |
| 予測に必要な文脈 | 次tokenを当てるため、近くの語だけでなく遠い定義や例を使う圧力が働く | 表面的な共起だけでもlossが下がってしまう |
| 十分なmodel容量と最適化 | 複数の規則や表現をparameterへ保持し、文脈に応じて組み合わせられる | data中の規則性を十分に近似できない |
| 適切な評価と後学習 | 予測lossでは測らない指示追従、事実性、安全性を補う | 流暢だが依頼に従わない、もっともらしい誤答が残る |
つまり、次token予測という目的関数は必要な入口ですが、それ単独を能力の十分条件と考えるのは不正確です。どのdataで、どの規模のmodelを、どこまで最適化し、何で評価したかまで含めて考える必要があります。
事前学習のdata準備やparameter更新の全工程は、前回の事前学習とは？LLMが知識を獲得する仕組みで詳しく扱っています。本記事は、その中の「次tokenを予測する」という目的関数を掘り下げます。
次トークン予測とは
「富士山は日本で最も高い山です」という文章をtoken列へ変換したとします。modelは「富士」の次に「山」、「富士山は日本で最も」の次に「高い」が現れる確率を高くするよう学習します。
「次単語予測」と説明されることもありますが、正確には次token予測です。日本語の1単語が複数tokenへ分かれる場合があり、句読点、空白、codeの記号もtokenになり得ます。tokenizerの仕組みはTokenizationとは？AIは文章をどう分割しているのかで説明しています。
1つの文章が多数の教師信号になる
token列が「A B C D」なら、概念的には次の予測問題を作れます。
| 入力として見える文脈 | 正解token |
|---|---|
| A | B |
| A B | C |
| A B C | D |
元の文章を1tokenずらすだけなので、人が各文へtask labelを付けなくても正解を作れます。これがself-supervised learning（data自身から正解を作る学習）の強みです。
実際のGPT型modelはcausal mask（未来位置へのattentionを遮るmask）を使います。各位置は右側の正解を見られませんが、学習時には正解列が既知なので、複数位置の予測とlossを1回のforward passで並列に計算できます。
modelが出すのは1語ではなく、語彙全体の確率分布
modelは「次は猫です」と最初から1つに決めるのではありません。各位置で、vocabulary（語彙）にある全tokenのlogit（softmaxへ入れる前のscore）を出します。
token \(k\) のlogitを \(z_k\) とすると、softmaxで条件付き確率へ変換します。
\(\theta\) はmodelのparameter、\(x_{<t}\) は位置 \(t\) より前のtoken列、\(|V|\) はvocabulary sizeです。すべての候補確率を足すと1になります。
たとえば「空を見上げると、青い」の続きについて、説明用に候補を3つだけ抜き出すとします。
| 候補token | 予測確率 |
|---|---|
| 空 | 0.70 |
| 海 | 0.20 |
| 車 | 0.10 |
data上の正解が「空」なら、その位置のnegative log-likelihood（負の対数尤度）は次の通りです。
正解確率が0.70から0.90へ上がればlossは約0.105へ下がります。反対に0.01しか割り当てなければlossは約4.605です。正解へ低い確率しか置けなかった位置ほど、大きく罰せられます。
cross entropyは何を比較しているのか
通常の学習では、dataに実際に現れた正解tokenを1、それ以外を0とするone-hot target（正解だけが1の分布）と、modelの予測分布をcross entropyで比較します。one-hotの場合、式は正解tokenの負の対数確率へ簡約できます。
ただし、自然言語には正しい続きが1つしかないわけではありません。「今日は天気が」の後には「良い」「悪い」「不安定だ」など、文脈次第で複数の自然な候補があります。学習dataのその位置では1つだけが観測されるため、modelは大量の異なる文脈を通じて、候補間の分布を間接的に学びます。
この点は重要です。1回の採点では観測されたtokenだけを正解にしますが、model全体は語彙分布を出します。したがって、次token予測は単純な正誤二択ではありません。
局所予測の積が文章全体の尤度になる
自己回帰言語モデル（過去の出力を条件に次を予測するモデル）は、token列 \(x_1,\ldots,x_T\) の同時確率を、条件付き確率の積へ分解します。
文章全体を一度に分類する代わりに、各位置で「ここまでの文脈なら次は何か」を解けばよい形です。しかし、文章が長いと多数の小さな確率を掛けることになります。そこで学習ではlogを取り、積を和へ変えます。
\(m_t\) は、その位置をlossへ含めるなら1、padding（長さ合わせ用token）などで無視するなら0です。batchでは、有効な全token位置について平均します。
1か所の強い外しが文章全体へ効く
4位置の正解確率が \(0.8, 0.7, 0.9, 0.01\) なら、最初の3位置が高確率でも、最後の1位置を強く外したことで系列の確率は大きく下がります。
これは、珍しい固有名詞、長距離の参照、codeの閉じ括弧など、局所的な頻度だけでは決めにくい位置も無視できないことを示します。もちろん、全tokenが等しく「知的」なわけではありません。空白や定型句の予測もlossへ入るため、平均lossだけで高度な能力を測ることはできません。
なぜ予測に「知識らしい表現」が必要になるのか
短い定型句なら、直前の数tokenだけで高い確率を出せます。しかしdata全体で予測誤差を減らそうとすると、より広い情報が役立ちます。
| 予測したい続きを決める情報 | 例 | 必要になりやすい処理 |
|---|---|---|
| 局所的な構文 | 助詞の後に来る品詞、括弧の対応 | 近距離のpattern |
| 文中の参照 | 「彼」が誰を指すか、前に定義した変数 | 離れたtokenの対応付け |
| 文書の目的 | 解説、反論、要約、手順書のどれか | 文体と構成の推定 |
| taskの規則 | 例で示された分類labelや変換規則 | 入出力対応の抽出 |
| 世界について書かれた関係 | 人物と役職、場所と出来事、原因と結果 | 多数の文脈に共通する関係の再利用 |
| 複数段階の手順 | 計算、algorithm、code修正 | 中間状態の保持と更新 |
たとえば「この関数の返り値は」と続くcode解説で正しいtokenを出すには、直前の単語だけでなく、関数定義、条件分岐、型、呼び出し例を参照した方が有利です。翻訳なら入力言語と出力言語の対応、要約なら文書中の重要情報と不要情報の区別が役立ちます。
学習は「構文木を作れ」「人物関係をdatabaseへ保存せよ」と明示しません。それでも、それらに相当する再利用可能な内部表現や計算を持つ方が、広いdata上でlossを下げやすい場合があります。ここが、単純な採点方法から複雑な挙動へつながる中間段階です。
予測を圧縮として見る
良い予測器は、dataの規則性を使って「次に何が来るか」の不確実性を減らします。予測確率に基づくlossless compression（情報を失わない圧縮）では、高確率なsymbolほど短い符号で表せます。そのため、予測と圧縮は情報理論上深く結び付いています。
Language Modeling Is Compressionは、この対応を大規模なpredictive modelへ適用し、language modelの圧縮能力を調べました。ここから得られる直感は、予測を改善するにはdata中の繰り返しや関係を利用する必要がある、ということです。
ただし、「よく圧縮できる」ことは「人間と同じ意味経験を持つ」ことの証明ではありません。本記事で扱うのは、観測できる予測性能とtask遂行能力の関係です。
質問応答・翻訳・コードもtoken列にできる
自然言語で表現できるtaskの多くは、入力と出力を1本のtoken列へ並べられます。
| task | 文脈として与える列 | 続きとして予測する列 |
|---|---|---|
| 質問応答 | 「質問: 日本の首都は？ 回答:」 | 「東京」 |
| 翻訳 | 「English: cat / 日本語:」 | 「猫」 |
| 分類 | 「文: 最高だった / 感情:」 | 「肯定」 |
| 要約 | 「本文: … / 要約:」 | 要点をまとめた文 |
| code生成 | 「仕様: 2数を足すPython関数 / code:」 | 関数定義 |
| pattern推定 | 「A→1, B→2, C→」 | 「3」 |
modelから見れば、どれも「このprefix（先頭から現在位置までの列）の後に、どのtokenが現れやすいか」という条件付き予測です。taskごとに出力layerを交換しなくても、textの形式を変えることで同じmodelへ渡せます。
Language Models are Unsupervised Multitask Learnersは、GPT-2をtask固有の学習なしで複数の自然言語処理taskへ適用する見方を示しました。Language Models are Few-Shot Learnersは、GPT-3へtask説明やdemonstration（入出力例）をtextとして与え、parameterを更新せずにzero-shot、one-shot、few-shotで評価しました。
この結果は、「自然言語taskをtoken列へ統一できる」という考えの有用性を示します。ただし、列へ表せるだけで自動的に解けるわけではありません。
- 似た形式や必要な知識がtraining dataに現れる
- modelに関係を表現できる容量がある
- optimization（lossを下げる更新）が有効な表現へ到達する
- promptがtaskと出力形式を十分に特定する
これらがそろわなければ、自然な続きを書けてもtaskの正解にはなりません。
prompt内の例から規則へ適応するin-context learning
in-context learning（文脈内学習）は、promptに説明や入出力例を置くと、その場の文脈に合わせてmodelの挙動が変わる現象です。
たとえば、存在しないlabelを使う分類を考えます。
入力: とても満足した → label: dax<br>
入力: 二度と使いたくない → label: wug<br>
入力: また購入したい → label:
事前に「daxは肯定、wugは否定」と固定定義されていなくても、最初の2例から対応を推定できれば、続きへ「dax」を出せます。
fine-tuningとの違い
通常のin-context learningでは、promptを処理している間にmodelのparameter自体は更新しません。例はattentionを通じて現在のactivation（入力に応じて一時的に計算される内部状態）へ影響し、次tokenの分布を変えます。
| 観点 | in-context learning | fine-tuning |
|---|---|---|
| 与えるもの | prompt内の説明・例 | 学習dataset |
| parameter更新 | 通常しない | する |
| 効果の持続 | 原則、そのcontext内 | 更新後のmodelに残る |
| 切り替え速度 | promptを変えれば即時 | 再学習が必要 |
| 主な制約 | context長、例の順序、曖昧さ | data品質、計算量、過学習 |
「learning」という名前でも、training時の勾配更新と同じ操作ではありません。詳しい追加学習との違いはFine-tuningとは？LLMを用途に合わせて調整する方法で扱います。
induction headは何を説明するのか
In-context Learning and Induction Headsは、概念的に「[A][B] … [A]」を見たとき、後の「[A]」に続く「[B]」を参照するattention headをinduction headと呼びました。これは、前に現れたpatternを現在位置へ写す単純な回路として理解できます。
ただし証拠の強さはmodel条件で異なります。論文は、小さなattention-only modelでは強い因果的証拠を示す一方、大きなMLP付きmodelでは相関的な証拠だと区別しています。実用LLMのあらゆるin-context learningが、1種類のheadだけで説明できると断定すべきではありません。
線形回帰のように単純化した設定では、Transformerが勾配降下法やridge regressionに似た推定をforward pass内で実装できるという研究もあります。What learning algorithm is in-context learning?やTransformers learn in-context by gradient descentが代表例です。
一方、自然dataで事前学習したmodelに同じ説明がそのまま成立するかは未解決です。Do pretrained Transformers Learn In-Context by Gradient Descent?は、例の順序への感度や出力分布の違いを調べ、in-context learningとgradient descentの等価性は開いた仮説だと論じています。
安全な読み方は、次の通りです。
- Transformerは文脈内でalgorithmらしい処理を実装できる
- 特定の小規模設定では、その仕組みを因果的に追える
- 大規模な自然言語model全体のmechanismは、まだ複数の仮説が競合している
scalingで能力が突然現れるのか
model、data、training computeを増やすと、一般に次token予測lossは改善します。Scaling Laws for Neural Language Modelsは、対象とした条件でcross-entropy lossがmodel規模、dataset規模、computeに対して経験的なpower lawに従うことを報告しました。
しかし、「lossが滑らかに下がる」と「下流taskの得点が滑らかに上がる」は同じではありません。
3桁の答えを完全一致で採点する例を考えます。小さいmodelが各桁を60%の確率で正しくし、大きいmodelが80%まで改善したとします。桁ごとの改善は連続的でも、3桁すべてが正しい確率は概算で次のように変わります。
| 1桁の正答確率 | 3桁完全一致の概算 |
|---|---|
| 0.60 | \(0.60^3=0.216\) |
| 0.70 | \(0.70^3=0.343\) |
| 0.80 | \(0.80^3=0.512\) |
| 0.90 | \(0.90^3=0.729\) |
さらに「50%以上なら能力あり」と二値化すれば、0.70から0.80の間で突然能力が現れたように見えます。内部性能が本当に不連続に変わったとは限りません。
Are Emergent Abilities of Large Language Models a Mirage?は、非線形・不連続なmetricの選択により、見かけ上の創発が生まれる場合を示しました。これは「創発的能力はすべて存在しない」という証明ではありません。少なくとも、急なscore変化を見たら次を確認すべきだ、という警告です。
- metricはexact matchのように不連続か
- model sizeの測定点が粗くないか
- chance level付近の揺らぎを能力出現と呼んでいないか
- probabilityや部分点など、連続的な指標でも急変するか
- data、prompt、tokenizer、training方法が同時に変わっていないか
「規模を増やすと新しい能力が必ず生まれる」ではなく、「予測性能の改善が複雑なtaskで利用可能になることがあり、その見え方は評価方法にも左右される」と捉える方が正確です。
一般化と暗記は二択ではない
次token予測でlossを下げる方法には、少なくとも2種類あります。
- 多数の文脈へ再利用できる規則や表現を学ぶ
- training data中の特定の列を細かく記憶する
同じmodelで両方が起こり得ます。文法、code構文、定型的な変換は一般化しやすい一方、繰り返し出現する文章、珍しい識別子、固有名詞の列は逐語的に記憶される場合があります。
質問へ正答したときも、modelが規則を適用したのか、似た問題を覚えていたのか、偶然高確率な候補を選んだのかは、出力だけでは区別できません。評価dataがtraining dataへ含まれるcontamination（評価汚染）も調べる必要があります。GPT-3論文も、大規模Web corpusでの評価にdata contamination上の問題があることを報告しています。
そのため、「benchmarkで高得点だった」から「未知の条件へ一般化した」と即断しません。表現を変えた問題、反実仮想、数字や固有名詞を置き換えた問題、未公開の評価setなどを組み合わせます。
teacher forcingと生成時のずれ
学習時には、正しい過去tokenを入力へ置くteacher forcingを使います。生成時には正解の続きがないため、modelが自分で選んだtokenを次の入力へ足します。
| 観点 | 学習時 | 生成時 |
|---|---|---|
| 過去token | datasetの正解prefix | model自身が生成したprefix |
| 未来token | causal maskで見えない | まだ存在しない |
| 1回のforwardで採点する位置 | 複数位置 | 基本的に次の1位置 |
| 誤りの影響 | 次位置には正解prefixを使える | 誤ったtokenも次の文脈へ残る |
たとえば人物名を一度取り違えると、その誤った人物を主語にして後続文を整合的に続ける場合があります。局所的には自然でも、最初の誤りから全体がずれていきます。
このdistribution shift（学習時と利用時で入力分布がずれること）は、長文で誤差が連鎖する理由の1つです。ただし、長文生成の失敗をすべてteacher forcingだけで説明することもできません。context windowの制約、data不足、検索失敗、decode設定、task自体の難しさも影響します。
causal maskと学習・生成の計算差はDecoder-only Transformerとは？GPT系LLMの学習と生成を図解で詳しく説明しています。
decodingで変わるもの、変わらないもの
trainingが終わったmodelは、文脈からlogitを計算します。生成時のtemperature \(T\) は、softmaxへ入れる前にlogitの差を調整します。
\(T<1\) では上位候補へ確率が集中し、出力が安定しやすくなります。\(T>1\) では分布が平らになり、多様な候補を選びやすくなります。
| 設定 | 起こりやすい変化 | 変わらないもの |
|---|---|---|
| 低いtemperature | 上位候補へ集中、再現性が高まりやすい | parameterに保存された情報 |
| 高いtemperature | 多様性が増え、低確率候補も選びやすい | modelが学習していない知識 |
| greedy decoding | 毎回、最大確率候補を選ぶ | 最大確率候補の真偽 |
| top-p等 | 候補集合を絞ってsamplingする | 元のlogitを作る内部表現 |
低いtemperatureは誤答を真実へ変える装置ではありません。modelが誤ったtokenへ最も高い確率を置いていれば、greedy decodingはその誤りを安定して選びます。decodeは「学習済み分布からどう選ぶか」を変えますが、新しい根拠や知識を追加しません。
なぜ流暢な誤答が起こるのか
次token lossが直接採点するのは、training dataの文脈で観測されたtokenへ高い確率を置いたかです。次の項目は同じものではありません。
| 品質 | 次token lossとの関係 | 別に必要なもの |
|---|---|---|
| 文法・文体の自然さ | data中の規則性を通じて強く学びやすい | domain別の生成評価 |
| 質問への関連性 | 質問回答形式があれば学び得る | instruction tuning、task評価 |
| 事実性 | 間接的。真偽を直接照合しない | 根拠付き評価、検索、検証 |
| 最新性 | training data時点まで | 更新data、RAG、外部tool |
| 出典の正確さ | URLと主張の対応を直接保証しない | source retrievalとcitation検証 |
| 安全性 | 事前学習lossだけでは目的に含まれない | alignment、安全性評価 |
| 不確実性の表明 | 確信度校正を直接保証しない | calibration評価、回答方針 |
Web上には、正しい文だけでなく、誤り、冗談、架空の話、矛盾する主張もあります。modelは、それらを含むdata分布を近似します。「専門家らしい文章の続きを作る」能力と、「主張を外部世界で検証する」能力は別です。
このずれがhallucination（根拠のない内容をもっともらしく生成する現象）の一因になります。ただしhallucinationにも、知識不足、曖昧な質問、検索やtoolの失敗、引用の取り違えなど複数の原因があります。次token予測だけに単一原因を求めない方が実務的です。
「賢さ」を1つの点数で測らない
「賢くなったか」を評価するには、目的に応じて測定軸を分けます。
| 評価軸 | 代表的な問い | 注意点 |
|---|---|---|
| language modeling | 未見textの正解tokenへ高い確率を置くか | tokenizerやcorpusが違うlossは単純比較できない |
| task performance | 翻訳、QA、code、数学で正解するか | prompt形式と採点方法へ敏感 |
| partial progress | 最終答えだけでなく途中まで合っているか | 自動採点の設計が必要 |
| calibration | 高い確信度と正答率が対応するか | 出力文の自信表現だけでは測れない |
| robustness | 言い換え、順序変更、不要文の追加でも保つか | 1種類のpromptだけでは分からない |
| factuality・grounding | 主張が根拠資料と一致するか | sourceの品質と検索範囲にも依存 |
| contamination | 評価問題をtrainingで見ていないか | 完全検出は難しく、複数検査が必要 |
| safety | 危険な依頼や境界条件で望ましい挙動か | 通常taskの平均点に埋もれやすい |
validation lossが改善しても、すべての下流taskが同率で改善するとは限りません。反対に、promptの変更だけでtask scoreが上がっても、modelのparameterに新しい能力が追加されたわけではありません。
modelを比較するときは、少なくとも次の条件をそろえます。
- tokenizerと評価data
- zero-shot、few-shotなどのprompt条件
- decoding設定
- contextに入れた資料
- 採点metricと部分点
- contamination検査
- 複数seedまたは十分な問題数
よくある誤解
「次token予測は直前の1語だけを見る」
誤りです。decoder-only Transformerはcontext window内の過去tokenをattentionで参照できます。ただし、参照可能であることと、必要な情報を常に正しく利用できることは別です。
「目的関数が単純なら、modelも単純な統計しか学ばない」
目的関数は採点規則です。同じ採点で広いdataの誤差を下げるには、短い共起から長距離参照、task規則まで、複数の内部計算が役立ちます。ただし、特定の内部表現が必ず生まれる保証はありません。
「予測が当たるなら、人間と同じ意味を理解している」
観測できるtask性能から、人間と同じ主観や意味経験があるとは結論できません。本記事が説明するのは、予測を改善する圧力と、再利用可能な表現・計算の関係です。
「in-context learningではpromptごとに重みを書き換える」
通常の推論ではparameterを更新しません。prompt中の例がactivationとattentionを変え、そのcontext内の出力分布へ影響します。外部memoryへ保存するagent systemなどは別の仕組みです。
「temperatureを0にすれば正しい答えになる」
最大確率の候補を安定して選ぶだけです。最大確率候補が誤っていれば、誤答も安定します。
「規模を増やせば能力は必ず突然創発する」
cross-entropy lossの改善は滑らかでも、exact matchや閾値処理により下流scoreが急変して見える場合があります。metric、測定点、data、training条件を確認する必要があります。
「一般化するmodelは学習文を暗記しない」
一般化と逐語記憶は同じmodel内で併存します。privacy、著作権、benchmark contaminationは、性能評価と別に検査しなければなりません。
論文やmodel発表を読むときのチェックリスト
「次token予測から能力が生まれた」という主張を読むときは、次を確認すると、目的関数と評価の飛躍を見つけやすくなります。
- 学習目標：causal LMだけか、SFTや選好学習も含むか
- data：対象taskと似た文書やdemonstrationが含まれ得るか
- model条件：parameter数だけでなくtraining token数やarchitectureも違うか
- prompt条件：zero-shotかfew-shotか、例の選び方は同じか
- weight update：in-context適応かfine-tuningか
- metric：連続指標か、exact matchや閾値型か
- baseline：chance level、小規模model、単純heuristicと比較したか
- robustness：言い換え、例の順序、反実仮想でも結果が保たれるか
- contamination：評価問題や近似問題の混入を調べたか
- 主張の範囲：単純化した実験から実用LLM全体へ一般化していないか
まとめ
次token予測は、文脈に続く語彙分布を学び、観測された正解tokenのnegative log-likelihoodを下げる目的です。文章全体の予測を改善するには、局所的な文法だけでなく、長距離の参照、task形式、概念間の関係、手順を再利用できる表現が役立ちます。
質問応答、翻訳、code生成、例からの規則推定も、入力に続く出力というtoken列へ表せます。多様なdata、十分な容量、最適化、適切なpromptがそろうと、同じ目的関数の上で複数taskへ適応できます。in-context learningでは、通常、parameterを更新せず、prompt内の説明や例が現在の出力分布を変えます。
一方、低い予測lossは真実性、最新性、出典、安全性を直接保証しません。scalingで能力が急に現れたように見える場合も、内部の変化とmetricの閾値効果を分ける必要があります。「次tokenを当てるだけ」という説明を終点にせず、data、内部計算、文脈内適応、評価の4層まで見ることが、LLMの能力を過大評価も過小評価もしないための基準になります。
関連記事
次に読むべき記事
次回は、事前学習済みmodelを特定用途へ調整するFine-tuningとは？LLMを用途に合わせて調整する方法を扱います。parameterを更新する方法、PEFT、RAGとの役割の違いを整理します。
参考資料
- Language Models are Unsupervised Multitask Learners
- Language Models are Few-Shot Learners
- Scaling Laws for Neural Language Models
- In-context Learning and Induction Heads
- What learning algorithm is in-context learning? Investigations with linear models
- Transformers learn in-context by gradient descent
- Do pretrained Transformers Learn In-Context by Gradient Descent?
- Are Emergent Abilities of Large Language Models a Mirage?
- Language Modeling Is Compression
コメント