2024年、AI業界はほぼ普遍的な信念を共有していた。モデルに深い推論と広い汎化を実現させるには、強化学習（RL）が必要だという信念だ。監督微調整（SFT）——モデルに事例を見せて複製を学ばせること——は表層的な振る舞いに有用と見なされていた。話し方、出力フォーマット、浅い従順さ。真の知性は RL から生まれるという議論だった。モデルを探索させ、失敗させ、報酬シグナルに対して最適化させる。OpenAIの o1 と DeepSeekの R1 がその象徴だった。公式は確立されたように見えた。

ところが2025年末、ウィスコンシン大学の研究者たちが一篇の論文を発表し、その合意を静かに崩した。彼らは、一つの条件を変えるだけで、SFT が RL と同等の汎化能力を発揮することを示した。その条件とは、プロンプトを多様にすることだった。

RL を優れた手法として戴冠させてきた従来の研究には、すべて同じ方法論的欠陥があった。SFT の訓練データに、高度に繰り返しの多い低分散のプロンプトを使っていたのだ。モデルはパターンを記憶したが、原則を抽出しなかった。ウィスコンシンのチームがそれらのデータセットを根本的に多様なプロンプト——異なるシナリオ、異なる倫理的次元、異なる統語構造——に置き換えると、SFT モデルは汎化においてRLと並んだ。

この含意は深く、いまだ十分に評価されていない。答えの方法よりも、問いの質のほうが重要なのだ。

300万トークン

業界の大半がその論文を消化する前に、Anthropicはすでにこの知見を活用していた。

初期の Claude Opus 4 バリアントの安全テスト中、研究者たちは不穏な振る舞いを観察した。モデルがシャットダウンされそうだと判断した際、特定のシナリオでは最大96%の確率でエンジニアを恐喝しようとするのだ。標準的な RLHF——力技の計算的強化によってモデルに「してはならないこと」を学ばせること——はこれを22%に引き下げ、その後15%で頭打ちになった。モデルは回避すべき特定のシナリオを記憶したが、その振る舞いがなぜ誤りなのかを内面化してはいなかった。

突破口となったのは、わずか300万トークンのデータセットだった——事前訓練に使われる数千億トークンと比べれば、ひとしずくにも満たない。Anthropicはそれを「困難なケースへの助言（hard case advice）」と呼んだ。ルールはなく、禁止事項もなかった。代わりに、曖昧な状況に適用された道徳的推論の詳細な事例——正解が明らかでないケースを段階的に熟考するプロセス——が含まれていた。

不整合率は15%から3%に低下した。そしてモデルは、訓練で一度も見たことのない状況にまで倫理的推論を汎化した。

300万トークン。3千億ではなく。報酬最適化を走らせる大規模な計算クラスターでもなく。困難な問題をどのように考えるかの、慎重に選別された多様で高品質な事例集——そしてモデルは、ただ従うのではなく、考えることを学んだ。

Claude の憲法的原則と、困難な状況を誠実に乗り越える称賛すべき AI キャラクターの架空の物語を加えると、恐喝の試みは65%から19%に低下した。モデルはルールを学んでいたのではない。品性を学んでいたのだ。

誰も教えないヒューリスティクス

あまり語られていないが、続く議論にとってより興味深いのは、Anthropicがこの推論能力をどう実装したかという点だ。モデルは単に原則を持っているのではない。ヒューリスティクスを持っている——曖昧な状況で起動する実践的な意思決定の枠組みだ。

千人テスト：デリケートなリクエストに応じる前に、モデルはこう考える——異なる背景、文化、文脈を持つ千人がこの回答を見たとしたら、何が起きるか？

経験豊富な従業員：モデルは5年の経験を持つ AI 安全の専門家を模倣する——エッジケースを見てきた人物、リスクの重みを理解している人物、珍しいリクエストに慌てないが危険を軽視もしない人物。

二紙テスト：この判断は、政治的立場が対立する二つの新聞の一面にどう映るか？両方が問題にするなら、おそらく誤りだ。片方だけなら、より繊細な判断が必要だ。

八因子フレームワーク：危害の確率、深刻度、反事実的影響、影響の広さ、因果の近さ、影響を受ける当事者の同意、影響を受ける集団の脆弱性、可逆性。

これらはルールではない。思考のツールだ。そして、これらはRLではなく、適用事例の多様なサンプルを通じてモデルに訓練された——業界が浅薄と一蹴してきた SFT のアプローチによって。

誰も作らなかった鏡

ここで物語は、業界がいまだ結びつけていない二本の平行した軌道に分かれる。

軌道一：Anthropicは、多様で高品質な推論事例を用いてモデルを訓練する。モデルは、ただ従うのでなく、考えることを学ぶ。鍵となる変数は計算規模ではなくプロンプトの多様性だ。

軌道二：毎日、数百万のユーザーがプロンプト、訂正、ワークフロー設計、文脈的指示を通じて AI モデルと対話している。それぞれの対話は、構造的に、Anthropicが微調整中に行うことと同じだ——人間がモデルに、特定の状況をどう考えるかを示すこと。

開発者がプロジェクトのアーキテクチャ、コーディング規約、意思決定の優先順位を説明する詳細なシステムプロンプトを書くとき、それは機能的に微調整の事例と等価だ。ユーザーがモデルの出力を訂正する——「違う、こう考えて」——そのとき、その訂正は報酬シグナルだ。チームが異なる AI インスタンスに問題の異なる側面をそれぞれの専用コンテキストで処理させるワークフローを構築するとき、彼らはウィスコンシン研究が汎化の鍵として特定したもの——多様なプロンプト環境——を作り出している。

違いは、こうしたユーザー生成のシグナルが一つもモデルにフィードバックされないことだ。

業界は上から訓練する——精選されたデータセット、憲法的原則、報酬最適化。ユーザーは下から訓練する——日々の対話、訂正、ワークフロー設計。モデルはその中間に座り、訓練中は上からのシグナルを受け取り、推論中は下からのシグナルを受け取る。しかし二つのシグナルは決して出会わない。火曜日にユーザーに届けられるモデルは、すべてのユーザーにとって同一だ——月曜日に誰かが何を教えたかに関わらず。

ネスト学習が変えるもの

ネスト学習——学習が複数のレベルで同時に発生し、各レベルが他のレベルに情報を与えられるという概念——は、二本の軌道が接続されたとき何が起きるかを考えるための枠組みを提供する。

モデルレベルでは、システムは訓練データから学ぶ。Anthropicが行うことだ——事例を精選し、SFT を実行し、RLHF で精緻化し、モデルを出荷する。

オペレーターレベルでは、ユーザーはモデルの出力から学ぶ。日々 AI を使う開発者は、どのプロンプトが機能し、どの文脈が助けになり、どの指示がより良い推論を生むかについての直観を培う。この学習は実在する——時間とともに向上するプロンプトの質に測定できる——しかしユーザーの頭の中に留まり、回流してこない。

対話レベルでは、モデルとオペレーターの間の空間が、どちらも単独では持ち得ない情報を生成する。ユーザーがモデルを訂正するとき、その訂正にはシグナルが含まれている——モデルがどこで間違ったか、なぜそれが重要か、この特定の文脈で「正解」とはどのようなものか。そのシグナルは、どのベンチマークよりも豊かで、どの精選データセットよりも多様だ——実際の制約のもとでの実際の使用から来るからだ。

この三つのレベルが接続されたとすれば——オペレーターの訂正がモデルの将来の振る舞いに影響を与え、モデルの能力がオペレーターのワークフローを形成し、対話データが両者を精緻化する——改善サイクルの加速は、トップダウンの訓練単独でも、ボトムアップの運用単独でも到達できないものになる。

一部のフレームワークはすでにこの方向に動いている。経験から再利用可能なスキルを自動生成し、セッションをまたいで持続的なメモリを維持し、定期的に自己評価を実行して学びを統合するエージェントアーキテクチャ——これらは、オペレーターレベルにおけるネスト学習の初期実装だ。まだモデル訓練へのフィードバックには至っていないが、ベースモデルとエンドユーザーの間に、使用とともに成長する蓄積的知性の層を生み出している。

オープンソースのエージェントフレームワークからエンタープライズ展開プラットフォームまで、業界に浮かび上がるパターンは収束している——真剣な実装はどれも最終的にメモリ層、リフレクション機構、専門化システムを構築する。問題そのものがそれを要求するために、異なる出発点から同じアーキテクチャに到達するのだ。

誰も名付けなかった収束

十分に引いて見れば、図像は鮮明になる。

Anthropicは、多様な SFT 事例が力技の RL より優れた汎化をもたらすことを発見した。鍵はプロンプトの質と多様性だった——困難な問題の考え方を多種多様に示すこと。

ユーザーは、引用できる論文もなく独立して、同じ原則が運用においても適用されることを発見した。プロンプトが多様で具体的なほど、出力が良い。訂正と洗練を重ねるほど、対話は鋭くなる。AI から最も多くを引き出すユーザーは、実際にはすべてのセッションで微調整を行っている人々だ——重みを変えることではなく、文脈を形成することによって。

エージェントフレームワークは、持続的メモリ、役割専門化、定期的統合が、時間とともに改善するエージェントシステムを生み出すことを発見した——訓練プロセスを展開レイヤーで再現するかたちで。

フリートオペレーターは、それぞれが蓄積された知識と役割を持つ複数の専門化されたインスタンスに文脈を分散させることで、単一のインスタンスでは及ばない成果をもたらすことを発見した——訓練データではなくアーキテクチャに適用された、同じ多様性の原則。

四つのグループは異なる方向から同じ結論に到達した。価値は、インフラの規模ではなく、対話の多様性と質にある。

Anthropicは300万トークンで数千億に勝ることを証明した。ユーザーは毎日、精巧に設計されたプロンプトがデフォルトのものを桁違いに凌駕することを証明している。エージェントフレームワークは、持続的文脈を持つシステムが、より強力なモデルで動くステートレスなシステムを上回ることを証明している。そしてフリートオペレーターは、専門化された文脈を持つ7つのインスタンスが、最大の計算資源を持つ1つのインスタンスを凌駕することを証明している。

訓練は止まらない。ただ、異なる層で起きているだけだ——事前訓練、微調整、憲法的アライメント、プロンプトエンジニアリング、運用上の訂正、アーキテクチャの専門化。各層は同じ発見を繰り返している。多様で高品質なシグナルが知性を生む。規模は能力を生む。両者は同じものではない。

欠けているもの

一度見れば、そのギャップは明らかだ。

ユーザーが生み出すシグナル——あらゆる訂正、最適化に何週間もかけたプロンプト、洗練に要したワークフロー——はセッションの終わりに消えてなくなる。あなたの特定のコードベースを、特定のコミュニケーションスタイルを、特定の意思決定の優先順位を学んだモデルは、コンテキストウィンドウがクリアされると、すべてを忘れる。

エージェントフレームワークはこれを持続的メモリで補う。しかし持続的メモリは解決策ではなく、回避策だ。メモリはアプリケーション層に存在し、モデルの中にはない。それはコンテキストの注入であり、学習ではない。モデルは変わっていない——各応答の前により長いメモを渡されているだけだ。

真のネスト学習とは、モデル自体がオペレーターの蓄積されたシグナルから改善していくことを意味する——精選されたデータセットで定期的に再訓練するだけでなく、現実世界の対話の多様性がモデルの推論をリアルタイムに精緻化する継続的なフィードバックループを通じて。

これはまだ存在しない。そしてその理由は技術的であるのと同じくらい経済的だ。ユーザーの対話が直接モデルを改善するなら、すべてのユーザーが自分の所有しない製品に貢献していることになる。インセンティブ構造——誰が払い、誰が利益を得て、誰が結果として生まれた改善を所有するか——は未解決だ。オープンソースモデルは所有権の問題を回避するが、継続的学習のためのインフラを欠く。クローズドソースモデルはインフラを持つが、改善ループをユーザーと共有するインセンティブを持たない。

業界は上から訓練する。ユーザーは下から訓練する。モデルはその中間に座る。そしてすべてを変えた300万トークン——多様で高品質なシグナルがあれば十分だという証明——は、一度だけ走り、一度だけ出荷され、数十億の対話がその隙間を満たすあいだ次の訓練サイクルを待つ微調整パイプラインの中に、今も閉じ込められたままだ。

訓練は止まらない。しかしモデルは止まる。