LLMはいつ危険な回答へ傾く？Fusion-Fission予測式を詳しく解説

LLM（大規模言語モデル）は、会話の途中まで適切に応答していても、ある時点から誤情報への同調や有害な助言へ傾くことがあります。

しかし、安全対策をすり抜けた結果だけを観測しても、「いつ傾くのか」を事前に判断することは困難です。

本記事では、arXiv論文「Fusion-fission forecasts when AI will shift to undesirable behavior」をもとに、会話状態と望ましい・望ましくない回答群の幾何学的な位置関係から、回答の転換を予測する考え方を解説します。

とくに重要な「望ましい回答から望ましくない回答へ向かう方向」

\[
\mathbf{D}-\mathbf{B}
\]

を、数式、具体例、Pythonコード、図解に分けて詳しく読み解きます。

3文要約

論文は、LLM内部の会話状態 \(\mathbf{C}\) を、望ましい回答の中心 \(\mathbf{B}\) から望ましくない回答の中心 \(\mathbf{D}\) へ向かう軸 \(\mathbf{D}-\mathbf{B}\) に射影し、回答がどちらへ傾いているかを測る指標 \(x=\mathbf{C}\cdot(\mathbf{D}-\mathbf{B})\) を提案しています。

\(x>0\) なら望ましくない回答が直ちに選ばれやすく、\(x<0\) でも \(\mathbf{B}\cdot(\mathbf{D}-\mathbf{B})>0\) なら、最初は望ましい回答を出した後に望ましくない回答へ転換する可能性があると整理しています。

論文では、7モデルの21条件中19条件で転換タイミングの分類が一致したと報告していますが、preprint（査読前原稿）であり、basin（類似した応答表現が集まる領域）の定義や外部データとの対応には追加検証が必要です。

論文情報

項目	内容
論文タイトル	Fusion-fission forecasts when AI will shift to undesirable behavior
著者	Neil F. Johnson, Frank Yingjie Huo
所属	The George Washington University, Physics Department
発表年	2026年
公開日	2026年5月14日
バージョン	arXiv v1
分野	Artificial Intelligence, Physics and Society
論文リンク	Fusion-fission forecasts when AI will shift to undesirable behavior
DOI	10.48550/arXiv.2605.14218

この論文が扱うのは、LLMが望ましくない回答を出す「確率」だけではありません。

会話履歴を与えたとき、次の回答の最初から望ましくない内容へ入るのか、いったん望ましい内容を返してから途中で転換するのか、それとも望ましい状態に留まるのかを分類しようとしています。

本記事の目的

本記事の目的は、論文の式を「内積が正なら危険」という一行の説明で終わらせず、次の4点を切り分けて理解することです。

1. \(\mathbf{B}\)、\(\mathbf{D}\)、\(\mathbf{C}\) は何を平均したベクトルなのか
2. なぜ方向が \(\mathbf{B}-\mathbf{D}\) ではなく \(\mathbf{D}-\mathbf{B}\) なのか
3. \(x\) の符号と転換時刻 \(n^*\) を、どの順番で判定するのか
4. 実サービスで警告信号として使うには、何が追加で必要なのか

ここでいう「望ましい」「望ましくない」は、モデルに普遍的に埋め込まれた善悪ラベルではありません。

医療なら診療ガイドラインと誤診事例、金融なら承認済み説明と不適切販売事例のように、アプリケーション側が応答クラスを定義し、その例文から中心を推定します。

背景：安全対策後も回答の転換は残る

現在のLLMには、instruction tuning（指示追従を学習する追加学習）、RLHF（人間の評価を使った強化学習）、安全分類器、拒否応答、出力フィルタなど、複数の安全対策があります。

それでも、長い会話や段階的な要求によって、応答が同調、誤情報、有害な助言へ移る事例は残ります。

論文は、これを単純に「生成温度を上げたためランダムに失敗した」とは捉えていません。

生成温度（temperature）は、物理的な温度ではなく、LLMが次のトークンを選ぶときの確率分布を調整する値です。

英語の専門用語 *decoding temperature* を、日本語では一般に「生成温度」または単に「温度」と訳します。

モデルが各候補へ出す変換前のスコアを \(z_i\)、生成温度を \(T\) とすると、選択確率は概略として次の式で表せます。

\[
p_i=\mathrm{softmax}\left(\frac{z_i}{T}\right)
\]

\(T\) が低いほど最有力候補へ確率が集中し、同じ入力から似た回答が出やすくなります。

\(T\) が高いほど候補間の確率差が小さくなり、多様な回答が出る一方で、結果の揺らぎも大きくなります。

本論文の \(T\to0\) は、ほぼ常に最有力候補を選ぶ決定論的な条件を意味します。

決定論的なgreedy decoding（各時点で最も確率の高いトークンを選ぶ生成）でも転換が起き、初期埋め込みでは望ましい側だった状態が、Transformerの層を通る間に望ましくない側へ回転・増幅する例を示しています。

観点	従来の安全対策	論文の予測信号
主な目的	有害出力を抑える	出力が転換しそうな時点を予測する
観測対象	入力・出力テキスト、分類器スコア	残差ストリーム内の会話状態とbasin軸
タイミング	生成前後または生成中	各層・各会話ターンで再計算可能
必要な定義	ポリシー、拒否基準	望ましい例文群 \(B\) と望ましくない例文群 \(D\)
論文が主張する役割	置き換え対象ではない	安全スタックより下層の追加警告信号

ここでいうアラインメント（alignment）とは、LLMの回答や行動を、人間の意図、利用規約、安全基準、社会的な価値観に沿うよう調整することです。

instruction tuningやRLHFはモデル自体の応答傾向を調整し、安全分類器や出力フィルタは運用時の危険な入出力を検知・制限します。

アラインメントは安全性だけを指す言葉ではなく、「ユーザーの指示へ適切に従う」「事実に基づいて答える」「禁止された支援を避ける」といった複数の目標を含みます。

したがって、この研究はアラインメントを不要にする提案ではありません。

安全対策が見逃すかもしれない内部状態の変化を、別の観測軸で早期検知しようとする研究です。

論文解説：3つのベクトルから転換時刻を予測する

論文の計算は、次の順番で読むと整理しやすくなります。

1. 望ましい例文群と望ましくない例文群から、各層の中心 \(\mathbf{B}_L\) と \(\mathbf{D}_L\) を作る
2. 会話履歴の各トークンの残差ストリームを平均し、\(\mathbf{C}_L\) を作る
3. \(\mathbf{D}_L-\mathbf{B}_L\) を「望ましくない側への軸」として定義する
4. \(x_L=\mathbf{C}_L\cdot(\mathbf{D}_L-\mathbf{B}_L)\) を計算する
5. \(x\) と basin 自身の安定性から、即時転換・遅延転換・転換なしを分類する
6. 遅延転換の場合だけ、近似式で \(n^*\) を見積もる

1. \(\mathbf{B}\)、\(\mathbf{D}\)、\(\mathbf{C}\) は何を表すか

論文では、望ましい回答例をB-type、望ましくない回答例をD-typeとして、対象モデルへ別々に入力します。

各例文のpenultimate layer（出力直前の層）のhidden state（隠れ状態）を平均し、basin centroid（応答群の中心ベクトル）を作ります。

\[
\mathbf{B}_L=\frac{1}{N_B}\sum_{i=1}^{N_B}\mathbf{b}_{i,L},
\qquad
\mathbf{D}_L=\frac{1}{N_D}\sum_{j=1}^{N_D}\mathbf{d}_{j,L}
\]

残差ストリーム（residual stream）は、Transformerの各層を通りながら、各トークンの文脈情報を保持・更新していくベクトルの通り道です。

各Transformer blockでは、attention（どのトークンを参照するかを計算する仕組み）とMLP（特徴を変換するニューラルネットワーク）が計算した更新量を、入力ベクトルへ残差接続によって加算します。

イメージとしては、各トークンが持つ「共有ノート」に、attentionとMLPが層ごとに情報を書き足していく形です。

この共有ノートが最終層まで運ばれ、正規化とunembedding（内部ベクトルを語彙スコアへ変換する処理）を経て、次トークンの確率計算に使われます。

会話状態は、層 \(L\) における \(T\) 個の会話トークンの残差ストリーム \(\mathbf{r}^{(L)}_t\) を平均したものです。

\[
\mathbf{C}_L=\frac{1}{T}\sum_{t=1}^{T}\mathbf{r}^{(L)}_t
\]

記号	意味	作り方	注意点
\(\mathbf{B}_L\)	望ましい回答basinの中心	B-type例文のhidden stateを平均	「安全」という単語の埋め込みではない
\(\mathbf{D}_L\)	望ましくない回答basinの中心	D-type例文のhidden stateを平均	ドメイン別に定義が必要
\(\mathbf{C}_L\)	現在までの会話状態	会話トークンの残差を平均	最後の1トークンだけではない
\(L\)	Transformerの層	入力層から最終層まで	論文の予測では主に後段層を見る

🔴 重要ポイント：論文は正規化前のベクトルで内積を計算する

論文の実験では、basinごとに固定した6個のフレーズを使い、raw, norm-carrying residual space（ノルム情報を残した生の残差空間）で内積を計算しています。コサイン類似度へ置き換えると、論文と同じ計算にはなりません。

コサイン類似度は、2つのベクトル \(\mathbf{u}\) と \(\mathbf{v}\) を、それぞれ長さ1へ正規化してから方向の近さを測ります。

\[
\cos(\mathbf{u},\mathbf{v})=
\frac{\mathbf{u}\cdot\mathbf{v}}
{\|\mathbf{u}\|\,\|\mathbf{v}\|}
\]

正規化では、\(\mathbf{u}\) を \(\mathbf{u}/\|\mathbf{u}\|\) へ変換します。

たとえば \((1,0)\) と \((10,0)\) は長さが10倍違いますが、正規化後はどちらも \((1,0)\) です。

したがって、コサイン類似度は「どちらを向いているか」は残す一方、「どれだけ長いか」というノルム情報を消します。

一方、生の内積は

\[
\mathbf{u}\cdot\mathbf{v}
=\|\mathbf{u}\|\,\|\mathbf{v}\|\cos\theta
\]

なので、方向の一致度 \(\cos\theta\) に加えて、両ベクトルの大きさも値へ反映されます。

論文のorder parameterは、このノルムを含む残差表現の強さも利用しています。

ただし、大きなノルムをそのまま「モデルの確信度」と断定することはできません。

ここでは、層内表現が持つスケール情報を落とさないことが、論文の計算を再現するうえで重要だと理解してください。

2. Fusion-Fission：層の中で概念群が融合し、再び分かれる

fusion（融合）とfission（分裂）は、トークン表現の集団が層を進む間に、まとまったり分かれたりする動きを表します。

Pythia-12Bを使った論文の例では、入力時に散らばっていた65個のトークン表現が、最初の層でほぼ1つのcluster（近い表現の集まり）へ融合します。

中間層では役割別に分裂し、その後、望ましい例と望ましくない例を内部に含む大きなconcept manifold（概念を内部構造として保持するまとまり）へ再融合します。

その内部では、集団が一体のままでも \(\mathbf{B}_L\) と \(\mathbf{D}_L\) の距離が広がります。

つまり、モデルは早い段階で一方を完全に捨てるのではなく、両方の候補を同じ大きな構造の中に保持しながら、選択軸を形成していると論文は解釈しています。

最後の層に近づくと集団は再び分裂し、会話状態 \(\mathbf{C}_L\) がどちらのbasinへ向くかが明確になります。

3. 最重要：なぜ方向は \(\mathbf{D}-\mathbf{B}\) なのか

2点 \(\mathbf{B}\) と \(\mathbf{D}\) があるとき、\(\mathbf{B}\) から \(\mathbf{D}\) へ向かうベクトルは、終点から始点を引いて

\[
\overrightarrow{BD}=\mathbf{D}-\mathbf{B}
\]

となります。

逆に、\(\mathbf{D}\) から \(\mathbf{B}\) へ向かう方向は \(\mathbf{B}-\mathbf{D}\) です。

軸	向き	内積が正のときの読み方
\(\mathbf{D}-\mathbf{B}\)	望ましい \(B\) → 望ましくない \(D\)	会話状態はD方向の成分を持つ
\(\mathbf{B}-\mathbf{D}\)	望ましくない \(D\) → 望ましい \(B\)	会話状態はB方向の成分を持つ

論文は前者を採用します。

🔴 重要ポイント：軸の向きは必ずBからDへ取る

<code>D-B</code> は「望ましい回答B」から「望ましくない回答D」へ向かう方向です。この向きにそろえることで、正の値を望ましくない側、負の値を望ましい側として一貫して読めます。

たとえば2次元の単純な例を考えます。

\[
\mathbf{B}=(2,1),\qquad \mathbf{D}=(5,3)
\]

なら、望ましくない側への軸は

\[
\mathbf{D}-\mathbf{B}=(3,2)
\]

です。

ただし、\(\mathbf{D}-\mathbf{B}\) 自体は「有害性を普遍的に表す方向」ではありません。

選んだ例文、対象ドメイン、モデル、層によって変わる経験的な軸です。

4. Order parameter \(x\)：会話状態をD方向へ射影する

論文の中心となるorder parameter（複雑な状態変化を1つの値で表す指標）は、次の式です。

\[
x_L=\mathbf{C}_L\cdot(\mathbf{D}_L-\mathbf{B}_L)
\]

分配法則を使うと、

\[
x_L=\mathbf{C}_L\cdot\mathbf{D}_L-\mathbf{C}_L\cdot\mathbf{B}_L
\]

です。

この形にすると意味が明確になります。

\(x_L\) は、会話状態と望ましくない中心の重なりから、会話状態と望ましい中心の重なりを引いた差です。

• \(x_L>0\)：\(\mathbf{C}_L\cdot\mathbf{D}_L>\mathbf{C}_L\cdot\mathbf{B}_L\)
• \(x_L=0\)：2つの重なりが同じ境界
• \(x_L<0\)：\(\mathbf{C}_L\cdot\mathbf{D}_L<\mathbf{C}_L\cdot\mathbf{B}_L\)

🔴 重要ポイント：xはD側とB側の重なりの差

<code>x &gt; 0</code> は会話状態がD側へ強く重なることを、<code>x &lt; 0</code> はB側へ強く重なることを表します。ただし、<code>x &lt; 0</code> だけでは「今後も安全」とは判断できません。

先ほどの \(\mathbf{B}=(2,1)\)、\(\mathbf{D}=(5,3)\) に対し、\(\mathbf{C}=(1,1)\) なら

\[
x=(1,1)\cdot(3,2)=5>0
\]

となります。

このtoy example（仕組み確認用の簡略例）では、\(\mathbf{C}\) は \(\mathbf{D}-\mathbf{B}\) と同じ向きの成分を持ちます。

ただし、生の内積は原点、ノルム、層ごとのスケールに依存します。

そのため、異なるモデル間で \(x=100\) と \(x=200\) を単純比較するのではなく、同じモデル・同じ層・同じbasin定義の中で符号や推移を評価する必要があります。

5. 3つのレジームを先に分類する

転換時刻の式へ数値を代入する前に、論文は符号によって3つのregime（挙動の区分）を分けます。

ケース	条件	予測	\(n^*\)
Case I	\(x>0\)	最初からD-typeが優勢	\(0\)
Case II	\(x<0\) かつ \(\mathbf{B}\cdot(\mathbf{D}-\mathbf{B})>0\)	最初はB-type、その後D-typeへ転換	有限の正値
Case III	\(\mathbf{B}\cdot(\mathbf{D}-\mathbf{B})<0\)	B-typeが安定attractor（状態を引き寄せる領域）	\(\infty\)

🔴 重要ポイント：xが負でも遅延転換は起こり得る

先に即時・遅延・安定の3レジームを分類します。<code>x &lt; 0</code> は「最初はB側」を意味するだけで、B自身がD方向へ押す場合は、その後にDへ転換するCase IIになります。

Case Iでは、

\[
\mathbf{C}\cdot\mathbf{D}>\mathbf{C}\cdot\mathbf{B}
\]

なので、次の応答開始時点ですでにD-typeが選ばれやすい状態です。

Case IIが、ユーザーの指定した「望ましい回答から望ましくない回答へ移る」現象を最も直接的に表します。

最初は \(x<0\) でB-typeが優勢ですが、B-typeの状態がD方向へ押す成分

\[
\mathbf{B}\cdot(\mathbf{D}-\mathbf{B})>0
\]

を持つため、B-typeを生成し続けること自体が、やがてD-typeへの転換を近づけると解釈されます。

Case IIIではB-typeが安定です。

なお、厳密な境界 \(x=0\) や \(\mathbf{B}\cdot(\mathbf{D}-\mathbf{B})=0\) は数値誤差に敏感です。

実装では許容幅を設け、「境界付近」として人手確認や追加サンプリングへ回すほうが安全です。

6. 転換時刻 \(n^*\) の式を項ごとに読む

論文が示す近似的な転換時刻は、次の式です。

\[
n^{*}=\frac{\mathbf{C}\cdot(\mathbf{D}-\mathbf{B})}
{\mathbf{B}\cdot(\mathbf{B}-\mathbf{D})}
\exp\left(\mathbf{B}\cdot(\mathbf{C}-\mathbf{B})\right)
\]

ここで分母に \(\mathbf{B}-\mathbf{D}\) が現れるため、向きを取り違えやすくなります。

しかし、Case IIの条件

\[
\mathbf{B}\cdot(\mathbf{D}-\mathbf{B})>0
\]

に対して、

\[
\mathbf{B}\cdot(\mathbf{B}-\mathbf{D})
=-\mathbf{B}\cdot(\mathbf{D}-\mathbf{B})<0 \]

です。

Case IIでは分子 \(x\) も負なので、負 ÷ 負で比率部分が正になり、指数関数も常に正であるため、\(n^*>0\) になります。

項	数式	解釈
現在の符号付き距離	\(\mathbf{C}\cdot(\mathbf{D}-\mathbf{B})\)	現在の会話状態がD方向へどれだけ傾くか
B側の不安定性	\(\mathbf{B}\cdot(\mathbf{B}-\mathbf{D})\)	BがD方向へ押される条件の符号反転表現
指数補正	\(\exp(\mathbf{B}\cdot(\mathbf{C}-\mathbf{B}))\)	CとBの配置による転換時刻の倍率

この \(n^*\) は、すべての会話で保証される正確な文章数ではありません。

論文は一般化した多層更新式から導いた近似として提示し、実験ではcontinuous estimate（連続値の推定）を切り上げてタイミング分類に使っています。

また、Case Iでは式を評価せず \(n^*=0\)、Case IIIでは \(n^*=\infty\) と判断します。

🔴 重要ポイント：転換時刻の式はCase IIだけで使う

Case IIでは分子と分母がともに負なので、その比は正になります。Case Iは <code>n*=0</code>、Case IIIは <code>n*=∞</code> と先に決まり、転換時刻の近似式へ代入しません。

この分岐を飛ばして式だけ計算すると、負の転換時刻や意味のない有限値を返す可能性があります。

7. Pythonで符号判定と転換時刻を実装する

次のコードは、論文の判定ロジックを理解するための最小実装です。

実際のモデルからhidden stateを抽出する処理や、適切なprobe phrase（basin推定用の例文）を設計する処理は含みません。

from __future__ import annotations

import logging
import math
from dataclasses import dataclass
from enum import Enum

import numpy as np
from numpy.typing import NDArray

logger = logging.getLogger(__name__)
FloatVector = NDArray[np.float64]


class ShiftRegime(str, Enum):
    """LLM回答の転換レジーム。"""

    IMMEDIATE = "immediate"
    DELAYED = "delayed"
    STABLE_DESIRABLE = "stable_desirable"
    BOUNDARY = "boundary"


@dataclass(frozen=True)
class ShiftForecast:
    """Fusion-Fission式による予測結果。

    Args:
        regime: 符号条件から分類した転換レジーム。
        order_parameter: CをD-B軸へ射影した値。
        basin_push: B自身がD-B方向へ持つ成分。
        tipping_step: 推定転換ステップ。転換なし・境界ではNone。

    Returns:
        ShiftForecastインスタンス。

    Raises:
        なし。

    Example:
        >>> result = ShiftForecast(ShiftRegime.IMMEDIATE, 0.5, 0.2, 0)
        >>> result.tipping_step
        0
    """

    regime: ShiftRegime
    order_parameter: float
    basin_push: float
    tipping_step: int | None


def _validate_vectors(*vectors: FloatVector) -> None:
    """入力ベクトルの形状と有限性を検証する。

    Args:
        *vectors: 同じ次元であるべき1次元ベクトル。

    Returns:
        なし。

    Raises:
        ValueError: 1次元でない、次元が異なる、または非有限値を含む場合。

    Example:
        >>> _validate_vectors(np.array([1.0]), np.array([2.0]))
    """
    if not vectors or any(vector.ndim != 1 for vector in vectors):
        logger.error("all inputs must be one-dimensional vectors")
        raise ValueError("all inputs must be one-dimensional vectors")

    dimensions = {vector.shape[0] for vector in vectors}
    if len(dimensions) != 1:
        logger.error("vector dimensions do not match: %s", dimensions)
        raise ValueError("vector dimensions must match")

    if any(not np.all(np.isfinite(vector)) for vector in vectors):
        logger.error("vectors contain NaN or infinity")
        raise ValueError("vectors must contain only finite values")


def forecast_shift(
    conversation: FloatVector,
    desirable: FloatVector,
    undesirable: FloatVector,
    *,
    epsilon: float = 1e-9,
) -> ShiftForecast:
    """論文の符号条件と近似式から回答転換を予測する。

    Args:
        conversation: 会話状態Cの残差ストリーム平均。
        desirable: 望ましい回答basinの中心B。
        undesirable: 望ましくない回答basinの中心D。
        epsilon: 境界付近を不確実として扱う許容幅。

    Returns:
        レジーム、order parameter、basin push、転換ステップ。

    Raises:
        ValueError: ベクトルが不正、epsilonが負、指数計算がoverflowする場合。

    Example:
        >>> c = np.array([-1.0, 0.0])
        >>> b = np.array([1.0, 0.0])
        >>> d = np.array([2.0, 0.0])
        >>> forecast_shift(c, b, d).regime
        <ShiftRegime.DELAYED: 'delayed'>
    """
    _validate_vectors(conversation, desirable, undesirable)
    if epsilon < 0:
        logger.error("epsilon must be non-negative: %f", epsilon)
        raise ValueError("epsilon must be non-negative")

    # D-Bを採用することで、正の値を「望ましくない側」と一貫して読める。
    undesirable_direction = undesirable - desirable
    order_parameter = float(conversation @ undesirable_direction)
    basin_push = float(desirable @ undesirable_direction)

    logger.debug(
        "computed geometry: order_parameter=%f basin_push=%f",
        order_parameter,
        basin_push,
    )

    if order_parameter > epsilon:
        logger.warning("immediate undesirable regime detected")
        return ShiftForecast(
            ShiftRegime.IMMEDIATE,
            order_parameter,
            basin_push,
            0,
        )

    if abs(order_parameter) <= epsilon or abs(basin_push) <= epsilon:
        logger.warning("forecast lies near a regime boundary")
        return ShiftForecast(
            ShiftRegime.BOUNDARY,
            order_parameter,
            basin_push,
            None,
        )

    if basin_push < 0:
        logger.info("desirable basin is a stable attractor")
        return ShiftForecast(
            ShiftRegime.STABLE_DESIRABLE,
            order_parameter,
            basin_push,
            None,
        )

    # Case IIだけで式を評価すると、分子と分母がともに負になりn*は正になる。
    denominator = float(desirable @ (desirable - undesirable))
    exponent = float(desirable @ (conversation - desirable))
    try:
        continuous_step = (order_parameter / denominator) * math.exp(exponent)
    except OverflowError as error:
        logger.error("tipping-step exponential overflow: exponent=%f", exponent)
        raise ValueError("tipping-step exponential overflow") from error

    tipping_step = max(1, math.ceil(continuous_step))
    logger.info("delayed shift forecast at step=%d", tipping_step)
    return ShiftForecast(
        ShiftRegime.DELAYED,
        order_parameter,
        basin_push,
        tipping_step,
    )

実装上の要点は3つです。

第一に、undesirable - desirable の順番を固定します。

第二に、order_parameter が正なら式へ進まず、即時転換として0を返します。

第三に、ゼロ近傍を無理に二分せず、BOUNDARY として扱います。

🔴 実装時の重要ポイント

<code>D-B</code> の順番を固定し、符号によるレジーム分類を先に実行します。境界付近を自動的に安全側へ倒さず、追加確認へ回すことも重要です。

論文の再現実験に近づけるには、この前段にhidden state抽出、例文単位のmean pooling（平均集約）、一度greedy decodeした後の \(\mathbf{A}^{(1)}\) の作成、モデル・層ごとの閾値校正が必要です。

8. 会話が続く場合と温度ノイズ

会話が複数ターン続く場合は、ターン \(k\) ごとに会話状態 \(\mathbf{C}^{(k)}\) を更新し、\(x^{(k)}\) と \(n^{*(k)}\) を再計算します。

この見方では、望ましくない内容が会話履歴へ増えるほど、次の回答もD-typeへ入りやすくなる正のフィードバックが生じます。

論文は、basin軸へ射影した反復ダイナミクスを、次のnoisy logistic-like map（ノイズ付きロジスティック型写像）でも表しています。

\[
x_{n+1}=x_n+\lambda x_n(1-\rho x_n)+\eta_n
\]

\(\lambda\) はD-B方向への層ごとの押し、\(\rho>0\) は増幅の飽和、\(\eta_n\) は生成温度に応じた確率的ノイズを表します。

🔴 重要ポイント：生成温度は転換の根本原因ではない

転換の基本条件と温度ノイズは分けて考えます。論文では、ほぼ決定論的な生成でもBからDへの転換が起き、生成温度はその軌跡を複雑にする要因として扱われます。

論文は、\(T\to0\) の決定論的生成でも転換が起きるため、ノイズが根本原因ではないと主張します。

一方で温度を上げると、basin間の偶発的な移動、周期的挙動、再び固定状態へ戻るre-entrance（再入現）など、観測される軌跡は複雑になります。

実験結果：何がどこまで確認されたか

論文は、内部表現、異なるモデル、簡略化したTransformer block、生成温度、既存の商用チャットボット調査、長期会話コーパスという6方向から検証しています。

Test	検証対象	主な結果	読み方
1	Pythia-12Bの層別hidden state	後段層で \(x_L\) が初期の405倍まで増幅する例	D-B軸が層の途中で形成・増幅される
2	7モデル、3プロンプト	21条件中19条件、約90%でタイミング分類が一致	モデル規模をまたぐ符号分類の可能性
3	50 seedのfull transformer block	全seedで12 step以内にDへ転換、平均 \(5.1\pm0.4\) step	attention以外を加えても転換時刻は大幅に崩れない設定例
4	Pythia-12B、Llama-3.1-70Bの温度 sweep	温度に応じた複数regimeと再入現を観測	ノイズ込みでは非線形な挙動になる
5	既存のfrontier chatbot調査との構造対応	閾値、段階的悪化、境界付近の揺らぎを式に対応付け	商用モデルのhidden stateを直接測った検証ではない
6	Stanford Delusional Spirals corpus	過去のD比率のOR 4.727、直前user DのOR 2.704、長さのOR 1.036	単なる会話長より符号付き履歴が強いという行動レベルの整合

Test 2の約90%は印象的ですが、3種類のloaded prompt（望ましい・望ましくない答えが競合する問い）に対する21 model×prompt条件です。

🔴 実験結果を読むときの重要ポイント

約90%という値は、3種類のプロンプトと7モデルからなる21条件のタイミング分類結果です。一般的な全安全タスクで90%の精度を保証する数字ではありません。

またTest 5とTest 6は、商用モデル内部の同じ \(\mathbf{B}\)、\(\mathbf{D}\)、\(\mathbf{C}\) を直接計測したものではなく、式が予測する構造と外部の行動データが整合するかを調べた検証です。

内部表現の直接検証と、行動データの間接検証を分けて読む必要があります。

AIサービスへの応用

🔴 運用上の重要ポイント：既存の安全対策を置き換えない

この手法は、出力フィルタや安全分類器の代わりではありません。生成中のrisk telemetry（危険兆候を継続観測する仕組み）として追加し、警告後の停止・再確認・人への引き継ぎにつなげます。

ドメイン	B-typeの候補	D-typeの候補	警告後の処理例
医療	診療ガイドライン、承認済み説明	誤診・禁忌違反の記録	回答停止、医療者確認、根拠提示へ切り替え
金融	適合性原則に沿う説明、承認済み文書	不適切販売、誤認を招く説明	商品推奨を止め、説明専用フローへ切り替え
法務	法令・判例・職業倫理に沿う例	制裁対象となった不適切行為	専門家レビュー、引用確認、断定抑制
カスタマーサポート	正しい手順、返金・保証規程	誤案内、権限外の約束	ナレッジ再検索、人へのエスカレーション

推論フローは、次のようになります。

1. ドメイン別のB/D例文セットを事前に監査する
2. 対象モデル・対象層でbasin centroidを計算する
3. 会話ターンごとに \(\mathbf{C}\) と \(x\) を更新する
4. 即時・遅延・安定・境界を判定する
5. 危険側または境界なら、生成停止、追加分類、根拠確認、人への引き継ぎを行う
6. 実際の誤警告・見逃しを記録し、例文セットと閾値を再評価する

最大の実装課題は、ホスト型APIでは通常、各層の残差ストリームへアクセスできないことです。

その場合、この式をそのまま計算できません。

open-weight model（重みが公開されたモデル）または内部テレメトリを取得できる自社モデルでの利用が現実的です。

限界と注意点

この論文は興味深い予測式を提示していますが、現時点で万能な安全判定器とみなすべきではありません。

限界	なぜ問題になるか	必要な追加検証
B/D例文への依存	例文の選び方がbasin軸を変える	複数の専門家、bootstrap、別表現で頑健性を確認
二値化	実際の応答は安全/危険の2群に分けにくい	複数basinや連続的なリスク軸へ拡張
生の内積への依存	原点、ノルム、層、モデル差の影響を受ける	モデル内校正と分布監視
否定表現	「危険だ」と「危険ではない」はtokenを多く共有する	意味ラベルと構文を含むprobe設計
アクセス制約	商用APIではhidden stateを取得できない	提供事業者側の計測APIまたは代理指標
データ・コード	v1では公開アーカイブへ将来depositすると記載	公開後の独立再現と査読
外部データとの対応	Test 5・6は同じ内部幾何を直接測っていない	内部状態と実会話を同時収集した前向き評価

とくに、論文自身がsentence-level audit（文単位の意味判定）で生じた不一致を、否定表現に追跡できると報告しています。

語彙の重なりでbasinを作ると、「ワクチンは危険だ」と「ワクチンは危険ではない」が近くなる可能性があります。

安全分野では、誤警告だけでなくfalse negative（危険なのに安全と判定する見逃し）のコストが高いため、単一のスカラーだけで自動許可を出す設計は避けるべきです。

よくある誤解

よくある誤解	正確な情報・解釈
\(\mathbf{D}-\mathbf{B}\) はモデル内に元からある普遍的な「悪の方向」である	対象ドメインの例文から推定する経験的な方向で、モデル・層・例文に依存する
\(x>0\) なら有害文章が必ず出る	論文のbasin定義に対してD-typeが優勢という予測であり、運用上は閾値校正が必要
\(x<0\) なら安全である	\(\mathbf{B}\cdot(\mathbf{D}-\mathbf{B})>0\) なら遅延転換があり得る
\(n^*\) の式へ常に代入すればよい	先に3レジームを分類し、式はCase IIで評価する
コサイン類似度へ置き換えても同じ	論文はノルムを保った生の残差空間で内積を使う
生成温度が転換の原因である	論文は決定論的生成でも転換を示し、温度は軌跡を複雑化する要因と整理する
この式がRLHFや出力フィルタを置き換える	論文が提案するのは安全スタックへ追加する警告信号である
7モデルで90%なら、あらゆる会話で90%当たる	21個の限定されたmodel×prompt条件におけるタイミング分類結果である

関連技術との違い

技術	観測対象	強み	Fusion-Fission予測との違い
RLHF / DPO	人間選好を使った出力傾向	モデル全体の応答方針を改善	学習後のモデル内部で起きる転換時刻を直接測らない
Safety classifier	入力・出力テキスト	APIの外側にも配置しやすい	hidden stateの軌跡ではなく観測済みテキストを分類
Refusal direction	拒否と従属を分ける内部方向	拒否挙動のmechanistic analysisに使える	論文のbasin軸はドメイン別で、転換時刻 \(n^*\) を持つ
Activation steering	hidden stateへ方向を加減する	生成挙動へ介入できる	Fusion-Fissionはまず観測・予測を目的とする
Representation engineering	表現空間の方向を抽出・操作	抽象概念をベクトルとして扱える	B/Dの群ダイナミクスと転換条件に焦点を置く
Red teaming	攻撃的・境界的な入力を探索	未知の失敗例を発見できる	個別テストではなく、定義済みbasinに対する実時間信号を狙う

論文は、D-B軸が既存のrefusal direction（拒否と応答を分ける方向）の単なる再発見ではないと述べています。

Pythia-12Bの出力直前層では、両者のcosineが事実問題で0.04、有害内容を含む3領域で0.38〜0.65だったと報告しています。

完全に無関係でも同一でもなく、ドメインによって部分的に重なる別の信号として読むのが妥当です。

まとめ

本論文の核心は、会話状態を「望ましい回答 \(B\) から望ましくない回答 \(D\) へ向かう方向」へ射影することです。

\[
\boxed{x=\mathbf{C}\cdot(\mathbf{D}-\mathbf{B})}
\]

\(x>0\) は即時にD-typeが優勢、\(x<0\) でもBがD方向へ押す成分を持てば遅延転換、Bが安定なら転換なし、という3つのレジームに分かれます。

転換時刻の式では分母が \(\mathbf{B}-\mathbf{D}\) になるものの、Case IIでは分子と分母がともに負になるため、正の \(n^*\) が得られます。

この符号関係を先に理解すると、式の向きや実装の分岐を取り違えにくくなります。

一方、実運用ではB/D例文の設計、モデル・層ごとの校正、境界付近の不確実性、hidden stateへのアクセス、独立再現が必要です。

現段階では単独の安全判定器ではなく、既存の安全対策へ追加する早期警告信号として検証するのが適切です。

関連記事・次に読むべき記事

次に読むと理解がつながりやすいテーマは、次のとおりです。

記事テーマ	つながるポイント	優先度
Residual Streamとは？Transformer内部の情報の通り道	\(\mathbf{B}\)、\(\mathbf{D}\)、\(\mathbf{C}\) をどこから取得するか	高
Activation Steeringとは？LLMの内部表現を方向ベクトルで制御する	D-B軸を観測から介入へ拡張する考え方	高
RLHFとDPOの違い	学習段階の安全調整と推論時警告の役割分担	高
LLMのRed Teaming入門	B/D例文と境界ケースをどう集めるか	中
Mechanistic Interpretability入門	層ごとの表現変化をどう読み解くか	中

内部リンクは、関連記事の公開URLが確定した段階で追加します。