# 活性空間の情報幾何：自然steeringと重み編集の変分双対

2026年11月5日。統合ノート v0.3 の幾何学的補遺。サブリミナル学習を研究の中心には置かない。

**構成できる理論は、出力分布の情報幾何を、重み編集と活性介入という二つの実装へ移す理論である。** 活性には出力分布の変化によるFisher計量が入り、重みの計量からは実現可能な活性変化の商計量が誘導される。両者をつなぐ最小コスト問題には厳密な変分双対がある。さらに、指数型分布族では活性の自然座標と期待座標の間に、甘利の意味での双対平坦構造を構成できる。

重みと生の活性が、そのまま互いの自然座標・期待座標になるとは主張しない。本稿の恒等式は既存の情報幾何、二次最適化、商計量、カーネル理論の帰結であり、新しい数学定理としての優先性を主張しない。WSPへの設計原理、実現不可能性の診断、有限編集の予測力が研究対象となる。

## 1. 情報幾何の対象と、二種類の双対

情報幾何の本来の対象は確率分布族であり、重み空間に限定されない。重みが分布を指定すれば重みの情報幾何が、活性が分布を指定すれば活性の情報幾何が得られる。甘利の双対接続は、計量だけでなく三次の構造も含む。[Amari, Information Geometry (2021), abstract](https://www.ms.u-tokyo.ac.jp/~toshi/jjm/JJM_HP/contents/abstract/16-1/JJM1920_AB.pdf)

本稿では次を区別する。

| 構造 | 対応する対象 | 成立条件 |
|---|---|---|
| 最小化問題の変分双対 | 重み変位と、目標活性変位を実現する制約の乗数 | 局所線形写像と正定値編集計量 |
| 甘利の自然・期待座標の双対 | 自然パラメータと期待十分統計量 | 最小正則指数型分布族等の双対平坦構造 |
| 計量を介した接・余接対応 | 変位ベクトルと目的の微分 | 非退化な計量、または適切な商空間 |

「双対版」を厳密に使うなら、第一の構造で重みから活性の幾何を導き、第二の構造を活性側に実装する、という二段階の意味が妥当である。

## 2. 活性空間にFisher計量を入れる

入力文脈 \(x\) を固定し、ある完全な介入断面の活性を \(h\)、固定した下流計算が与える分布を \(p(y\mid x,h)\) とする。必要なら \(h\) に複数位置の活性やキャッシュを含める。断面を迂回する編集経路が残る場合、この因子分解は適用できない。

\[
F_x(h)=\mathbb E_{y\sim p(\cdot\mid x,h)}
\left[\nabla_h\log p\;\nabla_h\log p^\top\right].
\tag{1}
\]

滑らかさと共通の分布支持を仮定すると、

\[
\operatorname{KL}(p_h\Vert p_{h+u})
=\tfrac12 u^\top F_x(h)u+o(\|u\|^2).
\tag{2}
\]

従って活性の長さは、座標上の大きさでなく、出力分布をどれだけ変えるかで測れる。一般には半正定値なので、真の計量と呼ぶには不可視な方向を除く必要がある。Fisherの零方向は局所的な不可視性を意味し、有限変位での不変性を保証しない。

有限個の文脈に固定の正の重み \(\mu_x\) を与え、活性場 \(H=(h_x)_x\) とする。以下では

\[
F=\operatorname{blockdiag}(\mu_xF_x),\qquad
\mathcal L(H)=\sum_x\mu_x C_x(h_x)
\tag{3}
\]

を使う。まず \(F\succ0\) の識別可能座標で議論する。

目的の微分を \(q=d\mathcal L\) の座標表示とすると、局所的に \(q^\top u=\rho\) だけ目的を増やす最小KL方向は

\[
u_{\rm nat}
=\underset{q^\top u=\rho}{\arg\min}\;\tfrac12u^\top Fu
=\frac{\rho F^{-1}q}{q^\top F^{-1}q}.
\tag{4}
\]

これを自然steeringと呼ぶ。保証は局所的な総出力KLについてであり、無関係な意味内容だけを保存する保証には別の概念モデルが必要である。中間活性へのFisher引き戻しとこの種の最小歪みsteeringには、直接の先行研究がある。[FishBack, v2, §4](https://arxiv.org/html/2605.17231v2)

### ベクトルと余ベクトルを混同しない

\(q\) は \(dC=q^\top dh\) を与える余ベクトルであり、線形probeの係数はこの型である。一方、活性の平均差 \(v\) は接ベクトルとして変換する。平均差を理由なく \(F^{-1}v\) に置き換えると座標不変性を失う。

\(h'=Sh\) という可逆な線形座標変換では、

\[
q'=S^{-\top}q,\quad F'=S^{-\top}FS^{-1},\quad
F'^{-1}q'=SF^{-1}q.
\tag{5}
\]

自然steeringは同じ介入を表す。対照差からどの目的・probeを作るかは、計量とは独立に定める必要がある。

## 3. 重み計量から活性の幾何を導く中心定理

許された重み編集の座標を \(\theta\)、対象文脈すべての活性を \(H=E(\theta)\)、その微分を \(J=DE_\theta\) とする。局所的には

\[
u=Jv,\qquad v=\delta\theta,
\tag{6}
\]

である。重み空間には正定値計量 \(M\) を置く。これはこの段階では一般の編集コストであり、Fisherであるとは仮定しない。パラメータ座標を変えるときは \(M\) も計量として変換する。

**定理。** \(M\succ0\)、\(u\in\operatorname{im}J\) とする。活性の余ベクトルを速度へ写す作用素を

\[
K=JM^{-1}J^\top
\tag{7}
\]

と定義すると、

\[
\boxed{
\underbrace{\min_{Jv=u}\tfrac12v^\top Mv}_{\text{最小の重み編集コスト}}
=\underbrace{\tfrac12u^\top K^+u}_{\text{実現可能な活性変化の幾何}}
=\underbrace{\sup_q\{q^\top u-\tfrac12q^\top Kq\}}_{\text{変分双対}}
}.
\tag{D}
\]

最小編集は

\[
v^*=M^{-1}J^\top K^+u.
\tag{8}
\]

**証明。** Lagrangianを \(\tfrac12v^\top Mv+q^\top(u-Jv)\) とする。\(v\) で最小化すると \(v=M^{-1}J^\top q\)、双対目的は \(q^\top u-\tfrac12q^\top Kq\) となる。実現可能なら \(Kq=u\) を解け、\(q=K^+u\) を代入すると式(D)と式(8)を得る。正定値 \(M\) により主問題の解は一意である。∎

\(K\) は計量の逆側にあるcometricであり、可逆なら活性計量は \(K^{-1}\) である。特異な場合は \(\operatorname{im}J\) 上の二次形式を \(K^+\) で表す。**特異行列のMoore–Penrose逆そのものが任意の座標変換で計量テンソルの変換則を満たすとは限らない。** 不変なのは、制約付き最適値と、実現可能な接空間上の長さである。

\(u\notin\operatorname{im}J\) なら最小化問題も双対の上限も \(+\infty\) になる。この場合、有限な \(u^\top K^+u/2\) を実現コストとして使ってはいけない。誘導コストは実現不可能な方向で \(+\infty\) と定義する。

## 4. 重みの自然勾配と自然steeringが一致する条件

完全な断面と固定下流を通じて同じ出力分布を見ていると、重みFisherは

\[
G_\theta=J^\top FJ.
\tag{9}
\]

ここで \(F\succ0\) とし、重みの冗長性 \(\ker J\) を除いた局所座標を使う。この商空間で \(M=G_\theta\) を選ぶと、

\[
K_F=J(J^\top FJ)^+J^\top
=\Pi^F_{\operatorname{im}J}F^{-1},
\tag{10}
\]

以下では、計量 \(M\) による勾配演算子を \(\nabla_M\) と記す。正定値の計量について、
\[
\langle\nabla_M f,v\rangle_M=df[v],
\qquad
\nabla_M f=M^{-1}\partial f
\]
で定義する。\(\partial f\) は座標偏微分を並べた列、\(df\) は目的の一次変化を表す余ベクトルであり、逆計量がこれを接ベクトルへ変換する。\(M=I\) なら通常のEuclidean勾配、Fisher計量なら自然勾配になる。添え字 \(M\) は微分方向ではなく計量の指定である。成分では \((\nabla_M f)^i=M^{ij}\partial_jf\) と書ける。スカラーの共変微分 \(\nabla_i f=\partial_i f\) の添え字を逆計量で上げる操作に対応し、ベクトル場の共変微分とは区別する。退化した計量については上記の商空間上で解釈する。

\[
\boxed{
J\nabla_{G_\theta}(\mathcal L\circ E)
=\Pi^F_{\operatorname{im}J}\nabla_F\mathcal L
}.
\tag{11}
\]

右辺の \(\Pi^F\) はFisher直交射影である。**重みの自然勾配は、活性の自然steeringのうち、その重み編集で実現できる成分を実行する。** \(J\) が活性接空間へ全射なら射影が消える。

また、実現可能な \(u\) には、

\[
\min_{Jv=u}\tfrac12v^\top G_\theta v
=\tfrac12u^\top Fu.
\tag{12}
\]

元の冗長な重み座標では、同じ \(u\) を与えるすべての \(v\) が同じFisherコストになる。従ってFisherだけから、どのニューロンを変えるか、どの層を編集するか、どの疎な実装を選ぶかは一意に決まらない。式(8)の一意性を利用するには、商座標を選ぶか、独立の正定値資源計量を明示する。

活性Fisherも退化する場合、不可視性は \(\ker(F^{1/2}J)\) による。単にすべての逆行列を擬逆へ置き換えるだけでは一般的な不変性は保証されない。目的の微分も不可視方向でゼロであることが必要になる。

式(11)の関数空間への射影という構造には既存の自然勾配・カーネル理論がある。例えばBai, Rosenberg, XuのGeneralized Tangent Kernelは、自然勾配、通常勾配、関数空間の幾何を結ぶ。[arXiv:2202.06232v4](https://arxiv.org/abs/2202.06232v4)

## 5. 文脈間の結合が、WSPと個別steeringを分ける

文脈別のJacobianを \(J_x\) と書くと、式(7)のブロックは

\[
K(x,x')=J_xM^{-1}J_{x'}^\top.
\tag{13}
\]

独立な文脈の出力KLは式(3)のように加算される。しかし重みを共有すると、ある文脈での変更と他の文脈での変更が式(13)によって結合する。WSPはこの結合に従う活性場を実装する。

**最小の反例。** \(h_w(x)=wx\)、対象文脈を \(x=1,-1\) とする。

\[
E(w)=(w,-w),\quad J=(1,-1)^\top.
\tag{14}
\]

両方で同じsteering \(u=(c,c)\)、\(c\ne0\) を要求すると、\(\delta w=c\) と \(-\delta w=c\) が衝突する。各文脈には直接活性を加算できるが、一つの共有重みの変更では実装できない。

双対では \(q=t(1,1)\) を取ると \(J^\top q=0\) であり、編集コスト項はゼロなのに \(q^\top u=2tc\) は非有界となる。**双対変数は、steeringの実現不可能性を示す証明書にもなる。** バイアス編集を許せば、この例の定数steeringは実現可能になる。

## 6. 甘利の意味での双対座標を活性空間に構成する

固定の出力ベクトル \(\gamma_y\) を持つsoftmaxを考える。

\[
p_h(y)=\exp\{h^\top\gamma_y-\psi(h)\},\qquad
\psi(h)=\log\sum_y e^{h^\top\gamma_y}.
\tag{15}
\]

分布を変えない方向を除いて最小表現にすると、\(\psi\) は厳密凸になり、

\[
\eta=\nabla\psi(h)=\mathbb E_{p_h}[\gamma_y],\quad
F(h)=\nabla^2\psi(h),\quad
h=\nabla\psi^*(\eta).
\tag{16}
\]

これが活性の自然座標 \(h\) と期待座標 \(\eta\) のLegendre双対である。

\[
\operatorname{KL}(p_h\Vert p_{h'})
=D_\psi(h',h),\qquad
ds^2=dh^\top Fdh=d\eta^\top F^{-1}d\eta.
\tag{17}
\]

このHessian幾何では、\(h\) がアフィン座標となる接続 \(\nabla^{(e)}\) と、\(\eta\) がアフィン座標となる接続 \(\nabla^{(m)}\) がともに平坦であり、計量 \(g\) に関して

\[
X[g(Y,Z)]
=g(\nabla^{(e)}_X Y,Z)+g(Y,\nabla^{(m)}_X Z)
\tag{17a}
\]

を満たす。これが双対接続の意味である。従って、単に逆行列を用いるという意味を超えた甘利の双対構造が、活性空間の内部に実際に存在する。

固定された余ベクトル \(q\) に対して、期待座標上の直線を選べば、

\[
\boxed{
\eta(t)=\eta(0)+tq
\quad\Longleftrightarrow\quad
\dot h(t)=F(h(t))^{-1}q
}.
\tag{18}
\]

自然座標では曲がる自然steeringが、期待座標では直線になる。\(\eta(t)\) が実現可能な期待パラメータ領域内にあることが必要である。期待座標の直線は、制限された指数型分布族では確率分布そのものの単純混合とは限らない。

有限変位も、同じ条件で

\[
h_t=\nabla\psi^*(\eta_0+tq)
=\underset{h}{\arg\max}
\left\{tq^\top h-\operatorname{KL}(p_{h_0}\Vert p_h)\right\}.
\tag{19}
\]

これは目的が線形 \(q^\top h\) の場合である。一般の非線形目的で \(q=dC(h)\) が変化すれば、期待座標も一般には直線にならない。

このsoftmax表現の双対座標とdual steeringは、Park et al.が直接扱っている。従って式(16)–(19)を新規のsteering原理とは主張しない。[The Information Geometry of Softmax: Probing and Steering, v2, §2–4](https://arxiv.org/html/2602.15293v2)

**二値の例。** \(p=\sigma(h)\) なら \(\psi(h)=\log(1+e^h)\)、\(\eta=p\)、\(F=p(1-p)\)。\(q=1\) の双対steeringは \(p(t)=p_0+t\)、\(h(t)=\log\{(p_0+t)/(1-p_0-t)\}\) となる。一定のlog-odds加算と、一定の確率変化が異なることを幾何が明示する。

## 7. 重みの期待座標と、活性の期待座標の関係

固定特徴 \(a_x\) に対するsoftmax \(p_W(y\mid x)=\operatorname{softmax}(Wa_x)_y\) では、

\[
\Psi(W)=\sum_x\mu_x\log\sum_y e^{(Wa_x)_y},\qquad
\nabla_W\Psi(W)=\sum_x\mu_xp_W(\cdot\mid x)a_x^\top.
\tag{20}
\]

従って重み \(W\) にLegendre双対なものは、生の活性 \(Wa_x\) ではなく、**出力の期待十分統計量と入力特徴の相関**である。最小識別可能な表現では \(\nabla_W^2\Psi\) は重みFisherになり、重み側にも自然・期待座標を構成できる。

活性と重みの情報幾何は連鎖律で結ばれるが、二つの座標をそのまま相互のLegendre双対と呼ぶことはできない。重み数と活性数が異なる場合も多く、写像には冗長性と実現不可能な方向がある。

## 8. 深い中間層へ拡張するときの限界

中間活性 \(h\) からsoftmax自然座標 \(z=f(h)\) への写像があるなら、

\[
F_h=Df(h)^\top F_z Df(h).
\tag{21}
\]

これは正当なpullbackである。しかし一般に

\[
\nabla_h^2[\psi(f(h))]
=Df^\top F_zDf+\sum_i\eta_i\nabla_h^2f_i
\tag{22}
\]

であり、単に \(\psi\circ f\) のHessianをFisherと呼べない。

また、任意の深層モデルの像が双対平坦とは限らない。ただし非線形な座標変換そのものは双対平坦性を壊さない。同じ双対平坦な統計多様体の微分同相な座標変換なら、その幾何は保たれる。問題となるのは制約されたモデル像、非単射性、特異点、接続の曲率などである。

式(D)は接空間の定理である。有限の経路 \(H(t)\) を重みへ実装するには、経路が実現可能な像内にあり、局所的にrankが一定で、

\[
\dot\theta(t)=M(\theta)^{-1}J(\theta)^\top
\{J(\theta)M(\theta)^{-1}J(\theta)^\top\}^+\dot H(t)
\tag{23}
\]

の解が存在し、初期条件 \(E(\theta(0))=H(0)\) を満たす必要がある。始点のJacobianだけで有限編集全体を保証してはいけない。

固定prefix上のnext-token Fisherと、介入後の生成履歴を含む系列分布のFisherも区別する。生成全体の理論へ移すには、その系列分布と介入位置を定義し直す必要がある。

## 9. WSPの設計と検証へ結びつける

与えられた目標活性場 \(u\) に対し、近似的な編集は

\[
v_\lambda=\underset{v}{\arg\min}
\left\{\tfrac12(Jv-u)^\top F(Jv-u)+\tfrac\lambda2v^\top Mv\right\}
=(J^\top FJ+\lambda M)^{-1}J^\top Fu,
\quad\lambda>0.
\tag{24}
\]

ここで \(F\) は振る舞いの不一致、\(M\) は編集資源のコストであり、役割を分ける。保護したい文脈の活性変化をゼロに設定すれば、目的文脈と保護文脈の衝突も同じ式で評価できる。ただし活性一致は十分条件であり、活性が異なっても出力が同じ場合には出力の商幾何を使う方が適切である。

構造化したWSPプログラム \(\theta=P(\xi)\) については、固定した離散構造の中で \(J\) を \(J\,DP\) に置き換える。層選択・マスク選択など離散的なプログラム探索は別に扱う。計量は、なぜLLMがそのプログラムを発見できるかを単独では説明しない。

検証可能な問いは次の三つである。

1. 局所射影残差 \(\|u-\Pi^F_{\operatorname{im}J}u\|_F^2\) は、直接steeringと重み編集の不一致を予測するか。
2. 文脈間カーネル \(K(x,x')\) は、ある文脈の編集が別の文脈へ及ぼす一次効果を予測するか。
3. 編集を強くしたときの予測の破れは、Jacobian・計量の変化、および介入後の生成履歴への移行で説明できるか。

比較対象にはEuclidean編集、直接活性介入、Fisherを考慮した活性介入、同一の許可編集範囲での重み編集を含める。目標効果を揃えた上で総KL・保護対象の指標・計算コストを比較する。最小二乗の恒等式を再確認するだけで、実LLMに対する予測力を実証したとは言わない。

## 10. 既知・導出・未検証の区別

| 主張 | 状態 | 根拠と限界 |
|---|---|---|
| 活性に出力Fisherを引き戻せる | 既知 | FishBack等。総KLと意味上の副作用は別 |
| softmax活性に自然・期待座標がある | 既知 | 正則指数型分布族。Park et al.はsteeringへ直接適用 |
| 最小編集コストと活性商計量の変分双対 | 標準理論からの導出 | 本稿§3の有限次元証明。新規数学の主張なし |
| 重み自然勾配は活性自然勾配の射影 | 既知の幾何的帰結 | 完全cut・固定下流・識別可能性が必要 |
| 任意のsteeringを共有重みで実装できる | 一般には偽 | §5の反例 |
| Fisherが疎な編集を一意に選ぶ | 一般には偽 | 同じ出力変化を実現する編集間の退化 |
| この幾何がAstraの編集探索を説明する | 未検証 | AstraがFisherを計算した証拠はない。観測・探索・プログラムの表現も必要 |
| この構成だけでトップ会議級の新規性がある | 未確立 | 直接の先行研究あり。予測・手法・実験の追加が必要 |

数学部分は独立の批判的確認を行い、添付スクリプトで最小コスト双対、非直交座標変換での不変性、Fisher射影、実現不可能性、有限softmax双対、重みFisherの連鎖律を小型の数値例で照合した。これは実LLMでの性能検証ではない。

## 参照資料と確認範囲

- [Amari, Information Geometry (2021)](https://www.ms.u-tokyo.ac.jp/~toshi/jjm/JJM_HP/contents/abstract/16-1/JJM1920_AB.pdf)：著者のabstract。分布族・計量・三次テンソル・双対接続の位置づけ。
- [Park et al., The Information Geometry of Softmax: Probing and Steering, v2 (2026)](https://arxiv.org/html/2602.15293v2)：HTML §2–4。活性のLegendre双対、dual steering、実現可能領域。
- [Wang et al., FishBack, v2 (2026)](https://arxiv.org/html/2605.17231v2)：HTML §3–4。中間活性Fisherと最適steering。意味上の保存保証には追加仮定。
- [Bai, Rosenberg, Xu, Generalized Tangent Kernel, v4 (2025)](https://arxiv.org/abs/2202.06232v4)：著者・題名・版をarXivで確認。関数空間自然勾配とGTK/RKHSとの既存の接続。OpenReviewへのroot側アクセスはchallengeで遮断され、arXivの確認を採用した。
- [Rudner et al., The Natural Neural Tangent Kernel (2019)](https://oatml.cs.ox.ac.uk/publications/201912_Rudner2019Natural.html)：著者所属機関の研究ページとabstract。自然勾配の関数空間解析の先行。リンク先PDFは404であり、本稿はその本文固有の定理に依存しない。

既存の統合ノートやClaudeの研究方針・決定記録は変更していない。