図の拡大表示
← 本文へ戻る
重み側の一歩をJで写すと、活性化側の青い一歩になる。要求する変化を中心としたFisher楕円を縮めると、実現可能な直線に接する点が、その一歩の端点と重なる。
計量に基づく射影 · 厳密な数学モデル

重みを自然勾配に沿って動かす。あるいは活性化側の自然勾配を、実現できる変化へ射影する。完全な介入インターフェースと引き戻したFisher計量のもとでは、局所的に同じ結果になる。

設定・適用範囲・元ファイル
厳密な接空間のモデル。F=(2.5.51)F=\begin{pmatrix}2&.5\\.5&1\end{pmatrix}、v=(.8,1.4)v=(.8,1.4)、許される変化は u2=0u_2=0。楕円は 12(u−v)⊤F(u−v)\tfrac12(u-v)^\top F(u-v) の等高線で、青い直線に接する点がFisher射影 (1.15,0)(1.15,0) になる。ユークリッド射影 (.8,0)(.8,0) とは異なる。J=(1,0)⊤J=(1,0)^\top とすると重み側の計量は Gθ=J⊤FJ=2G_\theta=J^\top FJ=2。微分がFvとなる線形目的関数について、重み側の自然勾配をJで写した結果は、この射影に一致する。左右の矢印を同期させて、その恒等式を示す。Qwenの測定や最適化の記録ではない。
原画像 ↧ GIF ↧ MP4 ↧
図が見えたら一度だけ自動再生 · いつでも停止できます