相互情報量

情報理論
情報量
情報量 微分エントロピー 条件付きエントロピー 交差エントロピー 結合エントロピー 相互情報量 カルバック・ライブラー情報量 エントロピーレート
通信路
情報源符号化定理 通信路容量 通信路符号化定理 シャノン＝ハートレーの定理
単位
シャノン ナット ハートレー
その他
漸近等分割性（英語版） レート歪み理論（英語版）
カテゴリ
表 話 編 歴

相互情報量（そうごじょうほうりょう、英: mutual information）または伝達情報量（でんたつじょうほうりょう、英: transinformation）は、確率論および情報理論において、2つの確率変数の相互依存の尺度を表す量である。最も典型的な相互情報量の物理単位はビットであり、2 を底とする対数が使われることが多い。

定義

形式的には、2つの離散確率変数 ${\displaystyle X}$ と ${\displaystyle Y}$ の相互情報量は以下で定義される。

${\displaystyle I(X;Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}},\!}$

ここで、${\displaystyle p(x,y)}$ は ${\displaystyle X}$ と ${\displaystyle Y}$ の同時分布関数、${\displaystyle p(x)}$ と ${\displaystyle p(y)}$ はそれぞれ ${\displaystyle X}$ と ${\displaystyle Y}$ の周辺確率分布関数である。

連続確率変数の場合、総和の代わりに定積分を用いる。

${\displaystyle I(X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}\;dx\,dy,\!}$

ここで、${\displaystyle p(x,y)}$ は ${\displaystyle X}$ と ${\displaystyle Y}$ の同時分布密度関数であり、${\displaystyle p(x)}$ と ${\displaystyle p(y)}$ はそれぞれ ${\displaystyle X}$ と ${\displaystyle Y}$ の周辺確率密度関数である。

どちらの場合でも相互情報量は負とならず（${\displaystyle I(X;Y)\geq 0}$）、対称性がある（${\displaystyle I(X;Y)=I(Y;X)}$）。

これらの定義は対数の底が明示されていない。離散確率変数の場合、最も一般的な相互情報量の尺度はビットであるため、底として 2 を指定することが多い。一方、連続確率変数の場合、ネイピア数${\displaystyle e=2.718..}$をとることが多い。

直観的には、相互情報量は ${\displaystyle X}$ と ${\displaystyle Y}$ が共有する情報量の尺度であり、一方の変数を知ることでもう一方をどれだけ推測できるようになるかを示す。例えば、${\displaystyle X}$ と ${\displaystyle Y}$ が独立であれば、${\displaystyle X}$ をいくら知っても ${\displaystyle Y}$ に関する情報は得られないし、逆も同様である。このとき、相互情報量はゼロである。逆に、${\displaystyle X}$ と ${\displaystyle Y}$ が同じであれば、${\displaystyle X}$ と ${\displaystyle Y}$ は全情報を共有しているという事ができ、${\displaystyle X}$ を知れば ${\displaystyle Y}$ も知ることになり、逆も同様である。結果として、相互情報量は ${\displaystyle Y}$（すなわち ${\displaystyle X}$）単独の情報量（エントロピー）と同じとなる。

相互情報量は、以下のような意味で相互の依存性（非独立性）の尺度でもある。これは一方向から考えると分かり易い。${\displaystyle X}$ と ${\displaystyle Y}$ が独立なら、${\displaystyle p(x,y)=p(x)p(y)}$ であるから、次が成り立つ。

${\displaystyle \log {\frac {p(x,y)}{p(x)\,p(y)}}=\log 1=0.\!}$

したがって、離散確率変数の場合も連続確率変数の場合も${\displaystyle I(X;Y)=0}$ となる。実際は逆も成り立ち、${\displaystyle I(X;Y)=0}$ であることと、${\displaystyle X}$ と ${\displaystyle Y}$ が独立な確率変数であることは同値である。

また、後述するように${\displaystyle X}$ と ${\displaystyle Y}$ が独立な場合の同時分布と実際の同時分布の（擬）距離を示す量であるとも考えられる。

他の情報量との関係

相互情報量は次のようにも表せる。

${\displaystyle {\begin{aligned}I(X;Y)&=H(X)-H\left(X\mathop {|} Y\right)\\&=H(Y)-H\left(Y\mathop {|} X\right)\\&=H(X)+H(Y)-H(X,Y)\end{aligned}}}$

ここで、${\displaystyle H(X)}$ と ${\displaystyle H(Y)}$ は周辺エントロピー、${\displaystyle H(X\mathop {|} Y)}$ と ${\displaystyle H(Y\mathop {|} X)}$ は条件付きエントロピー、${\displaystyle H(X,Y)}$ は ${\displaystyle X}$ と ${\displaystyle Y}$ の結合エントロピーである。${\displaystyle H(X)\geq H(X\mathop {|} Y)}$ であるため、相互情報量は常に非負であることがわかる。

直観的に、エントロピー ${\displaystyle H(X)}$ が確率変数の不確かさの尺度であるとすれば、${\displaystyle H(X\mathop {|} Y)}$ は「${\displaystyle Y}$ を知った後にも残る ${\displaystyle X}$ の不確かさの量」と見ることができ、最初の行の右辺は「${\displaystyle X}$ の不確かさの量から ${\displaystyle Y}$ を知った後に残った ${\displaystyle X}$ の不確かさの量を引いたもの」となり、「${\displaystyle Y}$ を知ったことで削減される ${\displaystyle X}$ の不確かさの量」と等価である。これは、相互情報量が2つの確率変数について互いにもう一方を知ったことで得られる別の一方に関する情報量という直観的定義とも合っている。

離散の場合、${\displaystyle H(X\mathop {|} X)=0}$ であるから、${\displaystyle H(X)=I(X;X)}$ となる。従って ${\displaystyle I(X;X)\geq I(X;Y)}$ であり、ある確率変数は他のどんな確率変数よりも自分自身についての情報を多くもたらすという基本原理が定式化されている。

相互情報量は、2つの確率変数 ${\displaystyle X}$ と ${\displaystyle Y}$ の周辺分布の積 ${\displaystyle p(x)p(y)}$ と同時分布 ${\displaystyle p(x,y)}$ のカルバック・ライブラー情報量で表すこともできる。

${\displaystyle I(X;Y)=D_{\mathrm {KL} }\left(p(x,y)\mathop {\|} p(x)p(y)\right)}$

さらに、${\displaystyle p(x,y)=p(x\mathop {|} y)p(y)}$ を用いて変形すると、次のようになる。

${\displaystyle {\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum _{x}p(x\mathop {|} y)\log {\frac {p(x\mathop {|} y)}{p(x)}}\\&{}=\sum _{y}p(y)\;D_{\mathrm {KL} }\left(p(x\mathop {|} y)\mathop {\|} p(x)\right)\\&{}=\mathbb {E} _{Y}\{D_{\mathrm {KL} }\left(p(x\mathop {|} y)\mathop {\|} p(x)\right)\}\end{aligned}}}$

従って、相互情報量は、${\displaystyle p(x\mathop {|} y)}$ の ${\displaystyle p(x)}$ に対するカルバック・ライブラー情報量の期待値として解釈することもできる。ここで、${\displaystyle p(x\mathop {|} y)}$ は ${\displaystyle Y}$ を与えられた時の ${\displaystyle X}$ の条件付き分布、${\displaystyle p(x)}$ は ${\displaystyle X}$ の確率分布である。${\displaystyle p(x\mathop {|} y)}$ と ${\displaystyle p(x)}$ の分布に差があればあるほど、情報利得（カルバック・ライブラー情報量）は大きくなる。

応用

多くの場合、相互情報量を最大化させ（つまり相互依存性を強め）、条件付きエントロピーを最小化させるという方向で使われる。以下のような例がある。

• 通信路容量は相互情報量（伝達情報量）を使って定義される。
• 多重配列アラインメントによるRNAの二次構造予測
• 機械学習における特徴選択や特徴変換の尺度として相互情報量が使われてきた。
• 相互情報量はコーパス言語学における連語の計算における重み付け関数として使われることが多い。
• 相互情報量は医用画像処理における画像の位置合わせに使われる。ある画像と別の画像の座標を合わせるために、両者の相互情報量が最大となるように位置合わせを行う。
• 時系列解析における位相同期（英語版）の検出。
• 情報量最大化独立成分分析アルゴリズムでも利用されている。
• ターケンスの定理（英語版）では平均相互情報量を使って埋め込み遅延パラメータを求める。

関連項目

• 自己相互情報量

参考文献

• Cilibrasi, R.; Paul Vitányi (2005). “Clustering by compression” (PDF). IEEE Transactions on Information Theory 51 (4): 1523-1545. http://www.cwi.nl/~paulv/papers/cluster.pdf. 
• Coombs, C. H., Dawes, R. M. & Tversky, A. (1970), Mathematical Psychology: An Elementary Introduction, Prentice-Hall, Englewood Cliffs, NJ.
• Cronbach L. J. (1954). On the non-rational application of information measures in psychology, in H Quastler, ed., Information Theory in Psychology: Problems and Methods, Free Press, Glencoe, Illinois, pp. 14—30.
• Kenneth Ward Church and Patrick Hanks. Word association norms, mutual information, and lexicography, Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics, 1989.
• Guiasu, Silviu (1977), Information Theory with Applications, McGraw-Hill, New York.
• Li, Ming; Paul Vitányi (February 1997). An introduction to Kolmogorov complexity and its applications. New York: Springer-Verlag. ISBN 0387948686 
• Lockhead G. R. (1970). Identification and the form of multidimensional discrimination space, Journal of Experimental Psychology 85(1), 1-10.
• Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
• Press, W. H., Flannery, B. P., Teukolsky, S. A. & Vetterling, W. T. (1988), Numerical Recipes in C: The Art of Scientific Computing, Cambridge University Press, Cambridge.
• Strehl, Alexander; Joydeep Ghosh (2002). “Cluster ensembles -- a knowledge reuse framework for combining multiple partitions” (PDF). Journal of Machine Learning Research 3: 583-617. http://strehl.com/download/strehl-jmlr02.pdf. 
• Witten, Ian H. & Frank, Eibe (2005), Data Mining: Practical Machine Learning Tools and Techniques, Morgan Kaufmann, Amsterdam.
• Yao, Y. Y. (2003) Information-theoretic measures for knowledge discovery and data mining, in Entropy Measures, Maximum Entropy Principle and Emerging Applications , Karmeshu (ed.), Springer, pp. 115-136.
• Peng, H.C., Long, F., and Ding, C., "Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 8, pp.1226-1238, 2005. Program

外部リンク

• 『相互情報量の意味とエントロピーとの関係』 - 高校数学の美しい物語
• Mutual Information （英語） - スカラーペディア百科事典「相互情報量」の項目。

表 話 編 歴 確率論
確率の歴史	アンドレイ・コルモゴロフ トーマス・ベイズ アンドレイ・マルコフ ジョゼフ・L・ドゥーブ 伊藤清
確率の定義	客観確率 統計的確率 古典的確率 公理的確率 主観確率 ベイズ確率 確率の拡張 外確率 負の確率
基礎概念	モデル 試行 結果 事象 標本空間 確率測度 確率空間 確率変数 確率変数の収束 確率分布 離散確率分布 連続確率分布 同時分布 周辺分布 条件付き確率分布 独立同分布 関数 確率質量関数 確率密度関数 累積分布関数 特性関数 用語 独立 期待値 モーメント 条件付き確率 条件付き期待値
確率の解釈	ベルトランの逆説 3囚人問題 モンティ・ホール問題 サンクトペテルブルクのパラドックス 合接の誤謬 ギャンブラーの誤謬
問題	壺問題 クーポンコレクター問題
法則・定理	ベイズの定理 大数の法則 中心極限定理 コルモゴロフの0-1法則 デ・フィネッティの定理 ウィーナー＝ヒンチンの定理
測度論	確率測度の拡張 カラテオドリの拡張定理 E.ホップの拡張定理 コルモゴロフの拡張定理 ヴィタリの収束定理 ルベーグの優収束定理 ラプラス原理 スコロホッドの表現定理
確率微分方程式	伊藤の補題
確率過程	独立増分過程 定常過程 マルチンゲール マルコフ過程 マルコフ性 マルコフ連鎖 マルコフ決定過程 部分観測マルコフ決定過程 マルコフ再生過程 ウィーナー過程 ブラウン運動 幾何ブラウン運動 非整数ブラウン運動 ベルヌーイ過程 ガウス過程 自己相似過程 経験過程 中華料理店過程 オルンシュタイン＝ウーレンベック過程
情報量	最大エントロピー原理 交差エントロピー 結合エントロピー カルバック・ライブラー情報量 相互情報量
応用	数理ファイナンス ブラック–ショールズ方程式 確率的ボラティリティモデル 系統学 ベイズ法
カテゴリ