71 相互情報量と混合行列

「スライド1枚目」
この動画では、「相互情報量」と「混合行列」について説明します。どちらも2×2の4マスの行列となります。予測と観測結果の計算方法が異なるため、「相互情報量」と「混合行列」を天気予報や数字認識の例を用いて解説します。
「スライド2枚目」
スライド2枚目では、晴れと雨の2択の天気予報を例に説明します。横軸が予報（晴れ＝B、雨＝D）、縦軸が実際の天気（晴れ＝H、雨＝R）です。この4マスの行列では、左上と右下が予報と実際が一致する「正解」のケースです。一方、右上と左下が「誤り」で、右上は「予報が雨だが実際は晴れ」、左下は「予報が晴れだが実際は雨」を示します。
この誤りの分類は重要で、例えばセキュリティでは、右上は「偽陽性」、左下は「偽陰性」と呼ばれます。それぞれが与える影響は用途によって異なります。
「スライド3枚目」
スライド3枚目では、「相互情報量」の応用について論じます。クラスタリングの例を用い、赤と緑の点を分類した際に、誤った分類（黒点）が増えると相互情報量が減少します。一方、分類が正確であれば相互情報量は増加します。「相互情報量」とは、予測値が実際のデータにどれほど近いかを示す指標です。
「スライド4枚目」
スライド4枚目では、「情報量」の種類について説明します。「相互情報量」は「自己情報量」と「平均情報量」を基に定義されます。自己情報量は単一の事象の確率に基づき、平均情報量は複数の事象の確率を合計したものです。一般に、平均情報量は「エントロピー」と呼ばれます。
「相互情報量」は自己情報量と平均情報量から計算され、情報の最適化に役立ちます。
「スライド5枚目」
スライド5枚目では、「自己情報量」「平均情報量」「相互情報量」の例を紹介します。例えば、マンションの部屋番号を使った例題では、情報量は伝える内容に依存します。また、コインを用いた例題では、少ない回数で重いコインを特定する試行が「平均情報量」として示されます。
「スライド6枚目」
スライド6枚目では、天気予報におけるエントロピーの計算方法を解説しています。条件付き確率と結合確率を基に、予報と実際の天気の4通りの組み合わせ（晴れ、雨）が評価されます。これにより、情報の不確実性がどのように計算されるかが示されています。計算手順が具体的に説明され、情報量を定量化するための基本が理解しやすく紹介されています。
「スライド7枚目」
スライド7枚目では、条件付き確率と結合確率を用いて相互情報量を計算する手順を示しています。予報と実際の天気データから条件付きエントロピーを算出し、これを全体のエントロピーから引くことで相互情報量を得るプロセスが解説されています。具体例では、結合確率行列を使った計算が示され、情報量がどのように数値化されるかが明確化されています。
「スライド8枚目」
スライド8枚目では、これまでの内容を簡潔にまとめています。相互情報量とエントロピーの基本的な概念、それらが情報評価においてどのように活用されるかが再確認されます。各スライドで取り上げた具体例を総括し、情報量の重要性を再度強調する内容となっています。
「スライド9枚目」
スライド9枚目では、100%的中する天気予報が情報量として意味を持たないことを説明しています。完全な正確性は行動の指針を与えないため、情報量がゼロとみなされます。また、情報量の最大化が必ずしも有用ではないケースがあることを指摘し、行動可能性の観点から情報の適切な評価が重要であることが述べられています。
「スライド10枚目」
スライド10枚目では、ヤギの行動例を通じて情報量がゼロになる状況を説明しています。ヤギが水源を探して途中で動きを止める様子は、深層学習における「局所最小値」に似ています。情報量が不足することで行動が停止し、予測が意味を持たなくなることが示されています。これにより、情報量が行動や意思決定に与える影響が具体的に説明されています。
「スライド11枚目」
スライド11枚目では、混合行列の具体例として87395255655の数字を用い、真陽性、真陰性、偽陽性、偽陰性をどのように分類するかを説明しています。また、これらを基に再現率や適合率を計算する手法が解説されます。混合行列を用いることで誤りの種類を明確化し、予測モデルの性能を評価する方法が示されています。
「スライド12枚目」
スライド12枚目では、再現率と適合率の定義と計算方法について説明されています。再現率は「真陽性」を基に、適合率は「偽陽性」を基に計算されます。両者の分母に含まれる値の違いが明確化され、それぞれの計算手法が実際のデータに基づいて具体例とともに示されています。
「スライド13枚目」
スライド13枚目では、混合行列をさらに掘り下げ、87395255655の数字に基づいて適合率や再現率が変化する様子を説明しています。特に、棒の位置を変えることで分類結果がどのように影響を受けるかが示され、実際のデータに対するアルゴリズムの選択や適用の重要性が強調されています。
「スライド14枚目」
スライド14枚目では、混合行列における非対称性が適合率や再現率に与える影響を解説しています。棒を引く位置の違いによって誤りが変化し、それが予測モデルの性能に与える影響が具体例とともに示されています。誤差の種類に応じて最適な線引きを選択することの重要性が強調されています。