友だちと親しくなる=情報量の期待値が減る【情報理論3】#11
HTML-код
- Опубликовано: 29 июл 2024
- 情報理論3本目。「同じ人と飲むのが嫌いな理由はエントロピー」「1bitって何？（ファミコンの絵のことではない）」「友だちと親しくなることは、エントロピーが減ること」など、ポップな話と数式を交互に行き来します。
【目次】
0:00 同じ人と飲み続けるのが嫌な理由は「エントロピー」
0:33 情報量を計算してみよう。1bitって何？
9:12 「人が犬を噛んだ」は情報量が大きい（ベタ例文）。あとマクラーレンのイップス。
13:08 エントロピーをざっくり言うと「情報量の期待値」
18:15 最近の赤ちゃんの性別のエントロピーはゼロのことが多い。
22:57 偏っているとエントロピーは小さい
25:03 初代ポケモン四天王誰が好き？のエントロピー
33:40 友だちと親しくなるということは、エントロピーが減ること
【参考文献のリンク】
○『通信の数学的理論』
amzn.to/3taByzE
→今回のメイン種本。丸ごとシャノンの論文なので難易度は高いが、語り口は意外に堅苦しくない（1940年代の工学論文はそういうトレンドだったらしい）
○『情報理論』
amzn.to/3tiWcxI
→研究者によるシャノンの論文の解説。今回の参考文献の中では語り口がいちばん面白いのでオススメ。
○『シャノンの情報理論入門』
amzn.to/3tay4Np
→雰囲気だけ分かりたい時におなじみのブルーバックス。とはいえ、ブルーバックスの割にはそこそこ数式も出てきてそれなりに理解できる。
○『情報はなぜビットなのか』
amzn.to/3piB5tS
→情報理論の本だと思って読んだらそうでもなかった。「コンピュータって何ができるの？」っていうよもやま本。情報理論の話もちょっとだけある。いちばん平易。
○『教養悪口本』
amzn.to/3pkKS2B
→堀元の著書。シャノンの情報理論も悪口として活用しています。買ってね（ダイレクトマーケティング）
【サポーターコミュニティ加入はこちらから】
yurugengo.com/support
【親チャンネル：ゆる言語学ラジオ】
/ @yurugengo
【おたよりフォーム】
forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています！
【お仕事依頼はこちら！】
yurugengo@gmail.com
【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→ / kenhori2
noteマガジン→note.com/kenhori2/m/m125fc452...
個人RUclips→ / @kenhorimoto
【水野太貴プロフィール】
名古屋大学文学部卒。専門は言語学。
某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
【参考文献のリンク】
○『通信の数学的理論』
amzn.to/3taByzE
→今回のメイン種本。丸ごとシャノンの論文なので難易度は高いが、語り口は意外に堅苦しくない（1940年代の工学論文はそういうトレンドだったらしい）
○『情報理論』
amzn.to/3tiWcxI
→研究者によるシャノンの論文の解説。今回の参考文献の中では語り口がいちばん面白いのでオススメ。
○『シャノンの情報理論入門』
amzn.to/3tay4Np
→雰囲気だけ分かりたい時におなじみのブルーバックス。とはいえ、ブルーバックスの割にはそこそこ数式も出てきてそれなりに理解できる。
○『情報はなぜビットなのか』
amzn.to/3piB5tS
→情報理論の本だと思って読んだらそうでもなかった。「コンピュータって何ができるの？」っていうよもやま本。情報理論の話もちょっとだけある。いちばん平易。
○『教養悪口本』
amzn.to/3pkKS2B
→堀元の著書。シャノンの情報理論も悪口として活用しています。買ってね（ダイレクトマーケティング）
【サポーターコミュニティ加入はこちらから】
yurugengo.com/support
堀元さんがジャケットを着ているので情報量大きい回ですね
「情報量ゼロか、ゴミめ」って、
情報量ゼロ=全ての問に対する答えを知っている
=俺はお前の全てを知っている
っていうツンデレみと重さを感じさせるものの、答えが分かりきってしまっている為寂しさも感じる、良い愛の表現なのでは（謎理論）
赤ちゃんのことを、自分の性別を外界に伝えに来た演算機として扱うのサイコすぎるｗ
明日出産予定日なんだけど…(爆笑)
男の子と健診で確定してるので私は情報量ゼロの息子を産むのかw
ゆる非人道ラジオたすかる
情報量がなぜ対数で表されるのか、という点について補足しておきます。
例えば、トランプ52枚の中で、
「ハートである」の情報量はlog4で、
「4である」の情報量はlog12で、
「ハートの4である」の情報量はlog52です。
このとき、log4+log12=log52が成り立ちます。
つまり、「ハートである」＋「4である」＝「ハートの4である」という情報量の和を定義することができます。対数の和と真数の積には対応関係があるので、「情報量の和」と「確率における積」とがうまく整合性をもって計算することができます。
よって、情報量を確率をもとに定義すると、対数として扱う必要が出てくるのです。
ちなみに、ここからは私の個人的な意見ですが、おそらく、
「情報量を対数で扱う」といったような発想は決して物理学だけで用いられていたわけではなくて、いろいろなところで個別に発生していたと思われます。しかし、これに関するものに対する名称は物理学でしか与えられていなかったので「エントロピー」という物理学の用語が使用されることになったのではないでしょうか。決して物理学の概念がほかの分野でも扱われるようになったのではないと思います。これは物理を研究する側からの一方的な感想なので間違っているかもしれません。
はえ～そうなんか～
でも「4である」の情報量はもしかしてlog13？
@@WINGofJapan283 一瞬48じゃん！となったので助かりました。ありがとうございます。
分かりやすい！腑に落ちました。ありがとうございます！
計算に都合がいいのはもちろん、二進数のケタ数に対応させたいという言う意味合いが大きいと思います。
だから底が2になってて、bitにできる
例えばlog52=5.7なので、6桁あればトランプ全ての数字カードを示せる
「犬が人を噛む」と「人が犬を噛む」の例えを大学のゼミで聞いた時、byteとbite(噛む)を掛けててオシャレだなって思ってたけど、クリシェだったんだな
Appleのリンゴがかじられているのもbyteとbiteが掛けてあるんですよね。
@@pascalpaskel
それはガセで、
チューリングが亡くなったときに傍にあった食べかけのリンゴから来てるというのもガセで
さくらんぼとか他の丸い果物に見間違えないようにしたのが本当の理由。
@@pascalpaskel
知恵の実を齧っているところって意味なのかと思ってた
27:55
堀元さんはワタルが四天王だと言うことを忘れていたのに、堀元さんの好きな四天王がワタルだと予想する水野さん
ゆる言語学ラジオ：用例＝ゆるコンピュータ科学ラジオ：情報源
私は「変数」を推したいです
@@user-mk5ho6zf9m メンバー変数（メンバー会員）とグローバル変数（一般の方）で呼び分けていただけると最高です
識別子○○さんからの出力です
も捨て難いです
「情報源〇〇さんから情報量ゼロのおたよりをいただきました」
@@tamarind_kingdom これ好き
完全に理解した ＝ 情報量０
ぜんぜんわからない ＝ 情報量多
チョットデキル ＝ 情報量少
12:55 音節の数がちげーよってツッコミ好き笑
人がニュースに噛みつくのは、よくあることだから情報量は少なめですね
水野さんが対数関数のグラフ指で書いた時の形が指数関数形でちょっと可愛い
「お母さんという情報源」と言ってから、大笑いになったのは、お二人ともとっても人間的なお方だということですね。
例えがあまりにも非人間的な言い回しであることに気づいてしまった笑い、ステキです‼️
今回も息を呑みながら見せていただきましたよ❣️
賢い2人がわからない話をしてるかと思ったら急にルーロー飯とか言い出すから安心する
『お母さんという情報源』とか『赤ちゃんという性別を伝える情報源』とか言われると、「じゃあ、もしかして産道は通信路……？」って思っちゃう
N = 1の経験談しかないと情報量が急降下してしまうので、友人から見た自分の情報量をキープするために、いろんな知識を仕入れないといけないってことですね
｢お母さんという情報源｣が面白すぎて声出して笑った
エントロピーは仲良くなる伸び代…
今回のお話、
「確率は主観的である」
というベイズ主義の立場がよくわかって面白いですね。
de Finettiという数学者の確率の教科書「Theory of Probability」の序文に
「確率は存在しない（PROBABILITY DOES NOT EXIST）」
という、パラドキシカルな文言があります。
これはまさに、今回のお話にあるような、
「同じこと」でも人によって情報量や確率は変わる、
という主観性を表しているのだと思います。
このチャンネルでしか聞けないツッコミ
12:57 「音節の数が違うよ！」
今回の再生数分、友達を情報量で見ている同志がいることを水野さんにお伝えしたい
ま、待って。1抜いといて。「情報量で『も』」だから！！
前に聞いた話をもう一度された時は、情報量ゼロだけど親しくなってエントロピーが減ったからこその状況なんだな、と思えるようになりました。
そういえばふた周り以上年上のおっちゃん連中と飲んだ時、こんなことがありました。
おっちゃんAがおっちゃんBに、「よォ例の話この兄ちゃんにもしてやれよ！」と言うと、おっちゃんBは、もう今まで何十回と語ってきたのが伺える、実に流暢な与太話を話し始めました。
他のおっちゃん達は「お！得意の話が始まったな？」といった感じでゲラゲラ笑って、当然その先の話も知ってるだろうにも関わらず「そんでその時オマエ何て言ったんだっけ？？」なんて合いの手を入れて盛り上げて、やや出来すぎの見事なオチに誘導するわけです。
ああ漫才や落語ってこういう風にして生まれたのかな・・・なんて妙な感動を覚えました。
情報量ゼロの話をあんなに楽しそうに聞いていたおっちゃんグループのサンプルから、人の親密さとはエントロピーゼロでもゲラゲラ笑える状態である、という仮説を立てましたがどうでしょう。
ということは、友達に情報量を求めてしまう人は誰とも親密になれないんですね・・・
@@gamma9472 いやいや！笑
そんな人がいるわけｎ･･･あーーーーー！！
今回の堀元さんの助数詞はおそらく「体」
34:17
徐々に捲し立てるの面白過ぎるw
水野さんちょっと気圧されてるし
これからは自分のエントロピーを増大させたいので朝に「こんばんは」と不定期で言いたいと思います
困惑されるだけでは？
Mr.堀？？「おばんです」
増大させたいって、親密度を下げたいって事だよね？
@@のっぴ 情報量の期待値が上がるので、「自分への期待値をあげたい」とも捉えられますね。
人間関係によってエントロピーが変わるということは
金髪ツインテール「シャノンの情報量的にアンタの情報量は０ねっ！」といった場合、これは悪口ではなくて、
金髪ツインテール「べっ、別にそんなこと言わなくてもアンタとあたしの関係なら伝わるでしょ？ﾊﾞｶｧ///」
という意味合いになりそうですね（願望）
くぎゅううううううううう
このコメントめっちゃすこ
@@m7Q4GUendFJT3pQ
実はくぎゅう金髪ツインテってそんないなくない？
今回のサムネゆる言語学ラジオ含む今までのサムネの中で1番好き
親しくなるほど情報量が減るということは、友達は消耗品なのですね。
世間は卒業シーズンなので、これを機に情報を搾り取られ尽くしてカラカラになった友人を出荷し、まだ新鮮な友人を入荷しておこうと思います。
僕はモバイルバッテリーとかに思いましたね。いつか消耗品になりますが、チャージすればまたある程度戻りますし
先週の内容を忘れて、これを見る前に一旦先週のを見直して、からこれに戻ってくるから、めちゃ再生しちゃう😂😂😂
恋人と長続きしないのも、コチラの予測確度が高まって、情報量が限りなくゼロに近づいてしまうからってことですね
こちらの話のおかげで、友人との関係に躓く理由がよくわかりました、ありがとうございます！
・・・もっと色んなことを想像して、同じ人でもその人の色んな面や可能性を想像出来れば、豊かな関係になれるってことですよね。（確率の母数が増加＝情報量が増えるため）
人間関係に悩んでいる人にはとても良いお話だと思いました。
参考にさせて頂きます！
友達の定義にエントロピーが関係していることがわかり、それがすごく新鮮に思え、友達とは「その人の情報を知りたい」と思う対象のことを指すのだと再認識できて勉強になりました。
今回の話は、ゆるラジオシリーズで一番個人的に感動した回になりました。
新たな情報を全くもたらさないおしゃべりを無価値と断じてきたが
数学的に整理できそうで助かる
堀元さんもジャケット似合うんだ…
タートルも似合ってる
また堀元さんを性的な目で見る勢が増えてしまう…
水野「広義の吊り橋効果」
堀元さん子供いないのは予想通り
でも水野さんはなんかパパ感あるんだよね
丁度今勉強してる内容が紹介されててすごく楽しめました🤤
博識そうなお二人がマクラーレンが車のことだろ知らない（思い出せない）のは意外でした。個人的には100bitの情報量でした。このchはいつもエントロピーが高くて好きです。
Mcは”～の子”だっけか。ずいぶん前のネタでやってたね。
29:48 「お前はキクコの何を知ってるの？」最高。
水野さんのツッコミすごい好き。辛いとき思い出す。
テレビ番組「激レアさんを連れてきた」の激レアさんの体験の情報量を計算したくなりました たまに情報量少ないなあーって回がありますよね・・・
マクラーレンのくだり最高です！
人がニュースを噛んだら犬になる
ありがとうございます！
「赤ちゃんは情報源」というサイコパスを回避した例えをすると・・・
イカサマサイコロがあって、何も知らない人にとっては1/6の確率(エントロピー計算は面倒なので割愛)だけど、それを用意した人にとっては何が出るか分かっているのでエントロピー0ってことですね！
以前堀本さんが仰っていた 情報量多い友達の方がいい という言葉に最初はまるで釈然としませんでし"た" しかし、今回の動画で確率が散らばっている方が偉い という話を聞いて思い当たる節がありまし"た"
学校で朝よく話しかけてくる同級生が「眠い」「だるい」この2つの言葉でしか会話をはじめようとしないのです あいつが話しかけてき"た"ときの情報量は1しかなかっ"た"のです
というn=1の事例ではありますが、情報量の多い友達の方がいい という言葉を理解するのに自身の経験が役立ち非常に楽しかったです
エントロピーが、かぎりなく ０に近い 老夫婦の会話
「お茶」
「ん」
「あれ」
「ん」
毎回毎回サムネが秀逸すぎて刺さってしまうんです。笑
小学生のとき、母が食後にミルクティーかカフェオレかココアを淹れてくれていたのですが、8割の確率でココアだったのでエントロピーを減らすために、ココアの場合は無言でその他のときは言うという仕組みを採用していました。
情報理論ど素人なので、情報量の単位がbitであることを初めて知りました。無次元量なこともあり、単位なしだと思っていました。
確率1/2の事象の情報量を計算すると1bitになるのって、記憶装置との対応がとても上手くできていますね。
bit（というよりbyte）という言葉が日常的に使われるまでに普及したのも頷けます。
長らくイメージが掴めなかったエントロピーという単語
揺らぐことのなく画一である状態がエントロピー0、画一性が減衰するにつれて増大していく、と言う事なんですね
とても分かりやすくてタメになりました。
と同時に宇宙の始まりを考えると眠れなくなりそうな話ですね。
水野さんの｢違う｣が可愛い
この動画を通ると、もはや「情報源」を見聞きするだけで吹き出しかねない😂
本当にお二人の話は笑いなしに見られません・・・・
ゆる言語学ラジオで出てきた、赤様が高性能演算機って話が出てきて嬉しかった！
2^0=1については、何も掛けてない状態(0回)である1を基準として1→2→4→8→・・・とすると伝わりやすいかもですね。
マイナスに拡張した場合も、・・・1/8→1/4→1/2→1→2→4→8→・・・なので、中学生ぐらいでも理解できます。
堀元さんの人を人間として見てないところが出てて面白かった
34:54
脳のネットワークによって堀元さんの早口が水野さんに移っている……！！
現代では観測できない周波数の波が行き交ってますね
言語とデジタル通信のアナロジーを説明した後で、水野さんと一緒に言語の数理モデル化を本気でやってほしい…
11:20 水野さんがセリフを噛んだ
マクラーレンって聞いてすぐに思い出したのは映画ダイハードの主人公だったが、調べたらマクレーンだった(情報量０)
1シャノン、科学者の名前がそのまま単位になってるパターンかな〜と予想したら当たってて嬉しかった
おめでとうございます！立派な情報量ゼロの情報源ですよ(^^)
前回の天気の話と合わせ、これまで自分の中で言語化できていなかった「コンテンツの面白さ」について整理できた気がします。
多くの作品に触れるほど、展開が予測可能になり、得られる情報量が減る。
ネタバレを踏むと前提条件が増え、エントロピーが減ることで、得られる情報量が減り、面白さが変化する。
やはりシン・エヴァ公開初日にネタバレをしてきたA君は許せません。
堀元さん水野さん本当にありがとうございました。
byteは本来1文字を表すのに必要なbitの集まりなので、8bitとは限らないんだよ。と言ううんちくがあったのですが、2008年に正式に1Byteが8bitと定義されてしまったので昔は違ったんだよというしかなくなりました。それに伴い8bitであることを明示するためのオクテットはほとんど使われなくなりました。
難しい話なのにマジで笑えたw
人でなし堀元一匹w
21:55からのスピード感好きすぎる
マクラーレンはスーパーカーのメーカーですが、元はF1チームのマクラーレンから生まれたメーカーで、F1チームは元F1レーサーのブルース・マクラーレンが創設したもので、要するにF1ドライバーの名前が大元です、はい。
究極の出典的なアレですね！
マクファーソンも足してマク～トークをもっと散らかしたい。
知り合いに対して自分はエントロピー高くないかもなーと思ってたけど、ここよリスナーも堀元さん、水野さんを予想しやすくなってきてるから放送が増えて二人の情報が増えるほどにエントロピーは減っていくってことかな
お母さんを情報として捉えることの背徳感すごいな。
情報理論を学んだおかげでお母さんの大事さを理解できました。
情報理論ってすごい。
エントロピーは、台本クラッシャーを黙らせる台本を書く道具として使えるということですねｗ
マクラーレンのくだりこれか〜！😂
このふたりの話、色んな意味で情報量多いwww
近々子どもが生まれる予定の者からすると、水野さんの提案は嬉しいファインプレーでしたね。笑
いつも楽しい話題をありがとうございます。
待ってました。毎秒更新お待ちしております
堀元さん、「ゆる言語学ラジオ」の音象徴回の時にもキクコの話してたのを思い出しました
単位（次元）を気にするのは比較的物理系に多い気がする
等式とか見ると一応両辺で次元が一致してるかとか考えちゃうよね
仲良いいな〜☺️
堀本さんの説明は情報理論についての話ではなく主観的確率論についての話であって…というようなことを早口で言いたい
堀元さんの人間性が散らばってしまった…
マクラーレンはF1レーサーのブルース・マクラーレンが作ったレーシングチームで後に市販車も手がけるようになった経緯があるので、水野さんが知らずに言い当てたなら凄いですね。
情報量の多いコメントがあって助かる
ポケモンの御三家のメスが生まれる確率は1/8だから、出産の話の続きで良い繋ぎだーと思ってたらキクコへの愛でビビリ散らかしました
メモ取りながら聞いていますが、エントロピーの公式が出てきたとこで【ゆる学び】エントロピー＝確率化*情報量って出てきて笑ってしまいました。
ゆるくは…ないだろ！
25:22
初代ポケモンの四天王はカンナ、シバ、キクコ、ワタルでチャンピオンがライバルです。
ワタルがチャンピオンなのはポケモン金銀で、この時代の四天王はイツキ、キョウ、シバ、カリンとなっています。
…と思ったら、動画内で既に触れられていましたね。失礼しました。
シンプルに、
「予想外が減る」ことが相手をよく知り親しくなることだよ。
「予想外が減る」ことでエントロピーが減少してるよ。
ということですよね多分。
そして、その「予想外」度が高い事柄が情報量の大きい事柄で、「予想内」の事柄の情報量は0だと。
アナウンサーがニュースを噛んでも話題性は高いぞ
サムネ好きですｗ
紅茶飲みながら見てたら喰った事も無いがルーロー飯展開で吹いちまった。
サムネイルを見た瞬間から面白い事は分かっていました。見てみるとやはり面白い。
エントロピー的には…
0:40 「大ぶりの鯛」を言わない漢ホリモト、「核家族」と混同しやすい「各家族」を言ってしまう。
クジャクみたいなことやってチャンピオンしてるワタルは金銀版なので
なるほど92年生まれならそっちが世代かぁと思いました
サムネが良すぎるんだよなぁ
エントロピーについて水野さんが「質問をして答えが分かったことで得られる情報の多さ」のような理解をされているような場面がありましたが、これは今回の議題には出てこなかった相対的なエントロピーと考えるのが良いと思います。これを求める場合は予測していた確率分布と、質問の答えによって判明した真の確率分布(答えの選択肢が確率1, 他が確率0)とのKullback-Leibler divergenceを求めるとよいですね。
サムネが過去最高ですw
16:56
水野さん、それ指数関数です。
13:00
その辺紛らわしい名前多いですよねぇ
他にもバッドマンやスパイダーマン、スポーンなどで知られる漫画家「マクファーレン」とか自動車のサスペンションに名が残る「マクファーソン」とか…
ルーローハンといえば、「ルーローの三角形」と呼ばれる車のエンジンにも使われていた形状の名前がありますね
熟年離婚が妻側から切り出されるケースが多いのって、旦那のエントロピーがゼロになるからってことか。
冒頭のくだりすき
冒頭だけでも100回見返したｗ