あなたの脳は聴覚派？視覚派？これを3秒見るだけでわかります。【AI音声認識にも役立ってる？！マガーク効果】
HTML-код
- Опубликовано: 4 окт 2020
- 人の話を聞く時、あなたは「目」を使っているかのミニ実験をやってみませんか！これであなたが日本人のマジョリティか英語話者のマジョリティか、分かってしまう？！
キーワードは：Mcgurk effect （マガーク効果）
これは医学だけでなく、犯罪捜査やAI音声認識にも役立つと言われています。
あなたは目で音を聞いているか―――そのメカニズムと面白さをまとめた、そんな動画になってます！是非ご覧ください！
●訂正●
スライドで「障害」を「生涯」と書き間違えたまま動画にしてしまいました。失礼しました。
■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■
少しでも面白いと思っていただけましたら、1日でも『チャンネル登録』していただけるとものすごく嬉しいし本当に励みになります。
もし面白くない、役に立たないと思ったらその時に外してください。
ご感想・ご批判、どんなご意見も真摯に受け止めてパワーアップしていきたいと思っておりますので、是非今後ともよろしくお願い致します。
■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■〓■
＊～＊～＊～たつなつプロフィール～＊～＊～＊
米国難関リベラルアーツ大学群Little Ivyの内の一校（全米リベラルアーツ大学ランキング当時4位）Middlebury Collegeで脳科学専攻・言語学副専攻している現役大学生。帰国子女でもなく普通科の高校に通っていた奈良生まれ京都育ちの「純ジャパ（ニーズ）」。米国大学受験を選択し、現在は英語と中国語と日本語のトリリンガル。言語学（特にPhonetics. Phonology, Psycholinguistics）の魅力に取りつかれている言語学オタク。大学の認知科学ラボでは記憶研究を行っている。
2017年：Middlebury College入学
ベネッセ海外大進学推進イベントの企画・運営・講演
2018年~：TEDxMiddlebury幹部
2018年夏：関西医科大学で記憶回路の研究インターン
国立台湾大学ビジネス学部ビジネス心理学ラボでインターン
2019年秋~：大学の言語学クラブ（Linguistics Club）を再建・運営
2020年上半期：国立台湾大学に自主留学、本科生授業を受講
2020年5－6月：ベネッセ「海外進学・留学ラボ」にて連載記事掲載。（www.benesse-glc.com/lab/blog/...
2020年8月：日本人海外大学生による発信をまとめて検索できるようにしたポータルサイト海間見を開設（kaimami.com/）
2020年9月：RUclipsチャンネル「たつなつ役立つ言語の科学」開設
●使用させていただいたリソース●
🎥video：（マガーク効果を改めてじっくりやってみたい方はこちら☟）
• McGurk Effect
♪Music:
www.bensound.com
🌎websites：
www.illusionsindex.org/i/mcgu...
www.sciencedirect.com/topics/...
www.frontiersin.org/articles/...
www.sciencedaily.com/releases...
www.livescience.com/58047-mcg...
📚articles:
・Wright, D. B., & Wareham, G. (2005). Mixing sound and vision: The interaction of auditory and visual information for earwitnesses of a crime scene. Legal and Criminological Psychology, 10(1), 103-108.
・Sekiyama, K (1997). "Cultural and linguistic factors in audiovisual speech processing: The McGurk effect in Chinese subjects". Perception and Psychophysics. 59 (1): 73-80.
・Hisanaga, S., Sekiyama, K., Igasaki, T., Murayama, N. (2009). Audiovisual speech perception in Japanese and English: Inter-language differences examined by event-related potentials.
・Sekiyama, K.; Burnham, D. (2008). "Impact of language on development of auditory-visual speech perception". Developmental Science. 11 (2): 306-320.
・Sekiyama, K., Tohkura, Y. (1991). McGurk effect in non-English listeners: Few visual effects for Japanese subjects hearing Japanese syllables of high auditory intelligibility. Journal of the Acoustical Society of America, 90 (4, Pt 1), 1797-1805
※その他の直接紹介した論文は、動画内にcitationを掲載してあります。
📷images:
www.freepik.com/vectors/peopl... vector created by freepik - www.freepik.com
www.freepik.com/vectors/peopl... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/carto... vector created by pch.vector - www.freepik.com
www.freepik.com/vectors/backg... vector created by freepik - www.freepik.com
www.freepik.com/vectors/educa... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/banne... vector created by freepik - www.freepik.com
www.freepik.com/vectors/banne... vector created by freepik - www.freepik.com
www.freepik.com/vectors/peopl... vector created by rawpixel.com - www.freepik.com
www.freepik.com/vectors/peopl... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/arrow... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/schoo... vector created by stories - www.freepik.com
www.freepik.com/vectors/abstr... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/tree ... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/peopl... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/desig... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/chara... vector created by macrovector - www.freepik.com
www.freepik.com/vectors/infog... vector created by freepik - www.freepik.com
www.freepik.com/vectors/peopl... vector created by pch.vector - www.freepik.com
paが混ざって聞こえる…
変な発音に聞こえました。
敢えていうなら
「ba pa ,ba pa ,ba〜ba〜」
と1音ではなかったです。
日本語の発音で同じような動画があると参考になったたかもです。
同じく
Ba-Pa、Ba-Pa、〜に聴こえました
2:30 実験開始
さらに気が短い人へ
2:41
ばぱ、ばぱ、ばぱー
心理カウンセラーをしています。すごくマガーク効果から言語や文化の違いの考察にも興味が持てました。ありがとう。
どれを３秒見ればいいの
視覚では、 da も gaのちらかだと思いましたが、口の奥なのでど判断できなかったです。 なので、 gaが分からなかったのは、音がbaが合わさったというのはちょっと飛躍な気がしましたが、 理解が浅いのでしょうか？
パーパに聞こえるー
めちゃくちゃ声がいい
初見からそうでしたが、音はバに聞こえるのですが、映像がダと発音してるのに最初から
違和感がありました。そこでおそらく、発音されている音と映像があっていないことに気が付いてしまいました。
どういう事でしょうか？？？
映像派でもあり、音声派でもあるという事でしょうか？？？
Da は聞こえなかったですが、Ba とTaが混じって聞こえました。
私はいつも不思議思っていました。どんなに言っても、書いても、全然その通りに伝わら無い人達がいっぱい居る。いや、ほとんどだ。と。
そしてその人達の多くは、論文や難しい文章、勉強とかが苦手で、自分独自の世界観と、周りの人の感覚、いわゆる、価値観を違和感無く受け入れているタイプ。それ以外のことが理解出来ない人々が沢山居ること。
そして自分が間違えていると言われたく無い人。
人間って不思議です。
人間はどこを見ているんでしょうね
まったくその通りだと思います。
自分ではないのでどんなに簡単なことでも伝わらないのは当然かと。論文や難しい文章、勉強とかが苦手などは無関係ではないでしょうか。
この動画は自分は聴覚に伝えたいのに相手は視覚で受け取ろうとしていると伝わらないという事でしょうね。
伝える手段問わず自分の思いは他人にはほとんど伝わらないという事を受け入れて生きていくしかないと思います。誰も間違ってないのです。
閉じた世界にしかいない人は他の思考を無意識に遮断してる気がします。よほど目的を持って知ろうとしない限り、わからない事は受け流されるのが普通だと思います。
「どんなに言っても、書いても」、それやや分かる気がします。でも、これも動画付きだったら、やや分かるのか、やや分からないのかとなりそうです。
ホント、人間は何を見て何を受け取るのでしょう。
声が可愛いので登録しました！
開始3秒で何も始まらなかったから、見るのやめた
同じく。
二つともBaしか聴こえませんね😅
面白かったです。最後のvaかbaの動画は強く唇を噛めばvaであってもbaっぽく聞こえるよなぁと思いました。
この理論と直接は関係ないんですけど、、、
よく「話している内容」よりも「表情」の方を解釈されて困る、という現象に出くわします。
何か関連あるんですかね？
はっきりした1音ではなく、バ、ガ、ダに加えてパとかファも混ざって聞こえたのですが、その場合はどうなるのでしょう。
最近個人的に勝手に考察していたところだったので勝手に思ってたところを
・英語
もともとコマンド(指示)ライクな体系の言語なので身振り手振りや表情でのフォローが必要
→なので視覚のほうが重要
・日本語
もともと自然を表現したいために言葉の韻を重ねたので響きが必要
→なので聴覚のほうが重要
まぁ、こう言うと日本語のほうが断然優れているように見えるけど
「そうなんだから仕方なし」みたいな無自覚な言い訳的バイアスで
一種の"村社会"的なものを作ってきたのかもしれないかなとも思います
音声と映像が合ってないとすぐに気づいた自分はどちら型なんだろうか
私もなんですよね。身体感覚優位だと自分では思っていますが
最初の音だけdaに聞こえて、その後はbaに聞こえました。
確かに口の動きと音が合致しないような違和感があったので、
脳が補正しちゃってたんですね。
papaにしか聞こえない…
正確に言うと音声が理解できなくて口の動きからpapaと推測し、その後からはもうpapaにしか聞こえなくなってしまった。
1回目から「daの映像を流しながらbaの音声を流してるんだろうなあ」と思ってしまって台無しになってしもた。しかもdaじゃなくてgaやし。
あ！！ぜったいおれ視覚派だと思ってたら、聴覚派だった
音楽から絵を想像して描くのは関係してますかね？ｖａに聞こえました。😮
視覚情報は多いと具合悪くなったり、音楽に感情移入してスーパーなどではイヤフォンしてます。どーゆーことですかね？😢
音楽から想像し何かを描くのは
「感覚間協応」
かもしれません
例えば"赤い"と聞いて"太陽"と連想するなど、個々において連想する強さやイメージに違いがあります
この動画で言われているのは
「多感覚統合」
で人は１つだけではなく、複数の感覚器官で物事を認識しているという事
この動画では発話に関してですが、味わう事も舌の味覚だけでなく嗅覚(鼻をつまむと味を感じない)など、実は複数の器官が連携して"美味しさ"を感じているのです
うるさい音や雑多な視界に対して耐えられないのは「感覚過敏」かもしれません
近年は感覚過敏の訴えが多く見られるようになり、昔に比べるとだいぶ知られるようになりました
日本は目は口ほどに物を言うって言われるくらい目を意識しているから、サングラスを掛けていると怪しく思われる
アメリカでは母音が多いことから口の動きを意識して見るから、マスクをしていると怪しく思われる
って違いがあるのでは？
ちなみに、濁った パパ パパ パパ と聞こえました。目を閉じてても変化なし
コメントを読んでみると、話者が発する言葉が受け取る側で十人十色になっていそう。
ちょっと申し訳ないけれども、たつなつさんの発音発語に多少の雑な感じを受け取ってしまって、全体として受け入れにくい。でも、おもしろい発見でした。
そして、どのお試しも、結果どの例とも違って聞こえました。どうなんだろ？
因みに、わたしは「話を聞く時は相手の顔を見て」と教育されました。それが日本人には少ないことも初めて知りました。成程ね。
面白い！ 自分でも認める視覚優位のわたしには、daでした。目を瞑るとgaです。
ちなみに私にとっては、聴覚優位の日本の英語教育はとっても難しかった。暗記、暗記でアウトプットできません！
そして英語には色がないので。。。 この感覚わからないですよね〜。
対人恐怖症で顔をじっくり見られないのでba又はbuaに聞こえた
うーん、確かに発音として口の動きは見てないな。
自分はどちらかと言うと視覚で思考してる方かなと思うんだけど、ここで言う視覚思考と視覚派は違うことかな。
会話の中での入力の重要性が音メインなのか光メインなのかと捉えてみた。
日本語話者の視覚では表情や態度は音と別で処理してるんじゃないかなと思うがどうだろうか？
ばーぱん ばーぱん ばーbar
に聞こえるﾅﾝﾃﾞ
では、マスクをつけていると視覚優位の方にはコミュニケーションしんどいかもですね。
ありがとう御座います。(๑'ᴗ'๑)
ばぱ、ばーぱー、パーバーに聞こえる…
日本人が未だにマスクしてるのにも関係ありそうですね😮
聴覚派だった
どうやったらDの音が聞こえるんだ…
ダファ、ダファ、ファバ じゃないの？
とにかくリスニングを諦める決心ができた
BaとGaが合わさっちゃってbaguaみたいに聞こえる。目を閉じるとBa。
ダラ！ダラ！ダラ！
ぱ～ぱに聞こえたよ…
BaBaにしか聞こえなかった
恐らく普段から無意識のうちに視覚情報と聴覚情報のどちらかで取るのを瞬間的に判断して、マルチタスクさせないように片方に集中させて認識してる現れなのかな?
いや、どっちにも聞こえなかった…
これ日本人には当てはまらない感じがする 口唇の動かし方が英語話者と日本語話者とで違うから
聾唖の方が口唇を目で見て聞いているってことですよね
と思ったら中盤に出てきた😂
ぶわーぶわーに聞こえたな、、
paに聞こえた。そもそも根底からあれだ。
最初っからバしか聞こえんかった
バーバ、バーバ、バーパ
ファにしか聞こえないんだけどどっち？
タイトルのあなたの脳はどちら派？って映像、視覚で聞いてるって説明の後だともう先入観ありまくりで口元ガン見してしまって意識的にどちらか選ぶしかないんだけど…
faにしか聴こえない
ターカー、ダーノー、バーバー。
バに聞こえたけど、めちゃくちゃ聞き間違えするタイプ。日本語って口動かさなくても大体喋れるよね。
ば ば ばしか聞こえないけど
baにしかきこえんよ
daにもbaにもgaにも聞こえないんだけど私だけ？笑
何か色んな音が混ざったように聞こえる(^^;;
『パーパー、パーパー、パーパ』としか私には聴こえません。
Ba Ba～にしか聞こえないな。ちょっと口との違和感は感じるけど。
スマートスピーカーに絶えず口元を撮影され続ける生活はイヤだわ～。
Baにしか聞こえないだろ。Daに聞こえたら目で聞こえてるというより耳おかしいわ
英語圏だとリップリードは割と一般的でBは唇がつくので一目でわかります。Gは唇をつけないので違和感があるわけですね。日本人で唇を読む人はとても少ないのでそう思うのもしょうがないです
ちなみによくあるのはアメリカの野球中継でFワードを言ってるシーンを切り取られるやつ。Fはもっと特徴があるので音が無くてもアメリカ人100％の人に伝わります。相手の口を見る文化があるとも言えます