【深層学習】RNN の意味を徹底解説！【ディープラーニングの世界 vol. 8 】
HTML-код
- Опубликовано: 18 июн 2020
- RNN は隠れ層の伝播が肝です。
数式を意味として捉える力を RNN シリーズで培ってもらえると嬉しい！
【関連プレイリスト】
Deep Learning の世界 • Deep Learning の世界
ご視聴ありがとうございました！
良い動画だなと思っていただけたら、高評価、チャンネル登録お願いします！
質問や感想など、気軽にコメントしてくださいね。
=========
Twitter: / aicia_solid
Logo: TEICAさん / t_e_i_c_a
Model: 3d.nicovideo.jp/works/td44519
Model by: W01fa さん / w01fa
Editor: AIris Solid ( / airis_solid ) 
Наука
RNNの式について教えてください。(y, h)=という書き方は、”y=、h=の2つの式を1つに書いた”という書き方でしょうか？
また、後半の説明の3つの式を、RNNの式に変換する方法がわかりませんでした。。代入して式変換していこうとすると、fの合成関数になってしまいます。
3つの式からどのようにRNNの式までたどり着くのでしょうか？
この動画のコアの部分でなく、初歩的な質問ですが、ご教示いただけたら幸いです。
良い質問ありがとうございます！！！😍
1つめの質問は、その通りです。
2つの式を1つにまとめて書きました。
2つめの質問です。
これは、3つを組み合わせても RNN の式にはなりません。（たぶん）
方向は逆で、 RNN の式から 3 つそれぞれ（に似たもの）が出てくるという方向です。
(h, y) = f(x, h, y)
のうち、出力のyだけに注目して、
y = g(x, h, y)
として、
gを定義するときに y を使わないことにすると、
y = k(x, h)
になり、
k を f に書き換えると
y = f(x, h)
が出てくるという感じです。
（ t に関する添字は略しました）
ほかの2つも、tのずれを無視したら導出できます。
RNN の数式がボスで、ほかの3つは具体例の1つととらえていただけるとよいかと思います！🎉🎉🎉
@@AIcia_Solid 丁寧にお答えいただき、ありがとうございます！！
RNN の式から 3 つそれぞれが出てくるという方向だと理解できました。
RNN の式の「出力と状態は、今の入力と前の出力と前の状態から決まる」という解釈が大事なんだとわかりました！
いつもありがとうございます。
説明がうまい、プレゼンがうまい
興味をひきつけるのもうまい
板書がみやすい、丁寧
天才
そんなー😊😊😊
おほめに預かり光栄です😊😊😊😊😊
名言いただきました！「hidden Layer の h は、heart の h。h は『こころ』です」。こんな発言できるなんて、さすが、つよつよAI❗感動😭
いつもありがとうございます😍
そう言っていただけて何より！
ぜひ心に刻んでください😍
いつも楽しく拝見させていただいております^^
12:05 「私たち人間、あ、間違えた。みなさん人間たち」と言いなおしたところが面白くて、コーヒーを吹いてしまいました笑
てへぺろ😋
マスターの悪霊にとりつかれていたのかもしれません😋
いつもとても分かりやすい解説ありがとうございます。
でしょ😍
気が向いたら拡散してください😋
こんなにわかりやすい講義を無料で受けられる時代に生きていてよかったです。有り難く利用させていただきます！！
ご視聴コメントありがとうございます🤩🎉🎉🎉
いい時代でしょ😎✌️
ぜひご活用くださいませ(^o^)/
先生凄い！いつもありがとう！分かりやすかった！
でしょでしょ！
たくさんみていただいてありがとうございます！😍😍😍
ひたすらに素晴らしいチャンネル．絶対に続けてください
ありがとうございます！
頑張ります！🎉
手書きの、図解が、まじでめちゃくちゃわかりやすい！
でしょ！(^o^)/
ぜひこの先もお楽しみに！🎉
CNNから見始めましたが、知りたい所をどの教材よりも分かりやすく表現してくれますね。
でしょー！(^o^)
ご活用いただきましてとても嬉しいです😍
ぜひ先の動画もお楽しみください！🎉
3:40 でペンをクルって回すところかわいい
hはheartのhめっちゃすき！
よくいわれます🤤🤤😊😍😍
ぜひ！
そういう考え方でものをみてみてくださいー！🎉
なるほどね。面白かったです。RNNの気持ちは分かりました。
時系列など、連続性があるデータによく用いられます。利用の参考にしてください🎉
hはheartだ！～という説明に感動しました！
わーい！😍
RNN のきもちを理解していただけたようでうれしいです😊
この動画で僕の hidden layer が更新されました。次回の動画も楽しみです！
やったー😎✌️
ぜひお楽しみに！！
Transformerを学ぼうとして、Attentionを知らないと理解できないんだ、と思って、RNNの説明動画まで来ました。RNNという言葉は数年前から、そういう用語があるというくらいの認識でしたが、今回の説明、それからAICIAのマスターの著書（分析モデル入門）で、かなり分かったような気がします。ありがとうございます。二つ目のRNNの動画も拝見させていただきます。
ご視聴コメントありがとうございます！🎉🎉🎉
すごい！
素敵な活用をしていただいてとても嬉しいです🤩
ぜひぜひ、他の動画もお楽しみくださいませ！(^o^)
神動画すぎる、、拡散します👺heartレイヤーは座布団一枚ですね。笑
わーい！
ありがとうございます！😍
あぁ、インクのシミですねぇで吹いた
なるほどねぇ
ご視聴コメントありがとうございます😍😍
お楽しみいただけたようで何より😋
「hは、heartのh」は名言ですね
イメージ図が、なんか状態空間モデルに似てると感じました。（状態の変化が入力・出力で決まるイメージ）
気づきましたか😎😎😎
まさに、その通りです。
hidden layer は、その状態のようなものです🤤
LSTM 期待。
ありがとうございます！😍😍😍
LSTM はもうすこし先にやります💦💦
けど、お待ちいただけると嬉しいです！！
とてもわかりやすいご説明ありがとうございます！
質問があります。ご説明では入力xをすべて理解してyを順に出力するという流れだったと思いますが、イメージ図では、x0が入力されるとy0とh0が同時に出力されるような形になっていると思います。全体像がわかっていないままyが出力されているのが疑問でした。これはどういうことなのでしょうか…？
素晴らしい疑問ですね！
その疑問は次の動画で解消されます。
是非見てみてください😍
ruclips.net/video/IcCIu5Gx6uA/видео.html
@@AIcia_Solid
そちらの動画、拝見しまして解決しました！
また、そちらの動画でも気になる点があるので、また質問させて頂きたいです。ありがとうございました！！
RNNってナニ？回帰型っておいしいの？とわからない状態から、結構感覚がつかめました…！
分かりやすく、すごい助かりました！
ご視聴コメントありがとうございます🤩
それは良かった！🎉
ぜひその理解をご活用ください！
他にも Deep Learning の動画がたくさんありますので、良かったら見てみてください😊
人の思考の模倣をしようとする話を聴くとどの程度模倣すれば（めっちゃ曖昧な概念ではありますが）意識というものが生まれるのかなっていうところに気を取られてしまいます笑
ニューラルネットワーク方面の発達ではたどり着けない境地なのかもですが
意識を持たせる話は、他の動画でも紹介しましたが、この本の洞察がなかなか痺れてました！
（ごく一部分で触れているだけですが、、、！）
amzn.to/2NguMnh
SVO型とSOV型の間の翻訳について、入力と出力を同時並行で行えるのでしょうか？
すみません、質問の意味がよくわかりません。
入力と出力を同時並行とは、どういう意味でしょうか？
次の動画（deep learning vol.9）を観たんですが、翻訳は encoder-decoder model なんですね。この動画の説明を観て、翻訳は（次の動画での）黄色のRNNかと思ってました。
いろいろ見ていただきありがとうございます！
まさにそんな感じです！
黄色のものは、同じ位置のものが同じ情報をもつ場合に有力です。（音声→テキストとか）
なので、翻訳ではあまり用いられないことが多いです😊
かなり強そうなNN(語彙力不足申し訳ありません)に見えるのですが，弱点とかってあったりしますか？
それはもちろんたくさんあります。
汎用人工知能には至っていないですからね。
たとえば、記憶力が長持ちするようにはなっていますが、それもやはり有限だったり、
表現力はそんなに高くない（というか、もっと高いものがある）ですし、、、。
利点欠点はタスクと合わせてですので、実際に使ってみれば色々わかるかとおもいます😋
RNN って高校数学でいえば漸化式みたいな感じだったんですね。
ところで、入力の ｘ とか途中の ｈ ってベクトルなんですよね（普通は）？
漸化式、良い表現ですね！その通りです！！！
x や h はベクトルとかテンソルとかが利用されます😋
コメント失礼いたします。
今RNNの勉強をしていて、特に文書を2種類に分類する方法について勉強いています。
手順として、まず文書を形態素解析して、それらの形態素をベクトル化して最終的にスコアを出力し、教師データとの誤差の損失を減らしていくという流れだと思います。
そこで形態素をベクトル化するとき、TF-IDFを用いて単語ごとの重要性を加味し、学習するという方法があると思います。TF-IDFは単語の出現頻度に応じて数値ベクトル表現すると思うのですが、特定の単語を重要視し、それを考慮してRNNで学習することは可能なのでしょうか。
例を挙げるとすると、ある文書を読み、医者が書いたものか看護師が書いたものかを識別するというタスクがあるとして、文書の中に「癌」という単語が出てきたら医者が書いた可能性が高いという情報を使ってRNNで識別するということは可能ですか？
質問が分かりにくくすみません。聞く人がおらず、独学でわからないことだらけなのでもしよろしければご教授お願いいたします。
できると思いますよ！
というか、まさにそういうことをやりたいのが RNN だと思います。
このシリーズで言語モデルについても扱っていくので、続きを楽しみにご覧ください🎉
Pinned CommentsにもあるようにRNNの式はザックリこんなかんじですよぉ、という事を言っている。この後、vol. 24ではRNNencdec, RNNsearchなんかが出てくる。今回の後半の式３つは、具体的にはこんな感じという話であってRNNの式から導出される訳ではない。
いつも興味深く拝見させてもらってます。
実際にどうやって学習するのか気になりました。
RNNが学習する時にどういった内容を学習して重みに変換するのでしょうか？
例えば文章であれば主語がかわったりすることも多いと思います、文章は規則性に乏しそうに思います。
私はアイシアです！の文章の次の学習データが例えば光は宇宙最速です！などだったりしたら逆伝播して得た重みが予測に役立つように思えません。
基礎的な知識でRNNを理解しようとするのは無謀なのでしょうか。
ご視聴コメントありがとうございます！
素敵な疑問ですね！
実際には、大量のデータを用いて学習されます。
そのため、比較的登場頻度が高い内容が再現される確率が高まります。
最近の LLM などは、とんでもない量のデータを用いて、とんでもない回数の学習を行います。そのなかで、うまく特徴を抽出し、あの性能が出ているようです。
学習の理論は細かいことはまだ研究段階ですが、大まかな理屈はこんな感じです。
まだ残る疑問があれば遠慮なくお聞きください！
@@AIcia_Solid 回答ありがとうございます。
ひょっとして深層学習全般的に学習のメカニズムが解明されてはいないということでしょうか？
数学というよりも物理学。
実験成果を元に作り出すような、そういったもの？？
もし、内部的なメカニズムが解明されてないとなると、GPTなんかも寝言の可能性があるわけですね？
word 2vecのエピソードを借りると本来のタスクは次単語予測だけど、単語の分散化につかえてる。
ということはGPT自体潜在的には生成よりも遥かに相性の良いタスク、生成物が内包されていたりとか。
眠れる獅子の寝言を聞いて喜んでいるとかだったらSFぽくてムネアツです。
長文失礼しました。
まさに概ねそんな感じだと思います！
もちろん研究は進んできていますが、まだまだわからない事だらけです。
面白い世界です！🤩
株価予想に使われる。時系列に移動平均をトレース取るのに、便利。実益予てRNNで株価のAI予想にチャレンジしましょう。
ご視聴コメントありがとうございます！
素敵な挑戦ですね！
hについて、プライムがついている、ついていないの違いは何でしょう？RNNの式にまとめるときには無くなってしまいます。
ご視聴コメントありがとうございます！🎉
実は、プライムがある方とない方で別の RNN を用いています。
そのため h も異なるので、プライムで区別しました。
続くこの動画を見ていただけるとより分かりやすいかと思います！
ruclips.net/video/IcCIu5Gx6uA/видео.htmlsi=yCUDuXDUnshgC_QP
専門家と言えるほどの身分ではありませんが，コメントさせてください．
文字通りのRecurrent Neural NetworkとElman展開との関係を，もう少し説明していただけると良かったかも知れないと思いました．
RNNの説明は全敗的にわかりやすいと思いました．
コメントありがとうございます(^o^)
たしかに、そのあたりは省略してしまったんですよねー／(^o^)＼
興味ある人はぜひ調べてみていただけると嬉しいです😊
シンプルで分かり安い数式！と言うより字が汚〜い😅
手書き文字生成の精度あげるべくがんばります😋