【深層学習】doc2vec - 文章の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 23】
HTML-код
- Опубликовано: 26 июл 2024
- ▼テーマ
word2vec の進化系の doc2vec の解説です！
似たような機構で、文章の意味を理解する事ができるモデルです。
シンプル & 軽量ながら、なかなかの性能を誇ります！
▼関連動画
word2vec の動画はこちら
→ • 【深層学習】word2vec - 単語の意味...
▼関連プレイリスト
Deep Learning の世界 • Deep Learning の世界
自然言語処理シリーズ • 自然言語処理シリーズ
▼目次
00:00 DP
==== 1. 背景 ====
00:34 論文紹介と時代背景
==== 2. 結果 ====
02:35 結果を詳しく紹介する理由
03:28 タスク①感情分析
05:24 タスク②情報抽出
==== 3. doc2vec ====
07:28 doc2vecは２つのモデルの合体！
07:50 モデル①PV-DM
13:13 未知の文章への対応
15:02 モデル②PV-DBOW
17:12 ２つの合体と、実装上の注意
18:27 PV-DMの精度の凄さの秘密
19:17 ED
▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: / aicia_solid )
動画編集：AIris Solid (妹) (Twitter: / airis_solid )
=======
Logo: TEICAさん ( / t_e_i_c_a )
Model: 3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( / w01fa ) 
Наука
![Young Nudy - John Wayne (feat. Metro Boomin) [Official Video]](http://i.ytimg.com/vi/NY8HnYYo2fo/mqdefault.jpg)
word2vecに続き、わかりやすい内容で感謝です。次回が本当に楽しみです。
ご視聴コメントありがとうございます！😍🎉🎉🎉
これからも面白い動画を生成していきますので、お楽しみに！！🎉
いま心理学の関係とかでつかえへんかなぁって思ってたとこやったからめっちゃありがたい！
おおー！
田原さんのお役に立てて光栄です！
ぜひご活用ください😍😍😍
毎回、分かり易い解説、ありがとうございます。そろそろ、AttentionやTransformerに近づいてきたと、勝手に期待してます。次回も楽しみにしてます。
鋭いですね😎😎😎
いまその道を歩んでおります。
お楽しみに！😍🎉
素晴らしい！！
ご視聴コメントありがとうございます！
でしょ〜！(^o^)
この動画もおもしろかったです！
未知の文章のベクトル化についてです。
ドキュメントidのone-hot-vectorはもともと、未知の文章を入れることも想定して高い次元で作るのでしょうか？
それとも、行列Dは未知文章用の学習中に変化することから、最初の学習でつかったidを使い回すのでしょうか？
ご視聴コメントありがとうございます😊
すみません、説明が悪かったかもしれませんが、
ドキュメントidの one-hot vector の次元はドキュメントの個数の次元になります。
未知文章の分散表現推定では学習済みのベクトルは文章側も単語側も変化させず、固定して、未知文章の分散表現のベクトルのみをパラメタとして推定します。
そんな感じでございます！
いつもわかりやすい動画をありがとうございます！
質問なのですが、DとWは全てのデータ（文章）に共通になるように学習するのでしょうか？それとも文章ごとに求めるのでしょうか？
ご視聴コメントありがとうございます🎉
D, W は全文章で共通です！
いつも楽しく勉強させて頂いております！
質問なのですが、pv dmでは文章の分散表現と同時に単語の分散表現も得られると思うのですが、この単語の分散表現って普通のw2vで得られる単語の分散表現と違いってあるのでしょうか？？
若干変わると思いますが、具体的にどう変わるかは実験してみないとよく分からないです🤔
とても勉強になりました！！
質問です。
未知documentの予測の際、documentに含まれる単語に新規の単語がある場合、どのように対応しているのでしょうか？？
サクッと見ただけなのでもしかしたら誤りがあるかもしれませんが、この時代は、未知語は全部同じ one-hot vector （または embedding）に対応させているんじゃないかと思います。
あくまで document vector の取得が目的なのと、未知語はそこまで多くなかろうと考えれば、大きな問題はないのだと思います。
現代的には、subwordなどを駆使してやることが多いと思います！
返信ありがとうございます！！
やはり前処理が大事ですよね、とても勉強になりました🙌🙇♂️
今後の動画も楽しみにしています！
いつもありがとうございます。ひとつお願い、画面があかるすぎて、疲れます。Paint の grid表示をしてくれると、画面がすこし暗くなってみやすいかも？
ほえー、こんなのあるんですね！
検討してみます！👀
元論文ではhierarchical softmaxを用いていますが、word2vec同様 negative samplingでも可能でしょうか？
hierarchical softmaxのみ使っているということにはそっちの方が上手くいったなどの理由があるのかと思ってしまいます。
うーん、謎です🤔
なんやかんや最後はデータセットとの相性もありますし、やってみなければ分からないですが、 negative sampling でダメになる理由はないと思います🤔
@@AIcia_Solid
そうですよね、理論的には実装できるという考えは合ってたみたいでよかったです！
現在，機械学習について勉強をしています．
質問なのですが，PV-DMを本動画では"Distributed Memory Model of Phrase Vector"と紹介していましたが，Mikolov氏の論文では"Distributed Memory Model of Paragraph Vectors"となっていました．
"Phrase"なのでしょうか，それとも"Paragraph"なのでしょうか？
ご視聴コメントありがとうございます！
私の感覚では、正直どちらでも良いと思います、、、😇
どちらの P にしても、日本語的には文章のことを表すと思います。
Paragraph のほうが長く、 Phrase のほうが短いとは思いますが、文脈的に大した違いはないと思います。
Doc2vec以外にもベクトル化する手法がありますが違いや使い分けについて教えて頂きたいです。
基本的にはデカい方が強いけど重いですよね。
それより踏み込んだ話は、うまくまとめられたらまとめてみようと思います😋
@@AIcia_Solid
ありがとうございます。勉強しながら楽しみに待ちます。
15:48とかにでる謎の9みたいな文字は何？
どんな文字ですか？
私には見当たりませんでしたが、、、👻
graph2vecというグラフ埋め込み手法もお願いします！
graph NN は将来扱います！
お楽しみに！😍🎉🎉