【深層学習】ELMo - 複数粒度の文脈情報を持つ単語ベクトルで広範囲のタスク性能改善【ディープラーニングの世界vol.30】
HTML-код
- Опубликовано: 15 июл 2021
- ｴﾙﾓﾀﾞﾖｰ!!
単語ベクトルに手を入れることによって、非常に幅広いタスクで SoTA を記録しました。
ギリギリ Transformer 直後で、Transformer に塗り替えられる前の研究の趣がある最後の研究です。
☆お知らせ☆
AIcia Solid Project 公式HPが出来ました！！！
sites.google.com/view/aicia-o...
HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください！！
▼関連動画
Deep Learning の世界 • Deep Learning の世界
自然言語処理シリーズ • 自然言語処理シリーズ
▼目次
公開後追加予定！
▼参考文献
Peters, Matthew E., et al. "Deep contextualized word representations." arXiv preprint arXiv:1802.05365 (2018).
arxiv.org/abs/1802.05365
原論文！
長すぎず読みやすい感じです。初の挑戦にいいかも！
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita qiita.com/LeftLetter/items/14...
いろいろこれを参考にして動画を作っています
▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: / aicia_solid )
動画編集：AIris Solid (妹) (Twitter: / airis_solid )
=======
Logo: TEICAさん ( / t_e_i_c_a )
Model: 3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( / w01fa ) 
Наука
めちゃくちゃ噛んでも、わかりやすい！
BERT楽しみにしてます
てへぺろ😋
参考になったようでよかったです！
BERT もお楽しみに！！🎉
ありがとうございます。 ELMoはLSTMが使われているのですね。
そーなんです。
以外とシンプルですよね🎉
とても分かりやすかったです！
ありがとうございます！
一点質問なのですがLSTMの出力を最後に結合しているのは何故なのでしょうか？
前から学習したベクトルと後ろから学習したベクトルを結合せずに、合計5つのベクトルを重み付けして使う方が、前に出てくる単語が重要なタスクと、後ろに出てくる単語が重要なタスクで使い分けできるように思いました。
鋭い質問ですね！😎✌️
それは実は、、、！とお答えしたいところですが、開発者しか答えられない質問かもしれません😇
もしかしたら、両方のパターンを実験して、こちらの方がよかったとかなのかもしれません🤔
可能なら検証してみるとよいと思います！！！
ELMoはEmbedding部分のモデルだったのですね… セサミストリートでBERTの仲間だから、BERTと似たようなものを想像してました！
ネーミングは仲間ですよ！ いっとき流行ってたらしいです👀
まだこの時代は Transformer と RNN の決着はついていなかったので、双方の研究が盛んに行われていました(^o^)