【深層学習】fasttext - 単語の内部構造を利用した版 word2vec 【ディープラーニングの世界 vol. 25】

Поделиться
HTML-код
  • Опубликовано: 3 фев 2025

Комментарии •

  • @jo7ueb
    @jo7ueb 5 месяцев назад

    最近日本語のベクトル化を試していてfasttextに出会いました。
    辞書との相性が悪くて形態素解析がうまくいかないデータだったのですが、形態素をすっ飛ばしてぶち込んでもある程度動いてくれているようです。
    fasttextだとサブワードをうまく拾ってくれるのが効いているのだと思います。
    モデルの背景がわかってより気に入りました!

    • @AIcia_Solid
      @AIcia_Solid  5 месяцев назад

      ご視聴コメントありがとうございます!
      おおーそうなのですね!
      実践されていて素敵すぎます!
      中身分かると色々楽しくなっていいですよね😊
      色々なモデルを扱っていますので、きょうみがあった等色々見ていただけると嬉しいです!

  • @manabirisu
    @manabirisu Год назад

    すごーーい!!つよつよ\(^o^)/

    • @AIcia_Solid
      @AIcia_Solid  Год назад +1

      でしょー!(^o^)
      他の動画もぜひ!☆

  • @あかさ棚-c3d
    @あかさ棚-c3d 2 месяца назад

    全体図について質問でn-gramの数は単語によって変わると思うのですが入力の部分についてもう少し詳しくお聞きしたいです。入力層の数はどうなっているのでしょうか?

    • @AIcia_Solid
      @AIcia_Solid  2 месяца назад

      ご視聴コメントありがとうございます!
      ベクトル化の途中で出てくる n-gram の個数は単語によって変わりますが、
      それらを合計して単語ベクトルを計算するので、
      最終的にでてくる単語ベクトルは、1単語に1つになります。
      モデルの構造は、word2vec の動画も見ていただいたほうが、イメージがつきやすいと思いますので、ご確認してみると良いかもしれません!
      これで質問の回答になっているでしょうか??
      まだ疑問が残る場合はまたコメントいただければ助かります!

    • @あかさ棚-c3d
      @あかさ棚-c3d 2 месяца назад

      @@AIcia_Solid
      返信ありがとうございます!
      例えばWord2Vecのskip-gramだと入力はWtのワンホットベクトル1つの固定で入力の数が変わるのはおかしいと考えているのですが,
      単語によってn-gramの数が変わるので一番最初の入力の数が変化するように感じてしまうのですがあっていますでしょうか?
      まだまだAI初心者でおかしな質問してたらすみません

    • @AIcia_Solid
      @AIcia_Solid  2 месяца назад

      はい、合っています!
      はじめの数は変わりますが、のちの処理では、それらを合わせて一つにしたベクトルが用いられるので、特に不都合は生じないかと思います。
      そういう目でもう一度動画や原論文を見ていただくと、何か気づきがあるかもしれません!

    • @あかさ棚-c3d
      @あかさ棚-c3d Месяц назад

      @@AIcia_Solid 回答ありがとうございます
      もう少し自分で論文読むなどして勉強しようと思います

    • @AIcia_Solid
      @AIcia_Solid  Месяц назад

      素敵ですね!
      原論文読むのが一番勉強になりますので!
      とてもオススメです!!!

  • @nak_kan7161
    @nak_kan7161 3 года назад +1

    字と図がきれいですね

    • @AIcia_Solid
      @AIcia_Solid  3 года назад +1

      ありがとうございます(^o^)

  • @理系男子
    @理系男子 3 года назад +1

    大学受験で英単語覚えるのに、subwordを意識してたのを思い出しました。
    漢字は表意文字なので、一文字の中に含まれる文字や部首にベクトルつけるとメチャ強くなりそうな予感

    • @AIcia_Solid
      @AIcia_Solid  3 года назад +2

      人間がやってることを素直に応用すると精度向上したりするのが深層学習の面白いところです🎉
      漢字についても、そういう研究がありますよ!
      最近は、そもそも入力を文字画像にして分析する手法なんかもあったりします😋

  • @ふくいゆうすけ-d5v
    @ふくいゆうすけ-d5v 3 года назад +2

    Gensim のword2vecで精度に不安があったのでfasttextを利用してみます。ありがとうございます。

    • @AIcia_Solid
      @AIcia_Solid  3 года назад +1

      お試しあれ!😋
      ただ、日本語でどこまでよくなるかは半信半疑です!(文字数が多いのと、単語がそもそも短いので、、、!)
      ただ、 Deep Learning は何が起こるか分かりませんし、試してみる価値は大です!

  • @みみみ-k1n
    @みみみ-k1n 3 года назад

    最近word2vecについて細かく勉強したのですごく面白かったです
    強化学習について解説する予定はありますか??

    • @AIcia_Solid
      @AIcia_Solid  3 года назад +1

      ご視聴コメントありがとうございます😊
      あります!
      NLP の次は生成モデルか強化学習か、どちらかをやろうと思っています✌️

  • @asreia
    @asreia Год назад

    単語ベクトルは人工知能の文字コードのようなもので翻訳などで使用時に文字コードを学習済み単語ベクトルに変換される?

    • @AIcia_Solid
      @AIcia_Solid  Год назад +1

      コメントありがとうございます(^o^)
      なにか混乱させてしまったでしょうか、、、?🤔
      もしご質問あればご遠慮なく!

  • @DAN-kp8sl
    @DAN-kp8sl 3 года назад

    元データの量が少なくてもある程度の精度確保しやすいのすごいなぁ
    subwordも学習させることで効率はより上がる可能性があるし未知語に対応できるチャンスもあるんだなあ…
    今まで早く学習できるとしか考えてなかったけど内容がわかりやすかったので少し理解できた気がします。
    ありがとうございました。

    • @AIcia_Solid
      @AIcia_Solid  3 года назад

      そういっていただけると何よりです😍
      是非活用してあげてください!🎉

  • @sano3141
    @sano3141 3 года назад

    面白かった

  • @dccmnmn
    @dccmnmn Месяц назад

    トマス ミコロフ を理解できません。 word2vec は [Google が開発した自然言語処理システム] です。 一方、 fasttext は [Facebook が開発した自然言語処理システム] です。 両方に同じ名前があるって、 どういう事ですか? [Nintendo Switch と PlayStation の両方の開発者に宮本茂と書かれている] と言っているようなものです。 ありえません。 同姓同名の間違いでは?

    • @AIcia_Solid
      @AIcia_Solid  Месяц назад +1

      ご視聴コメントありがとうございます!
      論文を確認しましたが、やはり双方に Tomas Mikolov さんは著者として名を連ねています。
      私はこのあたりのことは詳しくないですが、技術者の転職はよくあることなので、この間に転職されたということではないでしょうか?

  • @shinjitanaka2313
    @shinjitanaka2313 3 года назад

    ようやくシリーズすべてを視聴しました。たぶん10%くらいしか理解できていないのでしょうが^^;、こういうことを知って使うのと、知らずに使うのとでは雲泥の差があります。fasttextもなんとなく学習が速そうだから使ったくらいでしたが、こんなすごい技術だったとは。どの動画もとてもためになりました。作ってくれてありがとうございます。博士課程のも素敵でした^^

    • @AIcia_Solid
      @AIcia_Solid  3 года назад

      ご視聴コメントありがとうございます!
      そして全視聴ありがとうございます😍🎉🎉
      お疲れさまでした!🎉
      博士の方もみていただいてありがとうございます😊✌️

  • @kazuya7631
    @kazuya7631 3 года назад

    毎度、分かりやすい解説ありがとうございます!予習復習に活用させて頂いております。
    自然言語処理編で今後GloVeやELMoについて解説する予定はありますか?

    • @AIcia_Solid
      @AIcia_Solid  3 года назад +1

      ご視聴コメントありがとうございます!
      ぜひご活用ください!🎉
      ELMo は扱う予定ですが、 GloVe は割愛予定です😭
      要望が強ければどちらもやります~!(^o^)

  • @高田智巳
    @高田智巳 3 года назад

    日本語だとどうなのだろう?

    • @AIcia_Solid
      @AIcia_Solid  3 года назад

      どうなのでしょうね🤔
      実験などもたくさん出ているので、ぜひ調べてみてください😋