【BERTによる自然言語処理入門#2】word2vec

[@誠内山]

ありがとうございます、わかりやすいです。疑問があります。word2vecのモデルはボキャブラリの数ごとに存在するということになりますか？文章の長さ（ボキャブラリの大きさ）によって入出力のOneHotの大きさもWin,outの大きさも変わってきますよね。

[@dken]

ご視聴ありがとうございます！
word2vecのモデルは基本的に1つだと思います。学習に利用するボキャブラリは最初に決まるので、その時点でWin,outの大きさは決定しています。文章の長さがが異なっても、スライドさせて入力する語数は決まっていると思います。

[@誠内山]

返信ありがとうございます！重ねて伺いたいんですが、すると学習に入っていないwordに対するOneHotはどこが1になるんでしょうか？

[@dken]

@user-dr9ws2de7r
そこまで詳しくないので推測なのですが、その他の単語に該当するベクトルが存在すると思います！
ですので、出来る限り大きいデータで学習するのが好ましいです。最近だとBertやGPTはかなり大きなデータセットで学習していますし。