【自然言語処理入門】形態素解析をしてTf-idfとCos類似度で文書類似度を測る
HTML-код
- Опубликовано: 25 июл 2024
- 自然言語処理は、機械に人間の言葉を理解させる上で非常に重要な領域。
普段使っているGoogle検索やAlexaにも自然言語処理の技術は使われています。
しかし、あんまり自然言語処理の中身についてはブラックボックスでよく分からないですよねー。
なんとなく難しそうな自然言語処理の世界ですが、誰もが簡単に実装できるようになっていますし、どんなものなのか簡単に理解しておくことは非常に重要です。
この動画ではそんな自然言語処理の概要について3つのパートに分けて解説していきます！
・自然言語処理とは
・Mecabで形態素解析
・tf-idfとCos類似度
※この動画は概要編です。プログラミング言語を用いた実装は行わずどのような理屈で自然言語処理が行われているのか簡単な例を用いて解説していきますよ！
■スタビジ
スタビジは「データサイエンスをもっと身近なものに！」をモットーにデータサイエンスの面白さをビジネスを絡ませながら発信しているチャンネルです。
チャンネル登録はこちら↓
/ @aiby8596
■サイト（データサイエンスを発信するメディア）※旧：統計ラボ
toukei-lab.com/
・PythonのMeCabで形態素解析！Tf-idfとCos類似度で文書の類似度を算出してみよう！
toukei-lab.com/python-mecab
・【入門】自然言語処理でできることをいくつかPythonで実装してみる！
toukei-lab.com/natural-langua...
・RNN（回帰的ニューラルネットワーク）とは？Pythonでの実装方法と一緒に見ていこう！
toukei-lab.com/rnn
・BERTについて解説！日本語モデルを使って予測をしてみようー！
toukei-lab.com/bert
■「コスパよくデータサイエンスを学べるスクール」スタビジアカデミー
toukei-lab.com/achademy
■Twitterアカウント
ウマたん＠スタビジ： / statistics1012
■私が講師のUdemy講座
以下の記事に私が講師を務めるAIやデータサイエンス関連の講座一覧をまとめています！
toukei-lab.com/my-udemy-course
この記事内限定で全ての講座が安くなる講師クーポン（最大94%OFF！）を公開していますのでご受講の際はぜひお使いください！
■出版書籍
・俺たちひよっこデータサイエンティストが世界を変える
amzn.to/36XbMFJ
・【入門】Pythonを覚えてエリートリーマンへ！落ちこぼれリーマンの逆転劇：amzn.to/31drMyU
・おばあちゃんがWebマーケティングを勉強して雑貨屋をV字回復！
amzn.to/3vG3tqC
・漫画で分かるデジタルマーケティング ✕ データ分析
amzn.to/44iT84Q
・データサイエンス大全 -シンプルにわかる49の用語と13の実践
amzn.to/3mFzhwG
【視聴ガイド】
01:17 自然言語処理とは
02:19 Mecabで形態素解析
03:16 Tf-idfとCos類似度
03:31 Tf-idf
06:07 Cos類似度
絵が多くて初心者にとって一番分かりやすいです。
メカブが日本語だったんですねw
ありがとうございます！
その動画編集のソフトは何を使っているのですか？
なんというか、絵に描かれた人たちが何かをしていたり、喋っているような
Vyondというアニメーションツールを使っています！
@@aiby8596 ありがとうございます！！
また、投稿する場所は違ってしまい申し訳ないですが、実際にデータを可視化した後に仮説を立ててプロジェクトを進め、その結果仮説が正しいことが立証でき、プロジェクトも成功した的な自身の体験談的コンテンツを簡単に動画にまとめられたものは見てみたいです！もちろん体験談ではなくてもいいですが
ご意見ありがとうございます！
承知いたしました！