何が凄いのか？最新の技術GraphRAGについて解説してみた
HTML-код
- Опубликовано: 3 июл 2024
- こんにちは、にゃんたです。
今回は、言語モデルでよく使われるRAGという技術を拡張させた
GraphRAGという技術について解説してみました😆
使いこなせると結構実用的だと思うので是非見てみてください！
■LINE公式で限定コンテンツ配布中！
▼登録はこちらから行えます▼
liff.line.me/2004040861-3Jvq4bAG
今ならキーワード「プレゼント」と入力すると
・ChatGPTのプロンプトまとめ
・Caludeのプロンプトまとめ
・Difyのまとめ
を無料でお渡ししています！
■チャプター
00:00 オープニング
01:48 RAGについて
09:06 GraphRAGについて
12:50 実際に使ってみる
■Googleコラボのリンク
colab.research.google.com/git...
■LangChain公式ブログ
blog.langchain.dev/enhancing-...
■以前の関連動画
仕事で使えそう？DifyでRAGを行う時の設定について解説してみた
• 仕事で使えそう？DifyでRAGを行う時の設...
OpenAI最新のEmebddingモデルって何が凄いのか解説してみた
• OpenAI最新のEmebddingモデルっ...
■Udemy
ChatGPTAPIの使い方講座も作成しているので興味があれば是非！(クーポン発行してます！)
linktr.ee/nyanta_youtuber
■X, インスタグラム
/ vtuber_nyanta
/ vtuber_nyanta
■note
note.com/nyanta123
■言語モデル関連のおすすめ書籍
[書籍]大規模言語モデルは新たな知能か――ChatGPTが変えた世界
amzn.to/3YhtYCk
[紹介動画]一流研究者による大規模言語モデルの解説がわかりやすい
• 一流研究者による大規模言語モデルの解説がわか...
■にゃんた愛用のガジェット達
HHKBのキーボード(タイピングが心地よい！)
amzn.to/3VHE4Nd
パームレスト(外出時もタイピングの位置が安定する)
amzn.to/3Rtcz7G
マウス(手の負荷が下がる！)
amzn.to/3KI72q7
iiyamaモニター(ChatGPT用にディスプレイが必要･･･！)
amzn.to/3VpljNd
モニターアーム(コスパ良かった！)
amzn.to/4bZMTaJ
■連絡先(全て返信できないかもしれません！)
vtuber.nyanta@gmail.com
※上記製品リンクURLはAmazonアソシエイトのリンクを使用しています。
---------------------------------------------------------------------------
■楽曲提供
フリーBGM DOVA-SYNDROME : dova-s.jp/
効果音ラボ : soundeffect-lab.info/
■編集
にゃんた妻
一言：ノードとエッジの説明部分に文字とイラストを追加してみました。少しでもイメージがしやすくなっていると嬉しいです😄
---------------------------------------------------------------------------
#AI #生成AI #python #プログラミング #ChatGPT #GraphRAG
趣味開発で使えそうです！ありがとうございます！
いつもありがとうございます！Graph RAG待ってました！
ありがとうございます！
まさかGraphRAG待っててくれた人がいるとは思っていなかったです😲笑
すごくわかりやすかったです！勉強になりました！
ありがとうございます！
そう言ってもらえて良かったです😊
ちょうどグラフについて知りたかったので具体的な実装についても教えてもらえてとても助かりました！
ありがとうございます！
需要あるか心配だったので良かったです！
いつも拝見してます。同じプロンプトに対して通常RAGとgraph RAGで回答がどう違うのか知れ、とても参考になりました。
仲がいいのは誰？ に対して、graph RAGのほうが網羅的に関連人物を回答していたので、取りこぼしなく全列挙した回答が欲しいケースで効果を発揮しそうだと感じました。
今後の投稿も楽しみにしています！
暖かいコメントありがとうございます！
固有名詞に関係する質問はGraphRAG強そうですよね😊
今後も頑張ります💪
いつも役に立つ動画をありがとうございます！
ちょうどタイムリーにRAGの精度を上げる方法を検討していたので、非常に参考になりました。
AWSで社内向けのRAGを試していますが、外部DBにグラフを保存するのはハードルが高いのですが、何か代替手段を探して試してみます…！
ありがとうございます！
少しでも役に立ったようで良かったです😊
社内向けRAG開発いいですね！
グラフDBの用意が難しいかもですが
運用できると他社と差別化できそうですよね！
面白い！RAGのあり方を変えそう
ありがとうございます！
RAGも進化していきそうですね😊
いつもありがとう
暖かいコメントありがとうございます😆
あまりにも助かったのでコメント。チャンネル登録もしました
近々使いそう
ありがとうございます😊
是非使ってみてください！
いつも参考になる情報をありがとうございます。楽しく視聴させていただいております。Graphの話題が出たので、LangGraphについても説明していただけると助かります。実務でどのように活用できるのか、他の利用シーンがあれば教えていただけると嬉しいです。もちろん需要があればと思いますが^^;
リクエストありがとうございます🙇♂️
LangGraphも良さそうですね･･･！
少し見てみます！
大学の卒論で、GraghRAG(knowledge graph)とCodeLLMを用いてリポジトリ全体のコードドキュメント自動生成の研究テーマを取り組もうと考えていたので非常に参考になりました。一点だけ質問なのですが、質の高いknowledge graphを構築するためにはデータの前処理が大切だと紹介されていたのですが、データの量が膨大な場合は、どのような手法が好ましいでしょうか？
動画内では、”悟空”と”孫悟空”を同一人物として事前に定義しておくと紹介があったのですが、このようなルールベースで一つ一つ定義していくのには限界を感じました。
コメントありがとうございます！
面白そうな研究やられていますね！
データ量が多い場合にGraph RAG使いたい場合ということですかね🤔
結局データ側かクエリ側を工夫するしかないと思うので、データ側を工夫するのが難しいのであれば
クエリの方をLLMで拡張してから、探すとかになりそうですよね！学習していない内容は難しそうですが･･･
明確な回答出せずすみません🙇♂️
@@aivtuber2866
ご返信ありがとうございます。Classやメソッド単位でチャンク分割したものをGraphで構築しようと思っています（所属関係や継承関係をエッジで表現）。やはり、LLMでクエリを拡張するのがベストプラクティスですよね。色々と探ってみます！
また、 21:20 で使用している通常のRAGのチャットボットは何かのツールを使用しているのでしょうか？
応援してます！😊
以前の動画で紹介していたDifyというツールで作ってますね！
簡単にRAGができるので興味があったら是非！
複数のPDFを登録した場合、通常のベクトル化するRAGだとベクトルデータベースがつみあがっていくことに成りますが、Neo4jの場合どうなるんですかね？複数のグラフが出来るのか、バカでかい大きなグラフが出来るのか・・・
あとマルチモーダルに対応しているのかは気に成りました。官僚パワポの様な複雑な資料を画像として読み取って、グラフ化できると需要ありそうだなと。
細かく確認できていませんが、
恐らく通常のRAGと同じように、積みあがっていく(1つの大きなグラフができる)と思います！🤔
>あとマルチモーダルに対応しているのかは気に成りました。官僚パワポの様な複雑な資料を画像として読み取って、グラフ化できると需要ありそうだなと。
現在の実装だと画像は対応していなさそうでしたね🤔
ただ、実装すれば画像も原理的にはグラフにはできそうですよね
(めちゃくちゃ大きなグラフになってしまいそうですが･･･)
画像をRAGで利用できないか というのは結構考えている人も多そうなのでちょっと調べてみます💪
いつもありがとうございます。
グラフRAGですがグラフを作るようなプロンプトをllmに与えて内部で処理されていると考えてよろしいでしょうか？
llmに入力できるサイズの文章で無いといけないのでしょうか？
質問ありがとうございます！
> グラフRAGですがグラフを作るようなプロンプトをllmに与えて内部で処理されていると考えてよろしいでしょうか？
その理解で正しいと思います！
> llmに入力できるサイズの文章で無いといけないのでしょうか？
詳しく中の実装を確認できていませんが
文章を分割して、LLMに順番に与えている(もしくは原理上そのようにできるので)
入力文章に制限は無いと思われます！
PDF大量にぶち込めば精度高くなると思ってたらそうも行かなくてビックリした。
成功事例ばかり沢山出てるけど、生成AIの仕組みについて理解が中途半端だったり、各会社の業務内容の理解力が不足していて使い物にならないもの作ってお客さんに怒鳴られてる失敗例も沢山あるんだろうな。RAGの精度改善手法とよくあるミスなどについては自分以外にもニーズ高いと思うので引き続き希望です。
実際開発したけど、業務効率化につながっていない というケース結構ありそうですよね🤔
> RAGの精度改善手法とよくあるミスなどについては自分以外にもニーズ高いと思うので引き続き希望です。
リクエストありがとうございます！
また勉強して役立ちそうなものを動画にしていきます！
Geminiのクソデカコンテキストにぶち込むのとどっちがいいんだ？
昨日の打ち合わせはペラペラペラでした ペラペラ だと 違う解釈されそうですね。
ちょっと例が良くなかったですかね🤔
学習の段階で、「悟空=孫悟空である」ということを教えられると良さそうですね。
そうですね！
GraphRAGを使う時は前処理がかなり大事になりそうですね🤔
RAGは、個人情報は洩れないとのことなんでしょうか
graph RAGって何というか会社が作ったものか教えて欲しいです🙇♂️ 調べるの下手すぎて中々わからなくて、、、
Microsoftの研究チームのように思います！🤔
グラフを作るために文章全体を入力するのであれば、最初から文章全体を入力する方がいいのではないでしょうか？グラフを挟む方がグラフ分のトークンが無駄な気がします。
文章+グラフだと文章に入ってない情報を理解してくれるのでは？
動画の後半に説明ありますよ
コメントありがとうございます！
RAGを利用するたびにユーザーが外部情報を与える使い方を想定すると、精度はあがりそうですが
グラフ作成コスト(時間とお金)が普通のRAGよりかかってしまいますね！
例えば、会社情報を答えるRAGなどでユーザーが外部情報を与えない前提だと
一度グラフを作成すれば良いので、そのような場合に向いてそうですよね🤔
梧空！
PDFを見れば良いのでは？
どういうことですか？
今回のケースではPDFを見るで済むかもしれませんが、参照すべきPDFを社内の誰が持ってるか分からない時や、どのPDFを見るべきかそもそも分からないときに有用だと思います。
こういう老害がおるからいつまで経っても何も進まへんのや