Это видео недоступно.
Сожалеем об этом.
GraphRAG个性化参数与配置 | 基于GPT-4o实现更便宜的知识图谱RAG
HTML-код
- Опубликовано: 16 авг 2024
- #RAG #GraphRAG #LLM #OpenAI
推荐一个目前全网价格最实惠的合租平台，ChatGPT，MidJourney，奈飞，迪士尼，苹果TV等热门软件应有尽有 - dub.sh/unibus ，首单9折优惠 - 优惠码 01Coder
如果您喜欢这个视频并希望请我喝一杯咖啡，欢迎前往我的BuyMeACoffee页面
👉 www.buymeacoff...
最近微软团队开源了一款数据工作流与转换工具 GraphRAG，利用LLM，帮助用户从非结构化文本数据中提取结构化数据，并完成数据索引。
在上一期视频中（ • Microsoft GraphRAG | 基... ），我介绍了其基本的使用方法。
本视频我会分享GraphRAG的个性化参数与配置。通过使用更便宜的模型GPT-4o，降低知识图谱索引数据的创建成本。
- 关注我的Twitter: / verysmallwoods
- 关注我的Bilibili: space.bilibili...
- 如果您有任何问题或者建议，欢迎通过邮件联系我：0001coder@gmail.com
GraphRAG | Get Started
microsoft.gith...
GraphRAG | GitHub
github.com/mic...
章节
00:00 GraphRAG参数与配置简介
05:25 创建一个GraphRAG项目
06:26 修改.env配置模型
08:01 修改settings.yaml使用模型环境变量
09:34 利用自定义配置创建索引并问答
11:20 GPT-4o模型开销情况分享
GraphRAG播放列表
• GraphRAG
先赞后看
我的笔记本是M1 pro芯片，但索引时，要1个多小时，而且还报错，这是什么原因
现在可以把模型设置成 4o-mini了🥳
4o-mini来的真是时候
本地模型很重要啊，成本考量~
我正在尝试使用4090本地算力，ollama llm和embedding。
@@leosong-lq4dl可以分享結果
@@leosong-lq4dlOllama embedding 好像用不了
@@leonwu355 是的，因为ollama没有支持openai风格的异步接口。
我现在的方案是用lm studio。
你可以用这个配置试一下
embeddings:
async_mode: threaded # or asyncio
llm:
# embeddings with lm-studio
api_key: lm-studio
type: openai_embedding # or azure_openai_embedding
model: nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf
api_base: localhost:1234/v1
@@markchao4848 我的配置是4090，语言模型推理使用ollama qwen:72b，嵌入模型推理使用lm-studio nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf。
另外还要改造代码，qwen输出的json字符串有问题，需要用字符串处理只取{}内的内容，还要用json5容忍格式错误（比如缺失引号逗号）。代码本身读配置也会出问题，top_p的参数没有用配置文件里的，而是写死在代码里了、
嗯，模型索引用了50元，每次搜索还要花费1.7元钱。
不容易。太贵了。
您好，请教一下，下面这个配置中的 base_dir指定的input 目录里面能带子目录吗？另外每个文件的大小有规定吗？谢谢
input:
type: file # or blob
file_type: text # or csv
base_dir: "input"
这个我倒还没试过。不妨一试
其他模型呢 ？ 不是说要教配置其他模型吗？
嘿嘿，耽搁了耽搁了。抱歉
使用国内的豆包模型对一些中文说明书进行索引构建，发现构建后的效果还不如langchain chatchat，博主有什么优化手段吗？
有没有使用其他模型比如gpt时，同等条件下的测试结果？想排除下效果差不完全是豆包的原因
@@Timothy-su9fj gpt国内禁用了，没法测试，只能测试国内的模型，对比文心和豆包感觉差不多
@@yulongsu1472 现在可以搞llama3-405b了
超贵的模型，要落地进产品难。