Это видео недоступно.
Сожалеем об этом.
GraphRAG个性化参数与配置 | 基于GPT-4o实现更便宜的知识图谱RAG
HTML-код
- Опубликовано: 16 авг 2024
- #RAG #GraphRAG #LLM #OpenAI
推荐一个目前全网价格最实惠的合租平台,ChatGPT,MidJourney,奈飞,迪士尼,苹果TV等热门软件应有尽有 - dub.sh/unibus ,首单9折优惠 - 优惠码 01Coder
如果您喜欢这个视频并希望请我喝一杯咖啡,欢迎前往我的BuyMeACoffee页面
👉 www.buymeacoff...
最近微软团队开源了一款数据工作流与转换工具 GraphRAG,利用LLM,帮助用户从非结构化文本数据中提取结构化数据,并完成数据索引。
在上一期视频中( • Microsoft GraphRAG | 基... ),我介绍了其基本的使用方法。
本视频我会分享GraphRAG的个性化参数与配置。通过使用更便宜的模型GPT-4o,降低知识图谱索引数据的创建成本。
- 关注我的Twitter: / verysmallwoods
- 关注我的Bilibili: space.bilibili...
- 如果您有任何问题或者建议,欢迎通过邮件联系我:0001coder@gmail.com
GraphRAG | Get Started
microsoft.gith...
GraphRAG | GitHub
github.com/mic...
章节
00:00 GraphRAG参数与配置简介
05:25 创建一个GraphRAG项目
06:26 修改.env配置模型
08:01 修改settings.yaml使用模型环境变量
09:34 利用自定义配置创建索引并问答
11:20 GPT-4o模型开销情况分享
GraphRAG播放列表
• GraphRAG
先赞后看
我的笔记本是M1 pro芯片,但索引时,要1个多小时,而且还报错,这是什么原因
现在可以把模型设置成 4o-mini了🥳
4o-mini来的真是时候
本地模型很重要啊,成本考量~
我正在尝试使用4090本地算力,ollama llm和embedding。
@@leosong-lq4dl可以分享結果
@@leosong-lq4dlOllama embedding 好像用不了
@@leonwu355 是的,因为ollama没有支持openai风格的异步接口。
我现在的方案是用lm studio。
你可以用这个配置试一下
embeddings:
async_mode: threaded # or asyncio
llm:
# embeddings with lm-studio
api_key: lm-studio
type: openai_embedding # or azure_openai_embedding
model: nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf
api_base: localhost:1234/v1
@@markchao4848 我的配置是4090,语言模型推理使用ollama qwen:72b,嵌入模型推理使用lm-studio nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf。
另外还要改造代码,qwen输出的json字符串有问题,需要用字符串处理只取{}内的内容,还要用json5容忍格式错误(比如缺失引号逗号)。代码本身读配置也会出问题,top_p的参数没有用配置文件里的,而是写死在代码里了、
嗯,模型索引用了50元,每次搜索还要花费1.7元钱。
不容易。太贵了。
您好,请教一下,下面这个配置中的 base_dir指定的input 目录里面能带子目录吗?另外每个文件的大小有规定吗?谢谢
input:
type: file # or blob
file_type: text # or csv
base_dir: "input"
这个我倒还没试过。不妨一试
其他模型呢 ? 不是说要教配置其他模型吗?
嘿嘿,耽搁了耽搁了。抱歉
使用国内的豆包模型对一些中文说明书进行索引构建,发现构建后的效果还不如langchain chatchat,博主有什么优化手段吗?
有没有使用其他模型比如gpt时,同等条件下的测试结果?想排除下效果差不完全是豆包的原因
@@Timothy-su9fj gpt国内禁用了,没法测试,只能测试国内的模型,对比文心和豆包感觉差不多
@@yulongsu1472 现在可以搞llama3-405b了
超贵的模型,要落地进产品难。