【RAG实战】FireCrawl - 开源网页解析API，支持本地化部署 | Jina Reader的平替方案

#llm #rag #firecrawl
推荐一个目前全网价格最实惠的合租平台，ChatGPT，MidJourney，奈飞，迪士尼，苹果TV等热门软件应有尽有 - dub.sh/unibus ，首单9折优惠 - 优惠码 01Coder
如果您喜欢这个视频并希望请我喝一杯咖啡，欢迎前往我的BuyMeACoffee页面
👉 www.buymeacoff...
数据解析是RAG的重要一环。网页资源是RAG的重要数据来源之一。FireCrawl是一款开源的将URL转换为Markdown文本的API服务。FireCrawl是一款Jina Reader的完美替代方案。FireCrawl支持本地化部署，可以在本地环境中运行。
本期视频中我将介绍：
- FireCrawl的API使用方式
- 与LangChain应用集成
- 本地化运行FireCrawl
FireCrawl
www.firecrawl.dev
Jina Reader
jina.ai/reader
Python Notebook: LangChain + FireCrawl
github.com/sug...
- 关注我的Twitter: / verysmallwoods
- 关注我的Bilibili: space.bilibili...
- 如果您有任何问题或者建议，欢迎通过邮件联系我：[e-mail]
【ChatOllama合集】播放列表
• ChatOllama
章节
00:00 FireCrawl简介
01:29 FireCrawl支持的功能与接口
02:40 基于FireCrawl API Key的网页解析
03:58 LangChain应用中集成FireCrawl
07:26 FireCrawl接口与Jina Reader的差异
07:41 部署运行自己的FireCrawl服务
12:34 总结

[@CharlesLiu-nn8bv]

我理解firecrawl只能爬取那些静态网站，但实际应用中很多内容都是动态加载的，或者是必须登录后才能访问的，这种场景有推荐的工具吗？

[@pongpong5441]

赞👍

[@user-pd6zt8qm3o]

想学习，不过听着有点一头雾水，希望出一期更易懂的操作流程。😀

[@01coder30]

好的。看看这期是否简单些 ruclips.net/video/UAfPpnOHmbY/видео.html

[@adney3612]

第一☝️

[@planplay5921]

请问在本地部署是不是就不要api key了，那岂不是可以无限使用了

[@01coder30]

对，自己付出的就是运行环境成本