【RAG实战】FireCrawl - 开源网页解析API，支持本地化部署 | Jina Reader的平替方案

#llm #rag #firecrawl

推荐一个目前全网价格最实惠的合租平台，ChatGPT，MidJourney，奈飞，迪士尼，苹果TV等热门软件应有尽有 - https://dub.sh/unibus ，首单9折优惠 - 优惠码 01Coder

如果您喜欢这个视频并希望请我喝一杯咖啡，欢迎前往我的BuyMeACoffee页面
👉 https://www.buymeacoffee.com/01coder

数据解析是RAG的重要一环。网页资源是RAG的重要数据来源之一。FireCrawl是一款开源的将URL转换为Markdown文本的API服务。FireCrawl是一款Jina Reader的完美替代方案。FireCrawl支持本地化部署，可以在本地环境中运行。

本期视频中我将介绍：
- FireCrawl的API使用方式
- 与LangChain应用集成
- 本地化运行FireCrawl

FireCrawl
https://www.firecrawl.dev

Jina Reader
https://jina.ai/reader

Python Notebook: LangChain + FireCrawl
https://github.com/sugarforever/LangChain-Tutorials/blob/main/langchain_firecrawl.ipynb

- 关注我的Twitter: https://twitter.com/verysmallwoods
- 关注我的Bilibili: https://space.bilibili.com/615957867/
- 如果您有任何问题或者建议，欢迎通过邮件联系我：0001coder@gmail.com

【ChatOllama合集】播放列表
https://www.youtube.com/playlist?list=PL2fGiugrNoogDOZzUYA5M31hlRuWHZNal

章节
00:00 FireCrawl简介
01:29 FireCrawl支持的功能与接口
02:40 基于FireCrawl API Key的网页解析
03:58 LangChain应用中集成FireCrawl
07:26 FireCrawl接口与Jina Reader的差异
07:41 部署运行自己的FireCrawl服务
12:34 总结