让 AI 替你查资料,难点不只是“找到网页”,还要打开动态页面、点选内容,再把广告和杂乱源码整理干净。Firecrawl 想把这套取材流程打包:它提供统一的 API——软件之间调用功能的标准接口——让 AI Agent 能搜索网页、抓取正文并与页面交互,今天在 GitHub 单日再涨 436 星。
网页抓取,就是自动访问页面并提取正文、链接或指定字段。Firecrawl 可把结果转成 Markdown、结构化 JSON 或截图,还支持点击、滚动、输入和等待等操作。项目方称,它能覆盖包括 JavaScript-heavy 页面在内的 96% 网页;这类页面的内容要等浏览器运行脚本后才出现,普通下载常常拿不全。其宣称的 P95 延迟为 3.4 秒,即约 95% 的请求可在这一时间内完成,但相关性能数字目前仅来自项目自述。
它连续上榜值得注意:开发者仍在寻找一层可靠的网页取材底座,让 Agent 不必为每个网站重新编写搜索、加载和清洗程序。Firecrawl 同时开源并提供托管服务,吸引力正在于把这些麻烦收进同一个入口。