让 AI 帮你读网站,麻烦往往不在“读”,而在先把散乱网页收拾干净。crw 就像网页资料整理员:输入网址,它能抓取单页、沿链接爬取整站、发现网址、搜索网页,并把结果转成干净的 Markdown——一种便于模型读取的文本格式——或结构化 JSON。它兼容 Firecrawl 接口,已有调用方通常只需少量改动就能切换,适合给 Agent(能调用工具执行任务的 AI 程序)补上网页数据入口。
crw 以 Rust 编写,可作为小型程序在 macOS 或 Linux 本地运行,也提供托管 API;自托管能增加数据和部署控制权,但运维要自己负责。它还提供 MCP 服务——MCP 是让 AI 统一发现和调用外部工具的协议。项目作者称,在 Firecrawl 公开的 1000 个网址数据集上,fastCRW 比 Crawl4AI 和 Firecrawl 恢复了更多正确内容,最快中位延迟持平,空闲内存约 14 MB;这些效果目前仅为作者自述,且本地版与托管版的能力和返回格式可能不同。