firecrawl - 开源软件介绍、Docker 部署与官方下载

软件介绍

Firecrawl 是一个开源 API，用于大规模搜索、抓取和与网页交互。它能够将网页内容转换为干净的 Markdown 或结构化数据，专为 AI 应用和智能体设计。支持搜索、抓取、交互、爬取、地图发现等功能，并提供 Python、Node.js、Java 等多种 SDK。

搜索：搜索网络并获取完整页面内容

抓取：将任意 URL 转换为 Markdown、HTML、截图或结构化 JSON

交互：抓取页面后通过 AI 提示或代码进行点击、滚动、输入等操作

智能体：通过自然语言描述自动收集数据

爬取：一次请求爬取整个网站的所有 URL

地图：快速发现网站上的所有 URL

批量抓取：异步抓取数千个 URL

媒体解析：解析 PDF、DOCX 等网页托管文档

LLM 就绪输出：干净 Markdown 和结构化数据，减少 token 消耗

高可靠性：覆盖 96% 的网页，包括 JS 密集型页面

快速：P95 延迟 3.4 秒，适合实时应用

开源：AGPL-3.0 许可，社区驱动

为 AI 智能体提供实时网络数据从网站提取结构化数据用于分析或训练爬取文档网站以构建知识库监控竞争对手网站变化自动化数据收集任务

docker run -d --name firecrawl -p 3002:3002 ghcr.io/firecrawl/firecrawl:latest

Firecrawl 核心功能开源（AGPL-3.0），可免费自托管。云服务提供免费额度，高级功能需付费。

官方提供 Python、Node.js、Java、Elixir、Rust SDK，社区还有 Go SDK。

Firecrawl 内置无头浏览器，可以抓取 JS 密集型页面，无需额外配置。

默认情况下，Firecrawl 会遵守 robots.txt 指令。