沉淀园

AI爬虫与网站克隆工具

Properties1
tagsai, tech, 爬虫, 采集

5分钟阅读

Agent 时代的采集工具选型速查。RPA/浏览器自动化方法见 RPA浏览器自动化实操方法，LLM 爬虫框架（ScrapeGraphAI/Crawl4AI）也在该页。

webclaw（Rust，TLS 指纹绕反爬）

  • 不启动浏览器，TLS 层模拟 Chrome 142 指纹过 Cloudflare/Akamai/DataDome；需 JS 的页面自动切换渲染路径；
  • 九步净化流水线按文本密度/语义标签/链接比例给 DOM 节点评分，剔导航/广告/页脚；
  • 文称性能：静态页 118ms、10KB 页本地提取 0.8ms（比 Chrome 方案快 20 倍）；
  • 安装：npx create-webclaw（自动配 MCP）/ brew / docker ghcr.io/0xmassi/webclaw；
  • 用法要点：5 种输出格式（llm 紧凑格式适合 RAG）；--crawl --depth 2 --max-pages 50 爬文档站；--diff-with old.json 监控页面变化。

Firecrawl 无 Key 模式（130K star）

  • 三入口免 Key：MCP claude mcp add --transport http firecrawl https://mcp.firecrawl.dev/v2/mcp；CLI npx firecrawl-cli@latest；REST curl https://api.firecrawl.dev/v2/scrape（不再要 Authorization）；
  • 每月 1000 次免费额度；Search/Scrape/Interact（点击填表登录）三能力；
  • 趋势判断：Agent 不会注册账号绑邮箱，无 Key 调用会从特权变默认——Agent 时代的 API 消费范式转移。

Scrapling（25.1K star，自愈爬虫）

  • 核心特性自适应元素追踪：page.css('.product', auto_save=True) 存特征，网站改版后 adaptive=True 用多维相似度自动找回——“一次编写，永久适配”（与本库 AI浏览器回归测试Passmark实测 的 Self-Healing 同思想）；
  • 四 Fetcher：TLS 伪装 / Async / Stealthy（solve_cloudflare=True 过 Turnstile）/ Dynamic（Playwright）；内置 ProxyRotator；
  • 安装分层：pip install scrapling 仅解析器，[fetchers]+scrapling install 装浏览器，[ai] 装 MCP；Spider 支持按域名限流、多会话混用、检查点恢复、流式输出；
  • 文称文本提取比 BeautifulSoup 快 700+ 倍。

浏览器执行层

  • agent-browser（Vercel Labs，26K star）：命令行操控真实 Chrome，agent-browser open URL + get text "article"；文称比 Playwright MCP 省 82% token，同轮多抓 5-6 倍页面；
  • BrowserAct：只告诉目标自己想步骤的执行层。实测数据：Stealth+动态代理过 Cloudflare；静态代理跨会话——两次独立会话后出口 IP 一致、10 个 Cookie 存活 8 个（含 X 的 loid）、指纹完全相同（多账号运营的基础设施认知，风控视角见 自媒体账号矩阵风控复盘）。

网站克隆：ai-website-cloner-template（28K star）

claude --chrome + /clone-website URL（可多个），支持 13 个编码平台。五阶段管道：侦察（三断点截图+滚动/悬停）→ 地基（字体/颜色/素材本地化）→ 施工图（每区块 Spec 文件，精确到 getComputedStyle() 真实值——准确度核心，不让 Agent 看截图猜样式）→ 并行建造（多 Agent 独立分支）→ 组装验收（视觉对比自动修复）。三个坑：动态内容抓不到、复杂动画只能取最终态、必须配 Chrome/Playwright MCP。官方推荐 Claude Code + Opus 4.8。⚠仅用于老站迁移/源码丢失/学习参考，不可复刻他人网站上线牟利。

增补：结构化提取模式（2026-09-19 全量书签）

  • agent-browser：snapshot -i --json 取稳定 ref（@e5）精准操作，页面变化重新 snapshot 即可；省 93% 上下文、SOP 3-4 分钟→1 分钟；eval+querySelectorAll 结构化提取；
  • Stagehand extract()：zod/pydantic schema 校验的结构化提取；Fetch/Search 附加件可不起浏览器抓 markdown；
  • 免 API 直读社交平台：Agent-Reach（Twitter/Reddit/YouTube/B站/小红书 search/fetch 命令，宣传口径需自测）。

原始素材

  • webclaw
  • Firecrawl
  • Scrapling
  • BrowserAct
  • 网站克隆
  • 网站克隆2

相关页面

出处 · raw/articles/bookmarks/（浏览器收藏 2026-09-19，爬虫文件夹）

关系图谱

反向链接