推荐方案:Web Scraping API · API Center

爬虫调试方案

通过一次只调整一个变量的方式定位 403、空 DOM、渲染或地理位置问题,让采集调试更快得到结论。

建议先在 API Center 验证失败 URL;如生产环境使用代理,再用住宅样本进行对比。

需要定位采集失败原因的工程师

后端开发者

笔电可行、正式环境失败——隔离 IP vs 渲染 vs 请求头。

QA

爬虫上线前的金丝雀 URL。

数据平台

用证据决定住宅 vs API,而非 Slack 意见。

顾问

将 HTML 证据附在客户工单上。

先定位原因,再选择产品

403、空 DOM、渲染失败和地区不匹配需要分别验证。先确定问题类型,再选择代理或页面抓取 API。

🐛

海森堡虫

笔电 IP ≠ 正式环境 IP。

🚫

403 无内容

无法分辨 网络类型 vs WAF vs 验证。

🌍

静默地理错误

错误目录被当成真相存储。

⚙️

旋钮太多

同时改 IP、UA 和渲染什么都证明不了。

🔐

Cookie 遗失

登录中途动态 IP看起来像程序错误。

💸

先买最大流量包

试用额度就能诊断。

用调试矩阵选择合适产品

先用 API Center 验证页面和渲染,再根据生产环境选择住宅代理。调试阶段无需同时购买多种产品。

产品 计费 适用场景
Web Scraping API 推荐产品组合 点数 · 成功计费 建议——最快重现:render、super、geoCode,无需本机浏览器。
动态住宅 IP 按流量计费 替代——正式环境使用采集端点;确认住宅 vs 目前 IP。

两种常见使用方案

路径 A — API Center 二分法(建议)

一个 URL,一次只改一个旗标。

  1. 贴上失败的 URL。
  2. 用预设值采集;记录长度与标题。
  3. 仅切换 render=true;比对。
  4. 然后 geoCode;再 super。将第一个有效的 curl 复制到工单。
API Center →

路径 B — 正式环境是代理采集

符合正式环境协定。

  1. 产生一个动态住宅 IP端点。
  2. 执行与正式环境相同的 curl。
  3. 若住宅可行而机房失败,问题是 网络类型——切换任务,建议先保留解析器。
  4. 若两者都失败,是标记/请求头——试路径 A 的 render。
API Center →

按问题类型选择调试方案

以下情况使用 API Center

  • 需要快速取得 HTML。
  • 怀疑 JS 或反机器人。
  • 不想碰正式环境凭据。

以下情况使用住宅样本

  • 正式环境已使用 HTTP/SOCKS 采集。
  • 必须完全符合正式环境请求头。
  • API 成功无法证明代理路径。

上手检查清单

常见问题

这是远端 localhost 隧道吗?

不是。仅限出站采集/代理 QA。

全部 403?

试 API render,再试一个住宅 curl。若两者都失败,可能是请求头或服务条款——不是缺 产品。

空白 200?

启用 render。无需再购买流量。

需要全部九种代理?

不需要。两次测试可诊断多数工单。

CI?

API 或采集中的五个金丝雀 URL——不是新产品线。

了解更多

快速定位失败 URL 的原因

先验证一个 URL,再根据结果选择代理或 API,不必一开始购买多种产品。