從這裡開始:Web Scraping API · API Center

爬蟲除錯方案

數分鐘內重現 403 或空白 DOM——每次只改一個變數。這是故障排除頁,不是購買所有代理 SKU 的地方。

建議:在 Web Scraping API Center 貼上失敗的 URL。若正式環境使用擷取端點,用一個住宅與一個資料中心樣本比對相同 curl——然後停止。

卡在同一個失敗 URL 的工程師

後端開發者

筆電可行、正式環境失敗——隔離 IP vs 渲染 vs 標頭。

QA

爬蟲上線前的金絲雀 URL。

資料平台

用證據決定住宅 vs API,而非 Slack 意見。

顧問

將 HTML 證據附在客戶工單上。

停止亂買產品

失敗通常是以下之一:資料中心 ASN、缺少渲染、地理錯誤或 Cookie 輪換。不需要買行動 + 商業 + 自訂來找出原因。

🐛

海森堡蟲

筆電 IP ≠ 正式環境 IP。

🚫

403 無內容

無法分辨 ASN vs WAF vs 驗證。

🌍

靜默地理錯誤

錯誤目錄被當成真相儲存。

⚙️

旋鈕太多

同時改 IP、UA 和渲染什麼都證明不了。

🔐

Cookie 遺失

登入中途輪換看起來像程式錯誤。

💸

先買最大流量包

試用額度就能診斷。

除錯矩陣,不是購物清單

建議:Web Scraping API Center(切換 render/geo)。替代:若正式環境是代理模式,用一個住宅擷取 curl。勿為除錯購買其他七種 SKU。

產品 計費 適用時機…
Web Scraping API 推薦產品組合 點數 · 成功計費 建議——最快重現:render、super、geoCode,無需本機瀏覽器。
住宅 · 輪換 按流量計費 替代——正式環境使用擷取端點;確認住宅 vs 目前 IP。

如何開始(單一建議路徑)

路徑 A — API Center 二分法(建議)

一個 URL,一次只改一個旗標。

  1. 貼上失敗的 URL。
  2. 用預設值擷取;記錄長度與標題。
  3. 僅切換 render=true;比對。
  4. 然後 geoCode;再 super。將第一個有效的 curl 複製到工單。
API Center →

路徑 B — 正式環境是代理擷取

符合正式環境協定。

  1. 產生一個住宅輪換端點。
  2. 執行與正式環境相同的 curl。
  3. 若住宅可行而資料中心失敗,問題是 ASN——切換任務,勿改寫解析器。
  4. 若兩者都失敗,是標記/標頭——試路徑 A 的 render。
API Center →

選一種即可——同一任務不要混用

以下情況使用 API Center

  • 需要快速取得 HTML。
  • 懷疑 JS 或反機器人。
  • 不想碰正式環境憑證。

以下情況使用住宅樣本

  • 正式環境已使用 HTTP/SOCKS 擷取。
  • 必須完全符合正式環境標頭。
  • API 成功無法證明代理路徑。

第一週檢查清單

常見問題

這是遠端 localhost 隧道嗎?

不是。僅限出站擷取/代理 QA。

全部 403?

試 API render,再試一個住宅 curl。若兩者都失敗,可能是標頭或服務條款——不是缺 SKU。

空白 200?

啟用 render。勿再買流量。

需要全部九種代理?

不需要。兩次測試可診斷多數工單。

CI?

API 或擷取中的五個金絲雀 URL——不是新產品線。

深入了解

重現失敗的 URL 一次

先試 API Center。若正式環境是代理,用一個住宅 curl。然後只買真正有效的 SKU。