यहाँ से शुरू करें: Web Scraping API · API केंद्र

स्क्रैपर डिबगिंग समाधान

403 या खाली DOM को मिनटों में पुन: प्रस्तुत करें — एक समय में एक वेरिएबल बदलें। यह एक समस्या निवारण पृष्ठ है, प्रत्येक proxy SKU खरीदने का स्थान नहीं।

अनुशंसित: विफल URL को Web Scraping API केंद्र में चिपकाएँ। यदि उत्पादन एक्सट्रैक्ट एंडपॉइंट का उपयोग करता है, तो एक Residential और एक Datacenter नमूने में समान कर्ल की तुलना करें — फिर रुकें।

इंजीनियर एक ही असफल यूआरएल पर अटके रहे

बैकएंड देव

लैपटॉप पर काम करता है, उत्पाद में विफल रहता है — IP बनाम रेंडर बनाम हेडर को अलग करें।

QA

क्रॉल शिप से पहले कैनरी यूआरएल।

डेटा प्लेटफ़ॉर्म

Residential बनाम API का निर्णय सबूतों से करें, न कि सुस्त राय से।

सलाहकार

क्लाइंट टिकट पर HTML प्रमाण संलग्न करें।

बन्दूक खरीदने वाले उत्पाद बंद करें

विफलता आमतौर पर इनमें से एक है: Datacenter ASN, गुम रेंडर, गलत जियो, या कुकी रोटेशन। इसका पता लगाने के लिए आपको Mobile+बिजनेस+कस्टम की जरूरत नहीं है।

🐛

हाइजेनबग्स

लैपटॉप IP ≠ प्रोड IP।

🚫

403 बिना किसी शरीर के

ASN बनाम WAF बनाम प्रामाणिक नहीं बता सकता।

🌍

मौन भू

ग़लत कैटलॉग सत्य के रूप में सहेजा गया.

⚙️

बहुत सारे घुंडी

IP, यूए और रेंडर को एक साथ बदलने से कुछ भी साबित नहीं होता है।

🔐

कुकी हानि

रोटेशन मिड-लॉगिन एक कोड बग जैसा दिखता है।

💸

सबसे बड़ा पैक पहले

आप परीक्षण क्रेडिट पर निदान कर सकते हैं.

डिबग मैट्रिक्स, खरीदारी सूची नहीं

अनुशंसित: Web Scraping API केंद्र (रेंडर/जियो टॉगल करें)। वैकल्पिक: यदि उत्पादन proxy-आधारित है तो एक Residential अर्क कर्ल। डिबग करने के लिए अन्य सात SKU न खरीदें।

उत्पाद बिलिंग इसे कब उपयोग करें…
Web Scraping API इस वर्कफ़्लो के लिए अनुशंसित क्रेडिट · प्रति सफलता भुगतान करें अनुशंसित — सबसे तेज़ रिप्रो: रेंडर, सुपर, जियोकोड, कोई स्थानीय ब्राउज़र नहीं।
Residential · Rotating GB के हिसाब से भुगतान वैकल्पिक — उत्पादन एक्सट्रैक्ट एंडपॉइंट का उपयोग करता है; Residential बनाम अपने वर्तमान IP की पुष्टि करें।

कैसे शुरू करें (एक अनुशंसित मार्ग)

पथ A — API केंद्र द्विभाजित (अनुशंसित)

एक समय में एक यूआरएल, एक ध्वज।

  1. विफल URL चिपकाएँ.
  2. डिफ़ॉल्ट के साथ प्राप्त करें; नोट की लंबाई और शीर्षक.
  3. केवल टॉगल करें render=true; तुलना करना।
  4. फिर जियोकोड; फिर सुपर. पहले वर्किंग कर्ल को टिकट में कॉपी करें।
API केंद्र →

पथ बी — उत्पादन proxy अर्क है

उत्पाद प्रोटोकॉल का मिलान करें.

  1. एक Residential Rotating समापन बिंदु उत्पन्न करें।
  2. उत्पाद के समान ही कर्ल चलाएँ।
  3. यदि Residential कार्य और डीसी विफल हो जाता है, तो बग ASN है — कार्य स्विच करें, पार्सर्स को फिर से न लिखें।
  4. यदि दोनों विफल हो जाते हैं, तो यह मार्कअप/हेडर है — पथ ए रेंडर आज़माएं।
OpenAPI केंद्र →

एक चुनें — एक ही जॉब पर इन्हें मिलाएँ नहीं

जब API केंद्र का उपयोग करें

  • आपको तेजी से HTML की आवश्यकता है.
  • आपको जेएस या एंटी-बॉट पर संदेह है।
  • आप उत्पाद क्रेडेंशियल्स को छूना नहीं चाहते हैं।

जब Residential नमूने का उपयोग करें

  • उत्पाद पहले से ही HTTP/SOCKS अर्क बोलता है।
  • आपको उत्पाद हेडर का सटीक मिलान करना होगा.
  • API सफलता proxy पथ को सिद्ध नहीं करेगी।

पहले सप्ताह की चेकलिस्ट

अक्सर पूछे जाने वाले प्रश्न

क्या यह रिमोट लोकलहोस्ट टनलिंग है?

नहीं, केवल आउटबाउंड स्क्रैप/proxy क्यूए।

हर चीज़ पर 403?

API रेंडर करने का प्रयास करें, फिर एक Residential कर्ल। यदि दोनों विफल हो जाते हैं, तो यह संभवतः हेडर या टीओएस है — गायब एसकेयू नहीं।

खाली 200?

रेंडर सक्षम करें. अधिक GB न खरीदें.

सभी नौ proxy की आवश्यकता है?

नहीं, दो परीक्षण अधिकांश टिकटों का निदान करते हैं।

सीआई?

API या अर्क में पांच कैनरी यूआरएल — कोई नई उत्पाद श्रृंखला नहीं।

और जानें

विफल URL को एक बार पुन: प्रस्तुत करें

API पहले केंद्र. यदि उत्पाद proxy है तो एक Residential कर्ल। फिर केवल वही SKU खरीदें जो वास्तव में काम करता हो।