بهترین پروکسی‌ها برای وب اسکرپینگ - 2026

تیمی که می‌خواهد قیمت 4,000 محصول را در Trendyol روزی سه بار جمع کند، روز نخست از خط اداری خودش شروع می‌کند. چند صد درخواست اول بی‌مشکل برمی‌گردد، بعد صفحه‌ها خالی می‌شوند، سپس سرور 429 برمی‌گرداند و تا غروب دیگر هیچ چیزی از آن IP نمی‌آید. مشکل در کد نیست: سایتی که از یک نشانی در هر دقیقه صدها درخواست می‌بیند، آن نشانی را یک کلاینت خودکار علامت زده است. پروکسی اینجا وارد می‌شود — درخواست را میان نشانی‌های خروجی گوناگون پخش می‌کند تا محدودیت نرخ روی یک هویت واحد جمع نشود.

در این نوشته پنج ارائه‌دهنده‌ای را که در سال 2026 برای کارهای وب اسکرپینگ (استخراج داده) پروکسی می‌فروشند مقایسه کرده‌ایم: Proxynet و چهار برند جهانی. به اندازه استخر، قیمت هر گیگابایت، مدتی که ترافیک معتبر می‌ماند، گزینه‌های هدف‌گیری و اینکه کدام نوع‌های پروکسی در یک حساب کنار هم هستند نگاه کردیم. ارقام رقبا از سایت خود آن‌ها و مربوط به سپتامبر 2026 است؛ اطلاعاتی که ارائه‌دهنده منتشر نکرده باشد در جدول با «—» می‌ماند.

چرا برای وب اسکرپینگ به پروکسی نیاز است؟#

وب اسکرپینگ کار دانلود HTML یک صفحه و بیرون کشیدن داده ساختاریافته از درون آن است؛ پروکسی هم سرور میانی‌ای است که این درخواست را به‌جای شما می‌فرستد. وقتی سایت مقصد درخواست را می‌گیرد، خط شما را نمی‌بیند بلکه نشانی خروجی پروکسی را می‌بیند. این تفاوت دو چیز را حل می‌کند. نخست سرعت: فرستادن ده درخواست در ثانیه از یک IP آن نشانی را بی‌درنگ از حد مجاز بالا می‌برد، اما وقتی همان ده درخواست میان ده نشانی پخش شود هر نشانی در سرعت یک بازدیدکننده عادی می‌ماند. دوم موقعیت: قیمت، موجودی، نتیجه جستجو و محتوای تبلیغ بر پایه کشور و بیشتر وقت‌ها بر پایه استان تغییر می‌کند، پس صفحه‌ای که از استانبول دیده می‌شود داده‌ای متفاوت از صفحه‌ای که از برلین دیده می‌شود برمی‌گرداند. بدون پروکسی، داده‌ای که جمع می‌کنید فقط همان نسخه‌ای است که موقعیت خودتان و IP خودتان می‌بیند.

پروکسی وب اسکرپینگ به چه کار می‌آید؟#

• رصد قیمت و موجودی: قیمت و موجودی بازارگاه‌ها را روزی چند بار و از استان‌های گوناگون جمع می‌کنید. جزئیات: رصد قیمت.
• خزش گسترده: وقتی سایتی با هزاران صفحه را با کارگرهای هم‌زمان می‌گردید، درخواست‌ها میان IPها پخش می‌شوند. جزئیات: خزنده وب.
• استخراج داده ساختاریافته: داده آگهی، محصول، نظر و شرکت را در یک شمای منظم می‌نشانید. جزئیات: استخراج داده.
• رصد نتیجه جستجو و رتبه: اندازه می‌گیرید که یک پرس‌وجوی واحد در استان‌های گوناگون چگونه رتبه می‌گیرد. جزئیات: ردیابی رتبه در سئو.
• کار کردن بدون مسدود شدن: محدودیت نرخ، نشست و مدیریت هدرها را همراه با استخر پروکسی برپا می‌کنید. جزئیات: وب اسکرپینگ بدون مسدود شدن.

هنگام انتخاب پروکسی برای وب اسکرپینگ به چه چیزی نگاه کنیم؟#

• محافظت مقصد. برای کاتالوگی که در دسترس همه است IP دیتاسنتر کافی است؛ در مقصدی که ورود می‌خواهد یا رفتار را تحلیل می‌کند به IP مسکونی یا موبایل نیاز دارید. به کار بردن هر دو نوع در یک کار عادی است، به همین دلیل مهم است که هر دو در یک پنل باشند.
• مدل قیمت و عمر ترافیک. پروکسی مسکونی به‌ازای هر گیگابایت فروخته می‌شود، دیتاسنتر و ISP ثابت به‌ازای هر IP در ماه. تفاوت اصلی این است که حقی که می‌خرید کِی تمام می‌شود: در مدل اعتبار ماهانه، ترافیک استفاده‌نشده در پایان ماه یا پس از 60 روز می‌سوزد؛ در مدل موجودی نمی‌سوزد.
• عمق هدف‌گیری. کشور کافی نیست؛ باید بتوانید استان، شهر و ASN را انتخاب کنید. در بازارگاهی که قیمتش بر پایه استان تغییر می‌کند، اندازه‌گیری از 81 استان با اندازه‌گیری از یک نقطه خروجی یک داده نیست.
• کنترل چرخش و نشست. در هر درخواست IP تازه، یا برای مدتی مشخص همان IP؟ در فهرست‌های صفحه‌بندی‌شده اگر IP وسط نشست عوض شود، سایت سبد یا فیلتر را صفر می‌کند. اینکه هر دو در یک محصول باشند، در سمت کد فقط با عوض کردن نقطه پایانی حل می‌شود. راه‌اندازی در سمت پایتون: چرخاندن پروکسی در Python.
• همروندی و محدودیت‌های پروتکل. اینکه چند اتصال موازی می‌توانید باز کنید، اینکه کنار HTTP و HTTPS پشتیبانی SOCKS5 هست یا نه و اینکه احراز هویت با نام کاربری و رمز است یا با مجوز IP، مستقیماً معماری شما را تعیین می‌کند.

بهترین 5 ارائه‌دهنده پروکسی برای وب اسکرپینگ#

⁦1. Proxynet⁩#

در کارهای اسکرپینگ نخستین نشانی Proxynet است. استخر مسکونی در 194 کشور بیش از 160 میلیون IP دارد؛ هدف‌گیری استان و ASN هزینه اضافه نمی‌خواهد و چرخش و نشست ثابت در یک محصول کنار هم هستند. در همین حساب بیش از 2 میلیون IPv4 دیتاسنتر اختصاصی در بیش از 50 کشور، بیش از ⁦240,000 IP⁩ ثابت ISP در بیش از 20 کشور و هزاران خط اپراتور موبایل در بیش از 140 کشور هست. این همان چیزی است که یک پروژه اسکرپینگ در عمل به آن نیاز دارد: سایت‌های فهرست مقصد محافظت یکسانی ندارند و برای عوض کردن نوع لازم نیست با ارائه‌دهنده دومی قرارداد ببندید.

مدل قیمت به تعهد تعداد یا مدت وابسته نیست، به موجودی حساب شما وابسته است. ترافیک مسکونی به‌ازای هر گیگابایت از سطح 3.30 دلار شروع می‌شود و هرچه موجودی بزرگ‌تر شود به سطح 1.50 دلار می‌رسد؛ در سمت دیتاسنتر قیمت ماهانه هر IP از سطح 1.50 دلار شروع می‌شود و به سطح 0.70 دلار می‌رسد و ترافیک بدون سهمیه است. اشتراک نیست و موجودی نمی‌سوزد: پول اسکرپری که دو ماه کار نکند همان‌جا که هست می‌ماند. در محصول‌های دیتاسنتر و ISP سفارش در همان لحظه در پنل می‌آید، HTTP، HTTPS و SOCKS5 پشتیبانی می‌شوند و احراز هویت را با نام کاربری و رمز یا با مجوز IP انجام می‌دهید.

مزایا

• بیش از 160 میلیون IP مسکونی در 194 کشور، هدف‌گیری استان و ASN بدون هزینه اضافه
• بیش از 2 میلیون IPv4 دیتاسنتر اختصاصی در بیش از 50 کشور، ترافیک بدون سهمیه
• بیش از ⁦240,000 IP⁩ ثابت ISP در بیش از 20 کشور، همه مخصوص یک کاربر
• بدون اشتراک و بدون محدودیت زمانی، موجودی شارژشده نمی‌سوزد و در هر چهار محصول معتبر است
• چرخش و نشست ثابت در یک محصول، HTTP، HTTPS و SOCKS5
• بیش از 6.2 میلیون IP در 81 استان ترکیه و خطوط واقعی اپراتورهای ترکیه
• پنل ترکی، پشتیبانی ترکی ⁦24/7⁩، کارت اعتباری و حواله بانکی

معایب

• تست رایگان ندارد، با موجودی کم آزمایش می‌شود
• Web Scraper API فعلاً از راه تیم فروش داده می‌شود
• الگوی آماده اسکرپر یا مجموعه داده نمی‌فروشد، نقطه پایانی را خودتان به کد خودتان وصل می‌کنید

مناسب چه کسانی: تیم‌هایی که فهرست مقصدشان درهم است، نمی‌خواهند بودجه‌شان را به اشتراک ماهانه گره بزنند و داده ترکیه جمع می‌کنند.

⁦2. Bright Data⁩#

بزرگ‌ترین استخر مسکونی این فهرست: بیش از 400 میلیون IP. در سمت دیتاسنتر 98 کشور و ⁦46,592 IP⁩ منتشرشده برای ترکیه دارد. قیمت هر گیگابایت مسکونی از 8 دلار شروع می‌شود و با کوپن به 4 دلار می‌رسد؛ پایین‌ترین رقم یعنی 3 دلار به پلن ماهانه 999 دلاری وابسته است و اگر ترافیک پلن در یک ماه مصرف نشود می‌سوزد. در سمت اسکرپینگ، جدا از پروکسی، خانواده API آماده و مجموعه‌های داده هم می‌فروشد.

مزایا

• بزرگ‌ترین استخر مسکونی این فهرست
• پروکسی دیتاسنتر در 98 کشور و ⁦46,592 IP⁩ دیتاسنتر در ترکیه
• هدف‌گیری شهر، کد پستی و ASN
• خانواده گسترده Scraper API، مجموعه‌های داده و مدیر پروکسی

معایب

• قیمت ورودی مسکونی به‌ازای هر گیگابایت 8 دلار، بالاترین رقم این فهرست
• پایین‌ترین قیمت گیگابایت به پلن ماهانه 999 دلاری وابسته است و ترافیک پلن در یک ماه می‌سوزد
• قیمت پروکسی موبایل را منتشر نمی‌کند
• پنل ترکی، پشتیبانی ترکی و پرداخت محلی ندارد

مناسب چه کسانی: تیم‌های سازمانی که می‌توانند برای مجموعه داده و API آماده بودجه بگذارند.

⁦3. Oxylabs⁩#

ارائه‌دهنده‌ای سازمانی با بیش از 175 میلیون IP مسکونی. قیمت هر گیگابایت از 6 دلار شروع می‌شود و در پلن‌های بالاتر به 2.50 دلار می‌رسد. در سمت موبایل بیش از 20 میلیون IP در بیش از 140 کشور و نشست ثابت تا 24 ساعت ارائه می‌دهد. رقم ⁦6,850,844 IP⁩ که برای ترکیه منتشر می‌کند بالاترین رقم کشوری این فهرست است. تست سلف‌سرویس نیست و از راه تیم فروش یا پشتیبانی آنلاین داده می‌شود.

مزایا

• بیش از 175 میلیون IP مسکونی
• بالاترین تعداد IP منتشرشده برای ترکیه
• پروکسی موبایل در بیش از 140 کشور، نشست ثابت تا 24 ساعت
• خانواده Web Scraper API و مدیر مشتری

معایب

• تست سلف‌سرویس نیست، از راه تیم فروش داده می‌شود
• در ترکیه پروکسی ISP ثابت ارائه نمی‌دهد
• در سمت دیتاسنتر استخر و قیمت قابل راستی‌آزمایی پیدا نکردیم
• پنل ترکی، پشتیبانی ترکی و پرداخت محلی ندارد

مناسب چه کسانی: تیم‌هایی که با بودجه سازمانی کار می‌کنند و مدیر مشتری و API آماده می‌خواهند.

⁦4. SOAX⁩#

با بیش از 155 میلیون IP مسکونی در میانه این فهرست ایستاده است. قیمتش به دو متغیر وابسته است: اینکه کشور مقصد در کدام پله باشد و پلن ماهانه شما. در پله دوم که ترکیه هم در آن است، قیمت هر گیگابایت از 3.75 دلار شروع می‌شود و در پلن سازمانی ماهانه 3,000 دلاری تا 0.35 دلار پایین می‌آید — پایین‌ترین رقم گیگابایت این فهرست. در ترکیه 49 شهر و نام اپراتورهای ترکیه را منتشر می‌کند.

مزایا

• بیش از 155 میلیون IP مسکونی
• در پله سازمانی، قیمت گیگابایت به پایین‌ترین حد این فهرست می‌رسد
• 49 شهر و نام اپراتورهای ترکیه منتشر می‌شود
• نشست ثابت تا 60 دقیقه در پروکسی موبایل

معایب

• در صورت‌حساب ماهانه، اعتبارها در 60 روز می‌سوزد
• پایین‌ترین قیمت‌ها به پلن سازمانی ماهانه 3,000 دلاری وابسته است
• محصول ISP ثابت ندارد
• تستش پولی است: 3 روز، 400 مگابایت

مناسب چه کسانی: تیم‌های پرحجمی که می‌توانند وارد پلن سازمانی ماهانه شوند و اعتبار را به‌موقع مصرف کنند.

⁦5. Decodo⁩#

نام پیشین آن Smartproxy است. بیش از 115 میلیون IP مسکونی دارد، قیمت هر گیگابایت از 4 دلار شروع می‌شود و به 2 دلار می‌رسد. در سمت دیتاسنتر بیش از 500 هزار IP می‌شمارد اما IP دیتاسنتر اختصاصی فقط در پنج کشور فروخته می‌شود؛ در سمت موبایل بیش از 700 خط اپراتور اعلام می‌کند. تست رایگان سه‌روزه و 100 مگابایتی دارد و کسی که تست را استفاده کند حق بازگشت وجه 14 روزه را از دست می‌دهد.

مزایا

• قیمت گیگابایت مسکونی از 4 دلار شروع می‌شود
• تست رایگان سه‌روزه و 100 مگابایتی
• هدف‌گیری شهر و ASN
• پروکسی موبایل با بیش از 700 خط اپراتور

معایب

• IP دیتاسنتر اختصاصی فقط در پنج کشور
• کسی که تست را استفاده کند حق بازگشت وجه 14 روزه را از دست می‌دهد
• تعداد IP مسکونی منتشرشده‌ای برای ترکیه ندارد
• پنل ترکی، پشتیبانی ترکی و پرداخت محلی ندارد

مناسب چه کسانی: تیم‌های با حجم متوسط که می‌خواهند اول با یک تست کوچک شروع کنند.

جدول‌های مقایسه#

ارقام از سایت خود ارائه‌دهندگان و مربوط به سپتامبر 2026 است. «—» اطلاعاتی است که ارائه‌دهنده منتشر نکرده است.

استخر مسکونی و قیمت گیگابایت#

در ستون استخر بزرگ‌ترین رقم از آنِ Bright Data است؛ اما در قیمت ورودی، Proxynet در انتهای فهرست می‌ایستد. رقم 0.35 دلاری SOAX قیمت پلن سازمانی ماهانه 3,000 دلاری است و 3 دلار Bright Data هم قیمت پلن ماهانه 999 دلاری؛ هیچ‌کدام قیمت‌هایی نیستند که با یک حساب کوچک به آن‌ها برسید. در Proxynet آنچه پله را تعیین می‌کند تعهد ماهانه نیست، موجودی حساب است.

ترافیک، اشتراک و تست#

این جدول جایی را نشان می‌دهد که بودجه اسکرپینگ بیشترین نشتی را از آنجا دارد: ترافیکی که می‌خرید اگر در یک ماه یا 60 روز مصرف نشود پاک می‌شود. در پروژه رصد قیمتی که فصلی کار می‌کند، این یعنی بخشی از گیگابایتی که پولش را داده‌اید بدون استفاده از دست برود. در Proxynet موجودی نمی‌سوزد و پروژه‌ای که سه ماه متوقف بماند با همان موجودی ادامه می‌دهد. در ستون تست، Decodo جلو می‌افتد؛ در Proxynet به‌جای تست، موجودی کمی شارژ می‌شود.

سمت دیتاسنتر#

در مقصدهایی که محافظت ضعیفی دارند، جدولی که هزینه را تعیین می‌کند همین است: IP دیتاسنتر به‌ازای هر گیگابایت فروخته نمی‌شود، به‌ازای هر IP در ماه فروخته می‌شود. Bright Data در تعداد کشور جلوتر است؛ Proxynet در اندازه استخر و در قیمت ماهانه هر IP در انتهای این فهرست می‌ایستد. IP دیتاسنتر اختصاصی Decodo فقط در پنج کشور فروخته می‌شود و در سمت Oxylabs و SOAX رقم دیتاسنتر قابل راستی‌آزمایی پیدا نکردیم.

چرا در وب اسکرپینگ Proxynet؟#

موجودی نمی‌سوزد، اشتراک نیست#

بار اسکرپینگ منظم نیست: در هفته کمپین ده برابر می‌شود و بعد هفته‌ها می‌ایستد. در مدل اعتبار ماهانه این نوسان مستقیماً زیان است، چون ترافیک استفاده‌نشده در پایان ماه یا پس از 60 روز پاک می‌شود. در Proxynet موجودی‌ای که شارژ می‌کنید نمی‌سوزد و در همه محصول‌های مسکونی، دیتاسنتر، ISP و موبایل معتبر است. جزئیات: پروکسی مسکونی.

194 کشور، هدف‌گیری استان و ASN#

استخر مسکونی روی 194 کشور پخش شده و بیش از 160 میلیون IP دارد. هدف‌گیری استان و ASN هزینه اضافه نمی‌خواهد: وقتی بخواهید از شهری مشخص یا از شبکه اپراتوری مشخص بیرون بیایید، به نقطه پایانی پارامتر می‌افزایید. در بازارگاهی که قیمتش بر پایه استان تغییر می‌کند، درستی اندازه‌گیری مستقیماً به همین جزئیات وابسته است.

چهار نوع پروکسی در یک حساب#

فهرست مقصد یک پروژه اسکرپینگ یکدست نیست. برای کاتالوگ‌های در دسترس همه پروکسی دیتاسنتر، برای مقصدهای محافظت‌شده پروکسی مسکونی، برای پنل‌هایی که ورود می‌خواهند پروکسی ISP و برای APIهای اپلیکیشن موبایل پروکسی موبایل در یک پنل کنار هم هستند. عوض کردن نوع قرارداد تازه نیست، تغییر نقطه پایانی است.

سمت ترکیه: 81 استان و خطوط واقعی اپراتورها#

در ترکیه در 81 استان بیش از 6.2 میلیون IP وجود دارد؛ در سمت ISP ثابت بیش از ⁦120,000 IP⁩ ترکیه و خطوط Türk Telekom، Superonline، TurkNet و Vodafone Net هست. شبکه Türk Telekom با ⁦AS9121⁩ ثبت شده است، یعنی درخواستی که از این شبکه بیرون می‌آید از سوی سایت مقصد ترافیک یک مشترک عادی دیده می‌شود. جزئیات کشور: پروکسی ترکیه.

پنل ترکی، پشتیبانی ترکی، پرداخت محلی#

پنل به زبان ترکی است، پشتیبانی ⁦24/7⁩ به ترکی پاسخ می‌دهد و پرداخت را با کارت اعتباری یا حواله بانکی (havale/EFT) انجام می‌دهید. هیچ‌کدام از چهار ارائه‌دهنده جهانی این فهرست پشتیبانی ترکی و پرداخت محلی ندارند.

سایت‌ها چگونه یک اسکرپر را می‌شناسند؟#

تشخیص چهار پایه دارد و هر چهار پایه مستقل از پروکسی کار می‌کنند؛ پروکسی فقط بر پایه نخست و دوم اثر می‌گذارد.

سرعت درخواست و 429. ساده‌ترین سنجه این است که یک IP در بازه‌ای مشخص چند درخواست می‌فرستد. وقتی از حد بگذرد، سرور کد ⁦429 Too Many Requests⁩ را که در بخش 4 از ⁦RFC 6585⁩ تعریف شده برمی‌گرداند و معمولاً هدر Retry-After را کنار پاسخ می‌گذارد. این هدر توصیه نیست، مدت انتظاری است که سایت به شما می‌گوید: پیروی از مقدارش و عقب انداختن درخواست به همان اندازه، سالم‌تر از عوض کردن IP و ادامه دادن با همان سرعت است. اینکه در کدام کد باید صبر کرد و در کدام باید ایستاد را در نوشته کدهای وضعیت HTTP در وب اسکرپینگ توضیح داده‌ایم.

اعتبار IP. هر IP زیر یک شماره سیستم خودگردان ثبت شده و این ثبت در دسترس همه است. اینکه نشانی به یک شرکت میزبانی تعلق دارد یا به یک ارائه‌دهنده دسترسی، اینکه در گذشته‌اش ترافیک خودکار دیده شده یا نه و وضعیت نشانی‌های همسایه، با هم یک امتیاز اعتبار می‌سازند. بیست IP که از یک بلوک /24 گرفته شده باشند، از دید سایت مقصد بیشتر وقت‌ها یک نشانی هستند: وقتی یکی علامت بخورد، بلوک علامت می‌خورد.

امضای دست‌دادن TLS. هنگام برقراری اتصال HTTPS، کلاینت مجموعه رمزها و افزونه‌هایی را که پشتیبانی می‌کند با ترتیبی مشخص می‌فرستد. این فهرست از کلاینتی به کلاینت دیگر فرق می‌کند؛ ثبت پارامترهای TLS در IANA نگه می‌دارد که چه مقادیری وجود دارند. در سمت سرور از این ترتیب چکیده‌ای گرفته و به یک امضا تبدیل می‌شود و معلوم می‌شود اتصال از چه نوع کلاینتی آمده است. امضای یک کتابخانه HTTP با هدر User-Agent که شبیه مرورگر به نظر برسد عوض نمی‌شود.

اثر انگشت مرورگر. در مقصدهایی که JavaScript اجرا می‌کنند، اندازه صفحه نمایش، فهرست فونت‌ها، خروجی WebGL و canvas، منطقه زمانی و تنظیمات زبان با هم یک هویت می‌سازند. ناسازگاری این هویت با کشوری که پروکسی نشان می‌دهد — مثل مرورگری که با IP استانبول وصل شده اما منطقه زمانی‌اش را لس‌آنجلس نشان می‌دهد — به‌تنهایی یک سیگنال است. جزئیات: اثر انگشت مرورگر.

همه این سازوکارها را سایت برای محافظت از زیرساخت خودش برپا کرده است. رویکرد درست تلاش برای دور زدن آن‌ها نیست، بلکه درآوردن درخواست شما به شکلی است که سایت بتواند تحملش کند: پیروی از قواعد robots.txt، احترام به مقدار Retry-After، کار کردن با سرعت پایین در ساعات شب و استفاده از API رسمی در صورت وجود. شکل قواعد robots در ⁦RFC 9309⁩ تعریف شده است. در منابعی که ورود می‌خواهند، پولی هستند یا داده شخصی دارند، گرفتن اجازه انتخاب نیست بلکه الزام است؛ چارچوب حقوقی را در نوشته آیا اسکرپینگ وب قانونی است؟ گرد آورده‌ایم.

برای هر مقصد کدام نوع پروکسی؟#

نوع پروکسی را نه بر پایه کارتان، بلکه بر پایه محافظت مقصد انتخاب کنید. به کار بردن هر چهار نوع در یک پروژه عادی است.

کاتالوگ در دسترس همه. برای فهرست‌ها و نقطه‌های پایانی API که ورود نمی‌خواهند و JavaScript ندارند، IP دیتاسنتر کافی است؛ هزینه به‌ازای هر IP در ماه است و هرچه حجم بالا برود هزینه واحد پایین می‌آید.

سایتی که ورود می‌خواهد. در صفحه‌هایی که پنل و حساب لازم دارند IP باید ثابت بماند؛ اگر در هر درخواست نشانی عوض شود، سایت نشست را می‌بندد و تأیید دوم می‌خواهد.

سایت با محافظت سخت‌گیر ربات. در مقصدهایی که رفتار را تحلیل می‌کنند، اینکه IP زیر نام یک ارائه‌دهنده دسترسی ثبت شده باشد و از استان درست بیرون بیاید اهمیت پیدا می‌کند؛ استخر مسکونی هر دو را با هم فراهم می‌کند.

API اپلیکیشن موبایل. در نقطه‌های پایانی که فقط از اپلیکیشن موبایل در دسترس‌اند باید از شبکه اپراتور بیرون بیایید؛ پروکسی موبایل درخواست را از یک خط واقعی GSM می‌فرستد.

خرابی خاموش: 200 برمی‌گردد اما داده‌ای نیست#

در پروژه‌های اسکرپینگ گران‌ترین خطا مسدود شدن نیست، متوجه نشدن مسدود شدن است. سرور 200 برمی‌گرداند، کد خطا نمی‌دهد، تعداد رکوردها عادی به نظر می‌رسد؛ اما چیزی که در پایگاه داده نوشته می‌شود دیگر داده واقعی نیست. چهار شکل معمول دارد.

پیوندهای هانی‌پات. پیوندهایی که کاربر نمی‌بیند و فقط در HTML ایستاده‌اند یک تله‌اند: بازدیدکننده عادی روی آن‌ها کلیک نمی‌کند، خزنده خودکار می‌کند. به‌محض کلیک، سایت درخواست را علامت می‌زند و شروع می‌کند به برگرداندن صفحه‌هایی که عادی به نظر می‌رسند اما درونشان نادرست است. دنبال نکردن پیوندهایی که display:none یا visibility:hidden دارند، به‌عنوان یک قاعده ساده کافی است. جزئیات: تله‌های هانی‌پات.

قالب خالی. بعضی سایت‌ها به کلاینتی که مسدود می‌کنند خطا نمی‌دهند، اسکلت صفحه‌ای بدون داده می‌دهند. فهرست محصول به شکل یک div خالی می‌آید و کد HTTP هم 200 است. این وضعیت بیشتر وقت‌ها در صفحه‌هایی پیش می‌آید که با JavaScript پر می‌شوند؛ HTML خامی که از سرور می‌آید با صفحه‌ای که مرورگر می‌بیند یکی نیست. تفاوت این دو: صفحه‌های ایستا و پویا.

تغییر ساختار صفحه. وقتی سایت طراحی‌اش را به‌روز کند، نام کلاس‌ها و ساختار DOM عوض می‌شود؛ انتخابگرهای شما دیگر چیزی پیدا نمی‌کنند و هر رکورد خالی برمی‌گردد. از نظر کد خطایی نیست، نتیجه خالی است. بستن انتخابگرها به ساختاری پایدارتر به‌جای نام کلاس، این خطر را کم می‌کند: مقایسه انتخابگر CSS و XPath.

محتوای کشور یا زبان اشتباه. اگر خروجی پروکسی در کشوری که انتظار دارید نباشد، سایت با واحد پول دیگر، زبان دیگر و موجودی دیگر پاسخ می‌دهد. داده درست به نظر می‌رسد و تنها چیزی که ناسازگار است معنای آن است: قیمت‌هایی را که از آلمان کشیده‌اید با کمپین ترکیه مقایسه می‌کنید.

راه محافظت یک عادت ساده است: در هر اجرا چند سنجه کنترلی ثبت کنید. تعداد رکورد به‌ازای هر صفحه، طول بدنه پاسخ، واحد پول و برچسب زبان صفحه، و کشور IP خروجی. اگر یکی از این چهار مقدار به‌روشنی از اجرای پیشین منحرف شد، کار را متوقف کنید و نگاه کنید. فهمیدن اینکه پایگاه داده پر از رکورد خالی است هفته‌ها طول می‌کشد، اما یک هشدار آستانه همان انحراف را در نخستین اجرا می‌گیرد.

خطاهای رایج#

• ساختن همه استخر از یک نوع پروکسی. پرداخت گیگابایت ترافیک مسکونی برای صفحه‌هایی که در دسترس همه هستند بیهوده است و رفتن سراغ مقصدهای محافظت‌شده با IP دیتاسنتر بی‌نتیجه. فهرست مقصد را بر پایه محافظت تقسیم کنید.
• زیاد کردن همروندی مستقل از تعداد IP. به کار انداختن دویست کارگر موازی با بیست IP یعنی هر IP در ثانیه ده درخواست می‌فرستد؛ این با وضعیت پیش از استفاده از پروکسی فرقی ندارد.
• عوض کردن IP در 429 و ادامه دادن با همان سرعت. اگر سرور مدت انتظاری اعلام کرده، آن را اجرا کنید. ادامه دادن با عوض کردن نشانی یعنی پخش کردن رفتاری که از حد گذشته روی کل استخر.
• گرفتن IP از یک بلوک /24. اگر سه هشت‌تایی نخست بیست IP یکی باشد، این‌ها برای سایت مقصد یک نشانی‌اند. IP را از بلوک‌های متفاوت و در صورت امکان از ASNهای متفاوت بخواهید.
• عوض کردن IP وسط صفحه‌بندی. در فهرست‌هایی که نشست می‌خواهند از نشست ثابت استفاده کنید؛ درخواست صفحه دوم از IP دیگر در بیشتر سایت‌ها فیلتر را صفر می‌کند.
• تمام‌شده دانستن کار بدون راستی‌آزمایی خروجی. داده‌ای که بدون کنترل تعداد رکورد، طول بدنه و کشور خروجی نوشته شود، داده‌ای است که درستی‌اش معلوم نیست.

برای هر کار کدام پروکسی؟#

پرسش‌های متداول#

بهترین پروکسی برای وب اسکرپینگ کدام است؟#

Proxynet. بیش از 160 میلیون IP مسکونی در 194 کشور، هدف‌گیری استان و ASN، محصول‌های دیتاسنتر، ISP ثابت و موبایل در یک حساب، موجودی‌ای که نمی‌سوزد و پشتیبانی ترکی، همه با هم تنها در Proxynet هستند. اگر به Scraper API آماده و مجموعه داده نیاز دارید، Bright Data و Oxylabs و اگر می‌توانید وارد پلن سازمانی پرحجم شوید، SOAX هم قابل بررسی است.

برای وب اسکرپینگ پروکسی مسکونی بخرم یا دیتاسنتر؟#

به محافظت مقصد نگاه کنید. کاتالوگی را که ورود نمی‌خواهد و JavaScript ندارد می‌توانید با IP دیتاسنتر جمع کنید و هزینه بسیار پایین‌تر می‌شود. در مقصدهایی که رفتار را تحلیل می‌کنند، ورود می‌خواهند یا محتوا را بر پایه استان عوض می‌کنند به IP مسکونی نیاز دارید. تفاوت این دو در نوشته تفاوت پروکسی مسکونی و دیتاسنتر آمده است.

برای اسکرپینگ چه بودجه‌ای برای پروکسی کنار بگذارم؟#

در Proxynet ترافیک مسکونی به‌ازای هر گیگابایت از سطح 3.30 دلار شروع می‌شود و هرچه موجودی بزرگ‌تر شود به سطح 1.50 دلار می‌رسد؛ در سمت دیتاسنتر قیمت به‌ازای هر IP در ماه از سطح 1.50 دلار شروع می‌شود. حساب را بر پایه گیگابایت انجام دهید: اندازه میانگین صفحه را در تعداد درخواست روزانه ضرب کنید؛ اگر تصویرها و فونت‌ها را دانلود نکنید، این رقم بسیار پایین‌تر از چیزی درمی‌آید که انتظار دارید.

با چند IP شروع کنم؟#

از محدودیت نرخ مقصد به عقب حساب کنید: اندازه بگیرید یک IP در دقیقه چند درخواست به‌راحتی می‌تواند بفرستد، مجموع درخواست روزانه را بر این عدد تقسیم کنید و حاصل را دو برابر کنید. در سمت مسکونی چون استخر به شکل چرخشی می‌آید، پرسش تعداد نیست بلکه محدودیت همروندی است؛ در سمت دیتاسنتر و ISP تعداد IP که می‌خرید تعیین‌کننده است.

429 می‌گیرم، باید تعداد پروکسی را زیاد کنم؟#

اول سرعت را کم کنید. 429 نتیجه یک IP نیست، نتیجه رفتار است: اگر تعداد پروکسی را زیاد کنید و با همان سرعت کل ادامه دهید، این بار با استخری بزرگ‌تر به همان حد می‌خورید. از مقدار Retry-After در پاسخ پیروی کنید، میان درخواست‌ها تأخیر بگذارید و تنها پس از آن استخر را بزرگ کنید.

آیا استفاده از پروکسی، وب اسکرپینگ را قانونی می‌کند؟#

نه. پروکسی فقط جایی را که درخواست از آن بیرون می‌آید عوض می‌کند؛ اینکه چه جمع می‌کنید و با آن داده چه می‌کنید همان می‌ماند. داده شخصی، محتوای دارای حق تکثیر و منابع پشت ورود با پروکسی هم زیر همان قواعد هستند. مرزها را در نوشته آیا اسکرپینگ وب قانونی است؟ گرد آورده‌ایم.

خلاصه#

در اسکرپینگ آنچه نتیجه را تعیین می‌کند اندازه کل استخر نیست؛ توانایی انتخاب نوعی که با محافظت مقصد می‌خواند، توانایی بیرون آمدن از استان درست و نبودن زیر فشار مصرف ترافیکی که خریده‌اید پیش از پایان مدتش است. ارائه‌دهنده‌ای که این سه شرط را با هم می‌دهد و پنل و پشتیبانی ترکی را هم به آن می‌افزاید Proxynet است. جزئیات محصول در صفحه پروکسی مسکونی و همه محصول‌ها در صفحه خدمات پروکسی ما هستند.