بهترین پروکسی‌ها برای CAPTCHA - 2026

اسکریپتی نوشته‌اید که هر صبح قیمت صد محصول را در Trendyol جمع می‌کند. روز نخست بی‌مشکل کار کرد، روز سوم بعد از محصول چهلم به‌جای صفحه یک صفحه تأیید بالا آمد. همین اتفاق در Google.com.tr هنگام بررسی رتبه به شکل هشدار «ترافیک غیرعادی»، در sahibinden.com به‌جای فهرست آگهی‌ها به شکل یک کادر و در Instagram هنگام ورود به شکل تأیید اضافی جلوی شما می‌آید. نتیجه ظاهری یکی است اما علت یکی نیست: اینکه IP خروجیِ درخواست به نام چه کسی ثبت شده، از آن IP در هر دقیقه چند درخواست گذشته و مرورگر چه ردهایی به جا گذاشته، هرکدام جداگانه سنجیده می‌شوند.

این نوشته توضیح می‌دهد که صفحه تأیید چرا بالا می‌آید، نوع پروکسی این فراوانی را چقدر تغییر می‌دهد و برای برانگیخته‌نشدن آن چه باید کرد؛ در پایان هم پنج ارائه‌دهنده را برای این کار مقایسه می‌کند. ارقام رقبا از سایت خود ارائه‌دهندگان و مربوط به سپتامبر 2026 است؛ اطلاعاتی که ارائه‌دهنده منتشر نکرده باشد در جدول با «—» می‌ماند.

چرا برای CAPTCHA به پروکسی نیاز است؟#

CAPTCHA آزمونی است که می‌کوشد بسنجد درخواستِ روبه‌رو از یک انسان آمده است یا از یک برنامه؛ ⁦W3C⁩ در یادداشتش درباره دسترس‌پذیری این آزمون‌ها محدودیت‌های خودِ روش را هم آشکارا برمی‌شمارد. سایت این آزمون را به هر بازدیدکننده نشان نمی‌دهد، وقتی آستانه‌ای از ریسک رد شود نشان می‌دهد. در صدر سیگنال‌هایی که آستانه را تعیین می‌کنند، شبکه‌ای است که درخواست از آن بیرون می‌آید: اگر IP در بلوک یک شرکت میزبانی باشد، اگر از همان نشانی در مدتی کوتاه درخواست‌های پرشماری گذشته باشد یا اگر آن نشانی پیش‌تر در سوءاستفاده‌ای گزارش‌شده دست داشته باشد، امتیاز ریسک بالا می‌رود. پروکسی فقط پایه نخستِ این معادله را عوض می‌کند، اما سنگین‌ترین پایه همان است. صفحه تأییدی که پس از صد درخواست از یک بلوک مرکز داده می‌آید، وقتی همان کار را از یک خط واقعی مشترک و با سرعتی معقول انجام دهید بیشتر وقت‌ها اصلاً بالا نمی‌آید.

پروکسی در مسئله CAPTCHA به چه کار می‌آید؟#

• کار جمع‌آوری داده را از نیمه‌کاره ماندن نجات می‌دهد. هر درخواستی که صفحه تأیید بگیرد، درخواستی هدررفته است؛ وانگهی اگر اسکریپت آن را داده بپندارد و ذخیره کند، سطری خالی در جدول شما می‌نویسد. جزئیات: استخراج داده.
• در رصد قیمت کاری می‌کند که در هر ساعت شبانه‌روز همان نتیجه را بگیرید. بازارگاه‌ها در ساعت شلوغی آستانه را پایین می‌آورند و اسکریپتی که صبح با یک IP کار می‌کرد، عصر گیر می‌کند. جزئیات: رصد قیمت.
• می‌گذارد بررسی کنید تبلیغ در کشور هدف چگونه دیده می‌شود. شبکه‌های تبلیغاتی ترافیک مرکز داده را جدا می‌کنند؛ بدون IP واقعیِ مشترک، صفحه‌ای که شما می‌بینید صفحه‌ای نیست که کاربر می‌بیند. جزئیات: راستی‌آزمایی تبلیغات.
• در رصد نتایج جستجو، پرسمان را از موقعیت درست می‌فرستد. نتیجه یک کلمه از استانی به استان دیگر فرق می‌کند و سرعت پرسمان آستانه را زود پر می‌کند. جزئیات: رصد رتبه در نتایج جستجو.
• ورود به حساب‌های شبکه‌های اجتماعی را عادی جلوه می‌دهد. کاربری که هر بار از کشوری دیگر و اپراتوری دیگر به حساب وصل می‌شود، تأیید اضافی می‌بیند. جزئیات: پروکسی اینستاگرام.

هنگام انتخاب پروکسی برای CAPTCHA به چه چیزی نگاه کنیم؟#

• نوع شبکه‌ای که IP در آن ثبت شده. هر بلوک IP به یک شماره سیستم خودگردان ثبت شده است و این ثبت برای همه باز است. اگر ثبت به یک ارائه‌دهنده دسترسی اینترنت اشاره کند، درخواست مانند ترافیک عادی مشترکان دیده می‌شود؛ اگر به یک شرکت میزبانی اشاره کند، همان درخواست از همان ابتدا پرریسک شمرده می‌شود.
• پراکندگی استخر. بیش از تعداد کل IP، این مهم است که نشانی‌ها در چند بلوک و چند شبکه متفاوت پخش شده‌اند. صد IP از یک بلوک، از دید سایت مقصد تقریباً یک IP است؛ وقتی یکی علامت بخورد، همسایه‌هایش هم علامت می‌خورند.
• ظرافت هدف‌گیری موقعیت. کشور کافی نیست. اگر قرار است در ترکیه قیمت جمع کنید، اینکه درخواست از استانبول بیرون بیاید یا از ارزروم، هم نتیجه را عوض می‌کند هم امتیاز ریسک را؛ اگر انتخاب استان و ASN هزینه اضافه داشته باشد، هزینه به‌سرعت بزرگ می‌شود.
• اختیار روی مدت نشست. بعضی کارها در هر درخواست IP تازه می‌خواهند، بعضی می‌خواهند پانزده دقیقه روی همان نشانی بمانند. هر دو را می‌توانید از پنل تنظیم کنید، سقف نشست ثابت چقدر است؟
• مدل قیمت و عمر ترافیک. قیمت هر گیگابایت در چه حجمی معتبر است، ترافیکی که می‌خرید مدت دارد؟ پلنی که اعتبارش در 60 روز می‌سوزد، در کار رصدی که ماهی چند روز اجرا می‌شود گران‌تر از قیمت روی کاغذش تمام می‌شود.

بهترین 5 ارائه‌دهنده پروکسی برای CAPTCHA#

⁦1. Proxynet⁩#

اگر می‌خواهید صفحه تأیید را به کمترین حد برسانید، نخستین نشانی Proxynet است. استخر مسکونی در 194 کشور بیش از 160 میلیون IP واقعیِ مشترکان دارد؛ هدف‌گیری استان و ASN رایگان است، یعنی می‌توانید درخواست را نه‌فقط از ترکیه، بلکه از قونیه و از شبکه اپراتوری مشخص بیرون بیاورید. در سمت ترکیه 6.2 میلیون IP پخش‌شده در هر 81 استان هست. در سمت موبایل هزاران خط اپراتور از جمله Turkcell، Vodafone و Türk Telekom و بیش از 140 کشور وجود دارد؛ اپراتور را از پنل یا از API انتخاب می‌کنید و نشست ثابت را خودتان بین 1 تا 60 دقیقه تعیین می‌کنید. برای کارهای حسابی که به نشست طولانی نیاز دارند هم بیش از 240,000 IP ثابت ISP در بیش از 20 کشور فروخته می‌شود که بیش از 120,000 تای آن‌ها در ترکیه است و بر خطوط Türk Telekom، Superonline، TurkNet و Vodafone Net تکیه دارد.

مدل قیمت بر پایه اشتراک نیست، بر پایه موجودی است. ترافیک مسکونی به‌ازای هر گیگابایت از سطح 3.30 دلار شروع می‌شود و هرچه موجودی بزرگ‌تر شود به سطح 1.50 دلار می‌رسد؛ در سمت موبایل نقطه ورود سطح 5.50 دلار است. تعهد ماهانه، حداقل سفارش و عمر اعتبار وجود ندارد: موجودی‌ای که شارژ می‌کنید نمی‌سوزد و در همه محصول‌های مسکونی، موبایل، ISP و دیتاسنتر معتبر است. در رصد رتبه‌ای که ماهی سه روز اجرا می‌شود، این تفاوت از خودِ قیمت گیگابایت تعیین‌کننده‌تر می‌شود. پنل به ترکی است، پشتیبانی ⁦24/7⁩ به ترکی پاسخ می‌دهد و پرداخت با کارت اعتباری یا حواله بانکی (havale/EFT) انجام می‌شود.

مزایا

• بیش از 160 میلیون IP واقعیِ مشترکان در 194 کشور
• هدف‌گیری استان و ASN رایگان؛ در ترکیه هر 81 استان
• خطوط Turkcell، Vodafone و Türk Telekom در سمت موبایل
• مدت نشست ثابت را خودتان بین 1 تا 60 دقیقه انتخاب می‌کنید
• بدون اشتراک و بدون محدودیت زمانی؛ موجودی نمی‌سوزد و در همه محصول‌ها معتبر است
• IP چرخشی و ثابت در یک حساب، جابه‌جایی از پنل
• پنل ترکی، پشتیبانی ترکی ⁦24/7⁩، کارت اعتباری و حواله بانکی

معایب

• تست رایگان ندارد؛ با موجودی کم آزمایش می‌شود
• استخر مسکونی‌اش از استخر Bright Data و Oxylabs کوچک‌تر است
• Web Scraper API فعلاً از راه تیم فروش داده می‌شود

مناسب چه کسانی: تیم‌هایی که می‌خواهند در کارهای قیمت، آگهی، نتیجه جستجو و حساب با هدف ترکیه، صفحه تأیید را کم کنند.

⁦2. Bright Data⁩#

بزرگ‌ترین استخر مسکونی این فهرست اینجاست: بیش از 400 میلیون IP. رقمی که برای ترکیه منتشر می‌کند در مجموع 1,296,959 IP است؛ در هدف‌گیری، کنار شهر، انتخاب کد پستی و ASN هم هست. قیمت به‌ازای هر گیگابایت از 8 دلار شروع می‌شود و در پلن‌های بزرگ به 3 دلار می‌رسد، و ترافیک پلن‌ها ظرف یک ماه مصرف می‌شود. برای پروکسی موبایل قیمتی به‌ازای هر IP یا هر گیگابایت منتشر نمی‌کند.

مزایا

• استخر مسکونی بیش از 400 میلیون IP
• هدف‌گیری در سطح کد پستی و ASN
• خانواده گسترده Scraping API و مدیر پروکسی
• گزینه پرداخت به‌اندازه مصرف باز است

معایب

• قیمت ورودیِ هر گیگابایت، بالاترین رقم فهرست
• اگر ترافیک پلن ظرف یک ماه مصرف نشود می‌سوزد
• قیمت پروکسی موبایل را منتشر نمی‌کند
• پشتیبانی ترکی و پرداخت محلی ندارد

مناسب چه کسانی: تیم‌های داده با بودجه سازمانی که هم‌زمان در ده‌ها کشور کار می‌کنند.

⁦3. Oxylabs⁩#

ارائه‌دهنده‌ای جهانی با بیش از 175 میلیون IP مسکونی؛ رقمی که برای ترکیه منتشر می‌کند 6,850,844 IP است، اما در فهرست شهرها فقط استانبول می‌آید. ترافیک مسکونی به‌ازای هر گیگابایت از 6 دلار شروع می‌شود و به 2.50 دلار می‌رسد. در سمت موبایل بیش از 20 میلیون IP و بیش از 140 کشور هست و قیمت از 7.50 دلار به 3.50 دلار می‌رسد؛ نشست ثابت را می‌توانید تا 24 ساعت طولانی کنید.

مزایا

• بیش از 175 میلیون IP مسکونی
• نشست ثابت تا 24 ساعت در پروکسی موبایل
• پشتیبانی سازمانی و مدیر مشتری
• خانواده Web Scraper API

معایب

• در ترکیه فقط استانبول را به‌عنوان شهر فهرست می‌کند
• تست سلف‌سرویس نیست، از راه تیم فروش است
• قیمت ورودی بالاست و پله‌های پایین به حجم بزرگ وابسته‌اند
• پشتیبانی ترکی و پرداخت محلی ندارد

مناسب چه کسانی: تیم‌هایی که می‌خواهند با مدیر مشتری کار کنند و حجمشان از ابتدا بزرگ است.

⁦4. SOAX⁩#

بیش از 155 میلیون IP مسکونی؛ برای ترکیه 881,280 IP و 49 شهر منتشر می‌کند و نام اپراتورهای ترکیه را هم فهرست می‌کند. قیمت بر حسب کشور پله‌ای است: در پله دوم که ترکیه هم در آن است به‌ازای هر گیگابایت از 3.75 دلار شروع می‌شود و در پلن سازمانی ماهانه 3,000 دلاری تا 0.35 دلار پایین می‌آید. در سمت موبایل نشست ثابت تا 60 دقیقه می‌رسد. اعتباری که می‌خرید در صورت‌حساب ماهانه پس از 60 روز می‌سوزد.

مزایا

• هدف‌گیری با 49 شهر و نام اپراتور در ترکیه
• نشست ثابت تا 60 دقیقه در سمت موبایل
• قیمت گیگابایت در حجم بالا به‌روشنی پایین می‌آید
• تست پولی سه‌روزه و 400 مگابایتی

معایب

• اعتبار در پلن ماهانه ظرف 60 روز می‌سوزد
• پایین‌ترین قیمت گیگابایت به پلن ماهانه 3,000 دلاری وابسته است
• سطح‌های پلن با هزینه ثابت ماهانه فروخته می‌شوند
• پشتیبانی ترکی و پرداخت محلی ندارد

مناسب چه کسانی: تیم‌هایی که حجم ماهانه‌شان منظم و بالاست و می‌توانند از قیمت پله‌ای بهره ببرند.

⁦5. Decodo⁩#

نام پیشین آن Smartproxy است. برای استخر مسکونی خود بیش از 115 میلیون IP اعلام می‌کند؛ در ترکیه پنج شهر را با نام فهرست می‌کند و تعداد IP بر حسب کشور را منتشر نمی‌کند. ترافیک مسکونی به‌ازای هر گیگابایت از 4 دلار شروع می‌شود و به 2 دلار می‌رسد. در سمت موبایل بیش از 10 میلیون IP و بیش از 700 اپراتور گزارش می‌کند و قیمت از 7.50 دلار به 5.50 دلار می‌رسد. تستی سه‌روزه و 100 مگابایتی دارد؛ کسی که تست را استفاده کند حق بازپرداخت 14 روزه را از دست می‌دهد.

مزایا

• قیمت ورودی پایین در سمت مسکونی
• تست رایگان سه‌روزه و 100 مگابایتی
• بیش از 700 اپراتور موبایل گزارش می‌کند
• شروع با بسته‌های کوچک ممکن است

معایب

• تعداد IP ترکیه را منتشر نمی‌کند
• قیمت گیگابایت موبایل در ردیف‌های بالای فهرست است
• استفاده از تست، حق بازپرداخت 14 روزه را از بین می‌برد
• پشتیبانی ترکی و پرداخت محلی ندارد

مناسب چه کسانی: کسانی که می‌خواهند با حجم کم شروع کنند و مقیاس را آرام بزرگ کنند.

جدول‌های مقایسه#

ارقام از سایت خود ارائه‌دهندگان و مربوط به سپتامبر 2026 است. «—» اطلاعاتی است که ارائه‌دهنده منتشر نکرده است.

استخر و پوشش ترکیه#

در کل استخر، Bright Data و Oxylabs جلوترند؛ آنچه از دید موضوع این نوشته تعیین‌کننده است، ظرافت جایی است که می‌توانید هدف بگیرید. تنها فهرستی که در آن می‌توانید هر 81 استان ترکیه را انتخاب کنید فهرست Proxynet است. Bright Data هدف‌گیری را تا کد پستی پایین می‌برد، اما مجموع ترکیه‌اش یکی از پایین‌ترین ارقام فهرست است. استخر ترکیه Oxylabs بزرگ به نظر می‌رسد، ولی در فهرست شهرهایش تنها یک استان هست.

قیمت و عمر ترافیک#

قیمت‌ها به دلار و به‌ازای هر گیگابایت‌اند، پله ورودی.

وقتی پله پایین می‌آید ارقام عوض می‌شوند: Decodo به 2، Oxylabs به 2.50 و Bright Data به 3 دلار می‌رسد و SOAX تا 0.35 دلار پایین می‌آید — اما آن کف به پلن سازمانی ماهانه 3,000 دلاری وابسته است. در Proxynet کف در سطح 1.50 دلار است و پله نه به تعهد ماهانه، بلکه به موجودی حساب شما نگاه می‌کند. ستون سمت راست در بیشتر کارها از قیمت مهم‌تر است: اعتبار SOAX در صورت‌حساب ماهانه ظرف 60 روز و ترافیک پلن Bright Data ظرف یک ماه می‌سوزد؛ در Proxynet موجودی مدت ندارد و در هر چهار محصول معتبر است.

هدف‌گیری و نشست#

مدت نشست ثابت مستقیماً به صفحه تأیید مربوط است: اگر وسط نشست IP عوض شود، سایت می‌بیند که همان کاربر ناگهان از استانی دیگر آمده است و تأیید اضافی می‌خواهد. در کارهایی که به نشست طولانی نیاز دارند، سقف 24 ساعته Oxylabs از 60 دقیقه Proxynet بلندتر است؛ در مقابل، انجام همان کار با IP ثابت ISP از یک نشست موبایلِ چندساعته پایدارتر است. دو ارائه‌دهنده نام اپراتور ترکیه را فهرست می‌کنند و در یکی از آن دو، پنل و پشتیبانی هم ترکی است.

چرا در CAPTCHA Proxynet؟#

هدف‌گیری استان و ASN بدون هزینه اضافه#

در ترکیه می‌توانید از هر 81 استان IP انتخاب کنید و پایین آوردن انتخاب تا سطح ASN هزینه اضافه نمی‌خواهد. هنگام جمع‌آوری داده از یک سایت آگهی، بیرون آوردن درخواست از استانی که مخاطب هدف در آن است هم نتیجه را درست می‌کند هم از تلنبار شدن روی یک نقطه خروجی جلوگیری می‌کند. جزئیات: پروکسی مسکونی.

نشست موبایل با خطوط اپراتورهای ترکیه#

در سمت موبایل هزاران خط اپراتور از جمله Turkcell، Vodafone و Türk Telekom هست؛ اپراتور را از پنل یا از API انتخاب می‌کنید. چون در شبکه‌های موبایل مشترکان پرشماری از پشت یک نشانی حامل بیرون می‌آیند، سایت‌ها به این شبکه‌ها تحمل بیشتری نشان می‌دهند. جزئیات محصول: پروکسی موبایل. سازوکارش را در نوشته پروکسی موبایل چیست توضیح داده‌ایم.

مدت نشست را خودتان تعیین می‌کنید#

در هر درخواست IP تازه یا پانزده دقیقه همان نشانی — هر دو در یک حساب و از پنل تنظیم می‌شوند. نشست ثابت بین 1 تا 60 دقیقه انتخاب می‌شود. برای کارهای حساب و پنل که به نشست طولانی نیاز دارند، IP ثابت ISP به کار می‌آید: پروکسی ISP.

بدون اشتراک، موجودی نمی‌سوزد#

تعهد ماهانه و حداقل سفارش وجود ندارد؛ موجودی‌ای که شارژ می‌کنید منقضی نمی‌شود و در همه محصول‌های مسکونی، موبایل، ISP و دیتاسنتر معتبر است. در کار رصدی که ماهی چند روز اجرا می‌شود، بیشتر وقت‌ها همین است که هزینه کل را تعیین می‌کند. جدول به‌روز: تعرفه پروکسی مسکونی.

پنل ترکی، پشتیبانی ترکی، پرداخت محلی#

پنل به ترکی است، پشتیبانی ⁦24/7⁩ به ترکی پاسخ می‌دهد و پرداخت را با کارت اعتباری یا حواله بانکی (havale/EFT) انجام می‌دهید. برای مقایسه بر حسب کشور نوشته بهترین ارائه‌دهندگان پروکسی ترکیه - 2026 و برای مقایسه بر حسب محصول نوشته بهترین ارائه‌دهندگان پروکسی مسکونی - 2026 را ببینید.

CAPTCHA چرا بالا می‌آید؟#

صفحه تأیید تصادفی بالا نمی‌آید. چهار گروه سیگنال جداگانه امتیاز می‌گیرند و وقتی مجموع از آستانه‌ای بگذرد، آزمون نشان داده می‌شود.

اعتبار IP و نوع شبکه. نخستین چیزی که به آن نگاه می‌شود این است که نشانی در کدام سیستم خودگردان ثبت شده است. بلوک‌های متعلق به شرکت‌های میزبانی از همان ابتدا امتیاز بالاتری از بلوک‌های متعلق به ارائه‌دهندگان دسترسی می‌گیرند؛ چون وصل شدن یک بازدیدکننده معمولی از یک مرکز داده عادی نیست. گذشته نشانی هم به حساب می‌آید: اگر پیش‌تر از همان IP ترافیک خودکار پرحجم گذشته باشد یا نشانی در فهرست‌های سوءاستفاده افتاده باشد، آستانه برای شما از پیش پایین آمده است. اگر IP مشترک به کار ببرید، ممکن است حتی ترافیک شما نباشد که این گذشته را ساخته است.

سرعت و الگوی درخواست. سیگنال دوم، فراوانی و نظمِ درخواست‌هایی است که از یک منبع می‌آیند. درخواست‌هایی که دقیقاً هر 500 میلی‌ثانیه یک‌بار می‌آیند، هیچ مکثی ندارند و همیشه همان ترتیب را دنبال می‌کنند به رفتار انسان نمی‌مانند. سرور در این نقطه نخست کُند می‌کند، سپس ⁦429 Too Many Requests⁩ برمی‌گرداند یا صفحه تأیید نشان می‌دهد. اینکه هر کد چه معنایی دارد را در نوشته کدهای وضعیت HTTP در وب اسکرپینگ گرد آورده‌ایم.

ناسازگاری اثر انگشت. سومی این است که اطلاعاتی که درخواست با خود می‌برد یکدیگر را تأیید نکنند. وقتی IP آلمان را نشان می‌دهد ولی منطقه زمانی مرورگر استانبول، تنظیم زبان ترکی و تفکیک صفحه همان پیش‌فرض سرور است، همین سه‌تایی به‌تنهایی یک تناقض است. جزئیاتی مثل canvas، WebGL و فهرست فونت‌های مرورگر هم باید همان هویت را توصیف کنند؛ تمام موضوع در نوشته اثر انگشت مرورگر هست.

ردهای خودکارسازی. چهارمی ردهایی است که نشان می‌دهد مرورگر زیر خودکارسازی کار می‌کند: سرایندهای ناقص یا ناسازگار، نشانگر ماوسی که اصلاً تکان نمی‌خورد، دکمه‌ای که سه میلی‌ثانیه پس از باز شدن صفحه کلیک می‌شود، شیءهایی که فقط در ابزارهای خودکارسازی پیدا می‌شوند. اینکه این ردها چگونه خوانده می‌شوند و در خودکارسازی مرورگر چه باید کرد را در نوشته Puppeteer و CAPTCHA توضیح داده‌ایم. در همان صفحه ممکن است پیوندهایی پنهان‌شده باشند که فقط برنامه‌ها آن‌ها را می‌بینند؛ تله‌های هانی‌پات دقیقاً برای همین گذاشته می‌شوند.

سهم IP تمیز و مرز آن#

عوض کردن نوع پروکسی فراوانی صفحه تأیید را واقعاً پایین می‌آورد، اما صفر نمی‌کند. علتش این است که چهار سیگنال بالا با هم جمع می‌شوند: پروکسی فقط اولی را و تا حدی دومی را تحت تأثیر می‌گذارد. وقتی از IP مرکز داده به IP واقعیِ مشترک می‌روید، سنگین‌ترین قلم را درست کرده‌اید و در بسیاری از سایت‌ها زیر آستانه می‌مانید. آنچه فراتر از این می‌ماند رفتار است و آنجا پروکسی هیچ کاری نمی‌تواند بکند.

اگر بخواهیم ملموس بگوییم: اسکریپتی که در هر دقیقه دویست درخواست می‌فرستد، هرقدر هم IP را تمیز انتخاب کند به همان نتیجه می‌رسد. عوض کردن نشانی‌های استخر در هر ثانیه هم کمکی نمی‌کند، بلکه زیان می‌زند — کاربری که در یک نشست از پنج استان مختلف می‌آید از کاربر پرترافیکی که از یک استان می‌آید مشکوک‌تر است. همین درباره اثر انگشت هم درست است: مرورگری که پشت IP ترکیه با تنظیم زبان انگلیسی و منطقه زمانی نیویورک کار می‌کند، IP هرقدر هم واقعی باشد، تناقض را روی خودش حمل می‌کند.

به همین دلیل ترتیب درست این است: نخست سرعت و نظم درخواست را به نیاز واقعی کار برسانید، سپس تنظیم‌های مرورگر را با کشوری که IP نشان می‌دهد سازگار کنید و در آخر نوع پروکسی را انتخاب کنید. تیم‌هایی که از ته شروع می‌کنند، ترافیک گران مسکونی را خرج صفحه‌های تأیید می‌کنند. تمام موضوع را در نوشته وب اسکرپینگ بدون مسدود شدن گرد آورده‌ایم.

برای برانگیخته‌نشدن CAPTCHA چه باید کرد؟#

هدف دور زدن یک محافظت نیست، برانگیختنِ بی‌جهت آن است. هر پنج گام زیر درون قواعد خودِ سایت می‌مانند.

به محدودیت نرخ پایبند باشید. سرعتی را که سایت تاب می‌آورد حدس نزنید، اندازه بگیرید: تعداد درخواست‌های هم‌زمان را از یک شروع کنید و آرام بالا ببرید، وقتی نخستین 429 آمد در سطح پیشین بمانید. بیشتر سایت‌ها در پاسخشان سرایند Retry-After می‌فرستند؛ معنای این سرایند و کدهای وضعیت مربوط در ثبت کدهای وضعیت HTTP در IANA نگه داشته می‌شود.

فایل robots.txt را بخوانید و اجرا کنید. قالب این فایل و تفسیر میدان‌هایی مانند Crawl-delay با ⁦RFC 9309⁩ استاندارد شده است. مسیرهایی را که اجازه ندارند از فهرستتان بیرون بگذارید؛ این هم از نظر حقوقی و هم از نظر فنی ارزان‌ترین گام است. جزئیات: فایل robots.txt چیست.

اگر API رسمی هست از آن استفاده کنید. در بیشتر موتورهای جستجو، بازارگاه‌ها و شبکه‌های اجتماعی رابطی آشکار برای داده وجود دارد. درخواستی که از راه API می‌آید صفحه تأیید نمی‌بیند، سهمیه‌اش روشن است و وقتی طراحی صفحه عوض شود خراب نمی‌شود. اسکرپ کردن صفحه برای میدان‌هایی می‌ماند که API آن‌ها را پوشش نمی‌دهد.

به برنامه‌های بات تأییدشده نگاه کنید. اگر لازم است خزنده خودتان را به سایتی بشناسانید، به برنامه خودِ سایت مراجعه کنید. سند راستی‌آزمایی Googlebot گوگل توضیح می‌دهد که این راستی‌آزمایی چگونه انجام می‌شود؛ راهی مشابه در بسیاری از سایت‌های بزرگ هست و دسترسی بااجازه همیشه پایدارتر است.

تلاش دوباره را با عقب‌نشینی نمایی انجام دهید. تکرار فوری درخواستی که صفحه تأیید یا 429 گرفته است، آستانه را بیشتر بالا می‌برد. مدت انتظار را در هر تلاش چند برابر کنید و کمی تصادفی بودن هم رویش بگذارید:

import random, time, requests

def fetch(url, session, tries=5):
    for attempt in range(tries):
        r = session.get(url, timeout=20)
        if r.status_code not in (429, 503):
            return r
        # اگر سرور مدت را گفت از آن پیروی کن، وگرنه عقب‌نشینی نمایی
        wait = float(r.headers.get("Retry-After", 2 ** attempt))
        time.sleep(wait + random.uniform(0, 1))
    return None

اگر پس از اجرای این پنج گام هنوز صفحه تأیید می‌بینید، نوبت عوض کردن نوع پروکسی رسیده است. وارونه کردن این ترتیب به کاری جز گران کردن مسئله نمی‌آید.

اشتباه‌های رایج#

• داده پنداشتن صفحه تأیید. اگر اسکریپت HTML بازگشتی را بدون بررسی ذخیره کند، سطری خالی یا نادرست در جدول شما نوشته می‌شود. در هر درخواست بررسی کنید که میدان مورد انتظارتان در پاسخ هست یا نه.
• عوض کردن IP در هر درخواست. در جریان‌هایی که به نشست نیاز دارند، چرخش کار را خراب می‌کند: اگر نشانی‌ای که با آن وارد شده‌اید با نشانی‌ای که به سبد می‌افزاید فرق کند، سایت نشست را می‌اندازد. نشست ثابت را به اندازه طول کار انتخاب کنید.
• کشاندن پروکسی دیتاسنتر به هر کاری. IP مرکز داده در مقصدهای پرحجم و کم‌مانع ارزان‌ترین راه‌حل است؛ در سایت‌هایی که صفحه تأیید بالا می‌آورند گران‌ترین است، چون درخواست‌ها هدر می‌روند.
• اسکن کل کشور از یک استان. اگر قرار است در سراسر ترکیه قیمت جمع کنید، بیرون آوردن درخواست از یک استان هم نتیجه را خراب می‌کند هم نشانی‌های آن استان را خسته می‌کند.
• عوض نکردن اثر انگشت همراه با IP. وقتی IP ترکیه را نشان می‌دهد ولی زبان، منطقه زمانی و موقعیت مرورگر کشوری دیگر را نشان می‌دهند، امتیاز تناقض بزرگ می‌شود.
• نگاه به قیمت کمپین و نادیده گرفتن مدت ترافیک. پلنی که قیمت گیگابایتش پایین است ولی اعتبارش در 60 روز می‌سوزد، در کاری که ماهی سه روز اجرا می‌شود عملاً بسیار گران‌تر است.

برای هر کار کدام پروکسی؟#

پرسش‌های متداول#

بهترین پروکسی برای CAPTCHA کدام است؟#

Proxynet. در سمت مسکونی بیش از 160 میلیون IP واقعیِ مشترکان در 194 کشور، هدف‌گیری رایگان استان و ASN، و در سمت موبایل خطوط اپراتورهای ترکیه و نشست ثابت 1 تا 60 دقیقه‌ای کنار هم هستند. در کارهای سازمانی که به ده‌ها کشور کشیده می‌شوند و اندازه استخر به‌تنهایی تعیین‌کننده است، Bright Data و Oxylabs هم قابل بررسی‌اند.

با استفاده از پروکسی، CAPTCHA به‌کلی تمام می‌شود؟#

تمام نمی‌شود، کم‌پیشامدتر می‌شود. پروکسی فقط شبکه‌ای را که درخواست از آن بیرون می‌آید عوض می‌کند؛ سرعت درخواست، اثر انگشت مرورگر و ردهای خودکارسازی سر جایشان می‌مانند. تیم‌هایی که به IP واقعیِ مشترک می‌روند صفحه تأیید را به‌روشنی کمتر می‌بینند، اما اسکریپتی که در هر دقیقه صدها درخواست می‌فرستد با هر IP هم که کار کند به همان دیوار می‌خورد.

پروکسی مسکونی کمتر تأیید بالا می‌آورد یا پروکسی موبایل؟#

چون در شبکه‌های موبایل مشترکان پرشماری از پشت یک نشانی حامل بیرون می‌آیند، سایت‌ها به این شبکه‌ها تحمل بیشتری نشان می‌دهند؛ در شبکه‌های اجتماعی و تست اپلیکیشن، پروکسی موبایل معمولاً راحت‌تر است. در مقابل، ترافیک موبایل به‌ازای هر گیگابایت گران‌تر است و تأخیرش نوسان دارد؛ در کارهای جمع‌آوری سنگین که در استان‌ها پخش می‌شوند، مسکونی ابزار درست‌تری است.

چرا در پروکسی دیتاسنتر تأیید بیشتر بالا می‌آید؟#

چون IP در بلوک یک شرکت میزبانی ثبت شده است و وصل شدن یک بازدیدکننده معمولی از آنجا عادی نیست. سایت سیستم خودگردانی را که نشانی در آن ثبت شده می‌بیند و ریسک را از همان ابتدا بالا می‌برد. در مقصدهای کم‌مانع این مشکلی نیست؛ اما در سایت‌هایی که لایه محافظت سفت‌وسختی دارند، نخستین نشانی‌هایی که حذف می‌شوند همین‌ها هستند.

باید از سرویسی استفاده کنم که CAPTCHA را حل می‌کند؟#

پیشنهاد نمی‌کنیم. حل کردن لایه محافظت یک سایت از بیرون با شرایط استفاده بیشتر سایت‌ها ناسازگار است و از نظر فنی هم راه‌حل ماندگاری نیست: وقتی محافظت به‌روز شود کار می‌ایستد. راه ماندگار، برانگیخته‌نکردن آن تأیید است — پایبندی به محدودیت نرخ، اجرای قواعد robots.txt، استفاده از API رسمی در صورت وجود و در صورت لزوم گرفتن اجازه از سایت.

جمع‌آوری داده از سایتی که صفحه تأیید بالا می‌آورد قانونی است؟#

استفاده از پروکسی و جمع‌آوری داده‌ای که برای همه باز است به‌خودی‌خود قانونی شمرده می‌شود؛ آنچه مرز را تعیین می‌کند شرایط استفاده سایت، نوع داده و مقررات داده‌های شخصی است. در منبع‌هایی که ورود می‌خواهند، حق تألیف دارند یا داده شخصی در خود دارند، قواعد سخت‌تر می‌شوند. جزئیات در نوشته آیا اسکرپینگ وب قانونی است؟.

خلاصه#

آنچه فراوانی صفحه تأیید را تعیین می‌کند تنها پروکسی نیست؛ سرعت درخواست، سازگاری مرورگر و شبکه‌ای که IP در آن ثبت شده با هم سنجیده می‌شوند. مؤثرترین حرکت در سمت پروکسی این است که به IP واقعیِ مشترک بروید و هدف‌گیری را تا استانی که کار در آن می‌گذرد پایین بیاورید. ارائه‌دهنده‌ای که این را همراه با هدف‌گیری رایگان استان و ASN، خطوط اپراتورهای ترکیه و موجودی بدون انقضا می‌دهد Proxynet است: جزئیات محصول در صفحه پروکسی مسکونی و همه محصول‌ها در صفحه خدمات پروکسی ما هستند.