ProxynetProxynet

پروکسی‌های استخراج داده

جمع‌آوری داده از سایت‌های هدف در حجم بالا بدون فعال کردن مسدودسازی IP یا محدودیت نرخ، استخر درست می‌خواهد. پروکسی‌های مسکونی، چرخشی و دیتاسنتر ما درخواست‌های شما را میان هزاران خروجی پخش می‌کنند تا بدون مسدود شدن مقیاس بگیرید.

  • محافظت در برابر محدودیت نرخ و مسدودسازی IP
  • هدف‌گیری جغرافیایی در 194 کشور
  • استخرهای مسکونی، چرخشی و دیتاسنتر
  • رشته‌های همزمان نامحدود
  • پشتیبانی از پروتکل‌های HTTPS و SOCKS5
  • پنل خودخدمت و تحویل آنی
همین حالا امتحان کنیدمشاهده محصولات

پروکسی‌های پیشنهادی برای استخراج داده

پروکسی ISP

IPهای اختصاصی و پایدار برای نشست‌های اسکرپینگ سازمانی طولانی.

پروکسی دیتاسنتر

ارزان‌ترین گزینه برای اسکرپینگ حجم بالا در سایت‌های HTML استاتیک.

پروکسی مسکونی

IPهای کاربر واقعی برای اسکرپینگ امن اهداف محافظت‌شده و رندرشده با JS.

پروکسی موبایل

بالاترین امتیاز اعتماد برای تهاجمی‌ترین اهداف محافظت‌شده مانند Cloudflare یا Akamai.

پروکسی گیمینگ

IPهای اختصاصی کم‌تأخیر برای استخراج داده از پلتفرم‌های بازی و شرط‌بندی.

چرا از پروکسی استفاده کنیم؟

چرا برای استخراج داده به پروکسی نیاز دارید؟
استخر چرخشی، هدف‌گیری جغرافیایی و همزمانی بالا.

از مسدودسازی IP و لیست سیاه دور بمانید

صدها درخواست از یک IP به‌سرعت توسط سامانه‌های امنیتی هدف علامت می‌خورد و مسدود می‌شود. پخش ترافیک در یک استخر IP گسترده الگوی تک‌منبعی را که مسدودسازی را فعال می‌کند از میان می‌برد.

عبور از محدودیت نرخ

بیشتر سایت‌ها تعداد درخواست‌هایی را که یک IP در دقیقه می‌تواند بفرستد محدود می‌کنند. توزیع ترافیک میان IPهای بسیار این سقف را از هر IP به کل استخر می‌برد و می‌گذارد در هر دقیقه داده بسیار بیشتری بگیرید.

داده‌های دقیق جغرافیایی جمع‌آوری کنید

در بسیاری از سایت‌ها قیمت، موجودی و محتوا بر اساس کشور و حتی شهر تغییر می‌کند. بدون یک IP واقعی از موقعیت هدف، داده‌ای که جمع‌آوری می‌کنید می‌تواند با آنچه یک کاربر محلی واقعی می‌بیند متفاوت باشد.

CAPTCHA و شناسایی بات را کم کنید

IPهای دیتاسنتر اغلب توسط سامانه‌های شناسایی بات هدف علامت می‌خورند. در عوض ترافیک خطوط واقعی خانگی یا اپراتور موبایل فعالیت عادی کاربر خوانده می‌شود.

هزاران درخواست را به‌موازات اجرا کنید

رشته‌های همزمان نامحدود به‌علاوه استخر IP گسترده می‌گذارند هزاران صفحه را یکجا بخزید. زمان جمع‌آوری در مقایسه با درخواست‌های پی‌درپی از یک IP از ساعت‌ها به دقیقه‌ها می‌رسد.

زیرساخت خودتان را پنهان نگه دارید

ترافیک اسکرپینگ شما از استخر پروکسی خارج می‌شود، نه از سرور یا شبکه دفتر خودتان. زیرساخت واقعی شما هرگز در لاگ‌های سایت هدف ظاهر نمی‌شود.

هزینه را در حجم بالا کم کنید

برای اهداف پرحجم و کم‌محافظت، پروکسی‌های دیتاسنتر به‌ازای هر گیگابایت یا هر IP بسیار ارزان‌ترند. روی اهداف سخت‌تر به مسکونی بروید و بودجه را بر اساس حساسیت واقعی کار مدیریت کنید.

بسته به کار، بچرخانید یا ثابت نگه دارید

چرخش با هر درخواست برای کارهای یک‌باره مانند صفحه‌بندی کارآمدترین است؛ جریان‌هایی که به ورود یا سبد خرید نیاز دارند باید همان IP را مدتی نگه دارند. هر دو حالت را زیر همان حساب Proxynet اجرا کنید.

استخراج داده و زیرساخت پروکسی

استخراج داده چیست؟

استخراج داده (وب اسکرپینگ) فرایند استفاده از ابزارهای خودکار برای جمع‌آوری محتوا از وب‌سایت‌ها و تبدیل آن به داده ساختاریافته است: قیمت‌ها، کاتالوگ‌ها، سطح موجودی، نتایج جستجو. به‌جای کپی دستی صفحات، یک بات یا اسکریپت طبق برنامه به صفحات هدف سر می‌زند و داده را استخراج می‌کند.

چرا به پروکسی نیاز دارید: سایت‌های هدف ترافیک سنگین از یک IP را می‌شناسند و مسدود می‌کنند، محدودیت نرخ اعمال می‌کنند یا CAPTCHA نشان می‌دهند. بسیاری از صفحات هم قیمت و محتوای متفاوتی بر اساس کشور نشان می‌دهند. بدون پروکسی، اسکرپر شما پس از چند درخواست متوقف می‌شود یا داده کاملاً اشتباهی می‌گیرد.

کدام پروکسی، و کی: حالت نشست، منبع IP و مدل قیمت‌گذاری بر اساس نوع کار تغییر می‌کند:

نوع کارحالت نشستمنبع IPمدل قیمت‌گذاری
صفحه‌بندی، خزش انبوهپروکسی چرخشیمسکونی یا دیتاسنتربه‌ازای گیگابایت یا IP
ورود، پیگیری سبد خریدپروکسی با نشست ثابتمسکونیبه‌ازای گیگابایت
اهداف پرحجم و کم‌محافظتچرخشیپروکسی دیتاسنتربه‌ازای IP (ماهانه)
اهداف با محافظت تهاجمی (Cloudflare، Akamai)چرخشی، همزمانی پایینپروکسی موبایل یا مسکونی با بالاترین اعتمادبه‌ازای گیگابایت

استخر Proxynet بیش از 160 میلیون IP مسکونی و موبایل را در 194 کشور در یک پنل یکپارچه می‌کند. ترافیک را روی پروکسی HTTPS یا پروکسی SOCKS5 مسیریابی کنید و همان زیرساخت را برای تحقیقات بازار و پروژه‌های پژوهش سئو/SERP هم به کار ببرید.

کدام سایت‌ها آسان‌اند، کدام سخت؟ راهنمای سریع دشواری

دشواری به نحوه رندر سایت و میزان مقاومت آن بستگی دارد؛ از HTML استاتیک بدون محافظت ضدبات تا صفحات رندرشده با JS پشت Cloudflare یا Akamai:

دشواریسایت‌های نمونهپروکسی پیشنهادینیاز اضافی
آسانسایت‌های خبری، صفحات ساده شرکتی، پورتال‌های املاکپروکسی دیتاسنترندارد
متوسطSPAهای React/Vue — تجارت الکترونیک مدرن، سایت‌های آگهیپروکسی مسکونیمرورگر بدون رابط (Playwright، Puppeteer)
سختسایت‌های پشت Cloudflare/Akamai — خرده‌فروشان بزرگ، بلیت‌فروشی، پلتفرم‌های اجتماعیپروکسی موبایل یا مسکونی با بالاترین اعتمادهمزمانی پایین + رفتار واقع‌گرایانه مرورگر
مراحل راه‌اندازی و مرزها

استخراج داده چگونه انجام می‌شود؟

چهار مرحله راه‌اندازی یک جریان اسکرپینگ از صفر:

  1. تعریف هدف و مدل داده: تصمیم بگیرید کدام صفحات را بخزید و کدام فیلدها را استخراج کنید: قیمت، عنوان، SKU، موجودی. در همین مرحله robots.txt و شرایط استفاده سایت هدف را بررسی کنید.
  2. انتخاب نوع پروکسی و هدف‌گیری: برای کارهای یک‌باره مانند صفحه‌بندی از چرخش خودکار IP و برای جریان‌هایی که به نشست نیاز دارند از IP ثابت استفاده کنید. به‌عنوان منبع، روی اهداف سخت به IPهای واقعی کاربران خانگی ، در حجم بالا به IPهای دیتاسنتر و برای اهداف موبایل‌محور به خط موبایل 4G و 5G روی بیاورید و همزمان هدف‌گیری کشور/شهر خود را تنظیم کنید.
  3. یکپارچه‌سازی ابزار: Scrapy، Playwright، Selenium یا کلاینت HTTP خودتان را به یک host:port بک‌کانکت واحد هدایت کنید. تعداد رشته‌های همزمان را به اندازه‌ای تنظیم کنید که سایت هدف تحمل می‌کند.
  4. محدودیت نرخ، تلاش مجدد و اعتبارسنجی: برای پاسخ‌های 429 و 403 منطق عقب‌نشینی و تلاش مجدد بیفزایید. داده‌ای را که جمع‌آوری می‌کنید نمونه‌وار بررسی کنید تا مطمئن شوید محتوای واقعی است نه صفحه مسدودسازی یا CAPTCHA.

چه چیزی نیست

  • ابزاری برای جمع‌آوری داده‌های شخصی مشمول GDPR یا مقررات مشابه نیست.
  • روشی برای دسترسی بدون مجوز به بخش‌های نیازمند ورود یا خصوصی نیست.
  • شرایط استفاده سایت هدف را کنار نمی‌زند؛ دامنه کار باید به صفحات در دسترس عموم محدود بماند.

پروکسی به‌تنهایی کافی نیست

  • حل CAPTCHA کار پروکسی نیست؛ ممکن است به یک سرویس جداگانه حل CAPTCHA نیاز داشته باشید.
  • اثر انگشت مرورگر (canvas، WebGL، سازگاری user-agent) باید جداگانه مدیریت شود.
  • سایت‌هایی که به رندر JavaScript نیاز دارند مرورگر بدون رابط می‌خواهند؛ پروکسی فقط لایه شبکه را حل می‌کند.

اسکرپر خود را در یک خط وصل کنید

هر ابزاری که استفاده کنید، همان گیت‌وی کار می‌کند: یک host:port و یک جفت نام کاربری:رمز عبور کافی است.

Gateway
gate.proxynet.io
Port
8000
Protocols
HTTP · HTTPS · SOCKS5
Authentication
user:pass or IP whitelist

در Scrapy از طریق DOWNLOADER_MIDDLEWARES تنظیم کنید؛ در Playwright یا Selenium همان سرور پروکسی را در گزینه‌های راه‌اندازی مرورگر بدهید.

# نام کاربری و رمز عبور را از پنل خود وارد کنید
curl -x "http://KULLANICI:SIFRE@gate.proxynet.io:8000" https://api.ipify.org
import requests

# ترافیک HTTPS هم به‌صورت آدرس http:// داده می‌شود؛ تونل با CONNECT برقرار می‌شود.
proxy = "http://KULLANICI:SIFRE@gate.proxynet.io:8000"

r = requests.get(
    "https://api.ipify.org",
    proxies={"http": proxy, "https": proxy},
    timeout=15,
)
print(r.text.strip())
import { ProxyAgent, fetch } from "undici"

// یک عامل واحد برای درخواست‌های HTTP و HTTPS کافی است.
const agent = new ProxyAgent("http://KULLANICI:SIFRE@gate.proxynet.io:8000")

const res = await fetch("https://api.ipify.org", { dispatcher: agent })
console.log(await res.text())
package main

import (
	"fmt"
	"io"
	"net/http"
	"net/url"
)

func main() {
	proxy, _ := url.Parse("http://KULLANICI:SIFRE@gate.proxynet.io:8000")
	client := &http.Client{Transport: &http.Transport{Proxy: http.ProxyURL(proxy)}}

	res, err := client.Get("https://api.ipify.org")
	if err != nil {
		panic(err)
	}
	defer res.Body.Close()

	body, _ := io.ReadAll(res.Body)
	fmt.Println(string(body))
}
<?php
$ch = curl_init("https://api.ipify.org");
curl_setopt_array($ch, [
    CURLOPT_PROXY          => "http://gate.proxynet.io:8000",
    CURLOPT_PROXYUSERPWD   => "KULLANICI:SIFRE",
    CURLOPT_RETURNTRANSFER => true,
]);
echo curl_exec($ch);
curl_close($ch);
using System.Net;

var proxy = new WebProxy("http://gate.proxynet.io:8000")
{
    Credentials = new NetworkCredential("KULLANICI", "SIFRE"),
};

using var client = new HttpClient(new HttpClientHandler { Proxy = proxy });
Console.WriteLine(await client.GetStringAsync("https://api.ipify.org"));
موارد استفاده

موارد استفاده استخراج داده در صنایع

از رصد سئو و پایش قیمت تجارت الکترونیک تا مجموعه داده‌های دانشگاهی و تحلیل بازار کار؛ حوزه‌هایی که استخراج داده پیش می‌برد.

سئو و رصد SERP

رتبه‌های Google و Yandex را از IPهای کشورها و شهرهای مختلف رصد کنید و نتایج جستجوی واقعی و بدون شخصی‌سازی جمع‌آوری کنید.

تحقیقات بازار

قیمت، تنوع و کمپین‌های منطقه‌ای رقبا را از IPهای موقعیت واقعی پایش کنید تا نمونه‌های شما دقیقاً با آنچه یک کاربر محلی می‌بیند بخواند.

امور مالی

داده قیمت، اخبار و شرکت‌ها را از صفحات عمومی بازار بی‌درنگ جمع‌آوری کنید.

تجمیع اخبار و محتوا

تیترها و خلاصه‌ها را از چند منبع خبری بگیرید و پلتفرم تجمیع خودتان را تغذیه کنید.

مشتریان چه می‌گویند

امتیاز 4.4 از 5 — «عالی» در Trustpilot.

Trustpilot

پشتیبانی و کیفیت پروکسی

وقتی کیفیت پروکسی‌هایی که می‌فروشند را همراه با پشتیبانی پیش و پس از فروش در نظر بگیرید، می‌توانم بگویم جزو بهترین‌های بازار هستند. می‌خواهم مدت‌ها با آن‌ها کار کنم؛ سپاسگزارم.
Ç

Çağlar

Trustpilot · 5.0 از 5 · اوت 2022

Trustpilot

یکی از بهترین تیم‌های پشتیبانی که خواهید دید

از پروکسی شرکت دیگری استفاده می‌کردم و نمی‌توانستم پشتیبانی بگیرم. پیش از خرید در proxynet.io ثبت‌نام کرده بودم؛ وقتی روز شنبه ایمیلی از خدمات مشتریان رسید، تصمیم گرفتم امتحان کنم. تا اینجا می‌توانم بگویم پاسخ‌های سریع و رویکرد حل مسئله‌شان واقعاً مرا تحت تأثیر قرار داد.
خواندن در Trustpilot
K

Kemal

Trustpilot · 5.0 از 5 · سپتامبر 2023

Trustpilot

پشتیبانی فنی سریع است، پروکسی‌های ISP کار می‌کنند

پشتیبانی فنی سریع است. از پروکسی‌های ISP خیلی راضی بودم؛ می‌توانید قیمت‌ها را کمی مناسب‌تر کنید، موبایل متأسفانه گران است، اما سرعت ISP و کیفیت زیرشبکه‌ها قوی است.
خواندن در Trustpilot
A

Andre James

Trustpilot · 5.0 از 5 · دسامبر 2023

سؤالات متداول.
هر آنچه باید درباره استخراج داده بدانید.

پرسش دیگری دارید یا به زیرساخت اسکرپینگ با حجم بالا نیاز دارید؟ تیم متخصص ما 24/7 در دسترس است.

گفتگو با پشتیبانی آنلاین

استخراج داده فرایند استفاده از یک بات یا اسکریپت خودکار برای جمع‌آوری محتوا از صفحات وب و تبدیل آن به داده ساختاریافته است: یک جدول، JSON یا پایگاه داده. اسکریپت صفحات هدف را روی HTTP درخواست می‌کند، HTML را تجزیه می‌کند و فیلدهای دلخواه (قیمت، عنوان، موجودی و مانند آن) را استخراج می‌کند. انجام این کار در حجم بالا از یک IP به‌سرعت شناسایی و مسدود می‌شود، و به همین دلیل از استخر پروکسی استفاده می‌شود.

راهنمای خرید پروکسی استخراج داده

سه مرحله، از ابتدا تا انتها چند دقیقه.

موجودی خود را شارژ کنید

ابتدا به کیف پول خود اعتبار اضافه کنید: در ISP، دیتاسنتر، مسکونی، موبایل و گیمینگ، موجودی‌ای که نگه می‌دارید قیمت واحد شما را هم تعیین می‌کند؛ هر چه بیشتر باشد، به‌ازای هر IP یا هر گیگابایت کمتر می‌پردازید.

پروکسی‌های خود را بسازید

محصول و محل خروج آن را انتخاب کنید: تعدادی IP در محصولات به‌ازای هر IP، یک گیت‌وی در محصولات به‌ازای هر گیگابایت. در هر دو حالت بلافاصله فعال است و سفارشی برای انتظار وجود ندارد.

متصل شوید و مدیریت کنید

با user:pass احراز هویت کنید یا IP سرور خود را به لیست سفید اضافه کنید، سپس ابزارهای خود را به آنچه پنل می‌دهد وصل کنید: لیست خروجی‌گرفته‌شده آدرس‌ها، یا host:port واحد گیت‌وی.