وب اسکرپینگ · وبلاگ Proxynet
تاریخ انتشار
چرا سایتها عاملهای خرید هوش مصنوعی را مسدود میکنند؟
عاملهای خرید به محافظت ربات برمیخورند چون سایت نمیتواند انسان را از عامل مجاز تشخیص دهد. علت و راهحلهای تازه مانند عامل امضاشده را توضیح میدهیم.
نویسنده:
Acar Diveroli
تاریخ انتشار
همروندی و موازیسازی در وب اسکرپینگ
همروندی از زمان انتظار و موازیسازی از توان پردازنده بهره میگیرد. توضیح میدهیم کدام سرعت اسکرپینگ را بالا میبرد، با نمونههایی در پایتون و Node.js.
نویسنده:Acar Diveroli
تاریخ انتشار
انتخابگر CSS یا XPath: کدام برای اسکرپینگ؟
انتخابگر CSS کوتاه و خواناست و XPath میتواند بر اساس متن و عنصر والد هم انتخاب کند. نحو، سرعت و نمونههای پایتون هر دو روش را مقایسه میکنیم.
نویسنده:Acar Diveroli
تاریخ انتشار
تلههای هانیپات چیست و چه اثری بر اسکرپینگ دارد؟
هانیپات پیوند پنهانی است که بازدیدکنندگان نمیبینند اما رباتها در آن گیر میافتند. سازوکار آن را بدون آموزش دور زدن توضیح میدهیم.
نویسنده:Acar Diveroli
تاریخ انتشار
کدهای وضعیت HTTP در وب اسکرپینگ: 403، 407، 429، 503
پاسخهای 403، 407، 429 و 503 در اسکرپینگ به مشکلات متفاوتی اشاره دارند. معنا و علت هر کد و شیوه درست تلاش دوباره با Retry-After را توضیح میدهیم.
نویسنده:Acar Diveroli
تاریخ انتشار
مقایسه HTTPX، Requests و AIOHTTP
Requests ساده و همگام است، AIOHTTP ناهمگام است و HTTPX هر دو حالت را دارد. استفاده از پروکسی، کارایی و انتخاب مناسب برای هر پروژه را با کد نشان میدهیم.
نویسنده:Acar Diveroli
تاریخ انتشار
Puppeteer و CAPTCHA: چرا ظاهر میشود و چگونه کم میشود؟
در Puppeteer کپچا اغلب به دلیل اعتبار IP، سرعت درخواستها و ردپای مرورگر بدون رابط فعال میشود. علتها و راههای مشروع کاهش آن را توضیح میدهیم.
نویسنده:Acar Diveroli
تاریخ انتشار
فایل robots.txt چیست و چگونه آن را بخوانیم؟
robots.txt فایلی است که سایت در آن به رباتها میگوید کدام مسیرها را نخزند. قواعد Disallow، Allow و Crawl-delay و خواندن آن با پایتون را توضیح میدهیم.
نویسنده:Acar Diveroli
تاریخ انتشار
خودکارسازی ردیابی رتبه در سئو
بررسی دستی رتبه مقیاسپذیر نیست. ردیابی خودکار رتبه را با API سرچ کنسول، داده SERP و پرسوجوهای مبتنی بر موقعیت گامبهگام توضیح میدهیم.
نویسنده:Acar Diveroli
تاریخ انتشار
صفحههای ایستا و پویا در وب اسکرپینگ
صفحههای پویا محتوا را بعداً با جاوااسکریپت بارگذاری میکنند و درخواست ساده خالی برمیگردد. توضیح میدهیم مرورگر headless کی واقعاً لازم است.
نویسنده:Acar Diveroli
تاریخ انتشار
اسکرپینگ وب: JavaScript یا Python؟
Python با کتابخانههای پردازش داده و JavaScript با صفحههای پویا و خودکارسازی مرورگر برجسته است. مقایسه میکنیم کدام زبان به پروژه شما میخورد.
نویسنده:Acar Diveroli
تاریخ انتشار
وب اسکرپینگ بدون مسدود شدن: راهنمای عملی
اسکرپرها بیشتر به دلیل محدودیت نرخ، هدرهای ناقص و یک IP واحد مسدود میشوند. شیوه جمعآوری داده در چارچوب قواعد و بدون فشار بر سایت را توضیح میدهیم.
نویسنده:Acar Diveroli
چرا سایتها عاملهای خرید هوش مصنوعی را مسدود میکنند؟
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
همروندی و موازیسازی در وب اسکرپینگ
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
انتخابگر CSS یا XPath: کدام برای اسکرپینگ؟
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
تلههای هانیپات چیست و چه اثری بر اسکرپینگ دارد؟
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
کدهای وضعیت HTTP در وب اسکرپینگ: 403، 407، 429، 503
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
مقایسه HTTPX، Requests و AIOHTTP
نویسنده: Acar Diveroliآموزشهاتاریخ انتشار
Puppeteer و CAPTCHA: چرا ظاهر میشود و چگونه کم میشود؟
نویسنده: Acar Diveroliآموزشهاتاریخ انتشار
فایل robots.txt چیست و چگونه آن را بخوانیم؟
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
خودکارسازی ردیابی رتبه در سئو
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
صفحههای ایستا و پویا در وب اسکرپینگ
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
اسکرپینگ وب: JavaScript یا Python؟
نویسنده: Acar Diveroliآموزشهاتاریخ انتشار
وب اسکرپینگ بدون مسدود شدن: راهنمای عملی
نویسنده: Acar Diveroliوب اسکرپینگتاریخ انتشار
نوشتهای پیدا نشد
تاریخ انتشار
تاریخ انتشار