اسکرپینگ داده‌های املاک: آگهی‌ها، قیمت‌ها و روندها

یک تحلیلگر می‌خواهد بداند آیا قیمت‌های پیشنهادی در محله‌های مرکزی یک شهر پیش از آنکه شاخص رسمی چیزی بگوید شروع به افت کرده‌اند یا نه. شاخص هر ماه یک بار، با تأخیر و برای کل شهر منتشر می‌شود؛ پورتال‌های آگهی هر روز تغییر می‌کنند، چون آپارتمان‌ها کاهش قیمت می‌گیرند، ناپدید می‌شوند و با آگهی تازه برمی‌گردند. همین فاصله میان ارقام رسمیِ کند و آگهی‌های عمومیِ سریع دلیلی است که شرکت‌ها داده‌های املاک را از وب گردآوری می‌کنند.

این نوشته توضیح می‌دهد این داده چیست، کدام فیلدها و سیگنال‌ها اهمیت دارند، چه کسانی از آن استفاده می‌کنند و باید از کجا بیاید؛ سپس به خط لوله گردآوری، دام‌های کیفیت، حدود قانونی و جایگاه پروکسی‌ها و APIهای اسکرپینگ مدیریت‌شده می‌پردازد. نه کدی در کار است و نه دستورالعملی برای پورتالی خاص.

اسکرپینگ داده‌های املاک چیست؟#

اسکرپینگ داده‌های املاک (real estate data scraping) گردآوری خودکار و تکرارشونده آگهی‌های ملکِ قابل‌مشاهده برای عموم و تبدیل آن‌ها به یک جدول تمیز از رکوردهاست. صفحه آگهی برای خریدار نوشته شده است؛ یک مجموعه‌داده همان اطلاعات را به‌صورت فیلدهای نوع‌دار و با واحد لازم دارد. پس کار بیش از آنکه دانلود صفحه باشد، تبدیل متن به عددهای قابل‌مقایسه و دنبال کردن یک ملک در طول زمان است.

کدام فیلدهای آگهی و سیگنال‌های مشتق‌شده اهمیت دارند؟#

فیلدهای مفید آن‌هایی‌اند که یک خانه را با خانه دیگر قابل‌مقایسه می‌کنند و امکان دنبال کردن آن در طول زمان را می‌دهند:

• قیمت پیشنهادی و واحد پول، اجاره یا فروش.
• متراژ به‌صورت زیربنای خالص یا ناخالص، به متر مربع یا فوت مربع.
• تعداد اتاق با نشانه‌گذاری محلی: «2+1» در ترکیه، «⁦3 Zimmer⁩» در آلمان، شمار اتاق‌خواب در ایالات متحده.
• طبقه، تعداد طبقات ساختمان و سن بنا.
• موقعیت در همان سطحی که پورتال نشان می‌دهد: شهر، منطقه، محله.
• تاریخ آگهی، نوع فروشنده (مالک، مشاور املاک، سازنده) و تعداد عکس‌ها.

مدل از روی این‌ها چیزی را استخراج می‌کند که صفحه هرگز نمی‌گوید: قیمت هر متر مربع؛ مدت حضور در بازار، از نخستین تا آخرین روزی که آگهی را دیده‌اید؛ کاهش قیمت، از تاریخچه قیمت پیشنهادی که ثبت کرده‌اید؛ حذف آگهی، که یعنی فروخته، اجاره داده یا پس گرفته شده و صفحه نمی‌تواند بگوید کدام؛ و انتشار دوباره، یعنی همان ملک با شناسه‌ای تازه، اغلب برای صفر کردن سن آگهی.

یک رکورد نرمال‌شده (مقدارها ساختگی‌اند):

{
  "listing_id": "example.com:48213977",
  "first_seen": "2026-10-02",
  "last_seen": "2026-11-09",
  "asking_price": 4250000,
  "currency": "TRY",
  "area_net_m2": 95,
  "area_gross_m2": 118,
  "price_per_m2_net": 44737,
  "rooms": "2+1",
  "floor": 3,
  "building_age_years": 12,
  "district": "Bornova",
  "seller_type": "agency",
  "photo_count": 14,
  "price_history": [
    { "date": "2026-10-02", "price": 4450000 },
    { "date": "2026-10-24", "price": 4250000 }
  ],
  "days_on_market": 38,
  "duplicate_group": "dg_7f3a"
}

این رکورد عمداً هیچ نام، شماره تلفن یا ایمیلی از مالک ندارد؛ بخش حقوقی دلیلش را توضیح می‌دهد.

چه کسانی از داده‌های املاک استفاده می‌کنند و برای چه؟#

سرمایه‌گذاران و صندوق‌ها داده‌های آگهی را به‌عنوان نشانگر پیشرو می‌خوانند: موجودی، کاهش قیمت‌ها و مدت حضور در بازار هفته‌ها پیش از شاخص معاملات حرکت می‌کنند. برای آن‌ها این یکی دیگر از انواع داده‌های جایگزین است، با همان نیاز به تاریخچه تمیز و منبع مستند.

شرکت‌های پراپ‌تک (فناوری املاک) این رکوردها را به مدل‌های ارزش‌گذاری خودکار می‌دهند، بانک‌ها وثیقه وام مسکن را با آن‌ها می‌سنجند، مشاوران املاک و سازندگان قیمت فایل‌های تازه را با محله مقایسه می‌کنند و پژوهشگران و شهرداری‌ها اجاره‌بها، عرضه و تغییر محله‌ها را مطالعه می‌کنند.

داده‌های املاک باید از کجا بیاید؟#

نخست آمار رسمی، دوم فیدهای دارای مجوز و در آخر صفحه‌های عمومی آگهی. این ترتیب از اعتمادپذیری و شفافیت حقوقی پیروی می‌کند و مجموعه‌داده‌های جدی هر سه را با هم ترکیب می‌کنند.

آمار رسمی. برای ترکیه، بانک مرکزی این کشور (TCMB) شاخص قیمت مسکن را با نام ⁦Konut Fiyat Endeksi⁩ به‌صورت سری زمانی ماهانه منتشر می‌کند و مرکز آمار ترکیه (TurkStat) هر ماه بولتنی از فروش مسکن و محل کار با شمار فروش نوساز و دست‌دوم به تفکیک استان منتشر می‌کند. مدل با همین ارقام آزموده می‌شود.

برای اتحادیه اروپا، شاخص قیمت مسکن یورواستات (Eurostat) قیمت معامله خانه‌هایی را که خانوارها می‌خرند، نوساز و موجود، هر سه ماه یک بار در کنار یک نشانگر فروش مسکن دنبال می‌کند. چون از معاملات واقعی ساخته شده، نشان می‌دهد خانه‌ها به چه قیمتی فروخته شده‌اند، نه اینکه فروشندگان چه قیمتی خواسته‌اند.

برای ایالات متحده، شاخص قیمت مسکن FHFA شاخصی از نوع فروش تکراری (repeat-sales) است که از معاملات رهنی خانه‌های تک‌خانواری ساخته می‌شود که ⁦Fannie Mae⁩ یا ⁦Freddie Mac⁩ خریده یا به اوراق بهادار تبدیل کرده‌اند؛ این شاخص ماهانه و فصلی، تا سطح کد پستی (ZIP) منتشر می‌شود.

فیدهای دارای مجوز و APIها. در ایالات متحده، آگهی‌ها در سامانه‌های فهرست چندگانه (MLS) نگهداری می‌شوند و از طریق ⁦RESO Web API⁩، استانداردی از سازمان ⁦Real Estate Standards Organization⁩، به کاربران دارای مجوز می‌رسند؛ هر MLS محلی دسترسی را با مجوز داده خودش می‌دهد. برخی پورتال‌ها برنامه داده دارند یا سری‌های تجمیعی منتشر می‌کنند. مسیر دارای مجوز رکوردهای ساختاریافته را همراه با تغییر وضعیت تحویل می‌دهد.

صفحه‌های عمومی آگهی. لایه اسکرپینگ دو دروازه دارد: شرایط استفاده پورتال و robots.txt آن. بیشتر پورتال‌های بزرگ دسترسی خودکار را در شرایط خود ممنوع می‌کنند، پس این لایه برای مواردی است که اجازه گرفته شده یا شرایط آن را مجاز می‌داند. در عین حال این تنها لایه‌ای است که قیمت‌های پیشنهادی و جزئیات در سطح آگهی را از همه پورتال‌ها به‌طور همزمان دارد.

خط لوله داده‌های املاک چگونه کار می‌کند؟#

هفت گام دارد و گام نخست همان است که بیشتر تیم‌ها از آن می‌گذرند:

1. طرح‌واره را تعریف کنید. هر فیلد، نوع و واحد، پیش از گردآوری هر چیزی. رکورد بالا یک طرح‌واره (schema) است؛ پوشه‌ای از فایل‌های HTML نیست.
2. جغرافیا را انتخاب کنید. یک شهر، مجموعه‌ای از محله‌ها یا یک کشور؛ این انتخاب تعیین می‌کند به کدام صفحه‌های نتایج نیاز دارید.
3. طبق زمان‌بندی گردآوری کنید. روزانه برای بازارهای فروش فعال، هفتگی برای بازارهای کند. هر اجرا ثبت می‌کند چه چیزی را کی دیده است؛ مدت حضور در بازار و تاریخچه قیمت از همین برچسب‌های زمانی می‌آید.
4. نرمال کنید. فوت مربع به متر مربع، زیربنای خالص و ناخالص در فیلدهای جداگانه، واحد پول کنار قیمت، نشانه‌گذاری اتاق‌ها تبدیل‌شده به عدد.
5. موارد تکراری را حذف کنید. یک آپارتمان از طریق دو مشاور، در سه پورتال یا با شناسه‌ای تازه ظاهر می‌شود. بر اساس موقعیت، متراژ، طبقه، سن بنا و تعداد عکس تطبیق دهید و موارد منطبق را گروه‌بندی کنید تا هر ملک یک بار شمرده شود.
6. سیگنال‌ها را استخراج کنید. کاهش قیمت از تاریخچه، مدت حضور در بازار از نخستین و آخرین مشاهده، حذف آگهی پس از تعداد مشخصی اجرای بدون مشاهده، انتشار دوباره وقتی ملکی گروه‌بندی‌شده دوباره ظاهر می‌شود.
7. کنترل کیفیت. شمار ردیف‌ها در هر اجرا، سهم فیلدهای خالی، توزیع قیمت هر متر مربع. افت ناگهانی شمار ردیف‌ها معمولاً یعنی تغییر چیدمان صفحه، نه سقوط بازار.

کدام مشکلات کیفیت داده، داده‌های مسکن را تحریف می‌کنند؟#

قیمت پیشنهادی قیمت معامله نیست: فروشندگان بالا شروع می‌کنند، خریداران چانه می‌زنند و فاصله این دو بسته به بازار و فصل فرق می‌کند. بقیه دام‌ها مکانیکی‌اند:

• انتشار دوباره برای صفر کردن سن آگهی. بدون گروه‌بندی موارد تکراری، مدت حضور در بازار کوتاه‌تر از واقعیت درمی‌آید.
• قیمت‌های جای‌نگهدار. قیمت 1، 0 یا عددی رُند و دور از بازار یعنی «تماس بگیرید»؛ بر اساس قیمت هر متر مربع فیلتر کنید.
• موارد تکراری در پورتال‌ها و مشاوران مختلف که موجودی را متورم و میانگین‌ها را منحرف می‌کنند.
• قاطی شدن اجاره مبله و غیرمبله که اجاره هر متر مربع یک محله را جابه‌جا می‌کند.
• واحدهای مخلوط: زیربنای خالص در برابر ناخالص، فوت مربع در برابر متر مربع، قیمت با یا بدون کارمزد و مالیات بر ارزش افزوده.
• تعبیر حذف آگهی به فروش، در حالی که ممکن است اجاره، انصراف یا انتقال به مشاور دیگری باشد.

آیا اسکرپینگ داده‌های املاک قانونی است؟#

گردآوری داده‌های عمومی آگهی به خودی خود غیرقانونی نیست، اما سه قاعده بر هر پروژه‌ای حاکم است: داده شخصی، شرایط استفاده پورتال و حقوق پایگاه داده.

داده شخصی. نام، شماره تلفن و ایمیل مالک در یک آگهی طبق GDPR و قانون KVKK ترکیه داده شخصی است؛ انتشار آن‌ها در یک پورتال نیاز به مبنای قانونی را از بین نمی‌برد. این فیلدها را هرگز گردآوری نکنید؛ راهنمای ما درباره داده‌های شخصی در مجموعه‌داده‌های اسکرپ‌شده نشان می‌دهد چگونه آن‌ها را همان هنگام گردآوری فیلتر کنید.

شرایط استفاده. بیشتر پورتال‌های بزرگ دسترسی خودکار را در شرایط خود ممنوع می‌کنند، اغلب در کنار ممنوعیت بازنشر اطلاعات آگهی در جای دیگر؛ اینکه چنین شرایطی تا چه اندازه برای بازدیدکننده‌ای که هرگز ثبت‌نام نکرده الزام‌آور است، از کشوری به کشور دیگر فرق می‌کند.

حقوق پایگاه داده. در اتحادیه اروپا، دستورالعمل ⁦96/9/EC⁩ به سازنده پایگاه داده‌ای که سرمایه‌گذاری قابل‌توجهی در به دست آوردن، راستی‌آزمایی یا ارائه محتوای آن کرده باشد، حق می‌دهد به مدت پانزده سال از استخراج یا بازاستفاده از کل یا بخش قابل‌توجهی از آن جلوگیری کند و استخراج تکراری و نظام‌مند بخش‌های جزئی را که با بهره‌برداری عادی از پایگاه داده در تعارض باشد ممنوع می‌کند. گردآوری روزانه سهم بزرگی از آگهی‌های یک پورتال دقیقاً همان کاری است که این حق برای آن نوشته شده است. قواعد بیرون از اتحادیه اروپا متفاوت است.

پروکسی کجای گردآوری داده‌های املاک قرار می‌گیرد؟#

برخی پورتال‌ها صفحه را با موقعیت بازدیدکننده تطبیق می‌دهند: منطقه پیش‌فرض، واحد پول، زبان و گاهی اینکه کدام آگهی‌ها اول نمایش داده شوند؛ پس گردآورنده‌ای که در یک منطقه ابری خارج از کشور اجرا می‌شود ممکن است صفحه‌ای متفاوت از آنچه خریدار محلی می‌بیند ثبت کند. پروکسی مسکونی به شما امکان می‌دهد کشور و شهری را انتخاب کنید که درخواست از آن خارج می‌شود، تا صفحه ثبت‌شده با بازاری که می‌سنجید مطابقت داشته باشد.

ورق زدن فهرست نتایج یک توالی از درخواست‌هاست که پورتال ممکن است ترتیب مرتب‌سازی، فیلترها و شماره صفحه آن را به بازدیدکننده گره بزند. پروکسی با نشست ثابت همان آدرس خروجی را برای تعداد مشخصی دقیقه نگه می‌دارد، تا یک خزش از یک محله با یک هویت یکسان انجام شود.

پروکسی فقط جایی را تغییر می‌دهد که درخواست از آن می‌آید و نه چیز دیگری را: شرایط استفاده، robots.txt و محدودیت نرخ برای هر آدرسی اعمال می‌شود و صفحه راستی‌آزمایی پاسخی است که باید به آن احترام گذاشت، نه مانعی که باید راهی برای گذشتن از آن پیدا کرد.

چه زمانی API اسکرپینگ مدیریت‌شده منطقی‌تر است؟#

وقتی کار تیم مدل است، نه تجزیه‌گر. API اسکرپینگ مدیریت‌شده به جای صفحه، رکورد نرمال‌شده برمی‌گرداند؛ پس طرح‌واره، تبدیل واحد و تغییر چیدمان در سمت فروشنده مدیریت می‌شود و تحلیلگران شما از گام پنجم شروع می‌کنند. این گزینه برای تیم‌هایی هم مناسب است که همزمان به چند کشور و چند پورتال نیاز دارند.

پرسش‌های انطباق با مقررات با شما می‌ماند: شرایط استفاده، قواعد داده شخصی و حقوق پایگاه داده بر رکوردهایی که دریافت می‌کنید اعمال می‌شود. Proxynet یک Web Scraping API برای استخراج مدیریت‌شده صفحه‌ها از طریق تیم فروش خود ارائه می‌دهد؛ از هر فروشنده‌ای درباره طرح‌واره فیلدها، زمان‌بندی به‌روزرسانی و منابعش بپرسید.

اشتباه‌های رایج در پروژه‌های داده املاک#

• گردآوری پیش از تعریف طرح‌واره. صفحه‌های ذخیره‌شده نمی‌توانند فصل آینده به پرسشی درباره قیمت هر متر مربع پاسخ دهند.
• نگه داشتن شماره تلفن مالکان «محض احتیاط». ریسک اضافه می‌کنند و هیچ سیگنالی نمی‌دهند.
• گردآوری با نرخی که پورتال متوجه آن شود. برداشت‌های روزانه با آهنگی آرام کافی است.
• ذخیره فقط قیمت فعلی. بدون تاریخچه، کاهش قیمت‌ها دیده نمی‌شوند.

راهنمای انتخاب#

پرسش‌های متداول#

آیا اسکرپ کردن پورتال‌های آگهی املاک قانونی است؟#

به شرایط استفاده پورتال، فیلدهایی که برمی‌دارید و کشور بستگی دارد. بیشتر پورتال‌های بزرگ دسترسی خودکار را در شرایط خود ممنوع می‌کنند؛ داده درباره یک ملک داده شخصی نیست، اما اطلاعات تماس مالک هست؛ و در اتحادیه اروپا پورتال می‌تواند در برابر استخراج بخش قابل‌توجهی از آگهی‌هایش به حقوق پایگاه داده استناد کند. آمار رسمی روند قیمت‌ها را بدون هیچ اسکرپینگی پوشش می‌دهد.

آیا اسکرپ کردن Zillow قانونی است؟#

شرایط استفاده Zillow، به‌روزشده در 28 اکتبر 2025، هر نوع پرس‌وجوی خودکار، از جمله اسکرپینگ صفحه و پایگاه داده، اسپایدر، ربات و خزنده و همچنین عبور از CAPTCHA یا تدابیر مشابه را در فهرست کارهایی می‌آورد که کاربران می‌پذیرند انجام ندهند و جداگانه بازنشر اطلاعات آگهی در وب‌سایت‌های دیگر را، جز در موارد صریحاً مجاز، ممنوع می‌کند. برای روند قیمت‌ها در ایالات متحده، شاخص FHFA و فیدهای MLS دارای مجوز هیچ‌یک از این پرسش‌ها را پیش نمی‌آورند.

تفاوت قیمت پیشنهادی و قیمت فروش چیست؟#

قیمت پیشنهادی چیزی است که فروشنده منتشر می‌کند؛ قیمت فروش چیزی است که خریدار می‌پردازد و معمولاً پس از چانه‌زنی کمتر است. داده پورتال‌ها همیشه فقط قیمت پیشنهادی دارد، پس انتظار فروشندگان و تغییر آن را می‌سنجد. شاخص‌های معاملاتی مراکز آمار می‌سنجند خانه‌ها واقعاً به چه قیمتی فروخته شده‌اند.

داده‌های املاک هر چند وقت یک بار باید به‌روز شود؟#

روزانه برای آگهی‌های فروش و اجاره در بازارهای فعال، هفتگی جایی که آگهی‌ها ماه‌ها می‌مانند. مدت حضور در بازار و تشخیص کاهش قیمت به فاصله میان اجراها بستگی دارد: زمان‌بندی هفتگی نمی‌تواند کاهشی را ببیند که پس از سه روز برگشته است.

آگهی‌های تکراری ملک را چگونه تشخیص می‌دهید؟#

آگهی‌هایی را تطبیق دهید که محله، زیربنا با اختلافی اندک، طبقه، سن بنا و تعداد اتاق مشترک دارند؛ سپس تعداد عکس‌ها و نخستین واژه‌های توضیحات را مقایسه کنید. موارد منطبق به‌عنوان یک ملک گروه‌بندی می‌شوند. شناسه تازه‌ای که با گروهی قدیمی‌تر منطبق باشد انتشار دوباره است و مدت حضور آن در بازار از نخستین ظهور ادامه می‌یابد.

کدام فیلدهای آگهی املاک بیشترین اهمیت را دارند؟#

قیمت پیشنهادی همراه با واحد پول، زیربنا همراه با واحد و مبنای خالص یا ناخالص، تعداد اتاق، طبقه، سن بنا، محله و تاریخ‌هایی که آگهی را نخستین و آخرین بار دیده‌اید. این هشت فیلد قیمت هر متر مربع، مدت حضور در بازار و تاریخچه قیمت را تولید می‌کنند. تعداد عکس و نوع فروشنده به حذف موارد تکراری کمک می‌کنند.

خلاصه#

اسکرپینگ داده‌های املاک آگهی‌های عمومی را به جدولی نرمال‌شده و دارای برچسب زمانی تبدیل می‌کند که قیمت هر متر مربع، مدت حضور در بازار، کاهش قیمت‌ها و انتشارهای دوباره از آن استخراج می‌شود. آمار رسمی در جایگاه نخست می‌آید و مرجع می‌ماند، فیدهای دارای مجوز دوم و صفحه‌های آگهی آخر، پشت شرایط استفاده پورتال، robots.txt آن و این قاعده که اطلاعات تماس مالکان هرگز گردآوری نمی‌شود. اگر تیم شما بازار را به این شیوه اندازه می‌گیرد، صفحه تحقیقات بازار ما نشان می‌دهد سمت گردآوری چگونه برپا می‌شود.