آموزش پایتون: استخراج داده‌های وب (Web Scraping) مقیاس‌پذیر و گردش‌کارهای API - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر وب اسکرپینگ و چالش‌های مقیاس‌پذیری Introduction to Web Scraping and Scaling Challenges

• مقدمه‌ای بر وب اسکرپینگ و چالش‌های مقیاس‌پذیری Introduction to Web Scraping and Scaling Challenges

• چالش‌های موجود در استخراج داده‌های وب Challenges in Web Scraping

• بررسی کلی دوره و محدوده پروژه Course Overview and Project Scope

ارسال درخواست‌ها و مدیریت پاسخ‌ها Making Requests and Handling Responses

• آشنایی با کتابخانه Requests Introduction to Requests

• مدیریت پاسخ‌ها و خطاها Handling Responses and Errors

• کار با هدرها، کوکی‌ها و نشست‌ها Working with Headers, Cookies, and Sessions

• رعایت قوانین robots.txt و محدودیت‌های نرخ درخواست Respecting robots.txt and Rate Limits

تجزیه HTML با BeautifulSoup Parsing HTML with BeautifulSoup

• آشنایی با BeautifulSoup Introduction to BeautifulSoup

• یافتن و استخراج داده‌ها Finding and Extracting Data

• پیمایش و پاک‌سازی HTML Navigating and Cleaning HTML

استخراج داده‌های غیرهمزمان با Celery Asynchronous Scraping with Celery

• چرا از Celery استفاده کنیم؟ Why Use Celery?

• راه‌اندازی Celery با یک Message Broker Setting Up Celery with a Message Broker

• اجرای وظایف استخراج داده به صورت غیرهمزمان Running Asynchronous Scraping Tasks

• مدیریت شکست در وظایف و تلاش مجدد (Retries) Handling Task Failures and Retries

یک خط لوله (Pipeline) مقیاس‌پذیر برای وب اسکرپینگ A Scalable Web Scraping Pipeline

• معماری خط لوله استخراج داده‌های وب Architecting the Web Scraping Pipeline

• پیاده‌سازی کامل خط لوله Implementing the Full Pipeline

• ذخیره‌سازی و خروجی گرفتن از داده‌های استخراج شده Saving and Exporting Scraped Data

• مانیتورینگ، لاگ‌گیری و بهینه‌سازی Monitoring, Logging, and Optimization

• مرور نهایی و گام‌های بعدی Final Recap and Next Steps