آموزش پایتون: استخراج داده‌های وب در مقیاس بزرگ و گردش‌کارهای API - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر استخراج داده‌های وب و چالش‌های مقیاس‌پذیری Introduction to Web Scraping and Scaling Challenges

• مقدمه‌ای بر استخراج داده‌های وب و چالش‌های مقیاس‌پذیری Introduction to Web Scraping and Scaling Challenges

• چالش‌های موجود در استخراج داده‌های وب Challenges in Web Scraping

• مرور کلی دوره و محدوده پروژه Course Overview and Project Scope

ارسال درخواست‌ها و مدیریت پاسخ‌ها Making Requests and Handling Responses

• آشنایی با کتابخانه Requests Introduction to Requests

• مدیریت پاسخ‌ها و خطاها Handling Responses and Errors

• کار با هدرها، کوکی‌ها و نشست‌ها (Sessions) Working with Headers, Cookies, and Sessions

• رعایت فایل robots.txt و محدودیت‌های نرخ درخواست Respecting robots.txt and Rate Limits

تجزیه HTML با BeautifulSoup Parsing HTML with BeautifulSoup

• آشنایی با BeautifulSoup Introduction to BeautifulSoup

• یافتن و استخراج داده‌ها Finding and Extracting Data

• ناوبری و پاک‌سازی HTML Navigating and Cleaning HTML

استخراج ناهمگام داده‌ها با Celery Asynchronous Scraping with Celery

• چرا از Celery استفاده کنیم؟ Why Use Celery?

• راه‌اندازی Celery به همراه Message Broker Setting Up Celery with a Message Broker

• اجرای وظایف استخراج داده به صورت ناهمگام Running Asynchronous Scraping Tasks

• مدیریت شکست وظایف و تلاش مجدد (Retries) Handling Task Failures and Retries

طراحی خط لوله (Pipeline) مقیاس‌پذیر استخراج داده A Scalable Web Scraping Pipeline

• معماری خط لوله استخراج داده‌های وب Architecting the Web Scraping Pipeline

• پیاده‌سازی کامل خط لوله (Pipeline) Implementing the Full Pipeline

• ذخیره‌سازی و خروجی گرفتن از داده‌های استخراج شده Saving and Exporting Scraped Data

• مانیتورینگ، لاگ‌گذاری و بهینه‌سازی Monitoring, Logging, and Optimization

• جمع‌بندی نهایی و گام‌های بعدی Final Recap and Next Steps