آموزش وب اسکرپینگ فوق‌العاده قدرتمند با Asyncio و پایتون - آخرین آپدیت

سرفصل ها و درس ها

خوش آمدید Welcome

• خوش آمدید Welcome

• دموی پروژه Project Demo

• نیازمندی ها Requirements

مبانی Fundamentals

• همگام در مقابل ناهمگام Sync vs Async

• مسدود کردن و اتمام زمان Blocking & Timeouts

• استخراج با سلنیوم Scraping with Selenium

• استخراج وب ناهمگام با درایور کروم و آرسنیک Async Web Scraping with chrome driver and arsenic

• پنهان کردن لاگ‌های آرسنیک Hide Arsenic logs

استخراج و قالب‌بندی Extraction & Formatting

• داده‌های ناهمگام با پانداس پایتون Async Data with Python Pandas

• آماده‌سازی برای استخراج چندین URL Prepare to Scrape Multiple URLs

• استخراج داده‌های محصول Extract Product Data

• استخراج ناهمگام داده‌های محصول Async Product Data Extraction

آماده‌سازی برای استفاده مجدد Prepare for Re-usability

• ماژول‌ها و زیرماژول‌ها Modules & Submodules

• زیرماژول مخصوص سرویس Service Specific Submodule

• جدا کردن لاگینگ و اسکرپر Decouple Logging & Scraper

ذخیره‌سازی داده‌ها Storing Data

• ذخیره‌سازی SQL همگام با پانداس Synchronous SQL Storage with Pandas

• ذخیره داده‌های استخراج‌شده در جداول SQL Store Scrapped Data to SQL Tables

• بازرسی داده‌های ذخیره‌شده در جوپیتر Inspect Stored Data in Jupyter

• استخراج URLها از جدول لینک‌های ذخیره‌شده Scraping URLS from Stored Links Table

• استخراج نمای لیست صفحه‌بندی شده Scrape Paginated List View

• نتایج و زمان‌بندی Results & Timing

سپاس و گام‌های بعدی Thank you and next steps

• سپاس و گام‌های بعدی Thank you & next steps