آموزش مسترکلاس جامع سلنیوم و بیوتیفول سوپ ۲۰۲۶ - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• راه‌اندازی محیط پایتون (Anaconda, Jupyter, VS Code) Setting Up Your Python Environment (Anaconda, Jupyter, VS Code)

• درک مفاهیم HTTP، HTML و DOM Understanding HTTP, HTML, and the DOM

• بررسی صفحات وب با ابزارهای توسعه مرورگر (DevTools) Inspecting Web Pages with Browser DevTools

• اولین استخراج‌کننده شما – دریافت صفحه با requests Your First Scraper – Fetching a Page with requests

مبانی BeautifulSoup BeautifulSoup Fundamentals

• نصب BeautifulSoup و تجزیه HTML Installing BeautifulSoup and Parsing HTML

• پیمایش درخت تجزیه – والدین، فرزندان و هم‌سایه‌ها Navigating the Parse Tree – Parents, Children, Siblings

• متدهای find() و find_all() The find() and find_all() Methods

• فیلتر کردن بر اساس ویژگی‌ها (Attributes) و متن Filtering by Attributes and Text

• انتخابگرهای CSS با select() و select_one() CSS Selectors with select() and select_one()

• استخراج متن و پاک‌سازی داده‌ها Extracting Text and Cleaning Data

• کار با لینک‌ها و تصاویر Working with Links and Images

• مدیریت جداول و لیست‌ها Handling Tables and Lists

• ساخت استخراج‌کننده چندصفحه‌ای با Pagination Building a Multi-Page Scraper with Pagination

• ترکیب requests و BeautifulSoup – یک گردش کار کامل Combining requests and BeautifulSoup – A Full Workflow

تکنیک‌های پیشرفته BeautifulSoup Advanced BeautifulSoup Techniques

• مدیریت داده‌های گمشده و استخراج شرطی Handling Missing Data and Conditional Extraction

• استفاده از Regular Expressions در BeautifulSoup Using Regular Expressions with BeautifulSoup

• استخراج محتوای رندر شده با جاوا اسکریپت توسط requests-html Scraping JavaScript‑Rendered Content with requests-html

• مدیریت Sessionها و کوکی‌ها با requests.Session Managing Sessions and Cookies with requests.Session

• شبیه‌سازی ارسال فرم‌ها (GET و POST) Emulating Form Submissions (GET & POST)

• مدیریت URLهای پویا و پارامترهای Query Handling Dynamic URLs and Query Parameters

• نوشتن توابع و کلاس‌های استخراج‌کننده قابل استفاده مجدد Writing Reusable Scraper Functions and Classes

آشنایی با Selenium WebDriver Introduction to Selenium WebDriver

• سلنیوم چیست؟ نصب WebDriver و درایورهای مرورگر What Is Selenium? Installing WebDriver and Browser Drivers

• اجرای مرورگر و هدایت به یک URL Launching a Browser and Navigating to a URL

• یافتن المان‌ها – از طریق ID، Name، Class و Tag Finding Elements – By ID, Name, Class, Tag

• استفاده از XPath و CSS Selectors در سلنیوم XPath and CSS Selectors in Selenium

• تعامل با المان‌ها – کلیک، ارسال کلیدها، پاک‌سازی Interacting with Elements – Click, Send Keys, Clear

• تفاوت انتظار Implicit و Explicit Implicit vs. Explicit Waits

• مدیریت محتوای پویا و AJAX Handling Dynamic Content and AJAX

• استخراج داده‌ها از صفحه رندر شده Extracting Data from the Rendered Page

سلنیوم سطح متوسط Selenium Intermediate

• کار با Dropdownها و المان‌های Select Working with Dropdowns and Select Elements

• مدیریت Alertها، Promptها و دیالوگ‌های تایید Alerts, Prompts, and Confirmation Dialogs

• کار با iframeها و Frameها Handling iframes and Frames

• مدیریت چندین پنجره و Tab Managing Multiple Windows and Tabs

• کوکی‌ها – خواندن، افزودن و حذف Cookies – Reading, Adding, and Deleting

• گرفتن اسکرین‌شات و ذخیره سورس صفحه Taking Screenshots and Capturing Page Source

• اجرای جاوا اسکریپت با سلنیوم Executing JavaScript with Selenium

• زنجیره اقدامات (Action Chains) – هاور موس، کشیدن و رها کردن Action Chains – Mouse Hover, Drag & Drop

• مرورگرهای Headless و بهینه‌سازی عملکرد Headless Browsers and Performance Optimisation

• انتظارهای پیشرفته و شرایط سفارشی (Expected Conditions) Advanced Waits and Custom Expected Conditions

ترکیب BeautifulSoup و Selenium Combining BeautifulSoup and Selenium

• چه زمانی از Selenium استفاده کنیم و چه زمانی از BeautifulSoup؟ When to Use Selenium vs. BeautifulSoup – Decision Framework

• تزریق سورس صفحه سلنیوم به BeautifulSoup Feeding Selenium’s Page Source into BeautifulSoup

• مدیریت اسکرول نامحدود و لود تنبل (Lazy Loading) Handling Infinite Scroll and Lazy Loading

• استخراج داده از اپلیکیشن‌های پیچیده تک صفحه‌ای (SPAs) Scraping Complex Single‑Page Applications (SPAs)

• استخراج ترکیبی – استخراج داده در چندین مرحله تعاملی Hybrid Scraping – Extracting Data Across Multiple Interaction Steps

• ساخت استخراج‌کننده‌ای که ابتدا لاگین کرده و سپس داده می‌گیرد Building a Scraper That Logs In Then Scrapes

• خط لوله داده – ذخیره داده‌ها در CSV، JSON و SQLite Data Pipeline – Storing Scraped Data in CSV, JSON, and SQLite

پروژه‌های دنیای واقعی Real‑World Projects

• ردیاب قیمت فروشگاه آنلاین (books.toscrape.com) E‑Commerce Price Tracker (books.toscrape.com)

• جمع‌آوری نقل‌قول‌ها با جزئیات نویسنده (quotes.toscrape.com) Quote Collector with Author Details (quotes.toscrape.com)

• تجمیع‌کننده آگهی‌های شغلی (سایت دمو) Job Listings Aggregator (demo‑static site)

• اتوماسیون لاگین و استخراج داده (the-internet.herokuapp.com) Automating Login and Data Extraction (the‑internet.herokuapp.com)

• دانلودر تصاویر با اسکرول نامحدود (دموی پویا) Infinite Scroll Image Downloader (dynamic demo)

• مانیتورینگ تغییرات وب‌سایت و ارسال هشدار Monitoring a Website for Changes and Sending Alerts

• استخراج Full-Stack: از وب تا داشبورد (Flask/Local) Full‑Stack Scraping: From Web to Dashboard (Flask/Local)

• استخراج داده از صفحات احراز هویت شده و مدیریت توکن‌ها Scraping Behind Authentication and Handling Tokens

بهترین روش‌ها، عیب‌یابی و استقرار Best Practices, Debugging & Deployment

• لاگینگ، مدیریت خطا و منطق تلاش مجدد (Retry) Logging, Error Handling, and Retry Logic

• رعایت robots.txt، محدود کردن نرخ درخواست و استخراج اخلاقی Respecting Robots.txt, Rate Limiting, and Ethical Scraping

• User-Agentها، چرخش IP و ادغام پروکسی User‑Agents, IP Rotation, and Proxy Integration

• عیب‌یابی استخراج‌کننده‌ها – اشتباهات رایج و راهکارها Debugging Scrapers – Common Pitfalls and Solutions

• استقرار در ابر (GitHub Actions, AWS Lambda, Schedulers) و جمع‌بندی نهایی Deploying Scrapers to the Cloud (GitHub Actions, AWS Lambda, Schedulers) & Final