آموزش جامع وب اسکرپینگ با پایتون (Requests, Scrapy, Selenium, AI) - ۲۰۲۶ - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر شبکه و مبانی اسکرپینگ Introduction to Networking & Scraping Foundations

• در این دوره چه چیزی خواهید آموخت What you're going to get from this course

• اینترنت چگونه کار می‌کند – ۷ لایه مدل OSI How the Internet Works – 7 Layers of OSI That Power the Web

• تکامل HTTP – از نسخه 0.9 تا HTTP/3 و مقدمه‌ای بر HTTPS Evolution of HTTP – From 0.9 to HTTP/3 + Intro to HTTPS

• رمزگشایی از SSL/TLS و مفاهیم HTTPS SSL/TLS Demystified – Intro to HTTPS

• بررسی درخواست‌های مرورگر با DevTools Inspecting Browser Requests with DevTools

• سایت‌های استاتیک در مقابل داینامیک – انتخاب ابزار مناسب Static vs Dynamic Sites – Choosing the Right Scraping Tool

کتابخانه Requests: ساخت زیربنای قدرتمند اسکرپینگ Requests Library: Building Strong Scraping Foundations

• آشنایی با کتابخانه Requests Introduction to the Requests Library

• استخراج داده‌ها با مبانی XPath Extracting Data with XPath Basics

• ساخت اولین اسکرپر با Requests Making Your First Request Scraper

• بهبود اسکرپرها با استفاده از Headerها Enhancing Scrapers with Headers

• اسکرپ کردن داده‌های JSON از HTML پارس شده Scraping JSON Data from Parsed HTML

• اسکرپینگ در مقیاس بزرگ - بخش ۱: قوانین، اخلاق و تاکتیک‌های شناسایی Scraping at Scale – Part 1: Rules, Ethics & Detection Tactics

• اسکرپینگ در مقیاس بزرگ - بخش ۲: استفاده از Wappalyzer برای شناسایی Scraping at Scale – Part 2: Using Wappalyzer for Recon

• اسکرپینگ در مقیاس بزرگ - بخش ۳: چرا Headerها به تنهایی کافی نیستند (دموی آمازون) Scraping at Scale – Part 3: Why Headers Alone Fail (Amazon Demo)

• اسکرپینگ در مقیاس بزرگ - بخش ۴: راه‌اندازی چرخش IP با DataImpulse Scraping at Scale – Part 4: Setting Up IP Rotation with DataImpulse

• اسکرپینگ در مقیاس بزرگ - بخش ۵: اسکرپینگ چندرشته‌ای با ThreadPool Scraping at Scale – Part 5: Multi-Threaded Scraping with ThreadPool

• اسکرپینگ در مقیاس بزرگ - بخش ۶: ذخیره داده‌های پاک‌سازی شده در PostgreSQL Scraping at Scale – Part 6: Store Clean Data into PostgreSQL

• سیستم‌های دفاعی اسکرپینگ و نحوه دور زدن آن‌ها Scraping Defenses and How to Bypass Them

• تحلیل فعالیت‌های شبکه؛ معدن طلای اسکرپرها Network Activity & Analysis is a Goldmine for Scrapers

• اسکرپ کردن APIهای JSON با DevTools – پروژه پزشکان سلامت آمریکا Scraping JSON APIs with DevTools – USA Health Doctors Project

• پیدا کردن APIهای مخفی با Selenium Wire – مورد مطالعه DTC Lease Finding Hidden API Endpoints with Selenium Wire – DTC Lease Case Study

• تحلیل ترافیک شبکه با MITMProxy Analyzing Network Traffic with MITMProxy

• بهینه‌سازی اسکرپینگ با Bright Data Streamlining Scraping with Bright Data

• بهره‌گیری از Sitemaps برای اسکرپینگ کارآمد Leveraging Sitemaps for Efficient Scraping

تسلط بر وب اسکرپینگ با Scrapy Mastering Web Scraping with Scrapy

• مقدمه‌ای بر Scrapy و قدرت آن Introduction to Scrapy and Its Power

• ساخت اولین اسپایدر در Scrapy Building Your First Scrapy Spider

• مدیریت داده‌ها و خط لوله‌ها (Pipelines) Data and Pipelines

• استقرار اسکرپرها به صورت محلی و در Scrapy Cloud Deploying Scrapers Locally and to Scrapy Cloud

• دور زدن و استخراج: مقابله با سیستم‌های ضد اسکرپینگ در Scrapy Bypass & Extract: Tackling Anti-Scraping with Scrapy

تسلط بر اسکرپینگ سایت‌های داینامیک با Selenium Mastering Dynamic Web Scraping with Selenium

• سلنیوم (Selenium) – مقدمه و مقایسه واقعی Selenium – Intro & Real Comparison

• مبانی سلنیوم – اتوماسیون جستجوی گوگل Selenium Basics – Automate Google Search

• بخش ۱: وب‌سایت مهاجرت کانادا – ساخت یک بات هوشمند با سلنیوم Part 1 : Canadian Immigration Website – Building a Smart Selenium Bot

• بخش ۲: وب‌سایت مهاجرت کانادا – ساخت یک بات هوشمند با سلنیوم Part 2 : Canadian Immigration Website – Building a Smart Selenium Bot

• گوگل فایننس – اسکرپینگ داده‌های داینامیک از نمودارهای سری زمانی Google Finance – Dynamic Data Scraping From a Time Series Graph

• اتوماسیون لاگین – کوکی‌ها، پروفایل‌ها و لیدهای فیس‌بوک Login Automation – Cookies, Profiles, and Facebook Leads

• حل reCAPTCHA با سلنیوم و 2Captcha Solving reCAPTCHA with Selenium + 2Captcha

• چرخش IP با Selenium Wire و Oxylabs Rotating IPs with Selenium Wire and Oxylabs

• اثر انگشت مرورگر (Browser Fingerprinting) و چرخش Fingerprintها Browser Fingerprinting and Rotating Fingerprints

بهره‌گیری از هوش مصنوعی در اسکرپینگ – LLMها و کاربردهای هوشمند Harnessing AI for Web Scraping – LLMs, Tools & Smart Use Cases

• توسعه اسکرپرها با چت‌بات‌های هوش مصنوعی + نکات کاهش هزینه Develop Scrapers with AI Chatbots + Cost-Saving Tips

• Cursor و Windsurf: چه زمانی مفیدند و چه زمانی زیاده‌روی است Cursor & Windsurf: When They Help vs Overkill

• Repo Prompt – درک کدها با قدرت هوش مصنوعی Repo Prompt – AI-Powered Understanding of Codebases

• مبانی LLM – چیستند و چرا اهمیت دارند LLM Fundamentals – What They Are & Why They Matter

• مدل‌های LLM بسته (API) – مقایسه GPT، Claude، Gemini و Grok Closed-Source LLMs (APIs) – GPT vs Claude vs Gemini vs Grok

• مدل‌های LLM متن‌باز – Ollama، Hugging Face و راه‌اندازی محلی Mistral Open-Source LLMs – Ollama, Hugging Face & Local Mistral Setup

• سناریوی ۱ – اسکرپ کردن IMDb و تحلیل احساسات با Mistral Scenario 1 – Scrape IMDb + Run Sentiment Analysis via Mistral

• سناریوی ۲ – اتوماسیون ایمیل‌های سرد فروشندگان با Ollama و CSV Scenario 2 - Automate Seller Cold Emails via Ollama (Mistral) + CSV

• سناریوی ۳ – اسکرپینگ بصری با کمک هوش مصنوعی Scenario 3 – AI-Assisted Visual Scraping

میزبانی و استقرار اسکرپرها Hosting The Scrapers

• تبدیل اسکرپرها به فایل‌های اجرایی (ویندوز و مک) Packaging Scrapers as Executables (Windows & Mac)

• استقرار اسکرپرها روی Render (میزبانی عملی) Deploying Scrapers on Render (Hands-On Hosting)

• اتصال اسکرپرها به گوگل شیت (Google Sheets) با Render Connecting Scrapers to Google Sheets with Render

• میزبانی اسپایدرها در Zyte Scrapy Cloud Hosting Spiders with Zyte Scrapy Cloud

• مبانی داکر (Docker): چیست، چرا و نحوه نصب Docker Basics: What, Why, and Installation

• ساختار فایل‌های داکر (Boilerplate): توضیح کامل Docker Boilerplate: File Structure Explained

• ساخت و اجرای ایمیج‌های داکر برای اسکرپرها Building and Running Docker Images for Scrapers