آموزش جامع وب اسکرپینگ با Scrapy و پایتون برای مبتدیان - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر دوره Introduction to the Course

• وب اسکرپینگ چیست What Is Web Scraping

• نحوه عملکرد وب اسکرپینگ How Web Scraping Works

• وب اسکرپینگ با Scrapy Web Scraping with Scrapy

نصب Scrapy Scrapy Installation

• نصب Scrapy برای ویندوز Scrapy Installation for Windows

• نصب Scrapy برای اوبونتو (لینوکس) Scrapy Installation for Ubuntu (Linux)

• ایجاد پروژه Scrapy Creating Scrapy Project

• بررسی کلی پروژه Project Walkthrough

اسپایدر Scrapy Scrapy Spider

• ایجاد اسپایدر Creating Spider

• ارسال درخواست (Request) Sending Request

• دریافت پاسخ (Response) Getting the Response

• انتخاب‌گر CSS در Scrapy Scrapy CSS Selector

• انتخاب تمام داده‌ها Selecting All the Data

• استخراج داده‌ها Extracting Data

• مرور کلی اسپایدر Spider Overview

انتخاب‌گرهای CSS CSS Selectors

• مقایسه CSS و XPath: نحوه انتخاب عناصر وب CSS Selectors Versus XPath: How to Select Web Elements

• انتخاب‌گرهای Tagname، Class و Id Tagname, Class, and Id Selectors

• انتخاب‌گرهای ویژگی (Attribute) Attribute Selectors

ایکس‌پات (XPath) XPath

• عبارات XPath XPath Expressions

• انتخاب‌گرهای ویژگی در XPath XPath Attribute Selectors

• تابع text() در XPath XPath text( ) Function

پوسته Scrapy Shell Scrapy Shell

• Scrapy Shell چیست و چگونه از آن استفاده کنیم؟ What Is the Scrapy Shell and How to Use It?

• پاسخ fetch() fetch( ) Response

• پیکربندی پوسته Shell Configuration

آیتم‌های Scrapy Scrapy Items

• ساختاردهی داده‌ها در Scrapy Item Structuring Data into Scrapy Item

• استفاده از Item در اسپایدرها Using Item in Spiders

• تعریف پردازشگرهای ورودی و خروجی برای فیلدهای Item Define Input and Output Processors for Item Fields

• بارگذاری آیتم‌ها با Scrapy ItemLoaders Loading Items with Scrapy ItemLoaders

• مرور کلی Items، پردازشگرها و ItemLoaders Items, Processors, and ItemLoaders Overview

خروجی گرفتن از داده‌ها Exporting Data

• خروجی داده‌های استخراج شده در قالب‌های JSON، CSV و XML Output Extracted Data in JSON, CSV, and XML Formats

• بازنویسی خروجی قبلی Overwrite Previous Output

• افزودن داده‌ها به خروجی قبلی Appending Data to Previous Output

خط لوله آیتم‌های Scrapy Scrapy Item Pipeline

• نحوه استفاده از Scrapy Item Pipelines How to Use Scrapy Item Pipelines

• ذخیره محلی داده‌ها در فایل‌های اکسل (XLSX) Saving Data Locally to Excel ( XLSX ) Files

• فعال‌سازی Item Pipelines در تنظیمات Enable Item Pipelines in Settings

• راه‌اندازی حساب MongoDB MongoDB (Account) Setup

• ذخیره داده‌ها در MongoDB Saving Data to MongoDB

صفحه‌بندی (Pagination) Pagination

• استخراج لینک‌ها از ویژگی‌های href Extracting Links from href Attributes

• ارسال درخواست به صفحه بعد Send Request to the Next Page

• متد start_requests() start_requests( ) Method

دنبال کردن لینک‌ها Following Links

• نحوه دنبال کردن لینک‌ها How to Follow Links

• نحوه انتخاب داده‌ها با استفاده از Regular Expressions در Scrapy How to Select Data Using Regular Expressions with Scrapy

• تنظیم تابع Callback سفارشی Setting Up Custom Callback Function

• تجزیه صفحه جزئیات محصول Parse Product Details Page

استخراج داده از جداول Scraping Tables

• جداول HTML HTML Tables

• انتخاب داده‌های جدول Selecting Tables Data

• استخراج داده از جداول HTML Extract Data from HTML Tables

ورود به وب‌سایت‌ها (Login) Logging into Websites

• داده‌های پنهان در فرم‌های ورود Data Hidden with Logging Forms

• بررسی فرم‌های HTML و فعالیت وب‌سایت با Dev Tools Inspecting HTML Forms and Website Activity with Dev Tools

• ورود به وب‌سایت‌ها با FormRequest Logging into Websites with FormRequest

• فرم‌های ورود محافظت شده با CSRF CSRF Protected Login Forms

• استخراج مقادیر CSRF از فرم‌ها Extract CSRF Values from Forms

اسکرپینگ وب‌سایت‌های رندر شده با جاوا اسکریپت Scraping JavaScript Rendered Websites

• وب‌سایت‌های پویا و رندر شده با جاوا اسکریپت چیستند؟ What Are JavaScript Rendered/Dynamic Websites?

• نصب scrapy-playwright scrapy-playwright Installation

• راه‌اندازی Playwright در پروژه Scrapy Setting Up Playwright in Scrapy Project

• استفاده از Playwright برای رندر وب‌سایت‌ها Using Playwright to Render Websites

• استخراج داده از وب‌سایت‌های پویا Scraping Data from Dynamic Websites

استفاده از Scrapy Playwright Scrapy Playwright

• مرور کلی Playwright Playwright Overview

• شیء Page در Playwright Playwright Page Object

• ورود به حساب با Playwright Logging in with Playwright

• وب‌سایت‌های پویا با صفحات در حال بارگذاری Dynamic Websites with Loading Screens

• انتظار برای انتخاب‌گر/عناصر با استفاده از Coroutines Wait for Selector/Elements Using Page Coroutines

• وب‌سایت‌های پویا با اسکرول نامحدود Dynamic Websites with Infinite Scroll

• گرفتن اسکرین‌شات از وب‌سایت‌ها Taking Screenshot of Websites

• تبدیل وب‌سایت‌ها به PDF Rendering Websites to PDF

نقاط اتصال API API Endpoints

• شناسایی فراخوانی‌های API Identifying API Calls

• درخواست داده از API Requesting Data from API

• استخراج داده از API Extracting Data from API

تنظیمات (Settings) Settings

• تنظیمات پروژه Scrapy Scrapy Project Settings

• فایل Robots.txt Robots Text

• میان‌افزارها (Middleware) Middleware

• افزونه Autothrottle Autothrottle Extension

کاربرنماها و پروکسی‌ها User Agents and Proxies

• User Agents چیستند؟ What Are User Agents?

• استفاده از User Agents در Scrapy User Agents with Scrapy

• پروکسی‌ها چیستند؟ What Are Proxies?

• استفاده از پروکسی‌ها در Scrapy Proxies with Scrapy

نکات و ترفندها Tips and Tricks

• آرگومان‌های اسپایدر Spider Arguments

• اسپایدرهای مستقل (Standalone) Standalone Spiders

• استفاده از Scrapy Shell با bpython Scrapy Shell with bpython

• مقایسه متدهای Get و Extract در Scrapy Scrapy Get Versus Extract Method

• ثبت وقایع (Logging) Logging

پروژه ۱: جدول لیگ قهرمانان از ESPN.com Project 1: Champions League Table from ESPN.com

• مرور کلی پروژه Overview

• بررسی بصری وب‌سایت Website Visual Inspection

• یافتن انتخاب‌گرها Finding the Selectors

• ساخت اسپایدر: استخراج داده‌های تیم‌ها Building the Spider: Extract Teams Data

• ساخت اسپایدر: استخراج جزئیات تیم‌ها Building the Spider: Extract Teams Details

پروژه ۲: رتبه محصولات آمازون Project 2: Amazon Product Rank

• مرور کلی پروژه Overview

• بصری‌سازی اسکرپر Scraper Visualization

• یافتن انتخاب‌گرها Finding the Selectors

• ساخت اسپایدر Building the Spider

پروژه ۳: گسترش اسکرپر با رابط گرافیکی (GUI) Project 3: Extending Scraper with GUI

• اپلیکیشن اسکرپر Scraper Application

• ساخت رابط گرافیکی (GUI) Building the GUI (Application Interface)

• اجرای اسپایدر از طریق اپلیکیشن Running the Spider from the Application