آموزش اسکرپی مسترکلاس: یادگیری وب اسکرپینگ با فریم‌ورک اسکرپی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• وب اسکرپینگ چیست؟ What is Web Scraping?

• وب اسکرپینگ چگونه کار می کند؟ How Web Scraping Works?

• وب اسکرپینگ با Scrapy Web Scraping With Scrapy

نصب Scrapy Scrapy Installation

• نصب Scrapy برای ویندوز Scrapy Installation for Windows

• نصب Scrapy برای اوبونتو (لینوکس) Scrapy Installation for Ubuntu (Linux)

• نصب Scrapy برای مک Scrapy Installation for Mac

• نصب Scrapy برای Anaconda Scrapy Installation for Anaconda

• ایجاد پروژه Scrapy Creating Scrapy Project

• بررسی پروژه Project Walkthrough

Scrapy Spider Scrapy Spider

• ایجاد Spider Creating Spider

• ارسال درخواست Sending Request

• دریافت پاسخ Getting the Response

• انتخابگرهای CSS Scrapy Scrapy CSS Selector

• انتخاب تمام داده‌ها Selecting All The Data

• استخراج داده‌ها Extracting Data

• مرور کلی Spider Spider Overview

انتخابگرهای CSS CSS Selectors

• انتخابگرهای CSS در مقابل XPath: چگونه عناصر وب را انتخاب کنیم؟ CSS Selectors v/s XPath : How to Select Web Elements?

• انتخابگرهای Tagname، Class و Id Tagname, Class and Id Selectors

• انتخابگرهای Attribute Attribute Selectors

• برگه تقلب انتخابگرهای CSS CSS Selectors Cheat Sheet

XPath XPath

• عبارات XPath XPath Expressions

• انتخابگرهای Attribute XPath XPath Attribute Selectors

• تابع XPath text() XPath text( ) Function

• برگه تقلب XPath XPath Cheat Sheet

Scrapy Shell Scrapy Shell

• Scrapy Shell چیست و چگونه از آن استفاده کنیم؟ What is the Scrapy Shell and How to Use it?

• پاسخ fetch() fetch( ) Response

• تنظیمات Shell Shell Configuration

Scrapy Items Scrapy Items

• ساختاردهی داده‌ها به آیتم‌های Scrapy Structuring Data Into Scrapy Item

• استفاده از آیتم در Spiderها Using Item in Spiders

• تعریف پردازشگرهای ورودی و خروجی برای فیلدهای آیتم Define Input and Output Processors For Item Fields

• بارگذاری آیتم‌ها با Scrapy ItemLoaders Loading Items with Scrapy ItemLoaders

• مرور کلی آیتم‌ها، پردازشگرها و ItemLoaders Items, Processors & ItemLoaders Overview

خروجی گرفتن از داده‌ها Exporting Data

• خروجی گرفتن از داده‌های استخراج شده در فرمت JSON، CSV و XML Output Extracted Data In JSON, CSV & XML Format

• بازنویسی خروجی قبلی Overwrite Previous Output

• اضافه کردن داده‌ها به خروجی قبلی Appending Data to Previous Output

Scrapy Item Pipeline Scrapy Item Pipeline

• چگونه از Scrapy Item Pipelines استفاده کنیم؟ How to use Scrapy Item Pipelines?

• ذخیره داده‌ها به صورت محلی در فایل‌های Excel (XLSX) Saving Data Locally to Excel ( XLSX ) Files

• فعال کردن Item Pipelines در تنظیمات Enable Item Pipelines in Settings

• راه اندازی MongoDB (حساب) MongoDB (Account) Setup

• ذخیره داده‌ها در MongoDB Saving Data To MonogoDB

Pagination Pagination

• استخراج لینک‌ها از خصوصیات href Extracting Links From href Attributes

• ارسال درخواست به صفحه بعدی Send Request to the Next Page

• متد start_requests() start_requests( ) method

دنبال کردن لینک‌ها Following Links

• چگونه لینک‌ها را دنبال کنیم؟ How to Follow Links?

• چگونه داده‌ها را با استفاده از عبارات منظم در Scrapy انتخاب کنیم How to Select Data Using Regular Expressions With Scrapy

• راه اندازی تابع callback سفارشی Setting Up Custom Callback Function

• تجزیه و تحلیل صفحه جزئیات محصول Parse Product Details Page

اسکرپینگ جداول Scraping Tables

• جداول HTML HTML Tables

• انتخاب داده‌های جداول Selecting Tables Data

• استخراج داده‌ها از جداول HTML Extract Data From HTML Tables

ورود به وب‌سایت‌ها Logging Into Websites

• داده‌های پنهان شده با فرم‌های ورود Data Hidden With Logging Forms

• بررسی فرم‌های HTML و فعالیت وب‌سایت با ابزارهای توسعه‌دهنده Inspecting HTML Forms and Website Activity With Dev Tools

• ورود به وب‌سایت‌ها با FormRequest Logging Into Websites With FormRequest

• فرم‌های ورود محافظت شده با CSRF CSRF Protected Login Forms

• استخراج مقادیر CSRF از فرم‌ها Extract CSRF Values From Forms

اسکرپینگ وب‌سایت‌های رندر شده با جاوا اسکریپت Scraping JavaScript Rendered Websites

• وب‌سایت‌های رندر شده/دینامیک با جاوا اسکریپت چه هستند؟ What are JavaScript Rendered/Dynamic Websites?

• نصب scrapy-playwright scrapy-playwright Installation

• راه اندازی Playwright در پروژه Scrapy Setting Up Playwright in Scrapy Project

• استفاده از Playwright برای رندر کردن وب‌سایت‌ها Using Playwright To Render Websites

• اسکرپینگ داده‌ها از وب‌سایت‌های دینامیک Scraping Data From Dynamic Websites

Scrapy Playwright Scrapy Playwright

• مرور کلی Playwright Playwright Overview

• شیء صفحه Playwright Playwright Page Object

• ورود با Playwright Logging In With Playwright

• وب‌سایت‌های دینامیک با صفحات بارگذاری Dynamic Websites With Loading Screens

• انتظار برای انتخابگر/عناصر با استفاده از Page Couroutines Wait For Selector/Elements Using Page Couroutines

• [به روز رسانی] PageCoroutine اکنون PageMethod است [Update] PageCoroutine is now PageMethod

• وب‌سایت‌های دینامیک با اسکرول بی نهایت Dynamic Websites With Infinite Scroll

• گرفتن اسکرین‌شات از وب‌سایت‌ها Taking Screenshot of Websites

• رندر کردن وب‌سایت‌ها به PDF Rendering Websites To PDF

API Endpoints API Endpoints

• شناسایی فراخوانی‌های API Identifying API Calls

• درخواست داده از API Requesting Data From API

• استخراج داده از API Extracting Data From API

تنظیمات Settings

• تنظیمات پروژه Scrapy Scrapy Project Settings

• فایل Robots.txt Robots Text

• Middleware Middleware

• افزونه Autothrottle Autothrottle Extension

User Agents و Proxies User Agents & Proxies

• User Agent چیست؟ What are User Agents?

• User Agent در Scrapy User Agents With Scrapy

• Proxies چیست؟ What are Proxies?

• Proxies در Scrapy Proxies With Scrapy

نکات و ترفندها Tips & Tricks

• آرگومان‌های Spider Spider Arguments

• Spiderهای مستقل Standalone Spiders

• Scrapy Shell با bpython Scrapy Shell With bpython

• متد get در مقابل extract در Scrapy Scrapy get vs extract method

• لاگینگ Logging

پروژه #1: جدول لیگ قهرمانان از ESPN.com Project #1: Champions League Table From ESPN.com

• مرور کلی Overview

• بازرسی بصری وب‌سایت Website Visual Inspection

• یافتن انتخابگرها Finding The Selectors

• ساخت Spider: استخراج داده‌های تیم‌ها Building The Spider: Extract Teams Data

• ساخت Spider: جزئیات تیم‌ها Building The Spider: Extract Teams Details

پروژه #2: رتبه محصول آمازون Project #2: Amazon Product Rank

• مرور کلی Overview

• تجسم اسکرپر Scraper Visualization

• یافتن انتخابگرها Finding The Selectors

• ساخت Spider Building The Spider

پروژه #3: گسترش اسکرپر با GUI Project #3: Extending Scraper With GUI

• اپلیکیشن اسکرپر Scraper Application

• ساخت GUI (رابط کاربری اپلیکیشن) Building The GUI (Application Interface)

• اجرای Spider از طریق اپلیکیشن Running the Spider From the Application