آموزش اسکرپی: وب اسکرپینگ و خزش وب قدرتمند با پایتون - آخرین آپدیت

سرفصل ها و درس ها

Scrapy در مقابل سایر فریمورک‌های پایتون برای وب اسکرپینگ Scrapy vs. Other Python Web Scraping Frameworks

• Scrapy در مقابل Beautiful Soup در مقابل Selenium Scrapy vs. Beautiful Soup vs. Selenium

• نکات دوره (حتماً بخوانید) Course Tips (Must Read)

نصب Scrapy Scrapy Installation

• نصب Scrapy در لینوکس Linux Scrapy Installation

• نصب Scrapy در مک Mac Scrapy Installation

• نصب Scrapy در ویندوز Windows Scrapy Installation

• دستورالعمل‌های نصب Scrapy Scrapy Installation Instructions

• ویرایشگر پایتون: Sublime Text Python Editor: Sublime Text

ساخت اسپایدر پایه با Scrapy Building Basic Spider with Scrapy

• اسپایدر ساده Scrapy - بخش 1 Scrapy Simple Spider - Part 1

• اسپایدر ساده Scrapy - بخش 2 Scrapy Simple Spider - Part 2

• اسپایدر ساده Scrapy - بخش 3 Scrapy Simple Spider - Part 3

ساختار XPath XPath Syntax

• استفاده از XPath با Scrapy Using XPath with Scrapy

• ابزارهایی برای دریافت آسان XPath Tools to Easily Get XPath

پرسش و پاسخ Q&A

• مبانی Scrapy Scrapy Basics

• آیا تاکنون سؤالی دارید؟ Do you have questions so far?

• ساختار XPath XPath Syntax

ساخت اسپایدر پیشرفته‌تر با Scrapy Building More Advanced Spider with Scrapy

• اسپایدر پیشرفته Scrapy - بخش 1 Scrapy Advanced Spider - Part 1

• اسپایدر پیشرفته Scrapy - بخش 2 Scrapy Advanced Spider - Part 2

• اسپایدر پیشرفته Scrapy - بخش 3 Scrapy Advanced Spider - Part 3

• اسپایدر پیشرفته Scrapy - بخش 4 Scrapy Advanced Spider - Part 4

• معماری Scrapy Scrapy Architecture

بهترین روش‌های وب اسکرپینگ Web Scraping Best Practices

• از مسدود شدن جلوگیری کنید! Avoid Getting Banned!

استقرار و زمان‌بندی اسپایدر Scrapy در ScrapingHub Deploying & Scheduling Scrapy Spider on ScrapingHub

• ScrapingHub: استقرار و زمان‌بندی اسپایدرهای Scrapy (به‌روزرسانی شده) ScrapingHub: Deploying & Scheduling Scrapy Spiders (UPDATED)

ورود به وب‌سایت‌ها با استفاده از Scrapy Logging into Websites Using Scrapy

• ورود به وب‌سایت‌ها با استفاده از Scrapy Logging into Websites Using Scrapy

Scrapy به عنوان یک اسکریپت مستقل (به‌روزرسانی شده) Scrapy as a Standalone Script (UPDATED)

• Scrapy به عنوان یک اسکریپت مستقل (به‌روزرسانی شده) Scrapy as a Standalone Script (UPDATED)

ساخت خزنده وب با Scrapy Building Web Crawler with Scrapy

• ساخت خزنده وب با Scrapy Building Web Crawler with Scrapy

Scrapy با Selenium Scrapy with Selenium

• چرا/چه زمانی باید از Selenium استفاده کنیم Why/When We Should Use Selenium

• Selenium WebDriver + Scrapy Selector برای استخراج URLها Selenium WebDriver + Scrapy Selector to Extract URLs

• بارگذاری بعدی با Selenium برای استخراج داده (قابل استفاده حتی با صفحات JavaScript) Selenium Loading Next for Data Extraction (usable even with JavaScript pages)

• دریافت داده Getting Data

Scrapy با Splash - وب‌سایت‌های JavaScript Scrapy with Splash - JavaScript Websites

• پیش‌نیاز Splash: نصب داکر (جدید) Splash Prerequisite: Install Docker (NEW)

• نصب Splash (جدید) Splash Installation (NEW)

• نحوه استفاده از Splash با Scrapy (جدید) How to use Splash with Scrapy (NEW)

• پروژه پیشرفته Splash: اسکرپینگ Baierl.com بخش 1 (جدید) Splash Advanced Project: Scraping Baierl.com p.1 (NEW)

• پروژه پیشرفته Splash: اسکرپینگ Baierl.com بخش 2 (جدید) Splash Advanced Project: Scraping Baierl.com p.2 (NEW)

• پروژه پیشرفته Splash: اسکرپینگ Baierl.com بخش 3 (جدید) Splash Advanced Project: Scraping Baierl.com p.3 (NEW)

اسپایدر Scrapy - کتابفروشی Scrapy Spider - Bookstore

• دریافت URLها Grabbing URLs

• استخراج داده Data Extraction

اطلاعات بیشتر در مورد Scrapy More about Scrapy

• آرگومان‌های Scrapy Scrapy Arguments

• تابع بستن Scrapy Scrapy Close Function

• آیتم‌های Scrapy Scrapy Items

خروجی گرفتن به فایل‌ها Export Output to Files

• خروجی‌های فید Scrapy به CSV، JSON یا XML Scrapy Feed Exports to CSV, JSON, or XML

• خروجی گرفتن به اکسل Export Output to Excel

• دانلود تصاویر با Scrapy Pipelines Downloading Images with Scrapy Pipelines

• تغییر نام تصاویر با Scrapy Pipelines Renaming Images with Scrapy Pipelines

پروژه Scrapy شماره 1: اسکرپینگ مشاغل مهندسی Craigslist در نیویورک Scrapy Project #1: Scraping Craigslist Eng Jobs in NY

• اسکرپر Craigslist - نمای کلی Craigslist Scraper - Overview

• ساخت اسپایدر Scrapy Craigslist Creating Scrapy Craigslist Spider

• اسپایدر Scrapy Craigslist #1 – عناوین Craigslist Scrapy Spider #1 – Titles

• اسپایدر Scrapy Craigslist #2 – یک صفحه Craigslist Scrapy Spider #2 – One Page

• اسپایدر Scrapy Craigslist #3 – چند صفحه Craigslist Scrapy Spider #3 – Multiple Pages

• اسپایدر Scrapy Craigslist #4 – توضیحات شغل Craigslist Scrapy Spider #4 – Job Descriptions

• ویرایش settings.py در Scrapy (مثلاً محدود کردن، عامل کاربر و غیره) Editing Scrapy settings.py (e.g. throttling, user agent, etc.)

• آموزش نهایی Scrapy، کد اسپایدر Craigslist Final Scrapy Tutorial, Craigslist Spider Code

استخراج داده به پایگاه‌های داده - MySQL و MongoDB Extracting Data to Databases - MySQL & MongoDB

• نصب MySQL Installing MySQL

• نصب و استفاده از MySQL MySQL Installation and Usage

• نوشتن داده در MySQL Writing Data to MySQL

• نصب MongoDB Installing MongoDB

• نصب و استفاده از MongoDB MongoDB Installation and Usage

• نوشتن داده در MongoDB Writing Data to MongoDB

پروژه Scrapy شماره 2: وب اسکرپینگ Class-Central.com Scrapy Project #2: Web Scraping Class-Central.com

• اسکرپینگ Class-Central - بخش 1: موضوعات (به‌روزرسانی شده) Scraping Class-Central - Part 1: Subjects (UPDATED)

• اسکرپینگ Class-Central - بخش 2: دوره‌ها (به‌روزرسانی شده) Scraping Class-Central - Part 2: Courses (UPDATED)

مباحث پیشرفته Scrapy Scrapy Advanced Topics

• عامل کاربر Scrapy Scrapy User Agent

• اسکرپینگ جداول (به‌روزرسانی شده) Scraping Tables (UPDATED)

• اسکرپینگ صفحات JSON Scraping JSON Pages

• درخواست فرم Scrapy (به‌روزرسانی شده) Scrapy FormRequest (UPDATED)

• استفاده از چندین پراکسی با Crawlera (اختیاری) Using Multiple Proxies with Crawlera (Optional)

پروژه Scrapy شماره 3: وب اسکرپینگ وب‌سایت داینامیک eplanning.ie Scrapy Project #3: Web Scraping Dynamic Website eplanning.ie

• نمای کلی پروژه اسکرپینگ ePlanning ePlanning Scraping Project Overview

• ePlanning: استخراج URLهای اولیه ePlanning: Extracting Initial URLs

• ePlanning: خزیدن در صفحات داخلی ePlanning: Crawling Internal Pages

• ePlanning: درخواست‌های فرم Scrapy ePlanning: Scrapy Form Requests

• ePlanning: اسکرپینگ داده ePlanning: Scraping Data

• ePlanning: بررسی وجود داده ePlanning: Checking Data Existence

• ePlanning: اسکرپینگ داده از جدول ePlanning: Scraping Data from Table

پروژه شماره 4: اسکرپینگ قیمت کفش‌ها از درخواست API Project #4: Scraping Shoes' Prices from API Request

• اسکرپینگ قیمت محصولات از درخواست API بخش 1 (جدید) Scraping Product Prices from API Request p.1 (NEW)

• اسکرپینگ قیمت محصولات از درخواست API بخش 2 (جدید) Scraping Product Prices from API Request p.2 (NEW)

• اسکرپینگ قیمت محصولات از درخواست API بخش 3 (جدید) Scraping Product Prices from API Request p.3 (NEW)

پروژه شماره 5: وب اسکرپینگ LinkedIn.com (به‌روزرسانی شده) Project #5: Web Scraping LinkedIn.com (UPDATED)

• پروژه اسکرپینگ لینکدین: نمای کلی و الزامات (به‌روزرسانی شده) LinkedIn Scraping Project: Overview & Requirements (UPDATED)

• ورود به لینکدین (به‌روزرسانی شده) LinkedIn Logging in (UPDATED)

• یافتن پروفایل‌های لینکدین: بخش 1 (به‌روزرسانی شده) Finding LinkedIn Profiles: Part 1 (UPDATED)

• یافتن پروفایل‌های لینکدین: بخش 2 (به‌روزرسانی شده) Finding LinkedIn Profiles: Part 2 (UPDATED)

• اسکرپینگ نقاط داده از پروفایل‌های لینکدین: بخش 1 (به‌روزرسانی شده) Scraping Data Points from LinkedIn Profiles: Part 1 (UPDATED)

• اسکرپینگ نقاط داده از پروفایل‌های لینکدین: بخش 2 (به‌روزرسانی شده) Scraping Data Points from LinkedIn Profiles: Part 2 (UPDATED)

• اتصال به پروفایل‌های لینکدین (به‌روزرسانی شده) Connecting to LinkedIn Profiles (UPDATED)

تمرینات حل شده وب اسکرپینگ Solved Web Scraping Exercises

• تولید آیتم‌های داده از 2 تابع Yield Data Items from 2 Functions

• نحوه مرتب‌سازی داده‌های خروجی گرفته شده How to Order Exported Data

• توابع contains() و starts-with() در XPath Xpath contains() and starts-with() functions

پاداش: استخراج داده با APIها Bonus: Data Extraction with APIs

• استخراج داده با APIها (آموزش رایگان) Data Extraction with APIs (Free Tutorial)

پاداش: دوره وب اسکرپینگ با Beautiful Soup، Requests و Selenium Bonus: Web Scraping with Beautiful Soup, Requests & Selenium Course

• کوپن برای وب اسکرپینگ با Beautiful Soup، Requests و Selenium و سایر دوره‌ها Coupon for Web Scraping with Beautiful Soup, Requests & Selenium & Other Courses