اسکرپی رها شده: آموزش جامع وب اسکرپینگ و پایپ لاین داده با پایتون - آخرین آپدیت

سرفصل ها و درس ها

Introduction

• خوش آمدید Welcome

• چگونه بیشترین ارزش را از این کلاس ببریم؟ (لطفا رد نشوید) How to get the maximum value from this class? (please, don't skip)

• مقدمه Introduction

• نصب Scrapy Scrapy installation

اولین قدم های Xpath Xpath first steps

• مقدمه بخش Section introduction

• Xpath 101: انواع گره ها Xpath 101: node types

• Xpath 102: سینتکس پایه Xpath 102: basic syntax

• XPath 103: محورها (روابط گره) XPath 103: Axes (Node Relations)

• بازبینی مثال وب اسکرپینگ املاک و مستغلات ما Revisiting our real-estate web scraping example

سلام Scrapy Hello Scrapy

• مقدمه بخش Section Introduction

• وب بات چیست؟ آیا اخلاقی است؟ What is a web bot? Is it ethical?

• پوسته Scrapy The Scrapy Shell

• ایجاد اولین پروژه Scrapy خود Creating your first Scrapy project

• ایجاد اولین Scrapy spider خود Creating your first Scrapy spider

• رسیدگی به کوئری های ترکیبی با استفاده از متد getall() Handling combined queries using the getall() method

• پاکسازی داده ها با استفاده از Item Loaders Data cleansing using Item Loaders

• صفحه بندی و دنبال کردن لینک ها با استفاده از Crawl Spiders Pagination and link-following using Crawl Spiders

سناریوهای وب-اسکرپینگ Scrapy Scrapy web-scraping scenarios

• مقدمه بخش Section Introduction

• ورود به وب سایت ها Login to websites

• تغییر دادن user-agent Changing the user-agent

• رسیدگی به درخواست های AJAX 1 Handling AJAX requests 1

• رسیدگی به درخواست های AJAX 2 Handling AJAX requests 2

• رسیدگی به درخواست های AJAX 3 Handling AJAX requests 3

• ذخیره کردن پاسخ ها در حافظه پنهان Caching responses

• برداشت تصویر Image harvesting

• ذخیره تصاویر اسکرپ شده در FTP و AWS S3 Scraped images storage in FTP and AWS S3

تغییر شکل داده ها با استفاده از Scrapy Pipelines Data transformation using Scrapy Pipelines

• مقدمه بخش Section Introduction

• لطفا قبل از ادامه مطالعه کنید (مهم) Please read before you continue (IMPORTANT)

• مقدمه و پروژه نمونه (اسکرپینگ آگهی های طبقه بندی شده) Introduction and sample project (classifieds ads scraping)

• حذف آگهی ها با عناوین تکراری Removing ads with duplicate titles

• حذف آگهی ها بدون شماره تلفن Removing ads with no phone numbers

بارگذاری داده ها (ذخیره سازی) با استفاده از پایپلاین های Scrapy Data loading (storage) using Scrapy's pipelines

• مقدمه بخش Section Introduction

• ذخیره داده های اسکرپ شده در MongoDB Storing scraped data in MongoDB

• ذخیره داده های اسکرپ شده در MySQL Storing scraped data in MySQL

• استفاده از Vault برای ذخیره تنظیمات حساس Scrapy Using Vault to sore sensitive Scrapy settings

• ذخیره داده ها در AWS S3 bucket Storing data to AWS S3 bucket

• استفاده از Amazon Glue و Athena برای پرس و جو داده ها از S3 (درس اضافی) Using Amazon Glue and Athena to query the data from S3 (extra lecture)

Scrapy Middleware (یا چگونه از مسدود شدن جلوگیری کنیم) Scrapy Middleware (or how to avoid getting banned)

• مقدمه بخش Section Introduction

• پروژه مدل های تلفن و محدود کردن نرخ اسپایدر Phone-models project and spider rate-limiting

• چرخش middleware user-agent Rotating user-agents middleware

• چرخش middleware پراکسی ها Rotating proxies middleware

رسیدگی به وب سایت های JavaScript با استفاده از Splash Handling JavaScript websites using Splash

• مقدمه بخش Section Introduction

• Splash چیست؟ What is Splash?

• مقدمه ای بر Docker (اختیاری) Introduction to Docker (optional)

• تست درایو Splash Test-driving Splash

• ادغام Scrapy با Splash Integrating Scrapy with Splash

• رسیدگی به صفحات دارای اسکرول بی نهایت با استفاده از Splash Dealing with infinitely-scrolling pages using Splash

اتوماسیون مرورگر با استفاده از Selenium و Scrapy Browser automation using Selenium and Scrapy

• مقدمه بخش Section Introduction

• Selenium چیست؟ What is Selenium?

• بازبینی صفحات دارای اسکرول بی نهایت (medium.com) Revisiting infinitely-scrolling pages (medium.com)

• کلیک کردن دکمه ها (Yahoo Finance) Clicking buttons (Yahoo Finance)

استقرارهای Scrapyd Scrapyd deployments

• مقدمه ای بر Scrapyd و پروژه نمونه Introduction to Scrapyd and sample project

• استقرار Scrapyd بر روی ماشین محلی Scrapyd deployment on the local machine

• استقرار Scrapyd بر روی AWS Scrapyd deployment on AWS