آموزش خراش دادن وب مدرن با پایتون با استفاده از سلنیوم Scrapy Splash

سرفصل ها و درس ها

معرفی Introduction

• مقدمه ای بر Web Scraping & Scrapy Intro to Web Scraping & Scrapy

• راه اندازی Scrapy the Development Environment (به روز شده) Setting up Scrapy the Development Environment (Updated)

• افزودن VSCODE به مسیر (کاربران مک) Add VSCODE to path (Mac users)

• Udemy 101 (لطفاً از دست ندهید*) Udemy 101 (Please don't skip*)

• سوال پرسیدن Asking questions

اصول اسکرپی Scrapy Fundamentals

• اصول اسکرپی قسمت 1 Scrapy fundamentals PART 1

• اصول اسکرپی قسمت 2 Scrapy fundamentals PART 2

• اصول اسکرپی قسمت 3 Scrapy fundamentals PART 3

• اصول اسکرپی قسمت 4 Scrapy fundamentals PART 4

• اصول اسکرپی قسمت 5 Scrapy fundamentals PART 5

عبارات XPath و انتخابگرهای CSS XPath expressions & CSS Selectors

• فایل های قابل دانلود Downloadable files

• انتخابگرهای XPath و CSS XPath & CSS Selectors

• اصول انتخابگرهای CSS CSS Selectors fundamentals

• انتخابگرهای CSS در تئوری CSS selectors in theory

• اصول XPath XPath fundamentals

• پیمایش با استفاده از XPath (Going UP) Navigating using XPath(Going UP)

• پیمایش با استفاده از XPath (Going DOWN) Navigating using XPath(Going DOWN)

• XPath در تئوری XPath in theory

پروژه 1 عنکبوت از A تا Z Project 1 Spiders from A to Z

• ورلدومترها قسمت 1 Worldometers PART 1

• ورلدومترها قسمت 2 Worldometers PART 2

• ورلدومترها قسمت 3 Worldometers PART 3

• ورلدومترها قسمت 4 Worldometers PART 4

• کد منبع پروژه Project source code

• ورزش Exercise

ساخت مجموعه داده ها Building Datasets

• مجموعه تاریخ های ساخت Bulding datesets

پروژه 2 برخورد با صفحات متعدد Project 2 Dealing with Multiple pages

• آدرس وب سایت (لطفاً نادیده نگیرید) Website URL (Please do not skip)

• راه اندازی پروژه Setting up the project

• راه اندازی پروژه - به روز رسانی کد - Setting up the project - Code update -

• ساختن عنکبوت Building the spider

• برخورد با صفحه بندی Dealing with pagination

• جعل هدر درخواست Spoofing request headers

• کد منبع پروژه TinyDeal TinyDeal project source code

• تمرین 2 Exercise 2

اشکال زدایی عنکبوت ها Debugging spiders

• اشکال زدایی چیست؟ What is debugging?

• اشکال زدایی عنکبوت ها قسمت 1 Debugging spiders PART 1

• اشکال زدایی عنکبوت ها قسمت 2 Debugging spiders PART 2

بیایید کمی استراحت کنیم! Let's take a break !

• "چرا" و "وقتی" خراش دادن وب The "whys" & "whens" of web scraping

• چالش های خراش دادن وب Web scraping challenges

پروژه 3 با استفاده از Scrapy خزنده بسازید Project 3 Build Crawlers using Scrapy

• به روز رسانی آدرس وب سایت Website URL update

• ساختار عنکبوت خزنده Crawl spider structure

• شی قانون The Rule object

• دنبال کردن لینک ها در صفحه بندی Following links in pagination

• جعل هدر درخواست Spoofing request headers

• کد منبع پروژه Project source code

• ورزش Exercise

دوره سقوط اسپلش Splash crash course

• چلپ چلوپ معضلی برای حل آمد What dilemma splash came to solve

• راه اندازی Splash (ویندوز پرو/نسخه Entreprise و Mac Os) Setting up Splash (Windows Pro/Entreprise edition & Mac Os)

• راه اندازی Splash (ویندوز نسخه خانگی) Setting up Splash(Windows Home Edition)

• راه اندازی Splash (لینوکس) Setting up Splash (Linux)

• مقدمه ای بر Splash Introduction to Splash

• کار با عناصر Working with elements

• جعل هدر درخواست Spoofing request headers

پروژه 4 خراش دادن وب سایت های جاوا اسکریپت با استفاده از Splash Project 4 Scraping JavaScript websites using Splash

• به روز رسانی آدرس وب سایت Website URL update

• پخش حالت ناشناس Splash incognito mode

• استفاده از Splash با Scrapy Using Splash with Scrapy

• تجزیه (MARKUP بد HTML) Parsing (BAD HTML MARKUP)

• کد منبع پروژه Project source code

• ورزش Exercise

پروژه 5 خراش دادن وب سایت های جاوا اسکریپت با استفاده از سلنیوم Project 5 Scraping JavaScript websites using Selenium

• اصول اولیه سلنیوم Selenium basics

• ElementNotInteractable Exception ElementNotInteractable Exception

• سلنیوم با اسکرپی Selenium with Scrapy

• Selenium Middleware قسمت 1 (جدید) Selenium Middleware PART 1 (NEW)

• Selenium Middleware قسمت 2 (جدید) Selenium Middleware PART 2 (NEW)

• کد منبع پروژه Project source code

کار با خطوط لوله Working with Pipelines

• خطوط لوله Pipelines

• ذخیره سازی داده ها در MongoDB Storing data in MongoDB

• ذخیره سازی داده ها در SQLite3 Storing data in SQLite3

• کد منبع پروژه Project source code

Scraping API (جدید) Scraping APIs (NEW)

• Scraping APIs قسمت 1 Scraping APIs PART 1

• Scraping APIs PART 2 Scraping APIs PART 2

• Scraping APIs قسمت 3 Scraping APIs PART 3

• Scraping APIs قسمت 4 Scraping APIs PART 4

• Scraping APIs قسمت 5 Scraping APIs PART 5

• کد منبع پروژه Project source code

ورود به وب سایت ها (جدید) Log in to websites (NEW)

• وارد وب سایت ها شوید قسمت 1 Log in to websites PART 1

• وارد وب سایت ها شوید قسمت 2 Log in to websites PART 2

• ورود به وب سایت ها قسمت 3 (جاوا اسکریپت مورد نیاز است) Log in to websites PART 3 (JavaScript required)

• کد منبع پروژه Project source code

Project 6 Bypass Cloudflare Project 6 Bypass Cloudflare

• به روز رسانی آدرس وب سایت Website URL update

• دور زدن Cloudflare قسمت 1 Bypass Cloudflare PART 1

• دور زدن Cloudflare PART 2 Bypass Cloudflare PART 2

• کد منبع پروژه Project source code

ضمیمه (محتوای SCRAPY قدیمی 1.5) APPENDIX (OLDER SCRAPY 1.5 CONTENT)

• *مهم* *IMPORTANT*

• از ممنوع التصویر شدن خودداری کنید PART 1 Avoid getting banned PART 1

• از ممنوع شدن قسمت 2 خودداری کنید Avoid getting banned PART 2

• از ممنوع التصویر شدن خودداری کنید قسمت 3 Avoid getting banned PART 3

• Scraping APIs قسمت 1 Scraping APIs PART 1

• Scraping APIs PART 2 Scraping APIs PART 2

• Scraping APIs قسمت 3 Scraping APIs PART 3

• Scraping APIs قسمت 4 Scraping APIs PART 4

• XHR پنهان Hidden XHR

• Scraping APIs قسمت 5 Scraping APIs PART 5

• یادداشت مهم IMPORTANT NOTE

• Scraping APIs قسمت 6 Scraping APIs PART 6

• استدلال عنکبوت Spider Arguments

• Scraping APIs قسمت 7 Scraping APIs PART 7

• *مهم* *IMPORTANT*

• روش دیگری برای خراش دادن صفحه جزئیات رستوران Airbnb Another way to scrape Airbnb restaurant detail page

• استقرار عنکبوت ها قسمت 1 Deploying spiders PART 1

• استقرار عنکبوت ها قسمت 2 Deploying spiders PART 2

• استقرار عنکبوت ها قسمت 3 Deploying spiders PART 3

• استقرار عنکبوت ها قسمت 4 Deploying spiders PART 4

• عنکبوت ها را به صورت دوره ای اعدام کنید Execute spiders periodically

• Splash را در Heroku مستقر کنید Deploy Splash to Heroku

• *مهم* *IMPORTANT*

• کد منبع پروژه Project source code

• کد منبع پروژه Project source code

• چالش برای کسانی که اهل ماجراجویی هستند Challenge for those who are adventurous

• با استفاده از FormRequest وارد وبسایت ها شوید Login to websites using FormRequest

• درخواست پست XML Http XML Http Post Requests

• کد منبع پروژه Project source code

• کد به روز رسانی داده های مکرر XHR (تخصیص) Code UPDATE XHR repeated data (Assignment)

• خطوط لوله رسانه Media Pipelines

• خط لوله تصاویر The Images Pipeline

• گسترش خط لوله تصاویر (ذخیره تصاویر با نام های سفارشی) Extending The Images Pipeline (Store images with custom names)

• *مهم* *IMPORTANT*

• خط لوله فایل ها (مقاله) Files Pipeline (Article)

• چالش (Files Pipeline) Challenge (Files Pipeline)

• کد منبع پروژه Project source code

• استفاده از Crawlera با Scrapy Using Crawlera with Scrapy

• استفاده از Crawlera با Splash Using Crawlera with Splash

• استفاده از Heroku به عنوان یک پروکسی (رایگان) Using Heroku as a Proxy (FREE)

• استفاده از پروکسی های رایگان با CrawlSpider Using FREE Proxies with the CrawlSpider

• *مهم* *IMPORTANT*

• چالش Challenge

• کد منبع پروژه Project source code

جایزه BONUS

• خط لوله فایل ها Files Pipeline

• سخنرانی پاداش Bonus Lecture