آموزش Web Scraping 101 با Python3 با استفاده از REQUESTS، LXML و SPLASH

سرفصل ها و درس ها

شروع شدن Getting Started

• معرفی دوره Course Introduction

• ابزارهای Web Scraping Web Scraping tools

• ایجاد محیط توسعه Setting up the development environnement

• Udemy 101 (اختیاری) Udemy 101 (OPTIONAL)

• چگونه سوال بپرسیم (لطفا از دست ندهید) How to Ask questions (Please don't skip)

اصول اصلی LXML LXML core fundamentals

• اطلاعات بخش Section Info

• شی ElementTree ElementTree object

• شی عنصر Element object

• مقدمه ای بر LXML با XPath Introduction to LXML with XPath

• معرفی LXML با انتخابگرهای CSS Introduction to LXML with CSS Selectors

• منبع کد سخنرانی به سخنرانی Code source lecture by lecture

انتخابگرهای XPath و CSS XPath & CSS Selectors

• اطلاعات بخش Section Info

• XPath و CSS چیست؟ What is XPath & CSS

• اصول انتخابگرهای CSS CSS Selectors fundamentals

• انتخابگرهای CSS در تئوری CSS selectors in theory

• اصول XPath XPath fundamentals

• پیمایش با استفاده از XPath (Going UP) Navigating using XPath(Going UP)

• پیمایش با استفاده از XPath (Going DOWN) Navigating using XPath(Going DOWN)

• XPath در تئوری XPath in theory

درخواست های HTTP با پایتون HTTP Requests with Python

• اطلاعات بخش Section Info

• وب چگونه کار می کند How the web works

• درخواست های پایتون Python Requests

• هدرهای درخواست/پاسخ Request/Response headers

• امتحان Quiz

پروژه 1: ساده و تمیز Project 1: Simple & Clean

• اطلاعات بخش Section Info

• مکان یابی داده ها Locating the data

• ساخت Scraper Building the Scraper

• پاک کردن داده ها Cleaning the data

• نوشتن داده ها در فایل های JSON/CSV Writing data to JSON/CSV files

• تبدیل آن به یک برنامه خط فرمان Turning it into a command line app

• کد منبع پروژه 1 Project 1 source code

• محصولات پرطرفدار ebay Ebay trending products

پروژه 2: بازگشت Project 2: Recursion

• اطلاعات بخش Section Info

• خلاص شدن از شر جاوا اسکریپت غیر ضروری Getting rid of unnecessary JavaScript

• خراش دادن داده ها Scraping Data

• خراش دادن چندین صفحه (بازگشت) Scraping multiple pages (Recursion)

• ذخیره داده ها در ابر MongoDb Storing the data in MongoDb cloud

• 6-5 از ذخیره سوابق مشابه و به روز رسانی سوابق جلوگیری کنید 6-5 Prevent storing same records and updating records

• به روز رسانی CoinMarketCap CoinMarketCap update

• کد منبع پروژه 2 Project 2 source code

• بهترین فیلم های IMDB IMDB top movies

پروژه 3: API ها Project 3: APIs

• اطلاعات بخش Section Info

• API/HTML چه تفاوتی دارد؟ API/HTML What's the difference ?

• تولید کد با استفاده از Postman Generating code using Postman

• تجزیه APIها Parsing APIs

• چالش بازگشت Recursion challenge

• راه حل چالش (خراش APIها به صورت بازگشتی) Challenge solution (Scraping APIs recursively)

• درج داده ها در پایگاه داده SQLite3 Inserting data into SQLite3 database

• کد منبع پروژه 3 Project 3 source code

دوره سقوط اسپلش Splash crash course

• اطلاعات بخش Section Info

• اسپلش چیست؟ What is Splash ?

• راه اندازی Splash Setting up Splash

• مقدمه ای برای اسپلش Intro to Splash

• عناصر را انتخاب کنید، ورودی ها را پر کنید و روی دکمه ها کلیک کنید Selecting Elements, filling Inputs and clicking on Buttons

• سربرگ‌های درخواست و پاسخ Splash Request & Response headers

• منبع بسیار مفید (سؤالات متداول SPLASH) Very useful resource (SPLASH FAQ)

• پرواز آگاه Flight Aware

پروژه 4: خراش دادن وب سایت های جاوا اسکریپت با استفاده از Splash، Requests و LXML Project 4: Scraping JavaScript websites using Splash, Requests and LXML

• اطلاعات بخش Section Info

• حالت خصوصی و کوکی ها را پخش کنید Splash private mode and cookies

• یادداشت سریع (حالت خصوصی اسپلش) Quick note (Splash private mode)

• استفاده از Splash با درخواست Using Splash with Requests

• تجزیه پاسخ Parsing the Response

• کد منبع پروژه 4 Project 4 source code

• Scraping FlightAware با استفاده از Splash & Requests Scraping FlightAware using Splash & Requests

پروژه 5: احراز هویت/ورود Project 5: Authentication/Login

• اطلاعات بخش Section Info

• احراز هویت مرورگر Browser authentication

• درخواست احراز هویت Requests authentication

• HTML را تجزیه و تمیز کنید Parse and clean HTML

• کد منبع پروژه 5 Project 5 source code

جایزه BONUS

• سخنرانی پاداش Bonus lecture