آموزش خراش دادن وب پایتون کامل: پروژه های واقعی و ابزارهای مدرن

سرفصل ها و درس ها

مقدمه INTRODUCTION

• بخش مقدمه Section Introduction

• مواد درسی Course Material

• بررسی اینکه آیا وب سایت ثابت یا پویا است Checking If the Website is Static or Dynamic

• تصمیم گیری در مورد روش مورد استفاده Deciding on the Method to be Used

• خواندن و تجزیه و تحلیل کدهای HTML Reading and Analyzing HTML Code

• نصب پایتون و پایچارم (WINDOWS) Installing Python and Pycharm (WINDOWS)

• نصب Python و Pycharm (LINUX) Installing Python and Pycharm (LINUX)

• نصب پایتون و پایچارم (MACOS) Installing Python and Pycharm (MACOS)

• نصب Jupyter Notebook در ویندوز، لینوکس و MacOS (اختیاری) Installing Jupyter Notebook on Windows, Linux and MacOS (OPTIONAL)

• درباره مثال های زندگی واقعی ... About Real Life Examples...

• برنامه درسی دوره Course Syllabus

سوپ زیبا و درخواست 1 - اصول BEAUTIFUL SOUP and REQUESTS 1 - BASICS

• بخش مقدمه Section Introduction

• نصب کتابخانه ها و انجام اولین درخواست Installing Libraries and Making the First Request

• انتخاب کنندگان سوپ زیبا Selectors of Beuatiful Soup

• Scraping 1 Book's Data Scraping 1 Book's Data

• ساخت حلقه بیرونی و برخورد با صفحه بندی Constructing the Outer Loop and Dealing with Pagination

• ساختن حلقه داخلی و تراشیدن هر کتاب Constructing the Inner Loop and Scraping Every Book

• ذخیره داده ها و خلاصه پروژه Saving the Data and Summary of the Project

• دانلود تصاویر با درخواست Downloading Images with Requests

• استفاده از پروکسی با درخواست Using Proxies with Requests

• درباره احراز هویت پروکسی About Proxy Authentication

سوپ زیبا و درخواست 2 - تمرین 1 (نقل قول) BEAUTIFUL SOUP and REQUESTS 2 - EXERCISE 1 (QUOTES)

• بخش مقدمه Section Introduction

• تمرین 1 Exercise 1

• تمرین 1 - راه حل Exercise 1 - Solution

سوپ زیبا و درخواست 3 - مثال زندگی واقعی 1 (EBAY) BEAUTIFUL SOUP and REQUESTS 3 - REAL LIFE EXAMPLE 1 (EBAY)

• بخش مقدمه Section Introduction

• خراش دادن 1 داده لپ تاپ، استفاده از هدرهای کامل و کوکی ها Scraping 1 Laptop's Data, Usage of Full Headers and Cookies

• صفحه بندی Pagination

• ذخیره داده ها Saving the Data

سلنیوم 1 - اصول SELENIUM 1 - BASICS

• بخش مقدمه Section Introduction

• نصب سلنیوم و کروم درایور Installing Selenium and Chromedriver

• ایجاد درایور و باز کردن مرورگر Creating Driver and Opening Browser

• انتخابگرهای CSS CSS Selectors

• XPATH XPATH

• با سلنیوم وارد شوید Login with Selenium

• خراش دادن صفحه اول Scraping the First Page

• مرور از طریق صفحات Browsing Through Pages

• اسکرول بی نهایت Infinite Scroll

• منتظر می ماند Waits

• اقدامات Actions

سلنیوم 2 - تمرین 2 (نویسندگان) SELENIUM 2 - EXERCISE 2 (AUTHORS)

• بخش مقدمه Section Introduction

• تمرین 2 Exercise 2

• تمرین 2 - راه حل Exercise 2 - Solutions

سلنیوم 3 - مثال زندگی واقعی 2 (IMDB) SELENIUM 3 - REAL LIFE EXAMPLE 2 (IMDB)

• بخش مقدمه Section Introduction

• ایجاد درایور و باز کردن مرورگر Creating Driver and Opening Browser

• نکته مهم Important Note

• تنظیم برای ویدیوی بعدی (اتوماسیون) Adjustment to the Next Video (Automation)

• دسترسی به صفحه با اتوماسیون Reaching the Page with Automation

• پیمایش برای بارگیری همه موارد Scrolling to Load All Items

• خراش دادن داده ها Scraping the Data

سلنیوم 4 - تمرین 3 (مدیران IMDB) SELENIUM 4 - EXERCISE 3 (IMDB DIRECTORS)

• بخش مقدمه Section Introduction

• نکته مهم Important Note

• تمرین 3 Exercise 3

• نکته مهم Important Note

• تمرین 3 - راه حل Exercise 3 - Solutions

SCRAPY 1 - مبانی SCRAPY 1 - BASICS

• بخش مقدمه Section Introduction

• نصب Scrapy، ایجاد پروژه Scrapy و Spider Installing Scrapy, Creating Scrapy Project and Spider

• Scrapy Shell و Scrapy's Selectors Scrapy Shell and Scrapy's Selectors

• ساخت روش تجزیه Constructing Parse Method

• موارد Items

• روش ساخت کتابهای تجزیه Constructing Parse Books Method

• خطوط لوله Pipelines

• رها کردن اقلام با خطوط لوله Dropping Items with Pipelines

• ذخیره داده ها در اکسل با خطوط لوله Saving Data to Excel with Pipelines

• نکته ای در مورد SQLite Note about SQLite

• ذخیره داده ها در پایگاه داده SQLite با خطوط لوله Saving Data to SQLite Database with Pipelines

• میان افزارها Middlewares

• خزنده Crawler

SCRAPY 2 - تمرین 4 (نقل قول) SCRAPY 2 - EXERCISE 4 (QUOTES)

• بخش مقدمه Section Introduction

• تمرین 4 Exercise 4

• تمرین 4 - حلالها Exercise 4 - Soluitons

SCRAPY 3 - مثال 3 زندگی واقعی (Flying TIGER) SCRAPY 3 - REAL LIFE EXAMPLE 3 (FLYING TIGER)

• بخش مقدمه Section Introduction

• ایجاد پروژه و عنکبوت Creating Project and Spider

• خراش دادن داده ها Scraping the Data

• تنظیم در ویدیوی قبلی - فایل های گزارش و URL تصویر پیش فرض Adjustment on Previous Video - Log Files and Default Image URL

• خط لوله نویسنده جیسون Json Writer Pipeline

• دانلود تصاویر Downloading Images

SCRAPY 4 - مثال زندگی واقعی 4 (YELP) SCRAPY 4 - REAL LIFE EXAMPLE 4 (YELP)

• بخش مقدمه Section Introduction

• اضافه شدن به ویدیوی بعدی Addition to the Next Video

• خزنده زندگی واقعی Real Life Crawler

اسکراپی - نمایشنامه نویس SCRAPY - PLAYWRIGHT

• بخش مقدمه Section Introduction

• نصب Virtual Box و Ubuntu برای ویندوز Installing Virtual Box and Ubuntu for Windows

• نصب Scrapy - نمایشنامه نویس Installing Scrapy - Playwright

• افزودن ویژگی های نمایشنامه نویس به پروژه Scrapy Adding Playwright Features to Scrapy Project

• خراش دادن داده های پویا Scraping Dynamic Data

• صفحه نمایشنامه نویس Playwright Page

• کلیک کردن با نمایشنامه‌نویس Clicking with Playwright

• منتظر Selector و Wait for Timeout باشید Wait for Selector and Wait for Timeout

EXTRA - دوره مقدماتی سریع پایتون EXTRA - QUICK PYTHON FUNDAMENTALS COURSE

• بخش مقدمه Section Introduction

• مبانی پایتون: متغیرها، انواع داده ها و عملگرها Python Basics: Variables, Data Types and Operators

• ساختارهای داده Data Structures

• دستورات جریان کنترل (اگر، برای، در حالی که) Control Flow Statements (if, for, while)

• توابع Functions

• خطاها، ماژول ها-کتابخانه ها و عملیات فایل Errors, Modules-Libraries and File Operations

• رشته ها Strings

• پروژه کوچک - لیست کارهای انجام شده Mini Project - ToDo List

• OOP - مقدمه ای بر برنامه نویسی شی گرا OOP - Introduction to Object Oriented Programming

تبریک میگم CONGRATULATIONS

• پایان دوره End of the Course