آموزش خراش دادن وب در Python BeautifulSoup، Selenium & Scrapy 2023

سرفصل ها و درس ها

معرفی Introduction

• بهترین کتابخانه اسکرپینگ وب چیست؟ BS4 در مقابل سلنیوم در مقابل اسکرپی What is the best web scraping library? BS4 vs Selenium vs Scrapy

• قبل از شروع این مطلب را بخوانید Read This Before You Start

• نصب Python و PyCharm Installing Python and PyCharm

• مبانی پایتون برای اسکراپینگ وب Python Basics for Web Scraping

• برگه تقلب Web Scraping برای دوره (آن را از دست ندهید) Web Scraping Cheat Sheet for The Course (Don't skip it)

• HTML برای Web Scraping: برچسب ها و عناصر HTML for Web Scraping: Tags and Elements

• HTML برای Web Scraping: ساختار درختی HTML for Web Scraping: Tree Structure

آشنایی با سوپ زیبا Introduction to Beautiful Soup

• نمای کلی بخش Section Overview

• نصب سوپ زیبا Installing Beautiful Soup

• اصول اولیه سوپ زیبا Beautiful Soup Basics

• نحوه دریافت HTML از یک وب سایت How To Get The HTML from a Website

• چگونه یک صفحه را خراش دهیم How to Scrape a Single Page

• صادرات داده به یک فایل TXT Exporting Data to a TXT File

خراش دادن چندین صفحه با سوپ زیبا Scraping Multiple Pages with Beautiful Soup

• نمای کلی بخش Section Overview

• خراش دادن چندین پیوند در همان صفحه Scraping Multiple Links within The Same Page

• صفحه بندی Pagination

XPath XPath

• نکته مهم (از دست ندهید) Important Note (Don't skip it)

• سینتکس XPath، توابع و اپراتورها XPath Syntax, Functions and Operators

• XPath خود را تست کنید Test Your XPath

• کاراکترهای خاص و نحو Special Characters and Syntax

مقدمه ای بر سلنیوم Introduction to Selenium

• نمای کلی بخش (+ نکته مهم) Section Overview (+ Important Note)

• نحوه شناسایی وب سایت های مبتنی بر اسکریپت جاوا How to Identify Java Script Driven Websites

• نصب سلنیوم و کروم درایور Installing Selenium and ChromeDriver

• واردات کتابخانه ها و ایجاد درایور Importing Libraries and Creating The Driver

• نحوه یافتن عناصر با سلنیوم (تئوری) How to Find Elements with Selenium (Theory)

• با کلیک بر روی یک دکمه Clicking on a Button

• استخراج داده ها از یک جدول Extracting Data from a Table

• صادرات داده به فایل CSV با پانداها Exporting Data to a CSV File with Pandas

• انتخاب عناصر در یک کشویی Selecting Elements within a Dropdown

پروژه شماره 1: برخورد با صفحات متعدد با استفاده از سلنیوم (ربات صوتی آمازون) Project #1: Dealing with Multiple Pages using Selenium (Amazon Audible Bot)

• نکته مهم (به روز رسانی) Important Note (Update)

• ساخت ربات Building the bot

• حالت بدون سر Headless Mode

• مدیریت صفحه بندی Handling Pagination

• انتظارات ضمنی در مقابل انتظارهای صریح Implicit vs Explicit Waits

پروژه شماره 2: اسکرول و ورود بی نهایت (ربات توییتر) Project #2: Infinite Scrolling & Login (Twitter Bot)

• یادداشت مهم Important Note

• نحوه ورود به وب سایت ها How to Login to Websites

• ساخت یک تابع Building a Function

• اسکرول بی نهایت Infinite Scrolling

• خراش دادن وب سایت با اسکرول بی نهایت Scraping the Website with Infinite Scrolling

مقدمه ای بر اسکرپی Introduction to Scrapy

• نمای کلی بخش Section Overview

• نصب اسکراپی Scrapy Installation

• راه اندازی Scrapy با Pycharm Setting up Scrapy with Pycharm

• توجه: نحوه نمایش پوشه های مخفی در مک Note: How to Show Hidden Folders on Mac

• دستورات اسکرپی Scrapy's Commands

• ایجاد اولین پروژه و عنکبوت ما Creating our First Project and Spider

• الگوهای Scrapy و نحوه یافتن عناصر با Scrapy Scrapy Templates & How to Find Elements with Scrapy

• فرمان پوسته Scrapy's Shell Scrapy's Shell Command

• ساختن یک عنکبوت Building a Spider

• دریافت لینک های فهرست شده در یک وب سایت Getting links listed in a website

• پیوندهای نسبی در مقابل مطلق Relative vs Absolute Links

• خراش دادن داده ها از چندین پیوند Scraping Data from Multiple Links

برخورد با چندین صفحه با استفاده از Scrapy Dealing with Multiple Pages using Scrapy

• ساخت عنکبوت Building The Spider

• صفحه بندی Pagination

• تغییر User-Agent Changing User-Agent

پروژه شماره 3: ساخت خزنده با Scrapy Project #3: Building Crawlers with Scrapy

• خزنده - قوانین Crawler - Rules

• خزنده - صفحه بندی Crawler - Pagination

• خزنده - تغییر عامل کاربر Crawler - Changing User-Agent

صادرات داده به پایگاه داده: MongoDB و SQLite Exporting Data to a Database: MongoDB and SQLite

• خطوط لوله Pipelines

• MongoDB MongoDB

• SQLite3 SQLite3

Scraping API ها و ورود به وب سایت با Scrapy Scraping APIs & Login to website with Scrapy

• Scraping APIs - Building the Spider Scraping APIs - Building the Spider

• Scraping APIs - مقابله با صفحه بندی Scraping APIs - Dealing with Pagination

• ورود به وب سایت - ساخت عنکبوت Login to website - Building the Spider

مبانی اسپلش Splash Basics

• نمای کلی بخش Section Overview

• راه اندازی Splash با Docker Setting up Splash with Docker

• مقدمه ای بر Splash Introduction to Splash

• چگونه عناصر را با Splash پیدا کنیم How to Find Elements with Splash

پروژه شماره 4: خراش دادن وب سایت های جاوا اسکریپت با استفاده از Scrapy/Splash Project #4: Scraping JavaScript websites using Scrapy/Splash

• ساخت اسکریپت در Splash Building the Script in Splash

• استفاده از Splash با Scrapy Using Splash with Scrapy

• تجزیه Parsing

• تغییر User-Agent Changing User-Agent

چگونه با استفاده از Web Scraping کسب درآمد کنیم How to Make Money Using Web Scraping

• نمای کلی بخش Section Overview

• چگونه در 2 سال گذشته از مهارت های اسکراپینگ وب خود درآمد کسب کردم How I Monetized My Web Scraping Skills Over The Past 2 Years

• شروع به کار - قسمت 1 Getting Started - Part 1

• شروع - قسمت 2 Getting Started - Part 2

ChatGPT برای Web Scraping ChatGPT for Web Scraping

• نمای کلی بخش Section Overview

• خراش دادن وب با ChatGPT - قسمت 1 Web Scraping with ChatGPT - Part 1

• خراش دادن وب با ChatGPT - قسمت 2 Web Scraping with ChatGPT - Part 2

• تبریک می گویم! Congratulations!

امتیاز: Python برای Data Science Bootcamp 2022: From Zero to Hero Bonus: Python for Data Science Bootcamp 2022: From Zero to Hero

• نمای کلی بخش (+ برگه تقلب جدید) Section Overview (+New Cheat Sheet)

• بررسی اجمالی مجموعه داده و ساخت جدول محوری Dataset Overview and Making Pivot Table

• طرح خطی Lineplot

• بارپلات Barplot

• نمودار دایره ای Piechart

• نمودار جعبه Boxplot

• هیستوگرام Histogram

• طرح پراکنده Scatterplot

• Save Plot and Export Pivot Table Save Plot and Export Pivot Table

• تجسم تعاملی با پانداها Interactive Visualization with Pandas