آموزش اسکریپینگ وب با پایتون: BeautifulSoup، Requests و Selenium - آخرین آپدیت

سرفصل ها و درس ها

Web Scraping Course Overview

• مرور کلی دوره وب اسکرپینگ Web Scraping Course Overview

مرور پایتون: ساختارهای داده (اختیاری) Python Refresher: Data Structures (Optional)

• لیست‌ها Lists

• دیکشنری‌ها Dictionaries

• تاپل‌ها Tuples

• لیست کامپرهنشن‌ها - بخش ۱ List Comprehensions - Part 1

• لیست کامپرهنشن‌ها - بخش ۲ List Comprehensions - Part 2

• دستور if-else درون خطی و لیست کامپرهنشن‌ها Inline - if else and List Comprehensions

• نصب xlrd و XlsxWriter برای خواندن/نوشتن در فایل‌های اکسل Installing xlrd and XlsxWriter​ to Read/Write to Excel Files

• نوشتن در فایل‌های اکسل Wrting to Excel Files

• خواندن از فایل‌های اکسل Reading from Excel Files

• ویرایشگر پایتون و نرم‌افزارهای دیگر Python Editor & Other Software

• تمرین ۱: شما: متخصص وب اسکرپینگ Exercise #1: YOU: Web Scraping Expert

سرورها چگونه کار می‌کنند How Servers Work

• وب‌سایت‌ها چگونه میزبانی می‌شوند How Websites are Hosted

• مرور HTML HTML Revision

تمرین گرم‌کننده BeautifulSoup BeautifulSoup Warm-up Exercise

• تمرین حل شده BeautifulSoup BeautifulSoup Solved Exercise

• اسکرپر ساده Simple Scraper

نصب پکیج‌های پایتون مورد نیاز Installing Required Python Packages

• نصب پکیج‌های پایتون مورد نیاز Installing Required Python Packages

مقدمه‌ای بر کتابخانه Requests پایتون Introduction to Requests Python Library

• متد Get در Requests Requests Get Method

• یوزر ایجنت User Agent

• نصب پکیج fake_useragent Installing fake_useragent Package

مقدمه‌ای بر کتابخانه Beautiful Soup پایتون Introduction to Beautiful Soup Python Library

• وب اسکرپینگ با Beautiful Soup - مرور کلی Web Scraping with Beautiful Soup - Overview

• وب اسکرپینگ با Beautiful Soup - مرور کلی بخش ۲ Web Scraping with Beautiful Soup - Overview P.2

• دسترسی به تگ‌ها Accessing Tags

• رشته‌های قابل پیمایش (Navigable Strings) Navigable Strings

پیمایش با Beautiful Soup - به سمت پایین Navigating with Beautiful Soup - Going Down

• پیمایش از طریق نام تگ‌ها Navigating through Tag Names

• متدهای Contents و Children Contents and Children Methods

• متد Descendants Descendants Method

پیمایش با Beautiful Soup - به سمت بالا Navigating with Beautiful Soup - Going Up

• متد Parent Parent Method

• متد Parents Parents Method

پیمایش با Beautiful Soup - به سمت پهلو Navigating with Beautiful Soup - Going Sideways

• next_sibling next_sibling

• previous_sibling previous_sibling

• next_siblings و previous_siblings next_siblings & previous_siblings

عبارات باقاعده با پایتون Regular Expressions with Python

• مرور کلی متاکاراکترها Metacharacters Overview

• تابع Compile و کلاس کاراکتر Compile Function and Character Class

• دنباله‌های خاص Special Sequences

• تکرار کردن با * Repeating Things

• تکرار کردن با + + Repeating Things

• تکرار کردن با ? و {m,n} ? and {m,n} Repeating Things

• متاکاراکترها بخش ۲ Metacharacters part2

جستجو در درخت تجزیه با استفاده از Beautiful Soup Searching the Parse Tree Using Beautiful Soup

• مقدمه‌ای بر جستجو با BeautifulSoup Introduction to Searching with BeautifulSoup

• تابع find_all find_all Function

• پارامترهای بیشتر برای find_all find_all More Parameters

• تابع find find Function

• اسکرپر Craigslist - سطح ۱ Craigslist Scraper - Level 1

پروژه ۱: اسکرپینگ وب‌سایت CustomerReports Project 1: Scraping CustomerReports Website

• وب اسکرپینگ CustomerReports - بخش ۱ Web Scraping CustomerReports - part 1

• وب اسکرپینگ CustomerReports - بخش ۲ Web Scraping CustomerReports - part 2

پروژه ۲: وب اسکرپینگ وب‌سایت CodingBat با Beautiful Soup Project 2: Web Scraping CodingBat Website with Beautiful Soup

• توضیحات پروژه ۲ Project 2 Description

• وب اسکرپینگ CodingBat - بخش ۱ Web Scraping CodingBat - part 1

• وب اسکرپینگ CodingBat - بخش ۲ Web Scraping CodingBat - part 2

• وب اسکرپینگ CodingBat - بخش ۳ Web Scraping CodingBat - part 3

استفاده از Selenium برای مدیریت صفحات وب مبتنی بر AJAX و جاوا اسکریپت Using Selenium to Handle AJAX & JavaScript Driven Web Pages

• مقدمه‌ای بر JavaScript، AJAX و Selenium JavaScript, AJAX and Selenium intro

• نصب Selenium Installing Selenium

• نصب ChromeDriver Installing ChromeDriver

• مقدمه‌ای بر Selenium Introduction to Selenium

• جستجوی عناصر و وارد کردن داده Searching Elements and Inputting Data

• کلیک کردن روی عناصر Clicking Elements

• مقدمه‌ای بر XPath XPath Introduction

• مثال‌های XPath XPath Examples

پروژه ۳: وب اسکرپینگ حساب اینستاگرام شما Project 3: Web Scraping Your Instagram Account

• توضیحات پروژه ۳ Project 3 Description

• ورود به اینستاگرام Logging in to Instagram

• تب تنظیمات! Settings Tab!

• باز کردن پروفایل هدف (جدید) Opening Target Profile (NEW)

• اسکرول به پایین نسخه ۱ (جدید) Scrolling Down v.1 (NEW)

• اسکرول به پایین نسخه ۲ (جدید) Scrolling Down v.2 (NEW)

• مدیریت خطا (جدید) Exception Handling (NEW)

• ایجاد پوشه (جدید) Making Folders (NEW)

• دانلود تصاویر نسخه ۱ (جدید) Downloading Images v.1 (NEW)

• دانلود تصاویر نسخه ۲ (جدید) Downloading Images v.2 (NEW)

• دانلود کپشن‌ها (جدید) Downloading Captions (NEW)

• نوشتن کپشن‌ها در فایل اکسل (جدید) Writing Captions to Excel File (NEW)

• کد نهایی اینستاگرام - به‌روزرسانی شده: ۲۰۲۰-۰۶-۲۲ Instagram Final Code - Updated: 2018-06-22

بهترین روش‌های وب اسکرپینگ Web Scraping Best Practices

• بهترین روش‌های وب اسکرپینگ Web Scraping Best Practices

پاداش: استخراج داده با API ها Bonus: Data Extraction with APIs

• استخراج داده با API ها (آموزش رایگان) Data Extraction with APIs (Free Tutorial)

پاداش: Scrapy: فریم‌ورک قدرتمند وب اسکرپینگ و خزش در پایتون Bonus: Scrapy: Powerful Web Scraping and Crawling Framework in Python

• کوپن برای دوره "Scrapy: وب اسکرپینگ قدرتمند و خزش با پایتون" Coupon for "Scrapy: Powerful Web Scraping & Crawling with Python" Course