آموزش Web Scraping و اصول API در پایتون

سرفصل ها و درس ها

معرفی دوره Introduction to the course

• دوره شامل چه مواردی می شود؟ What does the course cover?

• Web Scraping چیست؟ What is Web Scraping?

• Web Scraping چیست؟ What is Web Scraping?

• اخلاق خراشیدن Ethics of Scraping

• اخلاق خراشیدن Ethics of Scraping

• دانلود تمامی منابع Download All Resources

راه اندازی محیط Setting up the environment

• راه اندازی محیط - لطفا از دست ندهید! Setting up the environment - Do not skip, please!

• چرا پایتون و چرا ژوپیتر؟ Why Python and why Jupyter?

• نصب آناکوندا Installing Anaconda

• داشبورد Jupyter - قسمت 1 Jupyter Dashboard - Part 1

• داشبورد Jupyter - قسمت 2 Jupyter Dashboard - Part 2

• نصب پکیج ها Installing the packages

کار با API ها Working with APIs

• نمای کلی API API overview

• نمای کلی API API overview

• درخواست های HTTP: درخواست های GET و POST HTTP requests: GET and POST requests

• درخواست های HTTP: درخواست های GET و POST HTTP requests: GET and POST requests

• JSON: فرمت تبادل داده ترجیحی برای APIها JSON: preferred data exchange format for APIs

• JSON: فرمت تبادل داده ترجیحی برای APIها JSON: preferred data exchange format for APIs

• API نرخ ارز: دریافت پاسخ JSON Exchange rates API: GETting a JSON reply

• API نرخ ارز: دریافت پاسخ JSON Exchange rates API: GETting a JSON reply

• گنجاندن پارامترها در یک درخواست GET Incorporating parameters in a GET request

• گنجاندن پارامترها در یک درخواست GET Incorporating parameters in a GET request

• عملکردهای API اضافی Additional API functionalities

• عملکردهای API اضافی Additional API functionalities

• ایجاد یک مبدل ارز ساده Creating a simple currency converter

• iTunes API iTunes API

• iTunes API iTunes API

• iTunes API: ورزش iTunes API: Exercise

• iTunes API: ساختار و صادرات داده ها iTunes API: Structuring and exporting the data

• iTunes API: ساختار و صادرات داده ها iTunes API: Structuring and exporting the data

• API ها: ورزش APIs: Exercise

• GitHub API: صفحه بندی GitHub API: Pagination

• GitHub API: صفحه بندی GitHub API: Pagination

• EDAMAM API: راه اندازی و ثبت اولیه EDAMAM API: Initial setup and registration

• EDAMAM API: راه اندازی و ثبت اولیه EDAMAM API: Initial setup and registration

• EDAMAM API: ارسال درخواست POST EDAMAM API: Sending a POST request

• EDAMAM API: ارسال درخواست POST EDAMAM API: Sending a POST request

• دانلود فایل های درخواستی Downloading files with requests

نمای کلی HTML HTML overview

• HTML چیست؟ What is HTML?

• HTML چیست؟ What is HTML?

• ساختار HTML Structure of HTML

• ساختار HTML Structure of HTML

• نحو HTML. برچسب ها Syntax of HTML. Tags

• نحو HTML. برچسب ها Syntax of HTML. Tags

• ویژگی های برچسب Tag attributes

• ویژگی های برچسب Tag attributes

• برچسب های محبوب Popular tags

• برچسب های محبوب Popular tags

• CSS و جاوا اسکریپت CSS and JavaScript

• CSS و جاوا اسکریپت CSS and JavaScript

• رمزگذاری کاراکتر Character encoding

• رمزگذاری کاراکتر Character encoding

• XHTML و سبک کد XHTML and code style

• XHTML و سبک کد XHTML and code style

خراش دادن وب با سوپ زیبا Web Scraping with Beautiful Soup

• آشنایی با بسته بندی سوپ زیبا Introduction to the Beautiful Soup package

• گردش کار Web Scraping Workflow of Web Scraping

• گردش کار Web Scraping Workflow of Web Scraping

• راه اندازی اولین اسکراپر خود Setting up your first scraper

• جستجو و پیمایش درخت HTML Searching and navigating the HTML tree

• جستجو و پیمایش درخت HTML Searching and navigating the HTML tree

• جستجوی درخت HTML بر اساس ویژگی ها Searching the HTML tree by attributes

• جستجوی درخت HTML بر اساس ویژگی ها Searching the HTML tree by attributes

• استخراج داده ها از درخت HTML Extracting data from the HTML tree

• استخراج متن از یک تگ HTML Extracting text from an HTML tag

• استخراج متن از یک تگ HTML Extracting text from an HTML tag

• مثال عملی: برخورد با پیوندها Practical example: dealing with links

• مثال عملی: ورزش کنید Practical example: Exercise

• استخراج داده ها از تگ های HTML تو در تو Extracting data from nested HTML tags

• خراش دادن چندین صفحه به صورت خودکار Scraping multiple pages automatically

پروژه عملی: خراشیدن گوجه فرنگی پوسیده Practical project: Scraping Rotten Tomatoes

• راه اندازی اسکراپر خود Setting up your scraper

• استخراج عنوان و سال هر فیلم Extracting the title and year of each movie

• استخراج امتیاز هر فیلم: تمرین Extracting the score of each movie: Exercise

• استخراج بقیه اطلاعات Extracting the rest of the information

• برخورد با بازیگران فیلم ها Dealing with the cast of the movies

• استخراج بقیه اطلاعات: ورزش Extracting the rest of the information: Exercise

• ذخیره و صادرات داده ها به شکل ساختار یافته Storing and exporting the data in a structured form

خراش دادن جداول HTML Scraping HTML tables

• خراش دادن جداول HTML با کمک پانداها Scraping HTML tables with the help of Pandas

پروژه های عملی Practical projects

• خراش دادن بخار Scraping Steam

• خراش دادن یوتیوب Scraping YouTube

موانع رایج در هنگام تراشیدن Common roadblocks when scraping

• موانع متداول هنگام Web Scraping. Common roadblocks when Web Scraping.

• موانع متداول هنگام Web Scraping Common roadblocks when Web Scraping

بسته درخواست ها-html The requests-html package

• مقدمه ای بر پکیج requests-html Introduction to the requests-html package

• بررسی قابلیت‌های requests-html برای Web Scraping Exploring the capabilities of requests-html for Web Scraping

• جستجوی متن Searching for text

• انتخابگرهای CSS CSS selectors

• انتخابگرهای CSS CSS selectors

• خراش دادن جاوا اسکریپت Scraping JavaScript

• Scraping JavaScript: تمرین Scraping JavaScript: Exercise

• تکمیل 100% Completing 100%