استخراج داده و داده کاوی از مبتدی تا حرفه ای با پایتون [ویدئو]

سرفصل ها و درس ها

معرفی Introduction

• چرا Data Scraping Why Data Scraping

• کاربردهای Scraping داده ها Applications of Data Scraping

• معرفی مربی Introduction of Instructor

• مقدمه ای بر دوره، تراشیدن، ابزار Introduction to Course, Scraping, Tools

• بررسی اجمالی پروژه ها Projects Overview

درخواست ها Requests

• مقدمه ای بر درخواست های پایتون Introduction to Python Requests

• با درخواست ها ادامه دهید Hand on with Requests

• استخراج نقل قول به صورت دستی Extracting Quotes Manually

• آزمون (استخراج نویسندگان) Quiz (Extracting Authors)

• راه حل (استخراج نویسندگان) Solution (Extracting Authors)

• صفحه بندی Pagination

• مسابقه (استخراج نویسنده و نقل قول) Quiz ( Extracting Author and Quotes)

• راه حل 01 (استخراج نویسنده و نقل قول) Solution 01 (Extracting Author and Quotes)

• راه حل 02 (استخراج نویسنده و نقل قول) Solution 02 (Extracting Author and Quotes)

• درخواست های آژاکس Ajax Requests

• درخواست آژاکس برای اطلاعات کریکت Ajax Requests for Cricket Information

• Ajax صفحه بندی را درخواست می کند Ajax Requests Pagination

• مسابقه (استخراج آمار برتر از اطلاعات کریکت) Quiz (Extracting Top Stats from Cricket info)

• راه حل 01 (استخراج آمار برتر از اطلاعات کریکت) Solution 01 (Extracting Top Stats from Cricket Information)

• راه حل 02 (استخراج آمار برتر از اطلاعات کریکت) Solution 02 (Extracting Top Stats from Cricket Information)

صابون زیبا 4 (BS4) Beautiful Soap 4 (BS4)

• مقدمه ای بر BS4 Introduction to BS4

• آزمون (تفاوت بین درخواست ها و BS4) Quiz (Difference Between Requests and BS4)

• راه حل (تفاوت بین درخواست ها و BS4) Solution (Difference Between Requests and BS4)

• دستی با BS4 Hands-On with BS4

• استخراج داده از درخت Extracting Data from Tree

• استخراج نقل قول از وب سایت Extracting Quotes from the Website

• امتحان (استخراج نام نویسندگان) Quiz (Extracting Author Names)

• راه حل (استخراج نام نویسنده) Solution (Extracting Author Names)

• ویژگی های برچسب ها در BS4 Attributes of Tags in BS4

• ویژگی های چند ارزشی برچسب ها در BS4 Multi-Valued Attributes of Tags in BS4

• خراش دادن نام فیلم از IMDB Scraping Movie Names from IMDB

• آزمون (دریافت رتبه بندی، سال، نام فیلم) Quiz (Getting the Ratings, Year, Name of the Movie)

• راه حل 01 (دریافت رتبه بندی، سال، نام فیلم) Solution 01 (Getting the Ratings, Year, Name of the Movie)

• راه حل 02 (دریافت رتبه بندی، سال، نام فیلم) Solution 02(Getting the Ratings, Year, Name of the Movie)

• زمان، ژانر و تاریخ انتشار از IMDB 01 Scraping Time, Genre, and Release Date from IMDB 01

• زمان، ژانر، و تاریخ انتشار از IMDB 02 حذف می شود Scraping Time, Genre, and Release Date from IMDB 02

• ترکیب دو درخواست داده برای IMDB Combining Two Requests Data for IMDB

• سیستم توصیه کننده فیلم (ایجاد URL فیلم) Movies Recommender System (Creating Movie URL)

• سیستم توصیه کننده فیلم (ایجاد URL کارگردان) Movies Recommender System (Creating Director URL)

• سیستم توصیه کننده فیلم با استفاده از BS4 (دریافت 4 فیلم برتر) Movies Recommender System using BS4 (Getting Top 4 Movies)

• سیستم توصیه‌کننده فیلم با استفاده از BS4 (ادغام همه درخواست‌ها با هم) Movies Recommender System using BS4 (Merge All Requests Together)

انتخابگرهای CSS CSS Selectors

• مقدمه ای بر انتخابگرهای CSS Introduction to CSS Selectors

• انتخابگرهای CSS دستی (برچسب ها) CSS Selectors Hands-On (Tags)

• امتحان (برچسب ها) Quiz (Tags)

• راه حل (برچسب ها) Solution (Tags)

• انتخابگرهای CSS عملی (فرزندان، شناسه، کلاس) CSS Selectors Hands-On (Descendants, ID, Class)

• آزمون (نوادگان) Quiz (Descendants)

• راه حل (فرزندان) Solution (Descendants)

• آزمون (ID) Quiz (ID)

• راه حل (ID) Solution (ID)

• آزمون (کلاس) Quiz (Class)

• راه حل (کلاس) Solution (Class)

• انتخابگرهای CSS (برچسب‌های تودرتو، برچسب‌های شناسه، برچسب‌های کلاس) CSS Selectors Hands-On (Nested Tags, ID Tags, Class Tags)

• آزمون (کلاس با برچسب) Quiz (Class with Tag)

• راه حل (کلاس با برچسب) Solution (Class with Tag)

• انتخابگرهای CSS عملی (جداکننده کما، انتخابگرهای جهانی CSS Selectors Hands-on(Coma Separator, Universal Selectors

• مسابقه (ترکیب دو انتخابگر) Quiz (Combining Two Selectors)

• راه حل (ترکیب دو انتخابگر) Solution (Combining Two Selectors)

• انتخابگرهای CSS عملی (نشان‌گذاری‌های خواهر و برادر و فرزند مستقیم) CSS Selectors Hands-On (Sibling Notations and Direct Child)

• امتحان (خواهر و برادر مجاور) Quiz (Adjacent Sibling)

• راه حل (خواهر و برادر مجاور) Solution (Adjacent Sibling)

• مسابقه (خواهر و برادر عمومی) Quiz (General Sibling)

• راه حل (خواهر و برادر عمومی) Solution (General Sibling)

• انتخابگرهای CSS Hands-On (انتخاب کنندگان کودک) CSS Selectors Hands-On (Child Selectors)

• آزمون (فرزند اول) Quiz (First Child)

• راه حل (فرزند اول) Solution (First Child)

• آزمون (تک فرزند) Quiz (Only Child)

• راه حل (تک فرزند) Solution (Only Child)

• امتحان (آخرین فرزند) Quiz (Last Child)

• راه حل (آخرین فرزند) Solution (Last Child)

• انتخاب‌کنندگان CSS عملی (نفی‌ها، ویژگی‌ها) CSS Selectors Hands-On (Negations, Attributes)

• امتحان (نفی) Quiz (Negation)

• راه حل (نفی) Solution (Negation)

• انتخابگرهای CSS عملی (ویژگی ها، مقادیر مشخصه ها) CSS Selectors Hands-On (Attributes, Attribute Values)

• آزمون (مقادیر ویژگی) Quiz (Attribute Values)

• راه حل (مقادیر ویژگی) Solution (Attribute Values)

• انتخابگرهای CSS به صورت دستی (مقادیر کارت های وحشی را مشخص می کند) CSS Selectors Hands-On (Attributes Wild Cards Values)

• مسابقه (ویژگیهای وایلد کارت) Quiz (Attributes Wild Card)

• راه حل (کارت وحشی ویژگی ها) Solution (Attributes Wild Card)

خراشیده Scrapy

• مقدمه ای بر اسکرپی Introduction to Scrapy

• مقایسه Scrapy و Requests Comparison of Scrapy and Requests

• اسناد Scrapy at a Glance Scrapy at a Glance Documentation

• شروع کار با Scrapy Getting Started with Scrapy

• مستندات در حال اجرا Spider 1 Running Documentation Spider 1

• مستندات در حال اجرا Spider 2 Running Documentation Spider 2

• نوشتن عنکبوت از ابتدا Writing Spider from the Scratch

• درک پاسخ (URL، وضعیت) Understanding the Response (URL, Status)

• درک پاسخ (سرصفحه ها) Understanding the Response (Headers)

• درک پاسخ (مقادیر در سرصفحه) Understanding the Response (Values in Headers)

• درک پاسخ (بدن) Understanding the Response (Body)

• درک پاسخ (درخواست) Understanding the Response (Request)

• درک پاسخ (متا) Understanding the Response (Meta)

• درک پاسخ (پرچم ها، گواهی، آدرس ip، کپی) Understanding the Response (Flags, Certificate, ip_address, Copy)

• درک پاسخ (replace، urljoin، follow، follow_all) Understanding the Response (replace, urljoin, follow, follow_all)

• Response CSS و Scrapy Shell Response CSS and Scrapy Shell

• استخراج نقل قول Extracting Quotes

• درک انتخابگرهای تودرتو Understanding Nested Selectors

• استخراج نویسنده و نقل قول ها Extracting the Author and Quotes

• در حال بررسی صفحه بعدی Checking for Next Page

• بررسی صفحه بعدی در Spider Checking for Next Page in Spider

• در حال بررسی آدرس صفحه بعدی Checking for Next Page URL

• خراش دادن نقل قول از صفحات بعدی Scraping Quotes from Next Pages

• صادرات داده های استخراج شده Exporting Extracted Data

• آزمون (دریافت برچسب ها) Quiz (Get the Tags)

• راه حل (دریافت برچسب ها) Solution (Get the Tags)

• وب سایت بعدی Next Website

• انتخابگرهای CSS برای نام‌ها و آدرس‌های اینترنتی فیلم CSS Selectors for Movie Names and URLs

• انتخابگرهای CSS ترکیبی برای نام‌ها و آدرس‌های اینترنتی فیلم Combined CSS Selectors for Movie Names and URLs

• ارسال درخواست به صفحه اطلاعات فیلم Send Request to the Film Information Page

• ادغام داده ها از دو پاسخ به تماس Merge Data from Two Callbacks

• استخراج مدت زمان و ژانرهای فیلم Extracting Movie Duration and Genres

• صادرات داده های استخراج شده Exporting the Extracted Data

• مسابقه (استخراج سال) Quiz (Extracting the Year)

• راه حل (استخراج سال) Solution (Extracting the Year)

• دریافت نام مدیر و URL Getting Director Name and URL

• دریافت چهار فیلم برتر کارگردانان Getting Top Four Movies of Directors

• استخراج داده ها Extracting Data

• استخراج ناهنجاری داده ها (انتخابگر CSS) Extracting Data Anomaly (CSS Selector)

• استخراج ناهنجاری داده ها (پرچم dont_filter) Extracting Data Anomaly (dont_filter Flag)

پروژه اسکرپی Scrapy Project

• وب سایت Hugoboss برای خراشیدن Hugoboss Website for Scraping

• درک ساختار سایت Understanding Site Structure

• نوشتن انتخابگرهای CSS برای لیست ها Writing CSS Selectors for Listings

• لیست ها در Scrapy Shell Listings in Scrapy Shell

• ارسال درخواست به URL های فهرست ها Sending Request to Listings URLs

• نوشتن CSS برای دریافت محصول از لیست ها Writing CSS for Getting the Product from the listings

• استخراج URL محصولات از لیست ها Extracting Products URL from the Listings

• ارسال درخواست به محصولات لیست Sending Requests to Products of the Listings

• نوشتن CSS برای دریافت اطلاعات محصول Writing CSS for Getting the Product Information

• گرفتن تصاویر بزرگتر از محصول Getting the Bigger Images of the Product

• اضافه کردن صفحه بندی به Spider و اجرای آن Adding Pagination to Spider and Running It

• خروجی عنکبوت Output of the Spider

سلنیوم Selenium

• مقدمه ای بر سلنیوم Introduction to Selenium

• شروع کار با سلنیوم Getting Started with Selenium

• پیکربندی Webdriver Configuring the Webdriver

• استخراج نقل قول Extracting Quotes

• استخراج نقل قول و نام نویسنده Extracting Quotes and Author Names

• مسابقه (استخراج نقل قول) Quiz (Extracting Quotes)

• راه حل (استخراج نقل قول) Solution (Extracting Quotes)

• با کلیک بر روی دکمه Clicking on Button

• صفحه بندی و استخراج داده ها Pagination and Extracting Data

• مدیریت استثنا برای عناصر غیرقابل دسترس Exception Handling for Unavailable Elements

• برای ورود به وب سایت پیمایش کنید Navigating the Website for Login

• آزمون (ورود به سیستم و استخراج نقل قول) Quiz (Log In and Extract Quote)

• راه حل (ورود به سیستم و استخراج قیمت) Solution (Log In and Extract Quote)

پروژه سلنیوم Project Selenium

• نمای کلی پروژه Overview of Project

• بستن دکمه کوکی Closing the Cookie Button

• تنظیم زبان برای ترجمه Setting the Language for Translation

• ارسال متن برای ترجمه Sending the Text for Translation

• دانلود ترجمه Downloading the Translation

• خواندن داده ها از فایل برای ترجمه Reading Data from File for Translation