آموزش Python Data Science with Pandas: Master 12 Projects Advanced

سرفصل ها و درس ها

شروع شدن Getting Started

• نمای کلی دوره (از دست ندهید!) Course Overview (don´t skip!)

• نکات: چگونه از این دوره بیشترین بهره را ببرید (از آن صرف نظر نکنید!) Tips: How to get the most out of this Course (don´t skip!)

• سوالات متداول/سوالات شما پاسخ داده شد FAQ / Your Questions answered

• نحوه دانلود و نصب Anaconda برای کدنویسی پایتون How to download and install Anaconda for Python coding

• نوت بوک های Jupyter - بیایید شروع کنیم Jupyter Notebooks - let´s get started

• نحوه کار با نوت بوک های Jupyter How to work with Jupyter Notebooks

پروژه 1: تجزیه و تحلیل داده های توضیحی و ارائه داده ها (مجموعه داده های فیلم) Project 1: Explanatory Data Analysis & Data Presentation (Movies Dataset)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 1) Downloads (Project 1)

• خلاصه پروژه برای خود کدنویسان Project Brief for Self-Coders

• وارد کردن داده ها از فایل csv و اولین بازرسی Data Import from csv file and first Inspection

• بهترین و بدترین فیلم ها... (قسمت اول) The best and the worst movies... (Part 1)

• بهترین و بدترین فیلم ها... (قسمت دوم) The best and the worst movies... (Part 2)

• دوست دارید کدام فیلم بعدی را ببینید؟ Which Movie would you like to see next?

• رایج ترین کلمات در عناوین، برچسب ها و مرورهای فیلم کدامند؟ What are the most common Words in Movie Titles, Taglines and Overviews?

• آیا فرانشیزها موفق ترند؟ Are Franchises more successful?

• موفق ترین فرنچایزها کدامند؟ What are the most successful Franchises?

• موفق ترین کارگردانان The most successful Directors

• موفق ترین بازیگران (قسمت اول) The most successful Actors (Part 1)

• موفق ترین بازیگران (قسمت دوم) The most successful Actors (Part 2)

• حالا نوبت شماست (تکالیف) Now it´s your turn (Homework)

پروژه 2: وارد کردن داده - کار با API و JSON (مجموعه داده فیلم ها) Project 2: Data Import - Working with APIs and JSON (Movies Dataset)

• بررسی اجمالی پروژه Project Overview

• JSON چیست؟ What is JSON?

• دانلودها (پروژه 2) Downloads (Project 2)

• خلاصه پروژه برای خود کدنویسان Project Brief for Self-Coders

• وارد کردن داده ها از فایل های JSON Importing Data from JSON files

• JSON و جهت‌گیری/فرمت‌ها JSON and Orientation/Formats

• API چیست؟ - API پایگاه داده فیلم What is an API? - The Movie Database API

• کار با API و JSON (قسمت 1) Working with APIs and JSON (Part 1)

• چگونه با API-KEY خود کار کنید How to work with your own API-KEY

• کار با API و JSON (قسمت 2) Working with APIs and JSON (Part 2)

• وارد کردن و ذخیره مجموعه داده فیلم ها (بهترین روش) Importing and Storing the Movies Dataset (Best Practice)

• وارد کردن و ذخیره مجموعه داده فیلم ها (سناریوی دنیای واقعی) Importing and Storing the Movies Dataset (Real World Scenario)

پروژه 3: پاکسازی داده ها - مجموعه داده های نامرتب را مرتب کنید (مجموعه داده فیلم ها) Project 3: Data Cleaning - Tidy up messy Datasets (Movies Dataset)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 3) Downloads (Project 3)

• خلاصه پروژه برای خود کدنویسان Project Brief for Self-Coders

• مراحل اول First Steps

• رها کردن ستون های نامربوط Dropping irrelevant Columns

• نحوه مدیریت ستون های JSON رشته ای (قسمت 1) How to handle stringified JSON columns (Part 1)

• نحوه مدیریت ستون های JSON رشته ای (قسمت 2) How to handle stringified JSON columns (Part 2)

• نحوه صاف کردن ستون های تو در تو How to flatten nested Columns

• نحوه تمیز کردن ستون های عددی (قسمت 1) How to clean Numerical Columns (Part 1)

• نحوه تمیز کردن ستون های عددی (قسمت 2) How to clean Numerical Columns (Part 2)

• نحوه تمیز کردن ستون ها با اطلاعات DateTime How to clean Columns with DateTime Information

• نحوه تمیز کردن ستون های رشته/متن How to clean String / Text Columns

• نحوه حذف موارد تکراری How to remove Duplicates

• رسیدگی به مقادیر گمشده و حذف مشاهدات/ردیف ها Handling Missing Values & Removing Obervations/Rows

• مراحل پایانی Final Steps

پروژه 4: ادغام، تمیز کردن و تبدیل داده ها (مجموعه داده فیلم ها) Project 4: Merging, Cleaning & Transforming Data (Movies Dataset)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 4) Downloads (Project 4)

• خلاصه پروژه برای خود کدنویسان Project Brief for Self-Coders

• دریافت مجموعه داده ها Getting the Datasets

• آماده سازی داده ها برای ادغام Preparing the Data for Merge

• ادغام داده ها (پیوستن به چپ) Merging the Data (Left Join)

• تمیز کردن و تبدیل ستون جدید "Cast". Cleaning and Transforming the new "Cast" Column

• تمیز کردن و تبدیل ستون جدید "خدمه". Cleaning and Transforming the new "Crew" Column

• مراحل پایانی Final Steps

پروژه 5: کار با پانداها و پایگاه های داده SQL (مجموعه داده فیلم ها) Project 5: Working with Pandas and SQL Databases (Movies Dataset)

• بررسی اجمالی پروژه Project Overview

• پایگاه داده/SQL چیست؟ What is a Database / SQL?

• دانلودها (پروژه 5) Downloads (Project 5)

• خلاصه پروژه برای خود کدنویسان Project Brief for Self-Coders

• نحوه ایجاد پایگاه داده SQLite How to create an SQLite Database

• نحوه بارگذاری داده ها از DataFrames در پایگاه داده SQLite How to load Data from DataFrames into an SQLite Database

• نحوه بارگذاری داده ها از پایگاه های داده SQLite در DataFrames How to load Data from SQLite Databases into DataFrames

• چند پرس و جو ساده SQL Some simple SQL Queries

• برخی از پرس و جوهای SQL دیگر Some more SQL Queries

• به کوئری ها بپیوندید Join Queries

• مطالعه موردی نهایی Final Case Study

پروژه 6: وارد کردن و الحاق بسیاری از فایل ها (مجموعه داده نام های نوزاد) Project 6: Importing & Concatenating many files (Baby Names Dataset)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 6) Downloads (Project 6)

• خلاصه پروژه برای خود کدنویسان (قسمت 1) Project Brief for Self-Coders (Part 1)

• دریافت داده ها از وب Getting the Data from the Web

• وارد کردن یک فایل و درک ساختار داده (مورد آسان) Importing one File & Understanding the Data Structure (easy case)

• وارد کردن و ادغام بسیاری از فایل ها (مورد آسان) Importing & merging many Files (easy case)

• مراحل پایانی Final Steps

• خلاصه پروژه برای خود کدنویسان (قسمت 2) Project Brief for Self-Coders (Part 2)

• وارد کردن یک فایل و درک ساختار داده (مورد پیچیده) Importing one File & Understanding the Data Structure (complex case)

• ماژول glob The glob module

• وارد کردن و ادغام بسیاری از فایل ها (مورد پیچیده) Importing & merging many Files (complex case)

• Excursus: Saving Memory - ویژگی های دسته بندی Excursus: Saving Memory - Categorical Features

پروژه 7: تجزیه و تحلیل داده های توضیحی و تجسم پیشرفته (نام نوزادان) Project 7: Explanatory Data Analysis & Advanced Visualization (Baby Names)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 7) Downloads (Project 7)

• خلاصه پروژه برای خود کدنویسان Project Brief for Self-Coders

• اولین بازرسی: محبوب ترین نام ها در سال 2018 First Inspection: The most popular Names in 2018

• نام های همیشه سبز (1880 - 2018) Evergreen Names (1880 - 2018)

• تجمیع داده های پیشرفته Advanced Data Aggregation

• محبوب ترین نام های تمام دوران ها کدامند؟ What are the most popular Names of all Times?

• روندهای عمومی در طول زمان (1880 - 2018) General Trends over Time (1880 - 2018)

• ایجاد ویژگی های "محبوبیت" و "رتبه" Creating the Features "Popularity" and "Rank"

• تجسم روند نام در طول زمان Visualizing Name Trends over Time

• چرا محبوبیت یک نام ناگهان تغییر می کند؟ (قسمت 1) Why does a Name´s Popularity suddenly change? (Part 1)

• چرا محبوبیت یک نام ناگهان تغییر می کند؟ (قسمت 2) Why does a Name´s Popularity suddenly change? (Part 2)

• نام‌های Persistant در مقابل Spike-Fade Persistant vs. Spike-Fade Names

• محبوب ترین نام های یونیسکس Most Popular Unisex Names

پروژه 8: پیش پردازش داده و مهندسی ویژگی برای یادگیری ماشین Project 8: Data Preprocessing & Feature Engineering for Machine Learning

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 8) Downloads (Project 8)

• خلاصه پروژه برای خود کدنویسان Project Brief for Self-Coders

• واردات داده و بازرسی اول Data Import and first Inspection

• پاکسازی داده ها و ایجاد ویژگی های اضافی Data Cleaning and Creating additional Features

• چه عواملی بر قیمت خانه تاثیر می گذارد؟ Which Factors influence House Prices?

• تجزیه و تحلیل داده های توضیحی پیشرفته با Seaborn Advanced Explanatory Data Analyis with Seaborn

• مهندسی ویژگی - قسمت 1 Feature Engineering - Part 1

• مهندسی ویژگی - قسمت 2 Feature Engineering - Part 2

• تقسیم داده ها به مجموعه قطار و تست Splitting the Data into Train and Test Set

• آموزش مدل ML (جنگل تصادفی) Training the ML Model (Random Forest)

• ارزیابی مدل در مجموعه تست Evaluating the Model on the Test Set

• اهمیت ویژگی Feature Importance

پروژه 9: واردات داده - خراش دادن وب، APIها و Wrappers (سهام ایالات متحده) Project 9: Data Import - Web Scraping, APIs & Wrappers (US Stocks)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 9) Downloads (Project 9)

• Web Scraping - اجزای تشکیل دهنده داو جونز Web Scraping - the Dow Jones Constituents

• عادی سازی رشته های یونیکد و دریافت نمادهای Ticker Normalizing Unicode Strings and Getting the Ticker Symbols

• دانلود و نصب بسته API Wrapper Download and Installation of an API Wrapper Package

• بارگیری و ذخیره قیمت سهام تاریخی Loading and Saving Historical Stock Prices

پروژه 10 (پشته مالی): استراتژی های سرمایه گذاری بک تست (سهام ایالات متحده) Project 10 (Finance Stack): Backtesting Investment Strategies (US Stocks)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 10) Downloads (Project 10)

• وارد کردن داده ها Importing the Data

• تجسم و بازگشت داده ها Data Visualization & Returns

• بک تست یک استراتژی مومنتوم ساده Backtesting a simple Momentum Strategy

• بک تست یک استراتژی ساده متضاد Backtesting a simple Contrarian Strategy

• استراتژی‌های پیچیده‌تر و بک‌آزمایی در مقابل برازش More complex Strategies & Backtesting vs. Fitting

• میانگین متحرک ساده (SMA) Simple Moving Averages (SMA)

• بک تست کردن استراتژی های میانگین متحرک ساده (SMA). Backtesting Simple Moving Averages (SMA) Strategies

• بک تست استراتژی کامل (...در صورتی که بتوانید آینده را پیش بینی کنید...) Backtesting the Perfect Strategy (...in case you can predict the future...)

پروژه 11 (پشته مالی): ردیابی شاخص و آزمایش پیش رو (سهام ایالات متحده) Project 11 (Finance Stack): Index Tracking and Forward Testing (US Stocks)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 11) Downloads (Project 11)

• وارد کردن و ادغام داده ها Importing & Merging the Data

• تبدیل داده ها Transforming the Data

• تجزیه و تحلیل داده های توضیحی (ریسک، بازده و همبستگی) Explanatory Data Analysis (Risk, Return & Correlations)

• ردیابی شاخص - مقدمه Index Tracking - Introduction

• ردیابی شاخص - انتخاب سهام ردیابی Index Tracking - Selecting the Tracking Stocks

• ردیابی شاخص - نمونه کارها ردیابی ساده Index Tracking - A simple Tracking Portfolio

• ردیابی شاخص - نمونه کارها ردیابی بهینه Index Tracking - The optimal Tracking Portfolio

• تست پیش رو (قسمت 1) Forward Testing (Part 1)

• تست پیش رو (قسمت 2) Forward Testing (Part 2)

پروژه 12: تجزیه و تحلیل داده های توضیحی و تجسم دریایی (بازی های المپیک) Project 12: Explanatory Data Analysis and Seaborn Visualization (Olympic Games)

• بررسی اجمالی پروژه Project Overview

• دانلودها (پروژه 12) Downloads (Project 12)

• خلاصه پروژه برای خود کدنویسان Project Brief for Self-Coders

• واردات داده و بازرسی اول Data Import and first Inspection

• ادغام و الحاق Merging and Concatenating

• پاکسازی داده ها (قسمت 1) Data Cleaning (Part 1)

• پاکسازی داده ها (قسمت 2) Data Cleaning (Part 2)

• موفق ترین کشورهای تمام دوران کدامند؟ What are the most successful countries of all times?

• آیا تولید ناخالص داخلی، جمعیت و سیاست مهم هستند؟ Do GDP, Population and Politics matter?

• تجزیه و تحلیل آماری و آزمون فرضیه ها با scipy Statistical Analysis and Hypothesis Testing with scipy

• تجمیع و رتبه بندی Aggregating and Ranking

• بازی‌های تابستانی در مقابل بازی‌های زمستانی - آیا موقعیت جغرافیایی اهمیت دارد؟ Summer Games vs. Winter Games - does Geographical Location matter?

• مردان در مقابل زنان - آیا فرهنگ و مذهب اهمیت دارد؟ Men vs. Women - do Culture & Religion matter?

• آیا سنت ها اهمیت دارند؟ Do Traditions matter?

پروژه اضافی: خود را برای آینده آماده کنید - Pandas نسخه 1.0 Extra Project: Prepare yourself for the Future - Pandas Version 1.0

• مقدمه و نمای کلی Intro and Overview

• نحوه آپدیت پانداها به نسخه 1.0 How to update Pandas to Version 1.0

• دانلود برای این بخش Downloads for this Section

• خلاصه مهم: گزینه های نمایش پانداها (تغییر در نسخه 0.25) Important Recap: Pandas Display Options (Changed in Version 0.25)

• روش Info() - خروجی جدید و توسعه یافته Info() method - new and extended output

• dtypes جدید پسوند (dtypes "nullable"): چرا به آنها نیاز داریم؟ NEW Extension dtypes ("nullable" dtypes): Why do we need them?

• ایجاد پسوند جدید dtypes با convert_dtypes() Creating the NEW extension dtypes with convert_dtypes()

• مقدار جدید pd.NA برای مقادیر از دست رفته NEW pd.NA value for missing values

• جدید "nullable" Int64Dtype The NEW "nullable" Int64Dtype

• StringDtype جدید The NEW StringDtype

• جدید "nullable" BooleanDtype The NEW "nullable" BooleanDtype

• اضافه کردن پارامتر ignore_index Addition of the ignore_index parameter

• حذف نسخه قبلی Removal of prior Version Deprecations

ضمیمه: دوره سقوط پانداها Appendix: Pandas Crash Course

• مقدمه ای بر داده های جدولی/پانداها Intro to Tabular Data / Pandas

• دانلود برای این بخش Downloads for this Section

• اولین Pandas DataFrame خود را ایجاد کنید (از csv) Create your very first Pandas DataFrame (from csv)

• گزینه های نمایش پانداها و متدهای head() & tail() Pandas Display Options and the methods head() & tail()

• اولین بازرسی داده ها First Data Inspection

• توابع، ویژگی ها و روش های داخلی با پانداها Built-in Functions, Attributes and Methods with Pandas

• انتخاب ستون ها Selecting Columns

• انتخاب یک ستون با علامت نقطه Selecting one Column with the "dot notation"

• نمایه سازی مبتنی بر صفر و نمایه سازی منفی Zero-based Indexing and Negative Indexing

• انتخاب ردیف‌ها با iloc (نمایه‌گذاری مبتنی بر موقعیت) Selecting Rows with iloc (position-based indexing)

• برش سطرها و ستون ها با iloc (نمایه گذاری مبتنی بر موقعیت) Slicing Rows and Columns with iloc (position-based indexing)

• برگه های تقلب نمایه سازی مبتنی بر موقعیت Position-based Indexing Cheat Sheets

• انتخاب ردیف‌هایی با loc (نمایه‌گذاری مبتنی بر برچسب) Selecting Rows with loc (label-based indexing)

• برش سطرها و ستون ها با loc (نمایه گذاری مبتنی بر برچسب) Slicing Rows and Columns with loc (label-based indexing)

• برگه های تقلب نمایه سازی مبتنی بر برچسب Label-based Indexing Cheat Sheets

• قدم های اول با سری پانداها First Steps with Pandas Series

• تجزیه و تحلیل سری های عددی با ()()unnique و value_counts() Analyzing Numerical Series with unique(), nunique() and value_counts()

• تجزیه و تحلیل سری های غیر عددی با ()، nunique()، value_counts() Analyzing non-numerical Series with unique(), nunique(), value_counts()

• مرتب سازی سری ها و مقدمه ای بر پارامتر - inplace Sorting of Series and Introduction to the inplace - parameter

• فیلتر کردن DataFrame با یک شرط Filtering DataFrames by one Condition

• فیلتر کردن DataFrame بر اساس بسیاری از شرایط (AND) Filtering DataFrames by many Conditions (AND)

• فیلتر کردن DataFrame بر اساس بسیاری از شرایط (OR) Filtering DataFrames by many Conditions (OR)

• ایجاد ستون ها بر اساس ستون های دیگر Creating Columns based on other Columns

• توابع تعریف شده توسط کاربر با application()، map() و applicationmap() User-defined Functions with apply(), map() and applymap()

• تجسم داده ها با Matplotlib Data Visualization with Matplotlib

• GroupBy - مقدمه GroupBy - an Introduction

• درک شی GroupBy Understanding the GroupBy Object

• تقسیم با کلیدهای زیادی Splitting with many Keys

• split-apply-combine توضیح داده شد split-apply-combine explained

• split-apply-combine اعمال شد split-apply-combine applied

• داده ها با اطلاعات DateTime - قسمت 1 Data with DateTime Information - Part 1

• داده ها با اطلاعات DateTime - قسمت 2 Data with DateTime Information - Part 2

• داده ها با اطلاعات DateTime - قسمت 3 Data with DateTime Information - Part 3

• داده ها با اطلاعات DateTime - قسمت 4 Data with DateTime Information - Part 4

بعد چی؟ (چشم انداز و منابع اضافی) What´s next? (outlook and additional resources)

• سخنرانی پاداش Bonus Lecture