تجزیه و تحلیل داده ها با پایتون و پاندا

سرفصل ها و درس ها

مقدمه Introduction

• معرفی پروژه دوره Introducing the course project

• ساختار و طرح کلی دوره Course structure and outline

• تعیین انتظارات Setting expectations

• معرفی دوره Course introduction

• نصب و راه اندازی Jupyter Jupyter installation and launch

1. NumPy Primer 1. NumPy Primer

• راه حل: فیلتر کردن و اصلاح آرایه ها Solution: Filtering and modifying arrays

• برداری Vectorization

• تابع Where(). The where() function

• تجمع آرایه Array aggregation

• چالش: ایجاد آرایه Challenge: Array creation

• چالش: اصول اولیه آرایه Challenge: Array basics

• راه حل: نمایه سازی و برش آرایه ها Solution: Indexing and slicing arrays

• آرایه های NumPy و ویژگی های آرایه NumPy arrays and array properties

• چالش: عملیات آرایه Challenge: Array operations

• راه حل: ایجاد آرایه Solution: Array creation

• راه حل: همه را با هم جمع کنید Solution: Bringing it all together

• فیلتر کردن آرایه ها و تغییر مقادیر آرایه ها Filtering arrays and modifying array values

• چالش: فیلتر کردن و اصلاح آرایه ها Challenge: Filtering and modifying arrays

• توابع آرایه Array functions

• ایجاد آرایه Array creation

• معرفی پانداها و NumPy pandas and NumPy intro

• نمایه سازی و برش آرایه ها Indexing and slicing arrays

• پخش Broadcasting

• راه حل: تجمیع و مرتب سازی Solution: Aggregation and sorting

• مرتب سازی آرایه ها Sorting arrays

• چالش: جمع کردن همه چیز Challenge: Bringing it all together

• چالش: تجمیع و مرتب سازی Challenge: Aggregation and sorting

• تولید اعداد تصادفی Random number generation

• خوراکی های کلیدی Key takeaways

• عملیات آرایه Array operations

• راه حل: اصول اولیه آرایه Solution: Array basics

• چالش: نمایه سازی و برش آرایه ها Challenge: Indexing and slicing arrays

• راه حل: عملیات آرایه Solution: Array operations

2. سری پانداها 2. pandas Series

• فیلتر سری و تست های منطقی Filtering series and logical tests

• رفع داده های از دست رفته Fixing missing data

• چالش: دسترسی به داده ها و تنظیم مجدد فهرست Challenge: Accessing data and resetting the index

• مبانی سری Series basics

• راه حل: دسترسی به داده ها و تنظیم مجدد ایندکس Solution: Accessing data and resetting the index

• اعمال توابع سفارشی برای سری Applying custom functions to series

• شناسایی داده های از دست رفته Identifying missing data

• چالش: مرتب سازی و فیلتر کردن سری ها Challenge: Sorting and filtering series

• مرتب سازی سری Sorting series

• چالش: انواع داده و تبدیل نوع Challenge: Data types and type conversion

• دسترسی .iloc The .iloc accessor

• شاخص سری و شاخص های سفارشی The series index and custom indices

• خوراکی های کلیدی Key takeaways

• مقادیر ایندکس را تکرار کنید و ایندکس را بازنشانی کنید Duplicate index values and resetting the index

• راه حل: عملیات سری Solution: Series operations

• چالش: عملیات سری Challenge: Series operations

• پانداها Where() در مقابل NumPy Where() pandas where() vs. NumPy where()

• چالش: داده های از دست رفته Challenge: Missing data

• راه حل: انواع داده و تبدیل نوع Solution: Data types and type conversion

• چالش: تجمیع سری Challenge: Series aggregation

• چالش: application() و where() Challenge: apply() and where()

• راه حل: تجمیع سری Solution: Series aggregation

• دسترسی .loc The .loc accessor

• تجمیع سری های طبقه بندی شده Categorical series aggregation

• انواع داده پانداها و تبدیل نوع pandas data types and type conversion

• راه حل: application() و where() Solution: apply() and where()

• نمایش داده از دست رفته در پانداها Missing data representation in pandas

• عملیات سری عددی Numeric series operations

• عملیات سری متنی Text series operations

• تجمیع سری های عددی Numerical series aggregation

• راه حل: داده های از دست رفته Solution: Missing data

• راه حل: مرتب سازی و فیلتر کردن سری Solution: Sorting and filtering series

3. مقدمه ای بر DataFrames 3. Intro to DataFrames

• مرتب سازی DataFrames Sorting DataFrames

• نکته حرفه ای: ایجاد چندین ستون با assign() Pro tip: Multiple column creation with assign()

• خوراکی های کلیدی Key takeaways

• رها کردن ستون ها و ردیف ها Dropping columns and rows

• چالش: انواع داده DataFrame Challenge: DataFrame data types

• راه حل: حذف داده ها Solution: Dropping data

• چالش: فیلتر کردن DataFrames Challenge: Filtering DataFrames

• بررسی DataFrames: اطلاعات و توصیف Exploring DataFrames: Info and describe

• فیلتر کردن DataFrames Filtering DataFrames

• نکته حرفه ای: حذف انواع داده های عددی Pro tip: Downcasting numeric data types

• راه حل: کاوش یک DataFrame Solution: Exploring a DataFrame

• چالش: دسترسی به داده های DataFrame Challenge: Accessing DataFrame data

• ایجاد یک DataFrame Creating a DataFrame

• چالش: map() و assign() Challenge: map() and assign()

• چالش: تغییر نام و ترتیب مجدد ستون ها Challenge: Renaming and reordering columns

• تبدیل نوع Type conversion

• نکته حرفه ای: ستون های شرطی پیشرفته با select() Pro tip: Advanced conditional columns with select()

• نوع داده طبقه بندی شده The categorical data type

• راه حل: فیلتر کردن DataFrames Solution: Filtering DataFrames

• تغییر نام و ترتیب مجدد ستون ها Renaming and reordering columns

• مبانی DataFrame DataFrame basics

• دسترسی به ستون های DataFrame Accessing DataFrame columns

• راه حل: داده های از دست رفته Solution: Missing data

• داده های از دست رفته Missing data

• راه حل: مبانی DataFrame Solution: DataFrame basics

• نکته حرفه ای: استفاده از حافظه و انواع داده Pro tip: Memory usage and data types

• راه حل: مرتب سازی DataFrames Solution: Sorting DataFrames

• راه حل: map() و assign() Solution: map() and assign()

• شناسایی و حذف موارد تکراری Identifying and dropping duplicates

• چالش: تابع select(). Challenge: The select() function

• راه حل: تابع select(). Solution: The select() function

• راه حل: دسترسی به داده های DataFrame Solution: Accessing DataFrame data

• راه حل: انواع داده DataFrame Solution: DataFrame data types

• چالش: کاوش در یک DataFrame Challenge: Exploring a DataFrame

• دسترسی به داده های DataFrame با .iloc و .loc Accessing DataFrame data with .iloc and .loc

• چالش: داده های از دست رفته Challenge: Missing data

• چالش: مبانی DataFrame Challenge: DataFrame basics

• چالش: مرتب سازی DataFrame Challenge: Sorting DataFrames

• چالش: ستون های حسابی و بولی Challenge: Arithmetic and Boolean columns

• متد map(). The map() method

• راه حل: تغییر نام و ترتیب مجدد ستون ها Solution: Renaming and reordering columns

• کاوش DataFrames: هد، دم و نمونه Exploring DataFrames: Heads, tails, and sample

• ایجاد ستون حسابی و بولی Arithmetic and Boolean column creation

• راه حل: ستون های حسابی و بولی Solution: Arithmetic and Boolean columns

• چالش: حذف داده ها Challenge: Dropping data

• نکته حرفه ای: متد query(). Pro tip: The query() method

4. جمع آوری و تغییر شکل DataFrame 4. Aggregating and Reshaping DataFrames

• ذوب دیتا فریم ها Melting DataFrames

• راه حل: متد agg(). Solution: The agg() method

• نکته حرفه ای: نقشه های حرارتی جدول محوری Pro tip: Pivot table heatmaps

• جداول محوری تجمع چندگانه Multiple aggregation pivot tables

• چالش: pivot() و melt() Challenge: pivot() and melt()

• راه حل: گروه بندی بر اساس چندین ستون Solution: Grouping by multiple columns

• اصلاح چند ایندکس Modifying a MultiIndex

• چالش: تبدیل یک DataFrame Challenge: Transforming a DataFrame

• راه حل: pivot() و melt() Solution: pivot() and melt()

• چالش: MultiIndex DataFrames Challenge: MultiIndex DataFrames

• متد groupby(). The groupby() method

• گروه بندی بر اساس چندین ستون Grouping by multiple columns

• نکته حرفه ای: تبدیل DataFrame Pro tip: Transforming DataFrames

• متد agg() و aggregations نامگذاری شده است The agg() method and named aggregations

• راه حل: groupby() Solution: groupby()

• خوراکی های کلیدی Key takeaways

• DataFrames MultiIdex MultiIndex DataFrames

• راه حل: MultiIndex DataFrames Solution: MultiIndex DataFrames

• چالش: گروه بندی بر اساس چندین ستون Challenge: Grouping by multiple columns

• میزهای محوری در پانداها Pivot tables in pandas

• چالش: groupby() Challenge: groupby()

• تجمعات اساسی Basic aggregations

• چالش: متد agg(). Challenge: The agg() method

• راه حل: تبدیل یک DataFrame Solution: Transforming a DataFrame

5. تجسم داده های پایه 5. Basic Data Visualization

• Matplotlib API و متد plot(). The Matplotlib API and the plot() method

• عناوین نمودار Chart titles

• نمودارهای میله ای Bar charts

• چالش: طرح های فرعی Challenge: Subplots

• سبک های نمودار Chart styles

• راه حل: نمودار میله ای Solution: Bar charts

• راه حل: نمودارهای پراکنده Solution: Scatterplots

• خوراکی های کلیدی Key takeaways

• چالش: نمودار خطی تلطیف شده Challenge: Stylized line chart

• نمودارهای دایره ای و نمودارهای پراکنده Pie charts and scatterplots

• نمودارهای میله ای گروه بندی شده و انباشته Grouped and stacked bar charts

• رنگ های نمودار Chart colors

• چالش: نمودار میله ای Challenge: Bar charts

• راه حل: طرح های فرعی Solution: Subplots

• چالش: Scatterplots Challenge: Scatterplots

• راه حل: نمودار خطی تلطیف شده Solution: Stylized line chart

• راه حل: نمودار خط اصلی Solution: Basic line chart

• راه حل: هیستوگرام Solution: Histograms

• افسانه های نمودار و خطوط شبکه Chart legends and gridlines

• هیستوگرام ها Histograms

• چالش: نمودار خط اصلی Challenge: Basic line chart

• چالش: هیستوگرام Challenge: Histograms

• ذخیره توطئه ها و اکتشاف بیشتر Saving plots and further exploration

• قطعات فرعی و اندازه شکل Subplots and figure size

• سبک های خط Line styles

6. پروژه میان دوره 6. Mid-Course Project

• معرفی پروژه میان دوره Mid-course project intro

• راه حل: پروژه میان دوره ای Solution: Mid-course project

7. تجزیه و تحلیل تاریخ و زمان 7. Analyzing Dates and Times

• چالش: shift() و diff() Challenge: shift() and diff()

• تجمعات نورد Rolling aggregations

• داده های سری زمانی وجود ندارد Missing time series data

• چالش: تجمعات چرخشی Challenge: Rolling aggregations

• راه حل: shift() و diff() Solution: shift() and diff()

• قسمت های تاریخ و زمان Date and time parts

• راه حل: دلتاهای زمانی Solution: Time deltas

• خوراکی های کلیدی Key takeaways

• چالش: نمونه گیری مجدد Challenge: Resampling

• چالش: داده های سری زمانی از دست رفته است Challenge: Missing time series data

• چالش: اصول اولیه تاریخ پانداها Challenge: pandas datetime basics

• قالب بندی تاریخ ها Formatting dates

• تجمیع و نمونه گیری مجدد Aggregation and resampling

• زمان در پایتون و پانداها Times in Python and pandas

• شاخص های سری زمانی Time series indices

• جابجایی سری های زمانی Shifting time series

• راه حل: اصول اولیه تاریخ پانداها Solution: pandas datetime basics

• راه حل: تجمعات نورد Solution: Rolling aggregations

• چالش: دلتاهای زمانی Challenge: Time deltas

• تبدیل به تاریخ Converting to datetimes

• راه حل: داده های سری زمانی از دست رفته است Solution: Missing time series data

• راه حل: نمونه برداری مجدد Solution: Resampling

• نکته حرفه ای: diff() Pro tip: diff()

• دلتاهای زمانی و حسابی Time deltas and arithmetic

8. واردات و صادرات داده ها 8. Importing and Exporting Data

• صادرات به فایل های مسطح Exporting to flat files

• راه حل: وارد کردن داده ها Solution: Importing data

• وارد کردن از متن و فایل های اکسل Importing from text and Excel files

• انتخاب ردیف و مقادیر از دست رفته Row selection and missing values

• راه حل: واردات و صادرات داده های اکسل Solution: Importing and exporting Excel data

• چالش: وارد کردن داده ها Challenge: Importing data

• چالش: واردات و صادرات داده های اکسل Challenge: Importing and exporting Excel data

• نکته حرفه ای: مبدل ها Pro tip: Converters

• پیش پردازش با read_csv() Preprocessing with read_csv()

• خوراکی های کلیدی Key takeaways

• کار با پایگاه داده های SQL Working with SQL databases

• تجزیه تاریخ و انواع داده ها Parsing dates and data types

• سایر فرمت های فایل پشتیبانی شده Other supported file formats

• انتخاب ستون Column selection

9. پیوستن به DataFrames 9. Joining DataFrames

• چالش: پیوستن به DataFrames Challenge: Joining DataFrames

• راه حل: پیوستن به DataFrames Solution: Joining DataFrames

• راه حل: افزودن DataFrames Solution: Appending DataFrames

• افزودن DataFrames Appending DataFrames

• چپ می پیوندد Left joins

• چرا از چند جدول استفاده می کنیم؟ Why use multiple tables?

• متد join(). The join() method

• پیوستن به DataFrames Joining DataFrames

• خوراکی های کلیدی Key takeaways

• چالش: اضافه کردن DataFrames Challenge: Appending DataFrames

• پیوندهای داخلی Inner joins

• پیوستن به انواع Join types

10. پروژه دوره نهایی 10. Final Course Project

• معرفی نهایی پروژه Final project intro

• راه حل: پروژه نهایی Solution: Final project