آموزش Data Science A-Z™: تمرینات عملی و پاداش ChatGPT [2023]

سرفصل ها و درس ها

هیجان زده شدن Get Excited

• چالش خوش آمدید! Welcome Challenge!

• به Data Science A-Z™ خوش آمدید Welcome to Data Science A-Z™

• مجموعه داده ها را از اینجا دریافت کنید Get the Datasets here

علم داده چیست؟ What is Data Science?

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• حرفه آینده Profession of the future

• حوزه های علم داده Areas of Data Science

• مهم: مسیرهای دوره IMPORTANT: Course Pathways

• جایزه: داستان موفقیت BONUS: Success Story

• جایزه: ChatGPT برای علم داده BONUS: ChatGPT For Data Science

--------------------------- قسمت 1: تجسم ------------------- -------- --------------------------- Part 1: Visualisation ---------------------------

• به قسمت 1 خوش آمدید Welcome to Part 1

مقدمه ای بر تابلو Introduction to Tableau

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• نصب Tableau Desktop و Tableau Public (رایگان) Installing Tableau Desktop and Tableau Public (FREE)

• شرح چالش + مشاهده داده ها در فایل Challenge description + view data in file

• اتصال Tableau به یک فایل داده - فایل CSV Connecting Tableau to a Data file - CSV file

• تابلوی پیمایش - اندازه‌گیری‌ها و ابعاد Navigating Tableau - Measures and Dimensions

• ایجاد یک فیلد محاسبه شده Creating a calculated field

• افزودن رنگ ها Adding colours

• اضافه کردن برچسب ها و قالب بندی Adding labels and formatting

• در حال صادر کردن کاربرگ شما Exporting your worksheet

• خلاصه بخش Section Recap

• مبانی تابلو Tableau Basics

نحوه استفاده از Tableau برای داده کاوی How to use Tableau for Data Mining

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• مجموعه داده + نمای کلی پروژه را دریافت کنید Get the Dataset + Project Overview

• اتصال Tableau به یک فایل اکسل Connecting Tableau to an Excel File

• چگونه یک تست AB را در Tableau تجسم کنیم؟ How to visualise an AB test in Tableau?

• کار با نام مستعار Working with Aliases

• افزودن یک خط مرجع Adding a Reference Line

• به دنبال ناهنجاری است Looking for anomalies

• ترفند مفید برای اعتبارسنجی رویکرد/داده های خود Handy trick to validate your approach / data

• خلاصه بخش Section Recap

داده کاوی پیشرفته با تابلو Advanced Data Mining With Tableau

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• ایجاد سطل ها و تجسم توزیع ها Creating bins & Visualizing distributions

• ایجاد آزمون طبقه بندی برای یک متغیر عددی Creating a classification test for a numeric variable

• ترکیب دو نمودار و کار با آنها در Tableau Combining two charts and working with them in Tableau

• اعتبار سنجی داده کاوی تابلویی با آزمون مجذور کای Validating Tableau Data Mining with a Chi-Squared test

• تست Chi-Squared زمانی که بیش از 2 دسته وجود دارد Chi-Squared test when there is more than 2 categories

• یادداشت سریع Quick Note

• تجسم تعادل و توزیع تخمینی حقوق Visualising Balance and Estimated Salary distribution

• اضافی: تست Chi-Squared (آموزش آمار) Extra: Chi-Squared Test (Stats Tutorial)

• اضافی: تست Chi-Squared قسمت 2 (آموزش آمار) Extra: Chi-Squared Test Part 2 (Stats Tutorial)

• خلاصه بخش Section Recap

• قسمت تکمیل شد Part Completed

--------------------------- قسمت دوم: مدلسازی ------------------- -------- --------------------------- Part 2: Modelling ---------------------------

• به قسمت 2 خوش آمدید Welcome to Part 2

بازنگری آمار Stats Refresher

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• انواع متغیرها: مقوله ای در مقابل عددی Types of variables: Categorical vs Numeric

• انواع رگرسیون Types of regressions

• حداقل مربعات معمولی Ordinary Least Squares

• R-squared R-squared

• R-squared تنظیم شده است Adjusted R-squared

رگرسیون خطی ساده Simple Linear Regression

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• آشنایی با گرتل Introduction to Gretl

• مجموعه داده را دریافت کنید Get the dataset

• داده ها را وارد کنید و آمار توصیفی را اجرا کنید Import data and run descriptive statistics

• خواندن خروجی رگرسیون خطی Reading Linear Regression Output

• رسم و تجزیه و تحلیل نمودار Plotting and analysing the graph

رگرسیون خطی چندگانه Multiple Linear Regression

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• مجموعه داده را دریافت کنید Get the dataset

• مفروضات رگرسیون خطی Assumptions of Linear Regression

• متغیرهای ساختگی Dummy Variables

• دام متغیر ساختگی Dummy Variable Trap

• درک P-Value Understanding the P-Value

• راه های ساخت مدل: BACKWARD، FORWARD، STEPWISE Ways to build a model: BACKWARD, FORWARD, STEPWISE

• حذف به عقب - زمان تمرین Backward Elimination - Practice time

• استفاده از Adjusted R-squared برای ایجاد مدل های مقاوم Using Adjusted R-squared to create Robust models

• ضرایب تفسیر MLR Interpreting coefficients of MLR

• خلاصه بخش Section Recap

رگرسیون لجستیک Logistic Regression

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• مجموعه داده را دریافت کنید Get the dataset

• نتیجه باینری: بله/خیر مشکلات تجاری از نوع Binary outcome: Yes/No-Type Business Problems

• شهود رگرسیون لجستیک Logistic regression intuition

• اولین رگرسیون لجستیک شما Your first logistic regression

• مثبت کاذب و منفی کاذب False Positives and False Negatives

• ماتریس سردرگمی Confusion Matrix

• تفسیر ضرایب یک رگرسیون لجستیک Interpreting coefficients of a logistic regression

ساخت یک مدل تقسیم‌بندی ژئودموگرافیک قوی Building a robust geodemographic segmentation model

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• مجموعه داده را دریافت کنید Get the dataset

• تقسیم بندی جغرافیایی جمعیتی چیست؟ What is geo-demographic segmenation?

• بیایید مدل را بسازیم - تکرار اول Let's build the model - first iteration

• بیایید مدل را بسازیم - حذف به عقب: STEP-BY-STEP Let's build the model - backward elimination: STEP-BY-STEP

• تبدیل متغیرهای مستقل Transforming independent variables

• ایجاد متغیرهای مشتق شده Creating derived variables

• بررسی چند خطی بودن با استفاده از VIF Checking for multicollinearity using VIF

• ماتریس همبستگی و شهود چند خطی Correlation Matrix and Multicollinearity Intuition

• مدل آماده است و خلاصه بخش Model is Ready and Section Recap

ارزیابی مدل شما Assessing your model

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• پارادوکس دقت Accuracy paradox

• نمایه دقت تجمعی (CAP) Cumulative Accuracy Profile (CAP)

• نحوه ساخت منحنی CAP در اکسل How to build a CAP curve in Excel

• ارزیابی مدل خود با استفاده از منحنی CAP Assessing your model using the CAP curve

• الگوی منحنی CAP را دریافت کنید Get my CAP curve template

• نحوه استفاده از داده های تست برای جلوگیری از برازش بیش از حد مدل How to use test data to prevent overfitting your model

• استفاده از مدل برای داده های آزمایشی Applying the model to test data

• مقایسه عملکرد تمرین و عملکرد آزمون Comparing training performance and test performance

• خلاصه بخش Section Recap

ترسیم بینش از مدل شما Drawing insights from your model

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• بینش قدرتمند از CAP شما Power insights from your CAP

• ضرایب رگرسیون لجستیک - طرح حمله (مبحث پیشرفته) Coefficients of a Logistic Regression - Plan of Attack (advanced topic)

• نسبت شانس (موضوع پیشرفته) Odds ratio (advanced topic)

• نسبت شانس در مقابل ضرایب در یک رگرسیون لجستیک (مبحث پیشرفته) Odds Ratio vs Coefficients in a Logistic Regression (advanced topic)

• استخراج بینش از ضرایب شما (موضوع پیشرفته) Deriving insights from your coefficients (advanced topic)

• خلاصه بخش Section Recap

تعمیر و نگهداری مدل Model maintenance

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• خراب شدن مدل به چه صورت است؟ What does model deterioration look like?

• چرا مدل ها خراب می شوند؟ Why do models deteriorate?

• سه سطح نگهداری برای مدل های مستقر شده Three levels of maintenance for deployed models

• خلاصه بخش Section Recap

--------------------------- قسمت 3: آماده سازی داده ها ------------------ --------- --------------------------- Part 3: Data Preparation ---------------------------

• به قسمت 3 خوش آمدید Welcome to Part 3

ابزارهای هوش تجاری (BI). Business Intelligence (BI) Tools

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• کار با دیتا Working with Data

• انبار داده چیست؟ پایگاه داده چیست؟ What is a Data Warehouse? What is a Database?

• راه اندازی Microsoft SQL Server 2014 برای تمرین Setting up Microsoft SQL Server 2014 for practice

• مهم: پایگاه داده تمرین Important: Practice Database

• ETL برای علم داده - بار تبدیل استخراج (ETL) چیست؟ ETL for Data Science - what is Extract Transform Load (ETL)?

• Microsoft BI Tools: SSDT-BI چیست و SSIS/SSAS/SSRS چیست؟ Microsoft BI Tools: What is SSDT-BI and what are SSIS/SSAS/SSRS ?

• نصب SSDT با MSVS Shell Installing SSDT with MSVS Shell

ETL فاز 1: کشمکش داده ها قبل از بارگذاری ETL Phase 1: Data Wrangling before the Load

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• در حال آماده سازی ساختار پوشه خود برای پروژه Data Science خود Preparing your folder structure for your Data Science project

• مجموعه داده این بخش را دانلود کنید Download the dataset for this section

• دو کاری که باید قبل از بارگیری انجام دهید Two things you HAVE to do before the load

• Notepad ++ Notepad ++

• Editpad Lite Editpad Lite

ETL فاز 2: راهنمای گام به گام برای آپلود داده ها با استفاده از SSIS ETL Phase 2: Step-by-step guide to uploading data using SSIS

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• شروع و پیمایش یک پروژه SSIS Starting and navigating an SSIS Project

• ایجاد یک وظیفه منبع فایل مسطح و مقصد OLE DB Creating a flat file source task and OLE DB destination

• راه اندازی اتصال منبع فایل مسطح Setting up your flat file source connection

• راه اندازی اتصال پایگاه داده خود و ایجاد یک جدول RAW Setting up your database connection and creating a RAW table

• آپلود و غیرفعال کردن را اجرا کنید Run the Upload & Disable

• بررسی دقیق: تضمین کیفیت آپلود Due Dilligence: Upload Quality Assurance

رسیدگی به خطاها در طول ETL (فاز 1 و 2) Handling errors during ETL (Phases 1 & 2)

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• مجموعه داده این بخش را دانلود کنید Download the dataset for this section

• چگونه اکسل می تواند داده های شما را خراب کند How excel can mess up your data

• طرح ضد گلوله برای جدال داده ها قبل از بارگذاری Bulletproof Blueprint for Data Wrangling before the Load

• خطای SSIS: واجد شرایط متن مشخص نشده است SSIS Error: Text qualifier not specified

• وقتی فایل منبع شما خراب است چه می کنید؟ (قسمت 1) What do you do when your source file is corrupt? (Part 1)

• وقتی فایل منبع شما خراب است چه می کنید؟ (قسمت 2) What do you do when your source file is corrupt? (Part 2)

• خطای SSIS: قطع اطلاعات SSIS Error: Data truncation

• ترفند مفید برای یافتن ناهنجاری ها در SQL Handy trick for finding anomalies in SQL

• مدیریت خودکار خطا در SSIS: تقسیم شرطی Automating Error Handling in SSIS: Conditional Split

• مدیریت خودکار خطا در SSIS: تقسیم شرطی (سطح 2) Automating Error Handling in SSIS: Conditional Split (Level 2)

• نحوه تجزیه و تحلیل فایل های خطا How to analyze the error files

• دقت لازم: تنها کاری که هر بار باید انجام دهید Due Dilligence: the one thing you HAVE to do every time

• انواع خطاها در SSIS Types of Errors in SSIS

• خلاصه Summary

• مشق شب Homework

برنامه نویسی SQL برای علم داده SQL Programming for Data Science

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• مجموعه داده این بخش را دانلود کنید Download the dataset for this section

• آشنایی با MS SQL Management Studio Getting To Know MS SQL Management Studio

• میانبر برای آپلود داده ها Shortcut to upload the data

• SELECT * بیانیه SELECT * Statement

• استفاده از عبارت WHERE برای فیلتر کردن داده ها Using the WHERE clause to filter data

• نحوه استفاده از Wildcards/Regular Expressions در SQL (% و _) How to use Wildcards / Regular Expressions in SQL (% and _)

• نظرات در SQL Comments in SQL

• سفارش توسط Order By

• انواع داده ها در SQL Data Types in SQL

• تبدیل داده های ضمنی در SQL Implicit Data Conversion in SQL

• استفاده از Cast() در مقابل Convert() Using Cast() vs Convert()

• کار با NULL ها Working with NULLs

• درک نحوه عملکرد اتصالات LEFT، RIGHT، Inner و OUTER Understanding how LEFT, RIGHT, INNER, and OUTER joins work

• با مقادیر تکراری می پیوندد Joins with duplicate values

• پیوستن در چندین زمینه Joining on multiple fields

• تمرین پیوستن Practicing Joins

ETL فاز 3: کشمکش داده ها پس از بارگذاری ETL Phase 3: Data Wrangling after the load

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• جداول RAW، WRK، DRV RAW, WRK, DRV tables

• مجموعه داده این بخش را دانلود کنید Download the dataset for this section

• اولین Proc ذخیره شده خود را در SQL ایجاد کنید Create your first Stored Proc in SQL

• اجرای رویه های ذخیره شده Executing Stored Procedures

• اصلاح رویه های ذخیره شده Modifying Stored Procedures

• ایجاد جدول Create table

• درج INTO Insert INTO

• بررسی کنید که آیا جدول وجود دارد + جدول حذف + برش دادن Check if table exists + drop table + Truncate

• خلاصه میانی - Procs Intermediate Recap - Procs

• proc را برای فایل دوم ایجاد کنید Create the proc for the second file

• اضافه کردن صفرهای ابتدایی Adding leading zeros

• تبدیل داده ها در پرواز Converting data on the fly

• چگونه یک قالب proc ایجاد کنیم How to create a proc template

• فرآیندهای بایگانی Archiving Procs

• کارهایی که می توانید با این جداول در آینده انجام دهید [فایل های drv و غیره] What you can do with these tables going forward [drv files etc.]

رسیدگی به خطاها در طول ETL (فاز 3) Handling errors during ETL (Phase 3)

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• مجموعه داده این بخش را دانلود کنید Download the dataset for this section

• داده ها را در جدول RAW آپلود کنید Upload the data to RAW table

• ایجاد Stored Proc Create Stored Proc

• نحوه برخورد با خطاها با استفاده از تابع isnumeric() How to deal with errors using the isnumeric() function

• نحوه برخورد با خطاها با استفاده از تابع len() How to deal errors using the len() function

• نحوه برخورد با خطاها با استفاده از تابع isdate(). How to deal with errors using the isdate() function

• بررسی تضمین کیفیت اضافی: تعادل Additional Quality Assurance check: Balance

• بررسی تضمین کیفیت اضافی: کد پستی Additional Quality Assurance check: ZipCode

• بررسی تضمین کیفیت اضافی: تولد Additional Quality Assurance check: Birthday

• قسمت تکمیل شد Part Completed

• خطای ETL در مدیریت پروژه "خدمات خودرو". ETL Error Handling "Vehicle Service" Project

--------------------------- قسمت 4: ارتباطات ------------------- -------- --------------------------- Part 4: Communication ---------------------------

• به قسمت 4 خوش آمدید Welcome to Part 4

کار با مردم Working with people

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• کار بین بخشی Cross-departmental Work

• با یک مشکل تجاری به سراغ من بیایید Come to me with a Business Problem

• تنظیم انتظارات و ارتباطات قبل از پروژه Setting expectations and pre-project communication

• برو کنارشان بنشین Go and sit with them

• هنر "نه" گفتن The art of saying "No"

• گاهی باید به اوج رفت Sometimes you have to go to the top

• ایجاد فرهنگ داده Building a data culture

ارائه برای دانشمندان داده Presenting for Data Scientists

• مقدمه (آنچه در این بخش خواهید آموخت) Intro (what you will learn in this section)

• مطالعه موردی Case study

• تجزیه و تحلیل مقدمه Analysing the intro

• تشریح مقدمه - خلاصه Intro dissection - recap

• مقدمه ارائه REAL Science Science - مخاطبان خود را وادار کنید بگویند "WOW" REAL Data Science Presentation Walkthrough - Make Your Audience Say "WOW"

• روش طوفان فکری من My brainstorming method

• نحوه ارائه به مدیران How to present to executives

• حقیقت همیشه زیبا نیست The truth is not always pretty

• اشتیاق و فاکتور عجب Passion and the Wow-factor

• اضافی: ارائه کامل من | LIVE 2015 Extra: my full presentation | LIVE 2015

• اضافی: پیوندهایی به نمونه های دیگر داستان سرایی خوب Extra: links to other examples of good storytelling

راه حل تکالیف Homework Solutions

• داده کاوی پیشرفته با جدول: تجسم امتیاز اعتباری و تصدی Advanced Data Mining with Tableau: Visualising Credit Score & Tenure

• داده کاوی پیشرفته با Tableau: تست Chi-Squared برای کشور Advanced Data Mining with Tableau: Chi-Squared Test for Country

• مدیریت خطای ETL (فاز 1 و 2) ETL Error Handling (Phases 1 and 2)

• خطای ETL در مدیریت پروژه "خدمات خودرو" (بخش 1 از 3) ETL Error Handling "Vehicle Service" Project (Part 1 of 3)

• خطای ETL در رسیدگی به پروژه "خدمات خودرو" (بخش 2 از 3) ETL Error Handling "Vehicle Service" Project (Part 2 of 3)

• خطای ETL در مدیریت پروژه "خدمات خودرو" (بخش 3 از 3) ETL Error Handling "Vehicle Service" Project (Part 3 of 3)

• با تشکر از شما ویدیو جایزه THANK YOU bonus video

پیشنهاد ویژه Special Offer

• ***پاداش ویژه شما*** ***YOUR SPECIAL BONUS***