آموزش مهندسی داده: پایتون، یادگیری ماشین، ETL، وب اسکرپینگ - آخرین آپدیت

سرفصل ها و درس ها

مروری بر مهندسی داده Overview of Data Engineering

• مقدمه Introduction

• درک نقش مهندسی داده در اکوسیستم داده Understanding the role of data engineering in the data ecosystem

• مفاهیم و اصطلاحات کلیدی Key concepts and terminology

• گردش کار مهندسی داده: از جمع آوری داده تا تجزیه و تحلیل داده Data Engineering Workflow: From data collection to data analysis

• مروری بر فرایندها و پایپ‌لاین‌های مهندسی داده Overview of data engineering processes and pipelines

راه اندازی محیط پایتون Python Environment Setup

• نصب پایتون در ویندوز Python Installation on Windows

• محیط های مجازی چیستند What are virtual environments

• ایجاد و فعال سازی یک محیط مجازی در ویندوز Creating and activating a virtual environment on Windows

• نصب پایتون در macOS Python Installation on macOS

• ایجاد و فعال سازی یک محیط مجازی در macOS Creating and activating a virtual environment on macOS

• Jupyter Notebook چیست What is Jupyter Notebook

• نصب ویرایشگر متن Install Text Editor

• نصب Pandas و Jupyter Notebook در محیط مجازی Installing Pandas and Jupyter Notebook in the Virtual Environment

• شروع Jupyter Notebook Starting Jupyter Notebook

• کاوش در رابط داشبورد سرور Jupyter Notebook Exploring Jupyter Notebook Server Dashboard Interface

• ایجاد یک Notebook جدید Creating a new Notebook

• کاوش در فایل های Source و پوشه Jupyter Notebook Exploring Jupyter Notebook Source and Folder Files

• کاوش در رابط Notebook Exploring the Notebook Interface

مبانی برنامه نویسی پایتون Python Programming Fundamentals

• عبارات پایتون Python Expressions

• دستورات پایتون Python Statements

• نظرات کد پایتون Python Code Comments

• انواع داده پایتون Python Data Types

• تبدیل انواع داده Casting Data Types

• متغیرهای پایتون Python Variables

• لیست پایتون Python List

• تاپل پایتون Python Tuple

• دیکشنری های پایتون Python Dictionaries

• عملگرهای پایتون Python Operators

• عبارات شرطی پایتون Python Conditional Statements

• حلقه های پایتون Python Loops

• توابع پایتون Python Functions

دستکاری و مصورسازی داده با پایتون Data Manipulation and visualization with Python

• مروری بر Pandas Overview of Pandas

• ایجاد یک سری Pandas از یک لیست Creating a Pandas Series from a List

• ایجاد یک سری Pandas از یک لیست با فهرست سفارشی Creating a Pandas Series from a List with Custom Index

• ایجاد یک سری pandas از یک دیکشنری پایتون Creating a pandas series from a Python Dictionary

• دسترسی به داده ها در یک سری با استفاده از فهرست برچسب Accessing Data in a Series using the index by label

• دسترسی به داده ها در یک سری با موقعیت Accessing Data in a Series By position

• برش یک سری با برچسب Slicing a Series by Label

• ایجاد یک DataFrame از یک دیکشنری از لیست ها Creating a DataFrame from a dictionary of lists

• ایجاد یک DataFrame از یک لیست از دیکشنری ها Creating a DataFrame From a list of dictionaries

• دسترسی به داده ها در یک DataFrame Accessing data in a DataFrame

• دانلود مجموعه داده Download Dataset

• بارگیری مجموعه داده در یک DataFrame Loading Dataset into a DataFrame

• بازرسی داده ها Inspecting the data

• پاکسازی داده ها Data Cleaning

• تبدیل و تحلیل داده ها Data transformation and analysis

• مصورسازی داده ها Visualizing data

مبانی یادگیری ماشین: ساخت و آموزش یک مدل یادگیری ماشین Machine Learning Essentials: Build and Train a Machine Learning Model

• یادگیری ماشین چیست؟ What is Machine Learning?

• نصب و وارد کردن کتابخانه ها Installing and importing libraries

• مقدمه ای بر پیش پردازش داده ها Introduction to Data Preprocessing

• مجموعه داده چیست What is a Dataset

• دانلود مجموعه داده Downloading dataset

• کاوش در مجموعه داده Exploring the Dataset

• مدیریت مقادیر از دست رفته و حذف ستون های غیر ضروری. Handle missing values and drop unnecessary columns.

• کدگذاری متغیرهای دسته بندی شده. Encode categorical variables.

• مهندسی ویژگی چیست What is Feature Engineering

• ایجاد ویژگی های جدید. Create new features.

• حذف ستون های غیر ضروری Dropping unnecessary columns

• مصورسازی نرخ بقا بر اساس جنسیت Visualize survival rate by gender

• مصورسازی نرخ بقا بر اساس کلاس Visualize survival rate by class

• مصورسازی ویژگی های عددی Visualize numerical features

• مصورسازی توزیع سن Visualize the distribution of Age

• مصورسازی تعداد مسافران در هر کلاس مسافربری Visualize number of passengers in each passenger class

• مصورسازی تعداد مسافرانی که زنده ماندند Visualize number of passengers that survived

• مصورسازی ماتریس همبستگی متغیرهای عددی Visualize the correlation matrix of numerical variables

• مصورسازی توزیع کرایه. Visualize the distribution of Fare.

• آماده سازی داده ها و مدل آموزش Data Preparation and Training Model

• مدل چیست What is a Model

• تعریف ویژگی ها و متغیر هدف. Define features and target variable.

• تقسیم داده ها به مجموعه های آموزش و آزمایش. Split data into training and testing sets.

• استاندارد سازی ویژگی ها. Standardize features.

• آموزش مدل رگرسیون لجستیک. Train logistic regression model.

• انجام پیش بینی ها Making Predictions

• ارزیابی مدل با استفاده از دقت، ماتریس درهم ریختگی و گزارش طبقه بندی. Evaluate the model using accuracy, confusion matrix, and classification report.

• مصورسازی ماتریس درهم ریختگی. Visualize the confusion matrix.

• ذخیره مدل Saving the Model

• بارگیری مدل Loading the model

• بهبود درک پیش بینی مدل Improving Understanding of the model's prediction

• ساخت درخت تصمیم Building a decision tree

• ساخت یک جنگل تصادفی Building a random forest

نحوه ایجاد و اجرای بسته های ETL با SSIS، SQL Server، SSDT How to Create and run ETL Packages with SSIS,SQL Server,SSDT

• SSIS چیست What is SSIS

• بسته SSIS چیست What is an SSIS Package

• ETL چیست What is ETL

• SQL Server چیست What is SQL Server

• دانلود SQL Server Download SQL Server

• نصب SQL Server Install SQL Server

• نصب SQL Server Management Studio (SSMS) Install SQL Server Management Studio ( SSMS)

• اتصال SSMS به SQL Server Connect SSMS to SQL Server

• دانلود پایگاه های داده نمونه Download Sample Databases

• بازیابی پایگاه های داده نمونه Restore Sample Databases

• نصب Visual Studio Installing Visual Studio

• شروع Visual Studio Starting Visual Studio

• نصب برنامه افزودنی قالب های SQL Server Data Tools(SSDT) Installing SQL Server Data Tools(SSDT) Templates Extensions

• ایجاد یک پروژه جدید Integration Services Create a new Integration Services project

• کاوش در داده ها Exploring the data

• اضافه کردن و پیکربندی یک مدیر اتصال Flat File Add and configure a Flat File connection manager

• اضافه کردن و پیکربندی یک مدیر اتصال OLE DB Add and configure an OLE DB connection manager

• اضافه کردن یک Data Flow task به بسته Add a Data Flow task to the package

• اضافه کردن و پیکربندی منبع فایل تخت Add and configure the flat file source

• اضافه کردن و پیکربندی تبدیل های lookup Add and configure the lookup transformations

• اضافه کردن و پیکربندی مقصد OLE DB Add and configure the OLE DB destination

• حاشیه نویسی و قالب بندی بسته Annotate and format the package

• تست بسته Test the package

استخراج داده با استفاده از Web Scraping Data Extraction using Web Scraping

• Web Scraping چیست What is Web Scraping

• ابزارهای Web Scraping Tools for web scraping

• ایجاد و فعال سازی یک محیط مجازی جدید Create and activate a new virtual environment

• چه چیزی را خراش می دهیم What we will scrape

• بازرسی عناصر Inspecting Elements

• مروری بر Web Scraping با BeautifulSoup Overview of Web Scraping with BeautifulSoup

• نصب BeautifulSoup Installing BeautifulSoup

• نصب Scrapy Installing Scrapy

• ساخت اسکریپت Web Scraping - قسمت 1 Building a web scraping script - part 1

• ساخت اسکریپت Web Scraping - قسمت 2 Building a web scraping script - part 2

• نمونه سازی اسکریپت : قسمت 1 Prototyping the script : part 1

• نمونه سازی اسکریپت : قسمت 2 Prototyping the script : part 2

• نمونه سازی اسکریپت : قسمت 3 Prototyping the script : part 3

• نمونه سازی اسکریپت : قسمت 4 Prototyping the script : part 4

• نمونه سازی اسکریپت : قسمت 5 Prototyping the script : part 5

• تست | اجرا | ذخیره داده های خراشیده شده در فایل Testing |Running |Saving Scraped data to file

• مروری بر Web Scraping با Scrapy Overview of Web Scraping with Scrapy

• ایجاد یک پروژه Scrapy Creating a Scrapy project

• اجزای یک پروژه Scrapy Components of a Scrapy Project

• معماری Scrapy Scrapy Architecture

• ایجاد یک Spider : قسمت 1 Creating a Spider : part 1

• ایجاد یک Spider : قسمت 2 Creating a Spider : part 2

• خراش دادن داده ها با scrapy shell : قسمت 1 Scraping data with scrapy shell : Part 1

• خراش دادن داده ها با scrapy shell : قسمت 2 Scraping data with scrapy shell : Part 2

• اجرای spider و ذخیره داده های خراشیده شده Running the spider and saving scraped data