آموزش مهندس داده شوید - BI، Python، SQL، SSIS، ETL

سرفصل ها و درس ها

مقدمه ای بر مهندسی داده و BI Introduction to Data Engineering and BI

• معرفی Introduction

• مهندسی داده چیست؟ What is data engineering

• BI چیست What is BI

• مروری بر مهندسی داده و اهمیت آن در BI Overview of Data Engineering and its significance in BI

• درک نقش یک مهندس داده در شرکت های مدرن Understanding the role of a Data Engineer in modern enterprises

• مقدمه ای بر مفاهیم و ابزارهای BI Introduction to BI concepts and tools

مبانی پایتون برای مهندسان داده Foundations of Python for Data Engineers

• مبانی زبان برنامه نویسی پایتون Basics of Python programming language

• مقدمه ای بر NumPy برای محاسبات عددی Introduction to NumPy for numerical computing

• نوت بوک ژوپیتر چیست؟ What is Jupyter Notebook

• راهنمای نصب Jupyter Notebook Server Guide to installing Jupyter Notebook Server

• نصب سرور نوت بوک Jupyter در ویندوز Installing Jupyter Notebook Server on Windows

• سرور نوت بوک Jupyter در حال اجرا Running Jupyter Notebook Server

• دستورات رایج نوت بوک Jupyter Common Jupyter Notebook Commands

• اجزای نوت بوک Jupyter Jupyter Notebook Components

• داشبورد نوت بوک Jupyter Jupyter Notebook Dashboard

• رابط کاربری نوت بوک Jupyter Jupyter Notebook User Interface

• ایجاد یک نوت بوک جدید Creating a new notebook

• عبارات پایتون Python Expressions

• بیانیه های پایتون Python Statements

• نظرات پایتون Python Comments

• انواع داده پایتون Python Data Types

• انواع داده های ریخته گری Casting Data Types

• متغیرهای پایتون Python Variables

• لیست پایتون Python List

• پایتون تاپل Python Tuple

• دیکشنری های پایتون Python Dictionaries

• اپراتورهای پایتون Python Operators

• دستورات شرطی پایتون Python Conditional Statements

• حلقه های پایتون Python Loops

• توابع پایتون Python Functions

• داده های جدولی Tabular Data

• دستکاری و تجزیه و تحلیل داده ها با استفاده از کتابخانه پاندا Data manipulation and analysis using Pandas library

• کاوش Pandas DataFrame Exploring Pandas DataFrame

• دستکاری یک DataFrame پانداها Manipulating a Pandas DataFrame

• پاکسازی داده ها چیست؟ What is data cleaning

• فرآیند پاکسازی داده های اولیه Basic data cleaning process

• تجسم داده چیست؟ What is data visualization

• تجسم داده های کیفی Visualizing Qualitative Data

• تجسم داده های کمی Visualizing Quantitative Data

مدیریت پایگاه داده SQL SQL Database Management

• SQL چیست؟ What is SQL

• TSQL چیست؟ What is TSQL

• SQL Server چیست؟ What is SQL Server

• الزامات نصب SQL Server SQL Server Installation Requirements

• نسخه های سرور SQL SQL Server Editions

• دانلود SQL Server Developer Edition Download SQL Server Developer Edition

• نصب نسخه توسعه دهنده SQL Server SQL Server Developer Edition Installation

• نصب SQL Server Management Studio Installing SQL Server Management Studio

• اتصال به SQL Server با SSMS Connecting to SQL Server with SSMS

• نمونه دیتابیس را دانلود و نصب کنید Download and install sample database

• مفاهیم پایه پایگاه داده Basic database concepts

• مقدمه ای برای اتصال جداول با SQL Introduction to joining tables with SQL

• پیوستن داخلی INNER JOIN

• LEFT Outer Join LEFT Outer Join

• RIGHT Outer Join RIGHT Outer Join

• مقدمه ای بر فیلتر کردن داده ها با SQL Introduction to filtering data with SQL

• فیلتر کردن سوابق با استفاده از فیلترهای برابری اولیه Filtering Records Using Basic Equality Filters

• فیلتر کردن سوابق با استفاده از مقایسه های اساسی Filtering Records Using Basic Comparisons

• فیلتر کردن رکوردها با استفاده از مقایسه های منطقی Filtering Records Using Logical Comparisons

• فیلتر کردن رکوردها با استفاده از مقایسه رشته ها Filtering Records Using String Comparisons

• فیلتر کردن رکوردها با استفاده از مقایسه NULL Filtering Records Using NULL Comparisons

• مقدمه ای بر مرتب سازی داده ها با SQL Introduction to sorting data with SQL

• مرتب سازی بر اساس صعودی Sorting by Ascending

• مرتب سازی بر اساس نزولی Sorting By Descending

• مرتب سازی بر اساس چندین ستون Sorting By multiple columns

• مقدمه ای بر توابع جمع Introduction to aggregate functions

• COUNT () تابع جمع COUNT () Aggregate Function

• تابع جمع AVG(). AVG() Aggregate Function

• تابع جمع MAX() MAX() Aggregate Function

• تابع جمع MIN() MIN() Aggregate Function

• تابع جمع SUM(). SUM() Aggregate Function

• استفاده از توابع جمع چندگانه Using Multiple Aggregate Functions

• گروه بندی داده ها Grouping Data

• استفاده از سوالات فرعی Using Subqueries

• عبارات جدول رایج (CTE) Common Table Expressions (CTEs)

• استفاده از توابع ویندوز Using Windows Functions

• استفاده از عملیات Pivot و Unpivot Using Pivot and Unpivot operations

• پرس و جوهای SQL پیشرفته برای دستکاری و استخراج داده ها Advanced SQL queries for data manipulation and extraction

• بهینه سازی پایگاه داده و تکنیک های تنظیم عملکرد Database optimization and performance tuning techniques

SSIS (سرویس های یکپارچه سازی سرور SQL) SSIS (SQL Server Integration Services)

• درک SSIS و نقش آن در فرآیندهای ETL Understanding SSIS and its role in ETL processes

• طراحی و پیاده سازی راه حل های ETL با استفاده از SSIS Designing and implementing ETL solutions using SSIS

• انجام وظایف استخراج، تبدیل و بارگذاری داده ها Handling data extraction, transformation, and loading tasks

• مدیریت خطا و اشکال زدایی در بسته های SSIS Error handling and debugging in SSIS packages

• نصب نمونه پایگاه داده Datawarehouse Installing sample Datawarehouse Database

• ویژوال استودیو چیست؟ What is Visual Studio

• الزامات نصب ویژوال استودیو Visual studio installation requirements

• ویژوال استودیو را نصب کنید Install Visual Studio

• SQL Server Data Tools - SSDT را نصب کنید Install SQL Server Data Tools - SSDT

• SSDT Designer Templates را نصب کنید Install SSDT Designer Templates

• ETL چیست؟ What is ETL

• یک پروژه خدمات یکپارچه سازی جدید ایجاد کنید Create a new Integration Services project

• یک مدیر اتصال Flat File را اضافه و پیکربندی کنید Add and configure a Flat File connection manager

• نگاشت مجدد انواع داده های ستون Remapping Column Data Types

• یک مدیر اتصال OLE DB را اضافه و پیکربندی کنید Add and configure an OLE DB connection manager

• یک وظیفه جریان داده را به بسته اضافه کنید Add a Data Flow task to the package

• منبع فایل مسطح را اضافه و پیکربندی کنید Add and configure the flat file source

• تبدیل های جستجو را اضافه و پیکربندی کنید Add and configure the lookup transformations

• Lookup for DateKey Transformation را اضافه و پیکربندی کنید Add and configure Lookup for DateKey Transformation

• مقصد OLE DB را اضافه و پیکربندی کنید Add and configure the OLE DB destination

• بسته را تست کنید Test the package

تکنیک های پیشرفته ETL Advanced ETL Techniques

• بهترین شیوه ها برای توسعه و پیاده سازی ETL Best practices for ETL development and implementation

• کار با داده های بدون ساختار و نیمه ساختار یافته Working with unstructured and semi-structured data

• استراتژی های پاکسازی، اعتبار سنجی و تبدیل داده ها Data cleansing, validation, and transformation strategies

• مطالعات موردی زندگی واقعی و یادگیری مبتنی بر پروژه برای وظایف ETL Real-life case studies and project-based learning for ETL tasks

پروژه Capstone و موضوعات پیشرفته Capstone Project and Advanced Topics

• پروژه Capstone یکپارچه سازی تکنیک های Python، SQL، SSIS، و ETL Capstone project integrating Python, SQL, SSIS, and ETL techniques

• بهینه سازی عملکرد در گردش کار ETL Performance optimization in ETL workflows

• مقدمه ای بر مفاهیم انبارداری داده Introduction to Data Warehousing concepts

• روندهای نوظهور و موضوعات پیشرفته در مهندسی داده و BI Emerging trends and advanced topics in Data Engineering and BI