آموزش مقدمه ای بر مهندسی داده با استفاده از هوش مصنوعی تولیدی

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• بررسی اجمالی دوره Course Overview

• مهندسی داده، تجزیه و تحلیل داده ها و علم داده Data Engineering, Data Analysis, and Data Science

• هوش مصنوعی و مدل‌های زبان بزرگ (LLM) Generative AI and Large Language Models (LLMs)

• مفاهیم کلیدی آزمون GenAI Key Concepts of GenAI Quiz

کار با فایل های CSV Working with CSV Files

• فایل های CSV و JSON CSV and JSON Files

• ابزارهای خط فرمان برای کار با فایل ها Command Line Utilities for Working with Files

• فیلتر کردن ردیف های یک فایل CSV Filtering Rows of a CSV File

• ترکیب دستورات در اسکریپت شل Combining Commands in a Shell Script

• آزمون فایل CSV CSV File Quiz

• تخصیص عملی: داده ها را در یک فایل CSV با استفاده از اسکریپت bash فیلتر کنید Hands-on Assignment: Filter Data in a CSV File using a bash script

• نمونه برداری با پایتون Sampling with Python

• اصلاح یک اسکریپت شل Modifying a Shell Script

• برنامه ریزی مشاغل با Cron Scheduling Jobs with Cron

• مثال برنامه ریزی شغلی Cron Cron Job Scheduling Example

• آزمون شل اسکریپت Shell Script Quiz

کار با فایل های JSON Working with JSON FIles

• کار با فایل های JSON Working with JSON Files

• نصب jq Installing jq

• فیلتر کردن فایل های JSON با jq Filtering JSON files with jq

• بارگیری JSON در پایتون Loading JSON into Python

• آزمون JSON JSON Quiz

کیفیت داده ها در مهندسی داده Data Quality in Data Engineering

• مروری بر کیفیت داده ها Overiew of Data Quality

• داده های فروش Sales Data

• مقادیر از دست رفته در فایل های داده Missing Values in Data Files

• افزودن مستندات به اسکریپت ها Adding Documentation to Scripts

• بررسی محدوده Range Checks

• کار با تاریخ و زمان Working with Dates and Times

• بررسی فرمت تاریخ و زمان Checking Date and Time Format

• تجسم برای کیفیت داده Visualizations for Data Quality

• آزمون کیفیت داده ها Data Quality Quiz

• تخصیص عملی: داده های پرواز مسافر را با کدهای نامعتبر فرودگاه بررسی کنید Hands-On Assignment: Check passenger flight data with invalid airport codes

کار با پانداها در پایتون Working with Pandas in Python

• کار با پانداها Working with Pandas

• آمار با استفاده از Dataframes Statistics using Dataframes

• تولید داده های مصنوعی Generating Synthetic Data

• تخصیص عملی: JSON را در یک Pandas DataFrame بارگذاری کنید Hands-on Assignment: Load JSON into a Pandas DataFrame

طرحواره های JSON JSON Schemas

• طرحواره های JSON برای اعتبارسنجی داده ها 1 JSON Schemas for Data Validation 1

• طرحواره های JSON برای اعتبارسنجی داده ها 2 JSON Schemas for Data Validation 2

• Pandas و JSON Schema Quiz Pandas and JSON Schema Quiz

کار با پایگاه های داده Working with Databases

• پایگاه های داده رابطه ای Relational Databases

• پایگاه های داده NoSQL NoSQL Databases

• PostgreSQL PostgreSQL

• نصب PostgreSQL Installing PostgreSQL

• ایجاد طرحواره های PostgreSQL Creating PostgreSQL Schemas

• ایجاد جداول در PostgreSQL Creating Tables in PostgreSQL

• آزمون پایگاه داده Database Quiz

• تکلیف عملی: جدولی برای برنامه اتوبوس ایجاد کنید Hands-on Assignment: Create a table for bus schedules

مدلسازی بعدی برای تجزیه و تحلیل داده ها Dimensional Modeling for Data Analysis

• مدلسازی ابعادی Dimensional Modeling

• بارگیری داده های فروش در جداول مرحله بندی Loading Sales Data into Staging Tables

• بارگیری داده های ابعاد در جداول مرحله بندی Loading Dimension Data into Staging Tables

• ایجاد بعد موقعیت مکانی Creating Location Dimension

• بعد ایجاد محصولات Creating Products Dimension

• بعد تاریخ را ایجاد کنید Create Date Dimension

• آزمون مدل بعدی 1 Dimensional Model Quiz 1

پر کردن یک جدول واقعیت در یک مدل بعدی Populating a Fact Table in a Dimensional Model

• ایجاد یک جدول اطلاعات فروش Creating a Sales Fact Table

• آماده سازی داده ها برای تجمیع Preparing Data for Aggregation

• جمع آوری داده های مرحله بندی Aggregating Staging Data

• بارگیری جدول اطلاعات فروش Loading Sales Fact Table

• ایجاد پرس و جوهای SQL برای یک مدل بعدی Generating SQL Queries for a Dimensional Model

• آزمون مدلسازی بعدی 2 Dimensional Modeling Quiz 2

JSON در PostgreSQL JSON in PostgreSQL

• JSON در PostgreSQL JSON in PostgreSQL

• ایجاد یک جدول با یک ستون JSON در PostgreSQL Creating a Table with a JSON Column in PostgreSQL

• بارگیری داده های JSON در PostgreSQL Loading JSON Data into PostgreSQL

• جستجوی داده های JSON در PostgreSQL Querying JSON Data in PostgreSQL

• JSON در آزمون PostgreSQL JSON in PostgreSQL Quiz

مراحل بعدی یادگیری مهندسی داده Next Steps Learning Data Engineering

• بعد چه چیزی یاد بگیریم؟ What to Learn Next?

• جریان هوای آپاچی برای ارکستراسیون Apache Airflow for Orchestration

• Apache Spark برای ETL/ELT و Analytics Apache Spark for ETL/ELT and Analytics

• انتظارات بزرگ برای کنترل کیفیت داده ها Great Expectations for Data Quality Control

• dbt برای تبدیل داده با SQL dbt for Data Transformation with SQL

پایان دوره Course Wrap Up

• نتیجه Conclusion