آموزش مبانی مهندسی داده و اسپارک برای هوش مصنوعی و یادگیری ماشین - آخرین آپدیت

مقدمه‌ای بر مهندسی داده و دیتابریکس Introduction to Data Engineering and Databricks

• معرفی تخصص Specialization Introduction

• معرفی دوره Course Introduction

• مقدمه‌ای بر مهندسی داده Introduction to Data Engineering

• نقش مهندسی داده در خط لوله‌های AI/ML Role of Data Engineering in AI/ML Pipelines

• بررسی چرخه عمر مهندسی داده Exploring Data Engineering Lifecycle

• جریان‌های زیرین چرخه عمر مهندسی داده Undercurrents of the Data Engineering Lifecycle

• آشنایی با دیتابریکس Introduction to Databricks

• کاوش در پلتفرم دیتابریکس Exploring the Databricks Platform

• ساخت اولین نوت‌بوک در دیتابریکس Building First Notebook in Databricks

• دریاچه داده در مقابل انبار داده: مفاهیم بنیادی Data Lake vs Data Warehouse: Foundational Concepts

• معماری Lakehouse در سیستم‌های داده مدرن Lakehouse Architecture in Modern Data Systems

• بررسی ساختار Lakehouse در دیتابریکس Exploring the Lakehouse Structure in Databricks

پردازش داده‌ها با آپاچی اسپارک و پای‌اسپارک Data Processing with Apache Spark and PySpark

• آپاچی اسپارک: موتور پردازش داده‌های بزرگ Apache Spark: Engine Behind Big Data Processing

• مفاهیم اجرا و APIهای هسته اسپارک Spark Core APIs and Execution Concepts

• دیتا‌فریم‌های PySpark و عملیات‌های اصلی PySpark DataFrames and Core Operations

• فرمت‌های داده پشتیبانی شده در اسپارک Supported Data Formats in Spark

• استفاده از مجموعه‌داده‌های داخلی در دیتابریکس Using Built-in Datasets in Databricks

• خواندن فایل‌های CSV و JSON در اسپارک Reading CSV and JSON in Spark

• نوشتن داده‌های تغییر یافته در فرمت Parquet Writing Transformed Data in Parquet Format

سازماندهی و وارد کردن داده‌ها در دیتابریکس Organizing and Ingesting Data in the Databricks

• تکامل ذخیره‌سازی در دیتابریکس Evolution of Storage in Databricks

• کار با کاتالوگ‌ها، طرح‌واره‌ها و Volumeها Working with Catalogs, Schemas, and Volumes

• سازماندهی فایل‌های پروژه در Unity Catalog Volumes Organizing Project Files in Unity Catalog Volumes

• مقدمه‌ای بر وارد کردن داده‌ها (Data Ingestion) Introduction to Data Ingestion

• سیستم‌های منبع داده در خط لوله‌های مدرن Data Source Systems in Modern Pipelines

• بررسی گزینه‌های وارد کردن داده در دیتابریکس Exploring Data Ingestion Options in Databricks

• وارد کردن داده‌ها از یک API عمومی REST Ingesting Data from a Public REST API

• شبیه‌سازی وارد کردن دسته‌ای (Batch) در دیتابریکس Simulating Batch Ingestion in Databricks

• وارد کردن بلادرنگ داده‌ها در دیتابریکس Real-Time Ingestion in Databricks

• جمع‌بندی دوره Course summary