آموزش مهندسی داده با Spark Databricks Delta Lake Lakehouse

معرفی و ساخت یک خط لوله ساده Introduction and building a simple pipeline

• معرفی Introduction

• مهندسی داده با اسپارک Data Engineering with Spark

• Databricks چیست؟ What is Databricks

• ایجاد یک حساب کاربری Databricks Community Edition Creating a Databricks Community Edition account

• ساخت یک خط لوله داده پایه Building a basic data pipeline

• خواندن داده ها از جداول DBFS و Delta Reading data from DBFS and Delta Tables

• نوشتن داده ها در جداول DBFS و Delta Writing data to DBFS and Delta tables

• صادرات و واردات نوت بوک Exporting and importing Notebooks

• بازبینی خط لوله داده های اولیه Revisiting the basic data pipeline

مهندسی داده با آپاچی اسپارک Data Engineering with Apache Spark

• تغییرات و اقدامات بیشتر با استفاده از PySpark More Transformations and Actions using PySpark

• انجام تحولات در اسکالا Doing the Transformations in Scala

• دوره سقوط پایتون اسکالا Python Scala crash course

• توابع تعریف شده توسط کاربر اسپارک (UDF) Spark User Defined Functions (UDF)

• پیوستن به مجموعه داده ها با استفاده از DataFrame API و Spark SQL Joining Datasets using DataFrame APIs and Spark SQL

• عملیات پیوستن بیشتر با استفاده از Spark More join operations using Spark

• خلاصه بخش Section summary

Dat Lakehouse Delta Lake و Delta Tables شیرجه عمیق Dat Lakehouse Delta Lake and Delta Tables deep dive

• آشنایی با Data Warehouse، Data Lake و Data Lakehouse Understanding Data Warehouse, Data Lake and Data Lakehouse

• Databricks Lakehouse Architecture و Delta Lake Databricks Lakehouse Architecture and Delta Lake

• جداول دلتا Delta Tables

• ذخیره داده ها در جدول دلتا، Databricks SQL و سفر در زمان Storing data in a Delta table, Databricks SQL and time travel

• Databricks SQL در مقابل Spark SQL Databricks SQL vs Spark SQL

• ذخیره سازی جداول دلتا Delta Table caching

• پارتیشن بندی میز دلتا Delta Table partitioning

• ترتیب جدول دلتا Z Delta Table Z-ordering

• از اینجا به کجا برویم؟ Where to go from here?

• تبریک و تشکر Congratulations & Thank You