آموزش شروع کار با دریاچه دلتا در Databricks

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

کاوش دریاچه دلتا روی Databricks Exploring Delta Lake on Databricks

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• مروری سریع بر Databricks Quick Overview of Databricks

• معماری Databricks Data Lakehouse The Databricks Data Lakehouse Architecture

• دریاچه های دلتا Delta Lakes

• جداول دلتا Delta Tables

• جداول دلتا و معاملات Delta Tables and Transactions

• نسخه ی نمایشی: راه اندازی فضای کاری Databricks و ایجاد Apache Spark Cluster Demo: Launching the Databricks Workspace and Creating the Apache Spark Cluster

• نسخه ی نمایشی: فعال کردن DBFS و آپلود داده ها Demo: Enabling DBFS and Uploading Data

• نسخه ی نمایشی: ایجاد یک جدول دلتا با استفاده از رابط کاربری Demo: Creating a Delta Table Using the UI

• نسخه ی نمایشی: خواندن و نوشتن در جداول دلتا با استفاده از اسپارک آپاچی Demo: Reading from and Writing to Delta Tables Using Apache Spark

• نسخه ی نمایشی: کاوش در ساختار جداول دلتا Demo: Exploring the Structure of Delta Tables

• نسخه ی نمایشی: معاملات و تعهدات در جداول دلتا Demo: Transactions and Commits in Delta Tables

• نسخه ی نمایشی: سفر در زمان در جداول دلتا Demo: Time Travel in Delta Tables

• نسخه ی نمایشی: پاک کردن نسخه های قدیمی با استفاده از VACUUM Demo: Cleaning up Old Versions Using VACUUM

بهینه سازی پرس و جوها در جداول دلتا Optimizing Queries on Delta Tables

• دریاچه های دلتا و موتور دلتا Delta Lakes and Delta Engine

• بهینه سازی های دلتا: ذخیره سازی و پرش داده ها Delta Optimizations: Caching and Data Skipping

• نسخه ی نمایشی: فعال کردن کش دلتا Demo: Enabling the Delta Cache

• نسخه ی نمایشی: ذخیره کردن نتایج و دسترسی به نتایج ذخیره شده در حافظه پنهان Demo: Caching Results and Accessing Cached Results

• نسخه ی نمایشی: بازیابی زیرمجموعه های داده های ذخیره شده Demo: Retrieving Subsets of Cached Data

• نسخه ی نمایشی: غیرفعال کردن کش دلتا Demo: Disabling the Delta Cache

• بهینه سازی دلتا: بهینه سازی طرح بندی فایل Delta Optimizations: File Layout Optimizations

• نسخه ی نمایشی: اجرای پرس و جوها در جدول اصلی بهینه نشده Demo: Running Queries on the Original Non-optimized Table

• نسخه ی نمایشی: پارتیشن بندی جداول دلتا Demo: Partitioning Delta Tables

• نسخه ی نمایشی: فشرده سازی یا Bin-packing Demo: Compaction or Bin-packing

• نسخه ی نمایشی: Z-ordering Demo: Z-ordering

بلع دسته ای و جریان داده در جداول دلتا Ingesting Batch and Streaming Data into Delta Tables

• COPY INTO در مقابل Auto Loader COPY INTO vs. Auto Loader

• لودر خودکار Auto Loader

• نسخه ی نمایشی: ایجاد جدول دلتا و آپلود فایل ها در DBFS Demo: Creating the Delta Table and Uploading Files to DBFS

• نسخه ی نمایشی: بارگیری دسته ای داده با استفاده از COPY INTO Demo: Batch Loading Data Using COPY INTO

• نسخه ی نمایشی: انجام بارگیری دسته ای با استفاده از کارهای زمان بندی شده Demo: Performing Batch Loading Using Scheduled Jobs

• نسخه ی نمایشی: ایجاد یک کاربر AWS و سطل S3 Demo: Creating an AWS User and S3 Bucket

• نسخه ی نمایشی: استفاده از بارگذار خودکار برای دریافت داده ها از منبع جریان Demo: Using Auto Loader to Ingest Data from a Streaming Source

• نسخه ی نمایشی: بارگیری داده های جریانی در یک جدول دلتا Demo: Loading Streaming Data in to a Delta Table

• خلاصه و مطالعه بیشتر Summary and Further Study