لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش مبانی دیتابریکس لیکهاوس (Databricks Lakehouse)
- آخرین آپدیت
دانلود Databricks Lakehouse Fundamentals
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
یاد بگیرید چگونه خط لولههای داده (Data Pipelines) را در پلتفرم Databricks Lakehouse بسازید؛ از مفاهیم معماری تا کار عملی با Spark و Delta Lake. این دوره مقدماتی با بررسی علت جایگزینی الگوی Lakehouse به جای انبار دادهها (Data Warehouses) و دریاچههای داده (Data Lakes) مجزا آغاز میشود و سپس مستقیماً به محیط کاری دیتابریکس میرود، جایی که شما پیکربندی Compute، نوشتن کوئریهای PySpark و SQL و مدیریت دادهها با فضای نام سه سطحی Unity Catalog را فرا میگیرید.
هفته به هفته، مسیر یادگیری شما از پیمایش در پلتفرم شروع شده و به تبدیل DataFrameها با استفاده از select، filter، groupBy و joins میرسد و در نهایت به ایجاد جداول Delta Lake با تراکنشهای ACID، اعمال طرحواره (Schema Enforcement) و قابلیت سفر در زمان (Time Travel) ختم میشود. شما عملیات واقعی DML شامل INSERT، UPDATE، DELETE و MERGE را اجرا خواهید کرد و یاد میگیرید که خط لولههای تولیدی را با استفاده از Databricks Jobs و ارکستراسیون مبتنی بر DAG زمانبندی کنید.
این دوره کاملاً بر روی نسخه رایگان Databricks اجرا میشود، بنابراین هیچ هزینه ابری نخواهید داشت. شش آزمایشگاه عملی هر ماژول را تقویت میکند: کاوش در محیط کاری، نوشتن تبدیلات مبتنی بر نوتبوک، ساخت جداول دلتا و پیادهسازی یک جریان کاری خودکار. در پایان، شما یک خط لوله مهندسی داده کامل را از ورود دادههای خام تا Delta Lake و زمانبندی کارهای تولیدی ساختهاید.
سرفصل ها و درس ها
معماری لیکهاوس و محیط کاری
Lakehouse Architecture and Workspace
تکامل معماری داده
Data Architecture Evolution
معماری لیکهاوس
Lakehouse Architecture
دیتابریکس و لیکهاوس
Databricks and the Lakehouse
مرور کلی دیتابریکس
Databricks Overview
محیط کاری، کاتالوگ و دادهها
Workspace, Catalog & Data
منابع پردازشی (Compute)
Compute Resources
آپاچه اسپارک در دیتابریکس
Apache Spark on Databricks
کار با نوتبوکها
Using Notebooks
دستورات جادویی و ابزارها
Magic Commands & Utilities
بارگذاری و پیشنمایش دادهها
Loading & Previewing Data
مفاهیم اصلی اسپارک
Spark Core Concepts
عملیات Select و Filter
Select & Filter Operations
گروهبندی، تجمیع و Joinها
GroupBy, Aggregations & Joins
ضروریات دلتا لیک
Delta Lake Essentials
دلتا لیک چیست
What Is Delta Lake
مفاهیم دلتا لیک
Delta Lake Concepts
ایجاد جداول دلتا
Creating Delta Tables
عملیات Insert، Update و Merge
Insert, Update & Merge
سفر در زمان (Time Travel)
Time Travel
جابها، داشبوردها و جریانهای کاری
Jobs, Dashboards & Workflows
نمایش نظرات