آموزش مهندسی داده با Databricks: ساخت پایپلاینها با Lakeflow - آخرین آپدیت
دانلود Databricks Data Engineering: Build Pipelines with Lakeflow
این دوره شامل استفاده از هوش مصنوعی است.
پایپلاینهای داده در سطح تولید را با تسلط بر Lakeflow، ارکستراسیون مدرن داده و ورود مقیاسپذیر دادهها در Databricks بسازید. در این دوره، شما یاد میگیرید که چگونه جریانهای کاری خودکار را طراحی کنید، دادههای مقیاسبزرگ را به طور بهینه پردازش کنید و سیستمهای مهندسی داده آماده تولید را با استفاده از متدهای واقعی توسعه دهید.
Databricks Lakeflow شما را از دادههای خام به پایپلاینهای داده آماده تولید میرساند و همه موارد از پایپلاینهای ورود داده تا ارکستراسیون پویا و داده-محور را از طریق تمرینات عملی پوشش میدهد. این دوره بر دو ستون اصلی مهندسی داده مدرن تمرکز دارد: ورود دادههای قابل اعتماد و ارکستراسیون پیشرفته پایپلاین.
یک راه ساده برای درک آن: هر کسی میتواند از یک ابزار در سطح ابتدایی استفاده کند. چیزی که مهندسان داده تراز اول را متمایز میکند، توانایی اجرای آن ابزار به صورت خودکار و قابل اعتماد در یک محیط تولید (Production) است، جایی که دادههای عظیم به طور مداوم جریان دارند.
آن را مانند یک مرکز sorting بستهها تصور کنید. پایپلاینهای داده مانند تسمههای نقاله عمل میکنند که دادهها وارد شده، سازماندهی شده، مسیریابی شده و گام به گام پردازش میشوند. با Databricks Lakeflow، شما سیستمهایی میسازید که کاملاً خودکار اجرا میشوند - بدون دخالت دستی - درست مانند یک عملیات لجستیکی مدرن.
این یکی از جامعترین دورهها با تمرکز بر Databricks Lakeflow و ارکستراسیون مدرن پایپلاین داده است که به شما کمک میکند مهارتهایی را کسب کنید که در مشاغل مهندسی داده امروزی تقاضای بسیار زیادی دارند.
این دوره کاملاً توسط مدرس طراحی و ارائه شده است. تمام توضیحات فنی، دموهای کدنویسی و پیادهسازیهای پروژه محتوای اصلی مدرس است. هوش مصنوعی صرفاً برای پشتیبانی از ترجمه و صداگذاری نسخههای زبانهای دیگر استفاده شده تا دوره برای مخاطبان جهانی در دسترستر باشد.
آنچه در این دوره خواهید آموخت:
ساخت پایپلاینهای داده در سطح تولید با استفاده از Databricks Lakeflow
طراحی سیستمهای ورود داده مقیاسپذیر با Lakeflow Connect و Auto Loader
ارکستراسیون جریانهای کاری پیچیده با استفاده از Lakeflow Jobs
ایجاد پایپلاینهای پویا با For Each Loop و منطق داده-محور
پیادهسازی جریانهای کاری شرطی برای پردازش تابآور دادهها
استفاده از انتقال پارامترهای پویا و کنترل پایپلاین مبتنی بر SQL
مانیتورینگ، دیباگ و بهینهسازی پایپلاینهای داده در دنیای واقعی
توسعه معماریهای مهندسی داده کاملاً خودکار و مقیاسپذیر
این دوره طراحی شده تا به شما کمک کند پایپلاینهای داده هوشمند بسازید که در سیستمهای مهندسی داده واقعی، سازگار شده، مقیاس پیدا کنند و به طور خودکار عمل کنند.
چه چیزی این دوره را متفاوت میکند؟ چرا ما بهتر هستیم؟
ما فقط کدنویسی یاد نمیدهیم؛ بلکه ساخت جریانهای کاری که خودشان فکر میکنند را آموزش میدهیم: اکثر دورهها به شما نشان میدهند که چگونه Jobهای استاتیک و سختافزاری بسازید که هر روز در یک زمان ثابت اجرا شوند. اینجا، شما معماریهای پایپلاین هوشمندی میسازید که ورودیهای حلقه خود را بر اساس تغییرات لحظهای دیتابیس تولید میکنند.
ما مباحث پیشرفتهای را پوشش میدهیم که در مصاحبههای شغلی باعث دشواری میشوند: انتقال پارامترهای پویا (Dynamic Parameter Passing)، منطق اولین ردیف (First Row Logic) و خروجی SQL Rows دقیقاً همان متدهای سازمانی هستند که در مصاحبههای ارشد مهندسی داده از شما میپرسند. ما آنها را با دیدگاه «اول تولید» آموزش میدهیم، نه فقط حفظ کردن مستندات.
ما در تله «سناریوی ایدهآل» نمیافتیم: در دنیای واقعی، پایپلاینها میشکنند. چیزی که این دوره را متمایز میکند، تمرکز شدید بر جریانهای کاری شرطی (Conditional Workflows) است - معماریای که تصمیم میگیرد در لحظه شکست یک مرحله چه اتفاقی بیفتد - به همراه مانیتورینگ و دیباگ زنده. شما دقیقاً خواهید دانست وقتی سیستمی از کار میافتد چه کنید.
به شما نشان میدهیم چگونه صدها جدول را در یک پایپلاین جمع کنید: مدیریت ۱۰۰ Job جداگانه برای ۱۰۰ جدول مختلف یک کابوس عملیاتی است. با استفاده از For Each Loop، ما به شما نشان میدهیم چگونه صدها جدول را به طور همزمان در یک پایپلاین پویا و بر اساس استانداردهای صنعتی مقیاسبندی کنید.
ما بر جدیدترین تکنولوژیهای ورود داده Databricks تمرکز داریم: متدهای قدیمی ETL که صنعت در حال رها کردن آنهاست را فراموش کنید. شما مدرنترین ابزارهای Databricks یعنی Lakeflow Connect، Data Connections و Auto Loader را یاد میگیرید تا دادههای خام را مستقیماً به جداول Delta آماده تولید منتقل کنید.
محتوا و سرفصلهای دوره
بخش ۱: Lakeflow Connect – از دادههای خام تا جداول Delta
ما با قوانین استخراج داده مستقیماً از منبع و انتقال ایمن آنها به محیط Databricks شروع میکنیم. در ۳ درس عملی، پایپلاینهای ورود داده در سطح تولید را با معماری Lakeflow Connect میسازید، دادهها را از فایلهای محلی به جداول Delta منتقل میکنید و ساختارهای Enterprise Data Connection را از صفر ایجاد میکنید.
بخش ۲: ورود مقیاسپذیر دادهها با Databricks Auto Loader و Lakeflow Jobs
در ادامه به Databricks Auto Loader، ستون فقرات ورود دادههای مدرن و یکپارچهسازی با فضای ذخیرهسازی ابری میپردازیم. پس از پوشش استخراج خودکار طرح (Schema Inference) و مدیریت تکامل طرح (Schema Evolution)، به Lakeflow Jobs میرویم. در یک ورکشاپ عملی ۵ درسی، Auto Loader را با مکانیزمهای ارکستراسیون ترکیب میکنید تا اولین پایپلاین داده بزرگ خود را بسازید و اجرا کنید.
بخش ۳: ارکستراسیون پایپلاین داده با Lakeflow Jobs
ما عمیقتر در موتور ارکستراسیون داخلی Databricks غوطهور میشویم. پس از مرور سریع مفاهیم اصلی و معماری، یک ورکشاپ عملی ۵ درسی را برای ارکستراسیون و اجرای یک پایپلاین داده بزرگ از صفر میگذرانید و گام به گام میبینید که چگونه تئوری به کد آماده تولید تبدیل میشود.
بخش ۴: Lakeflow Jobs پیشرفته – پایپلاینهای پویا، شرطی و داده-محور
پیشرفتهترین بخش دوره که شما را در بازار کار متمایز میکند. شما ۳ درس را روی جریانهای کاری شرطی و ۴ درس را روی ساخت پایپلاینهای پویا با For Each Loop میگذرانید. پس از تسلط بر مانیتورینگ و دیباگ، وارد مباحث SQL Rows Output (۳ درس)، معماری First Row Logic (۳ درس)، انتقال پارامترهای پویا (۴ درس) و استفاده از جداول SQL به عنوان ورودیهای حلقه پویا (۴ درس) میشوید. این بخش به تنهایی ۲۲ درس دارد و قلب تپنده این دوره است.
سوالات متداول
Databricks Lakeflow چیست؟ یک چارچوب ارکستراسیون پایپلاین داده است که مهندسان را قادر میسازد ورود دادهها را خودکار کنند، جریانهای کاری را به صورت پویا مدیریت کنند و سیستمهای داده مقیاسپذیر و آماده تولید را در اکوسیستم Databricks بسازند.
آیا برای این دوره به اکانت پولی Databricks نیاز دارم؟ من بخش بزرگی از این دوره را طوری طراحی کردهام که بتوانید در Databricks Community Edition (نسخه رایگان) آن را دنبال کنید. اگر از طریق شرکت یا پروژه به محیط کاری پولی دسترسی دارید، میتوانید ویژگیهای پیشرفته سازمانی را نیز تجربه کنید. در هر دو صورت، من دقیقاً نحوه پیشروی را به شما آموزش میدهم.
من هرگز نام Lakeflow Connect را در صنعت نشنیدهام. آیا این دوره برای من خیلی پیشرفته است؟ این کاملاً طبیعی است. Lakeflow Connect ابزاری کاملاً جدید و تحولآفرین از Databricks است. دقیقاً به همین دلیل است که در حال حاضر افراد کمی آن را میشناسند، در حالی که تقاضا برای مهندسانی که به آن مسلط باشند بسیار بالاست. بخش ۱ کاملاً از صفر شروع میشود. ابتدا معماری را بررسی میکنیم و سپس گام به گام پیش میرویم.
آیا واقعاً یک پروژه پایپلاین واقعی میسازیم یا فقط تئوری است؟ بخشهای ۲ و ۳ به شدت به تمرینات عملی اختصاص یافتهاند. پس از تثبیت مفاهیم پایه، ۵ درس را در یک ورکشاپ عملی مداوم میگذرانید تا پایپلاین بزرگ خود را از صفر ارکستره و اجرا کنید.
چرا باید جریانهای کاری شرطی (Conditional Workflows) را یاد بگیرم؟ هیچ پایپلاینی در محیط تولید ۱۰۰٪ موفق نیست. تصمیمگیری در مورد اینکه وقتی یک مرحله شکست میخورد چه اتفاقی بیفتد و کدام مسیر را باید در پیش گرفت، زمانی که مستقیماً در جریان کاری (به جای کدنویسی سخت) پیاده شود، بسیار موثرتر است. این موضوع قابلیت اطمینان و نگهداری سیستم را به طور بنیادی تغییر میدهد.
با For Each Loop واقعاً چقدر مقیاسپذیری به دست میآورم؟ به جای نوشتن ۱۰۰ Job جداگانه برای ۱۰۰ جدول، شما یک پایپلاین پویا مینویسید که هر زمان جدول جدیدی به منبع اضافه شد، به طور خودکار خود را بهروز میکند. شما این معماری را در ۴ درس گام به گام میسازید.
انتقال پارامتر پویا، SQL Rows Output، منطق First Row و ورودیهای حلقه پویا... آیا همه اینها واقعاً در یک دوره است؟ بله، و این دقیقاً همان چیزی است که این دوره را از بقیه متمایز میکند. نیمه دوم بخش ۴ کاملاً به این معماریهای پیشرفته داده-محور اختصاص دارد، شامل ۱۴ درس عمیق و عملی در سناریوهای مختلف پیادهسازی واقعی. یافتن منبعی که این تکنیکهای سازمانی را با این عمق پوشش دهد واقعاً نادر است.
اگر پایپلاین من در تولید شکست بخورد چه میشود؟ آیا دوره مانیتورینگ و دیباگ را پوشش میدهد؟ بله. ما فقط کدنویسی یاد نمیدهیم؛ بلکه یاد میدهیم چگونه کد را پس از زنده شدن مانیتور کنید. یک درس اختصاصی برای مانیتورینگ و دیباگ پایپلاین با Databricks Jobs وجود دارد که تکنیکهای عملی برای شناسایی گلوگاهها و رفع سریع خطاها را پوشش میدهد.
چرا دوره Databricks آکادمی OAK را انتخاب کنیم؟
پاسخ ما ساده است: کیفیت آموزشی. آکادمی OAK مستقر در لندن، یکی از ارائهدهندگان پیشرو آموزش آنلاین در زمینههای مهندسی داده، توسعه نرمافزار، IT و طراحی است. با بیش از ۵۰۰۰ ساعت محتوای ویدئویی در Udemy، تخصص صنعتی و تجربه عمیق مدرسان ما را از همان دقیقه اول احساس خواهید کرد.
کیفیت بینقص تصویر و صدا ما تمام محتواها را با بالاترین استانداردهای تولید تهیه میکنیم تا تجربه یادگیری شما روان و مؤثر باشد. در طول دوره، هر جزئیاتی را به وضوح خواهید دید و صدای شفافی را خواهید شنید تا بدون هیچ حواسپرتی روی محتوا متمرکز بمانید.
مزایای اختصاصی دوره:
دسترسی مادامالعمر و بدون وقفه: هر زمان که بخواهید به محتوای دوره و تمام بهروزرسانیهای آینده بدون محدودیت زمانی دسترسی داشته باشید.
پشتیبانی سریع و çözüm-محور در Q&A: هر زمان که موضوعی مبهم بود، از طریق بخش پرسش و پاسخ، پشتیبانی کامل تیم مدرسان خبره ما را دریافت کنید.
گواهینامه رسمی اتمام دوره: یک گواهینامه تأیید شده که پس از اتمام دوره میتوانید مستقیماً به رزومه و پروفایل لینکدین خود اضافه کنید.
اولین قدم خود را به سوی تسلط بر معماری پایپلاینهای پویا و هوشمند در مهندسی داده بردارید. همین امروز در دوره «مهندسی داده با Databricks: ساخت پایپلاینها با Lakeflow» ثبتنام کنید.
پایپلاینهای داده پویا و در سطح تولید را با Lakeflow Connect، Lakeflow Jobs، Auto Loader و Delta Lake بسازید.
Lakeflow Connect: از دادههای خام تا جداول Delta Lakeflow Connect: From Raw Data to Delta Tables
-
Lakeflow Connect: ساخت پایپلاینهای ورود داده در سطح تولید Lakeflow Connect - Building Production-Grade Data Ingestion Pipelines
-
فایلهای پروژه Project Files
-
از فایلهای محلی تا جداول Delta From Local Files to Delta Tables
-
ساخت اتصالات داده در Databricks Building Data Connections in Databricks
-
کوییز Quiz
ورود مقیاسپذیر دادهها با Databricks Auto Loader Scalable Data Ingestion with Databricks Auto Loader
-
Lakeflow Jobs: ارکستراسیون پایپلاینهای داده در Databricks Lakeflow Jobs - Orchestrating Data Pipelines in Databricks
-
Lakeflow Jobs: ساخت اولین پایپلاین داده (عملی) درس ۱ Lakeflow Jobs - Build Your First Data Pipeline (Hands-On) Lesson 1
-
Lakeflow Jobs: ساخت اولین پایپلاین داده (عملی) درس ۲ Lakeflow Jobs - Build Your First Data Pipeline (Hands-On) Lesson 2
-
Lakeflow Jobs: ساخت اولین پایپلاین داده (عملی) درس ۳ Lakeflow Jobs - Build Your First Data Pipeline (Hands-On) Lesson 3
-
Lakeflow Jobs: ساخت اولین پایپلاین داده (عملی) درس ۴ Lakeflow Jobs - Build Your First Data Pipeline (Hands-On) Lesson 4
-
Lakeflow Jobs: ساخت اولین پایپلاین داده (عملی) درس ۵ Lakeflow Jobs - Build Your First Data Pipeline (Hands-On) Lesson 5
-
کوییز Quiz
Lakeflow Jobs پیشرفته: پایپلاینهای پویا، شرطی و داده-محور Advanced Lakeflow Jobs: Dynamic, Conditional & Data-Driven Pipelines
-
جریانهای کاری شرطی در Lakeflow Jobs درس ۱ Conditional Workflows in Lakeflow Jobs Lesson 1
-
جریانهای کاری شرطی در Lakeflow Jobs درس ۲ Conditional Workflows in Lakeflow Jobs Lesson 2
-
جریانهای کاری شرطی در Lakeflow Jobs درس ۳ Conditional Workflows in Lakeflow Jobs Lesson 3
-
ساخت پایپلاینهای پویا با For Each Loop درس ۱ Building Dynamic Pipelines with For Each Loop Lesson 1
-
ساخت پایپلاینهای پویا با For Each Loop درس ۲ Building Dynamic Pipelines with For Each Loop Lesson 2
-
ساخت پایپلاینهای پویا با For Each Loop درس ۳ Building Dynamic Pipelines with For Each Loop Lesson 3
-
ساخت پایپلاینهای پویا با For Each Loop درس ۴ Building Dynamic Pipelines with For Each Loop Lesson 4
-
مانیتورینگ و دیباگ پایپلاینها در Databricks Jobs Monitoring and Debugging Pipelines in Databricks Jobs
-
استفاده از خروجی SQL Rows در پایپلاینهای پویا درس ۱ Using SQL Rows Output in Dynamic Pipelines Lesson 1
-
استفاده از خروجی SQL Rows در پایپلاینهای پویا درس ۲ Using SQL Rows Output in Dynamic Pipelines Lesson 2
-
استفاده از خروجی SQL Rows در پایپلاینهای پویا درس ۳ Using SQL Rows Output in Dynamic Pipelines Lesson 3
-
هدایت پایپلاینها با منطق First Row درس ۱ Driving Pipelines with First Row Logic Lesson 1
-
هدایت پایپلاینها با منطق First Row درس ۲ Driving Pipelines with First Row Logic Lesson 2
-
هدایت پایپلاینها با منطق First Row درس ۳ Driving Pipelines with First Row Logic Lesson 3
-
پایپلاینهای داده-محور با انتقال پارامترهای پویا درس ۱ Data-Driven Pipelines with Dynamic Parameter Passing Lesson 1
-
پایپلاینهای داده-محور با انتقال پارامترهای پویا درس ۲ Data-Driven Pipelines with Dynamic Parameter Passing Lesson 2
-
پایپلاینهای داده-محور با انتقال پارامترهای پویا درس ۳ Data-Driven Pipelines with Dynamic Parameter Passing Lesson 3
-
پایپلاینهای داده-محور با انتقال پارامترهای پویا درس ۴ Data-Driven Pipelines with Dynamic Parameter Passing Lesson 4
-
پایپلاینهای داده-محور: استفاده از جداول SQL به عنوان ورودیهای حلقه پویا درس ۱ Data-Driven Pipelines - Using SQL Tables as Dynamic Loop Inputs Lesson 1
-
پایپلاینهای داده-محور: استفاده از جداول SQL به عنوان ورودیهای حلقه پویا درس ۲ Data-Driven Pipelines - Using SQL Tables as Dynamic Loop Inputs Lesson 2
-
پایپلاینهای داده-محور: استفاده از جداول SQL به عنوان ورودیهای حلقه پویا درس ۳ Data-Driven Pipelines - Using SQL Tables as Dynamic Loop Inputs Lesson 3
-
پایپلاینهای داده-محور: استفاده از جداول SQL به عنوان ورودیهای حلقه پویا درس ۴ Data-Driven Pipelines - Using SQL Tables as Dynamic Loop Inputs Lesson 4
-
کوییز Quiz
بخش اضافی Extra
-
مهندسی داده با Databricks: ساخت پایپلاینها با Lakeflow Databricks Data Engineering: Build Pipelines with Lakeflow
OAK Academy
OAK Academy Team
نمایش نظرات