آموزش ساخت اولین خط لوله ETL خود با استفاده از Azure Databricks

Building Your First ETL Pipeline Using Azure Databricks

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: در این دوره ، شما با پلتفرم Azure Databricks مبتنی بر Spark آشنا خواهید شد ، نحوه راه اندازی محیط ، ساخت سریع ، استخراج ، تبدیل و بارگذاری خطوط لوله داده خود ، تنظیم آن را از انتها به پایان و اجرای خودکار آن و. ..با رشد نمایی حجم داده ها ، افزایش در انواع منابع داده ، نیازهای سریعتر پردازش داده ها و تغییر پویا نیازهای تجاری ، ابزارهای سنتی ETL برای پاسخگویی به نیازهای خطوط انتقال داده مدرن با این چالش روبرو هستند. در حالی که Apache Spark برای پردازش داده های بزرگ بسیار محبوب است و می تواند به ما کمک کند تا از پس این چالش ها برآییم ، اما مدیریت محیط Spark هیچ گونه پیاده روی نیست. در این دوره ، ساخت اولین خط لوله ETL خود با استفاده از Azure Databricks ، شما توانایی استفاده از پلت فرم مبتنی بر Spark Databricks را که بر روی Microsoft Azure اجرا می شود ، و استفاده از ویژگی های آن را برای ساخت و تنظیم سریع خط لوله ETL از انتهای انتها بدست خواهید آورد. و همه اینها در حالی است که در مورد گزینه های همکاری و بهینه سازی هایی که به همراه دارد ، اطلاعاتی کسب می کنیم ، اما بدون نگرانی در مورد مدیریت زیرساخت ها. ابتدا با اصول Spark ، با بستر و ویژگی های Databricks و نحوه اجرای آن در Microsoft Azure آشنا خواهید شد. در مرحله بعدی ، خواهید فهمید که چگونه محیط را مانند فضای کاری ، خوشه ها و امنیت راه اندازی کنید و برای اجرای مدل بعدی ، هر فاز استخراج ، تبدیل و بارگیری را جداگانه بسازید. سرانجام ، شما نحوه چگونگی تنظیم این کار را با استفاده از مشاغل Databricks و Azure Data Factory و به دنبال آن ویژگی های دیگری مانند Databricks API و Delta Lake ، کشف می کنید تا به شما در ساخت خطوط داده خودکار و قابل اعتماد کمک کند. پس از اتمام این دوره ، مهارت و دانش پلت فرم Azure Databricks مورد نیاز برای ساخت و تنظیم یک خط لوله ETL از انتهای انتها را خواهید داشت.

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

شروع با Azure Databricks Getting Started with Azure Databricks

  • بررسی اجمالی ماژول Module Overview

  • طرح کلی دوره Course Outline

  • پرونده برای Databricks The Case for Databricks

  • جرقه 101 Spark 101

  • دیتابریک چیست؟ What Is Databricks?

  • م Datلفه های پایگاه داده Databricks Components

  • Azure Databricks چیست؟ What Is Azure Databricks?

  • خلاصه Summary

تنظیم محیط پایگاه داده خود Setting up Your Databricks Environment

  • بررسی اجمالی ماژول Module Overview

  • تنظیم فضای کاری Setting up Workspace

  • ایجاد خوشه Creating Cluster

  • کار با نوت بوک Working with Notebook

  • پیکربندی امنیت Configuring Security

  • سناریو Walkthrough Scenario Walkthrough

  • خلاصه Summary

استخراج داده ها از چندین منبع Extracting Data from Multiple Sources

  • بررسی اجمالی ماژول Module Overview

  • درحال استخراج & nbsp؛ از خدمات ذخیره سازی Azure Extracting from Azure Storage Services

  • خواندن چندین قالب فایل Reading Multiple File Formats

  • استفاده از طرح ها Applying Schemas

  • خلاصه Summary

تغییر شکل و تمیز کردن داده ها Transforming and Cleaning Data

  • بررسی اجمالی ماژول Module Overview

  • درک تحولات رایج Understanding Common Transformations

  • تجزیه و تحلیل و تمیز کردن داده ها Analyzing and Cleaning Data

  • اعمال تحولات Applying Transformations

  • کار با Spark SQL Working with Spark SQL

  • مدیریت داده های خراب Handling Corrupt Data

  • خلاصه Summary

در حال بارگیری داده ها Loading Data

  • بررسی اجمالی ماژول Module Overview

  • در حال بارگیری در پرونده ها Loading to Files

  • کار با جداول Databricks Working with Databricks Tables

  • خلاصه Summary

ارکستراسیون خط لوله ETL Orchestrating ETL Pipeline

  • بررسی اجمالی ماژول Module Overview

  • تنظیم گردش کار Setting up Workflow

  • برنامه ریزی با مشاغل Databricks Scheduling with Databricks Jobs

  • همكاری با Azure Data Factory Orchestrating with Azure Data Factory

  • خلاصه Summary

ایجاد خطوط لوله بهتر در پایگاه داده Building Better Pipelines on Databricks

  • بررسی اجمالی ماژول Module Overview

  • استفاده از Databricks API Using Databricks APIs

  • درک دریاچه دلتا Understanding Delta Lake

  • خلاصه Summary

نمایش نظرات

Pluralsight (پلورال سایت)

Pluralsight یکی از پرطرفدارترین پلتفرم‌های آموزش آنلاین است که به میلیون‌ها کاربر در سراسر جهان کمک می‌کند تا مهارت‌های خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دوره‌های آموزشی در زمینه‌های فناوری اطلاعات، توسعه نرم‌افزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه می‌دهد.

یکی از ویژگی‌های برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعه‌دهندگان و کارشناسان معتبر، دوره‌هایی را ارائه می‌دهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژی‌ها نگه می‌دارد. این امر به کاربران این اطمینان را می‌دهد که دوره‌هایی که در Pluralsight می‌پذیرند، با جدیدترین دانش‌ها و تجارب به روز شده‌اند.

آموزش ساخت اولین خط لوله ETL خود با استفاده از Azure Databricks
جزییات دوره
2h 40m
41
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
119
4.8 از 5
دارد
دارد
دارد
Mohit Batra
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Mohit Batra Mohit Batra

موهیت یک مهندس داده ، یک مربی مجوز مایکروسافت (MCT) و یک مشاور است. موهیت دارای بیش از 15 سال تجربه گسترده در زمینه راهکارهای مقیاس بزرگ هوش تجاری ، ذخیره سازی داده ها و راه حل های بزرگ داده با شرکت هایی مانند مایکروسافت و برخی از بانک های پیشرو سرمایه گذاری است. موهیت به عنوان یک متخصص در زمینه خود ، اغلب دانش خود را در Azure ، Spark ، SQL Server و Power BI در تالارهای گفتگوی عمومی مختلف و به عنوان یک مربی شریک کرده است. محیط واقعاً عاشق تدریس است و از تولید مواد یادگیری جذاب و با کیفیت برای جلسات خود لذت می برد. در اوقات فراغت ، موهیت عاشق کتاب خواندن است ، از عکاسی و موسیقی لذت می برد.