کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش ساخت اولین خط لوله ETL خود با استفاده از Azure Databricks

Building Your First ETL Pipeline Using Azure Databricks

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: در این دوره ، شما با پلتفرم Azure Databricks مبتنی بر Spark آشنا خواهید شد ، نحوه راه اندازی محیط ، ساخت سریع ، استخراج ، تبدیل و بارگذاری خطوط لوله داده خود ، تنظیم آن را از انتها به پایان و اجرای خودکار آن و. ..با رشد نمایی حجم داده ها ، افزایش در انواع منابع داده ، نیازهای سریعتر پردازش داده ها و تغییر پویا نیازهای تجاری ، ابزارهای سنتی ETL برای پاسخگویی به نیازهای خطوط انتقال داده مدرن با این چالش روبرو هستند. در حالی که Apache Spark برای پردازش داده های بزرگ بسیار محبوب است و می تواند به ما کمک کند تا از پس این چالش ها برآییم ، اما مدیریت محیط Spark هیچ گونه پیاده روی نیست. در این دوره ، ساخت اولین خط لوله ETL خود با استفاده از Azure Databricks ، شما توانایی استفاده از پلت فرم مبتنی بر Spark Databricks را که بر روی Microsoft Azure اجرا می شود ، و استفاده از ویژگی های آن را برای ساخت و تنظیم سریع خط لوله ETL از انتهای انتها بدست خواهید آورد. و همه اینها در حالی است که در مورد گزینه های همکاری و بهینه سازی هایی که به همراه دارد ، اطلاعاتی کسب می کنیم ، اما بدون نگرانی در مورد مدیریت زیرساخت ها. ابتدا با اصول Spark ، با بستر و ویژگی های Databricks و نحوه اجرای آن در Microsoft Azure آشنا خواهید شد. در مرحله بعدی ، خواهید فهمید که چگونه محیط را مانند فضای کاری ، خوشه ها و امنیت راه اندازی کنید و برای اجرای مدل بعدی ، هر فاز استخراج ، تبدیل و بارگیری را جداگانه بسازید. سرانجام ، شما نحوه چگونگی تنظیم این کار را با استفاده از مشاغل Databricks و Azure Data Factory و به دنبال آن ویژگی های دیگری مانند Databricks API و Delta Lake ، کشف می کنید تا به شما در ساخت خطوط داده خودکار و قابل اعتماد کمک کند. پس از اتمام این دوره ، مهارت و دانش پلت فرم Azure Databricks مورد نیاز برای ساخت و تنظیم یک خط لوله ETL از انتهای انتها را خواهید داشت.
سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

شروع با Azure Databricks Getting Started with Azure Databricks

  • بررسی اجمالی ماژول Module Overview

  • طرح کلی دوره Course Outline

  • پرونده برای Databricks The Case for Databricks

  • جرقه 101 Spark 101

  • دیتابریک چیست؟ What Is Databricks?

  • م Datلفه های پایگاه داده Databricks Components

  • Azure Databricks چیست؟ What Is Azure Databricks?

  • خلاصه Summary

تنظیم محیط پایگاه داده خود Setting up Your Databricks Environment

  • بررسی اجمالی ماژول Module Overview

  • تنظیم فضای کاری Setting up Workspace

  • ایجاد خوشه Creating Cluster

  • کار با نوت بوک Working with Notebook

  • پیکربندی امنیت Configuring Security

  • سناریو Walkthrough Scenario Walkthrough

  • خلاصه Summary

استخراج داده ها از چندین منبع Extracting Data from Multiple Sources

  • بررسی اجمالی ماژول Module Overview

  • درحال استخراج & nbsp؛ از خدمات ذخیره سازی Azure Extracting from Azure Storage Services

  • خواندن چندین قالب فایل Reading Multiple File Formats

  • استفاده از طرح ها Applying Schemas

  • خلاصه Summary

تغییر شکل و تمیز کردن داده ها Transforming and Cleaning Data

  • بررسی اجمالی ماژول Module Overview

  • درک تحولات رایج Understanding Common Transformations

  • تجزیه و تحلیل و تمیز کردن داده ها Analyzing and Cleaning Data

  • اعمال تحولات Applying Transformations

  • کار با Spark SQL Working with Spark SQL

  • مدیریت داده های خراب Handling Corrupt Data

  • خلاصه Summary

در حال بارگیری داده ها Loading Data

  • بررسی اجمالی ماژول Module Overview

  • در حال بارگیری در پرونده ها Loading to Files

  • کار با جداول Databricks Working with Databricks Tables

  • خلاصه Summary

ارکستراسیون خط لوله ETL Orchestrating ETL Pipeline

  • بررسی اجمالی ماژول Module Overview

  • تنظیم گردش کار Setting up Workflow

  • برنامه ریزی با مشاغل Databricks Scheduling with Databricks Jobs

  • همكاری با Azure Data Factory Orchestrating with Azure Data Factory

  • خلاصه Summary

ایجاد خطوط لوله بهتر در پایگاه داده Building Better Pipelines on Databricks

  • بررسی اجمالی ماژول Module Overview

  • استفاده از Databricks API Using Databricks APIs

  • درک دریاچه دلتا Understanding Delta Lake

  • خلاصه Summary

نمایش نظرات

نظری ارسال نشده است.

آموزش ساخت اولین خط لوله ETL خود با استفاده از Azure Databricks
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
2h 40m
41
Pluralsight (پلورال سایت) pluralsight-small
25 مهر 1398 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
119
4.8 از 5
دارد
دارد
دارد
Mohit Batra

https://donyad.com/d/0791

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

آموزش ساخت خطوط لوله ETL از طریق پخش جریانی داده با کافکا و ksqlDB

آموزش ساخت خطوط لوله ETL از طریق پخش جریانی داده با کافکا و ksqlDB

Building ETL Pipelines from Streaming Data with Kafka and ksqlDB

کافکا می تواند کارهایی فراتر از ذخیره اطلاعات جریانی داشته باشد. این دوره به شما آموزش می دهد تا داده ها را در کافکا با ksqlDB و جریان های کافکا جمع آوری و تجزیه و تحلیل کنید.

Eugene Meidinger Eugene Meidinger

آموزش ادغام ابزارهای SQL و ETL با Databricks

آموزش ادغام ابزارهای SQL و ETL با Databricks

Integrating SQL and ETL Tools with Databricks

در صورتی که Databricks به طور یکپارچه در یک محیط توسعه ادغام شود، می توان به کارگیری آن را بسیار ساده تر کرد. این دوره به چگونگی انجام این کار برای سرویس گیرنده SQL Workbench/J و سرویس Prophecy می پردازد.

آموزش ETL در مقابل ELT: چه کسی اهمیت می دهد؟

آموزش ETL در مقابل ELT: چه کسی اهمیت می دهد؟

ETL vs. ELT: Who Cares?

در این جلسه ، ما کشف خواهیم کرد که چرا ELT کلید استفاده از Cloud Data Architecture است و به IT و تجارت شما رویکرد و بینشی را می توان از بزرگترین دارایی شرکت های شما - داده های شما - کشف کرد.

آموزش از ETL به ELT: ساخت پشته مقیاس پذیر با SQL

آموزش از ETL به ELT: ساخت پشته مقیاس پذیر با SQL

From ETL to ELT: Building a Scalable Data Stack with SQL

Big Data LDN 2019 | از ETL به ELT: ساخت پشته مقیاس پذیر با SQL | لوئیس همنز

Big Data LDN Big Data LDN

Mohit Batra Mohit Batra

موهیت یک مهندس داده ، یک مربی مجوز مایکروسافت (MCT) و یک مشاور است. موهیت دارای بیش از 15 سال تجربه گسترده در زمینه راهکارهای مقیاس بزرگ هوش تجاری ، ذخیره سازی داده ها و راه حل های بزرگ داده با شرکت هایی مانند مایکروسافت و برخی از بانک های پیشرو سرمایه گذاری است. موهیت به عنوان یک متخصص در زمینه خود ، اغلب دانش خود را در Azure ، Spark ، SQL Server و Power BI در تالارهای گفتگوی عمومی مختلف و به عنوان یک مربی شریک کرده است. محیط واقعاً عاشق تدریس است و از تولید مواد یادگیری جذاب و با کیفیت برای جلسات خود لذت می برد. در اوقات فراغت ، موهیت عاشق کتاب خواندن است ، از عکاسی و موسیقی لذت می برد.

Pluralsight (پلورال سایت)

Pluralsight یکی از پرطرفدارترین پلتفرم‌های آموزش آنلاین است که به میلیون‌ها کاربر در سراسر جهان کمک می‌کند تا مهارت‌های خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دوره‌های آموزشی در زمینه‌های فناوری اطلاعات، توسعه نرم‌افزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه می‌دهد.

یکی از ویژگی‌های برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعه‌دهندگان و کارشناسان معتبر، دوره‌هایی را ارائه می‌دهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژی‌ها نگه می‌دارد. این امر به کاربران این اطمینان را می‌دهد که دوره‌هایی که در Pluralsight می‌پذیرند، با جدیدترین دانش‌ها و تجارب به روز شده‌اند.