کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش تصور مدل پردازش برای سرویس Azure Databricks

Conceptualizing the Processing Model for Azure Databricks Service

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: در این دوره ، شما با پلت فرم Azure Databricks مبتنی بر Spark آشنا خواهید شد. شما خواهید دید که چگونه مدل پردازش جریان جرقه ای کار می کند و سپس از آن برای ساخت خط تولید جریان آماده تولید پایان به پایان در پلت فرم Azure Databricks استفاده می کنید. خطوط لوله داده مدرن اغلب شامل داده های جریان دار هستند که باید به صورت بلادرنگ پردازش شوند. در حالی که Apache Spark برای پردازش داده های بزرگ بسیار محبوب است و می تواند به ما در ساخت خطوط لوله قابل اطمینان کمک کند ، اما مدیریت محیط Spark بدون هیچ گونه پیاده روی است. در این دوره ، مفهوم سازی مدل پردازش برای Azure Databricks Service ، شما می آموزید که چگونه از Spark Streaming Streaming در پلتفرم Databricks که در Microsoft Azure در حال اجرا است ، استفاده کنید و از ویژگی های آن برای ساخت سریع و قابل اعتماد یک خط لوله جریان به پایان استفاده کنید. . و همه اینها در حالی است که در مورد گزینه های همکاری و بهینه سازی هایی که به همراه دارد ، اطلاعاتی کسب می کنیم ، اما بدون نگرانی در مورد مدیریت زیرساخت ها. ابتدا با مدل پردازش Spark Structured Streaming ، با پلتفرم و ویژگی های Databricks و نحوه اجرای آن در Microsoft Azure آشنا خواهید شد. در مرحله بعدی ، نحوه تنظیم محیط مانند فضای کاری ، خوشه ها و امنیت را مشاهده خواهید کرد. منابع جریان و سینک ها را پیکربندی کنید و ببینید نحوه تحمل خطا در جریان سازی ساختار یافته چگونه کار می کند. به دنبال آن ، شما می آموزید که چگونه هر فاز از خط لوله جریان را بسازید ، با استخراج داده ها از منبع ، تبدیل آنها و بارگیری آنها در یک ظرفشویی. و سپس تولید آن را آماده کرده و با استفاده از مشاغل Databricks اجرا کنید. همچنین می بینید که چگونه خوشه را با استفاده از اسکریپت های اولیه و ظروف Docker ، متناسب با نیازهای تجاری خود سفارشی کنید. سرانجام ، جنبه های دیگر را کشف خواهید کرد. خواهید دید که حجم کار مختلف موجود چیست و قیمت گذاری چگونه کار می کند. ما همچنین در مورد بهترین روش ها ، از نظر توسعه ، عملکرد ، ثبات و هزینه صحبت خواهیم کرد. و در آخر ، خواهید دید که چگونه Spark Streamed Streaming در Azure Databricks با سایر خدمات مدیریت شده مانند Flink on AWS ، Azure Stream Analytics ، Beam on Google Cloud و غیره مقایسه می شود. در پایان این دوره ، شما مهارت و دانش Azure را خواهید داشت پلتفرم Databricks برای ساخت یک خط لوله جریان به پایان از طریق استفاده از جریان Spark Structured مورد نیاز است.
سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

شروع با جریان ساختاری در Azure Databricks Getting Started with Structured Streaming on Azure Databricks

  • بررسی اجمالی ماژول Module Overview

  • طرح کلی دوره Course Outline

  • خطوط داده مدرن در پایگاه داده Modern Data Pipelines on Databricks

  • جرقه 101 Spark 101

  • مدل پردازش جریان ساختاری Structured Streaming Processing Model

  • دیتابریک چیست؟ What Is Databricks?

  • Azure Databricks چیست؟ What Is Azure Databricks?

  • خلاصه Summary

تنظیم محیط Databricks Setting up Databricks Environment

  • بررسی اجمالی ماژول Module Overview

  • تنظیم فضای کاری Setting up Workspace

  • ایجاد خوشه Creating Cluster

  • درک استخرهای خوشه ای و خودکارسازی Understanding Cluster Pools and Autoscaling

  • کار با نوت بوک Working with Notebook

  • پیکربندی امنیت Configuring Security

  • سناریو Walkthrough Scenario Walkthrough

  • خلاصه Summary

پیکربندی فروشگاه های منبع و سینک Configuring Source and Sink Stores

  • بررسی اجمالی ماژول Module Overview

  • سازه جریان تحمل خطا Structured Streaming Fault Tolerance

  • گزینه های منبع و سینک Source and Sink Options

  • Azure Event Hub ها را راه اندازی کنید و مختصات Maven را دریافت کنید Setup Azure Event Hubs and Get Maven Coordinates

  • منبع: پیکربندی Azure Event Hub ها با استفاده از کتابخانه های Databricks Source: Configure Azure Event Hubs Using Databricks Libraries

  • سینک: Mount Azure Storage Services to DBFS Sink: Mount Azure Storage Services to DBFS

  • برنامه نمونه را برای ارسال رویدادهای تاکسی NYC راه اندازی کنید Setup Sample App to Send NYC Taxi Events

  • خلاصه Summary

ساخت خط لوله جریان با استفاده از جریان ساختار یافته Building Streaming Pipeline Using Structured Streaming

  • بررسی اجمالی ماژول Module Overview

  • استخراج و پردازش داده های منبع Extract and Process Source Data

  • بارگذاری داده ها در پرونده ها Load Data to Files

  • کار با Spark SQL و تجسم داده ها Working with Spark SQL and Visualizing Data

  • خلاصه Summary

آماده سازی تولید خط لوله جریان مستقیم Making Streaming Pipeline Production Ready

  • بررسی اجمالی ماژول Module Overview

  • خط لوله جریان را پارامتر کنید Parameterize Streaming Pipeline

  • برنامه ریزی با مشاغل Databricks Scheduling with Databricks Jobs

  • بهترین روش ها Best Practices

  • خلاصه Summary

درک قیمت گذاری ، حجم کار و رقابت Understanding Pricing, Workloads, and Competition

  • بررسی اجمالی ماژول Module Overview

  • بارهای کاری ، ردیف ها و قیمت گذاری Workloads, Tiers, and Pricing

  • مقایسه با سایر سرویس های جریانی Comparison with Other Streaming Services

  • خلاصه Summary

سفارشی کردن خوشه Customizing the Cluster

  • بررسی اجمالی ماژول Module Overview

  • کار با اسکریپت های اولیه Working with Initialization Scripts

  • خدمات کانتینر Databricks را درک کنید Understand Databricks Container Services

  • ساخت و استقرار تصویر Docker سفارشی روی خوشه Build and Deploy Custom Docker Image on Cluster

  • خلاصه Summary

نمایش نظرات

نظری ارسال نشده است.

آموزش تصور مدل پردازش برای سرویس Azure Databricks
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
2h 51m
44
Pluralsight (پلورال سایت) pluralsight-small
31 تیر 1399 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
17
4.8 از 5
دارد
دارد
دارد
Mohit Batra

https://donyad.com/d/9829

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

آموزش مدیریت مدل ها با استفاده از MLflow در Databricks

آموزش مدیریت مدل ها با استفاده از MLflow در Databricks

Managing Models Using MLflow on Databricks

این دوره به شما می آموزد که چگونه با استفاده از سرویس مدیریت شده MLflow در Databricks، چرخه عمر پایان به انتها مدل های یادگیری ماشین خود را مدیریت کنید.

آموزش مدیریت خوشه ها و پیکربندی سیاست ها با سرویس Databricks

آموزش مدیریت خوشه ها و پیکربندی سیاست ها با سرویس Databricks

Administering Clusters and Configuring Policies with Databricks Service

خوشه ها در قلب اکثر وظایف در Databricks قرار دارند و پیکربندی دقیق آنها برای اطمینان از عملکرد بهینه و همچنین مدیریت هزینه ها بسیار مهم است. این دوره نحوه استفاده از سیاست های خوشه ای را برای کمک به دستیابی به این اهداف پوشش می دهد.

آموزش دریاچه دلتا با Azure Databricks: Deep Dive

آموزش دریاچه دلتا با Azure Databricks: Deep Dive

Delta Lake with Azure Databricks: Deep Dive

در این دوره آموزشی، در مورد دریاچه دلتا با استفاده از Azure Databricks و اکوسیستم آن – Delta Lake Storage، Delta Engine، Delta Architecture، Delta Live Tables و غیره – و نحوه ارائه ویژگی های انبار مانندی که می توانید از آنها برای ساختن یک انبار استفاده کنید، یاد خواهید گرفت. ...

آموزش شروع کار با دریاچه دلتا در Databricks

آموزش شروع کار با دریاچه دلتا در Databricks

Getting Started with Delta Lake on Databricks

این دوره به شما یاد می‌دهد که چگونه می‌توانید داده‌ها را ایجاد کنید، دریافت کنید و با آن کار کنید، Delta Lakes، یک لایه ذخیره‌سازی منبع باز که قابلیت اطمینان را برای داده‌های ذخیره شده در دریاچه‌های داده به ارمغان می‌آورد. دریاچه های دلتا تراکنش های ACID، پردازش دسته ای و جریانی یکپارچه را ارائه می دهند.

Mohit Batra Mohit Batra

موهیت یک مهندس داده ، یک مربی مجوز مایکروسافت (MCT) و یک مشاور است. موهیت دارای بیش از 15 سال تجربه گسترده در زمینه راهکارهای مقیاس بزرگ هوش تجاری ، ذخیره سازی داده ها و راه حل های بزرگ داده با شرکت هایی مانند مایکروسافت و برخی از بانک های پیشرو سرمایه گذاری است. موهیت به عنوان یک متخصص در زمینه خود ، اغلب دانش خود را در Azure ، Spark ، SQL Server و Power BI در تالارهای گفتگوی عمومی مختلف و به عنوان یک مربی شریک کرده است. محیط واقعاً عاشق تدریس است و از تولید مواد یادگیری جذاب و با کیفیت برای جلسات خود لذت می برد. در اوقات فراغت ، موهیت عاشق کتاب خواندن است ، از عکاسی و موسیقی لذت می برد.

Pluralsight (پلورال سایت)

Pluralsight یکی از پرطرفدارترین پلتفرم‌های آموزش آنلاین است که به میلیون‌ها کاربر در سراسر جهان کمک می‌کند تا مهارت‌های خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دوره‌های آموزشی در زمینه‌های فناوری اطلاعات، توسعه نرم‌افزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه می‌دهد.

یکی از ویژگی‌های برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعه‌دهندگان و کارشناسان معتبر، دوره‌هایی را ارائه می‌دهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژی‌ها نگه می‌دارد. این امر به کاربران این اطمینان را می‌دهد که دوره‌هایی که در Pluralsight می‌پذیرند، با جدیدترین دانش‌ها و تجارب به روز شده‌اند.