کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش بهینه سازی اسپارک آپاچی در دیتابریکس

Optimizing Apache Spark on Databricks

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: این دوره به شما می آموزد که چگونه می توانید عملکرد خوشه های Spark را در Azure Databricks با شناسایی و کاهش مسائل مختلف مانند مشکلات دریافت داده ها و گلوگاه های عملکرد بهینه کنید. موتور تجزیه و تحلیل یکپارچه Apache Spark یک چارچوب بسیار سریع و کارآمد برای پردازش کلان داده است. با این حال، ممکن است متوجه شوید که کد آپاچی اسپارک شما که روی Azure Databricks اجرا می‌شود، همچنان از مشکلات متعددی رنج می‌برد. این می تواند به دلیل مشکل در دریافت داده ها به روشی قابل اعتماد از منابع مختلف یا به دلیل مشکلات عملکردی باشد که به دلیل ورودی/خروجی دیسک، عملکرد شبکه یا گلوگاه های محاسباتی با آن مواجه می شوید. در این دوره آموزشی، Optimizing Apache Spark on Databricks، ابتدا مسائلی را که ممکن است هنگام ورود داده ها در یک مخزن متمرکز برای پردازش داده و استخراج بینش با آن مواجه شوید، بررسی و درک خواهید کرد. سپس، خواهید آموخت که چگونه Delta Lake در Azure Databricks به شما امکان می دهد داده ها را برای پردازش، اطلاعات بینش و همچنین یادگیری ماشین در جداول Delta ذخیره کنید و خواهید دید که چگونه می توانید با استفاده از Auto Loader در Databricks، مشکلات انتقال داده خود را کاهش دهید تا داده های جریانی را دریافت کنید. . در مرحله بعد، گلوگاه‌های عملکرد رایجی را که احتمالاً هنگام پردازش داده‌ها در Apache Spark با آنها مواجه می‌شوید، مسائل مربوط به سریال‌سازی، انحراف، ریختن و درهم‌رفتن را بررسی خواهید کرد. شما تکنیک هایی را برای کاهش این مشکلات یاد خواهید گرفت و خواهید دید که چگونه می توانید عملکرد کد پردازش خود را با استفاده از پارتیشن بندی دیسک، خوشه بندی مرتبه z و سطل سازی بهبود بخشید. در نهایت، یاد خواهید گرفت که چگونه می‌توانید منابع را در کلاستر با استفاده از استخرهای زمان‌بندی و زمان‌بندی منصفانه به اشتراک بگذارید و چگونه می‌توانید عملیات خواندن و نوشتن دیسک را با استفاده از کش در جداول دلتا کاهش دهید. پس از اتمام این دوره، مهارت ها و دانش بهینه سازی عملکرد در Spark را خواهید داشت که برای بهترین استفاده از Spark cluster خود لازم است.
سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

کاوش و کاهش مشکلات بلع داده ها Exploring and Mitigating Data Ingestion Problems

  • بررسی نسخه Version Check

  • پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

  • دریاچه دلتا Delta Lake

  • جذب داده ها: تعریف، چالش ها و بهترین شیوه ها Data Ingestion: Definition, Challenges, and Best Practices

  • لودر خودکار برای بلع داده ها Auto Loader for Data Ingestion

  • نسخه ی نمایشی: ایجاد یک منبع ذخیره سازی ابری خارجی برای جذب فایل ها Demo: Creating an External Cloud Storage Source for Ingestion of Files

  • نسخه ی نمایشی: مصرف جریان داده ها در دریاچه دلتا Demo: Ingesting Streaming Data into Delta Lake

  • نسخه ی نمایشی: ردیابی فایل های پردازش شده با استفاده از بارگذار خودکار Demo: Tracking Processed Files using Auto Loader

  • نسخه ی نمایشی: مصرف داده های دسته ای در دریاچه دلتا Demo: Ingesting Batch Data into Delta Lake

  • نسخه ی نمایشی: مصرف داده ها در دریاچه دلتا با استفاده از SQL Demo: Ingesting Data into Delta Lake Using SQL

  • Databricks Data Ingestion Network Databricks Data Ingestion Network

تشخیص و کاهش مشکلات عملکرد Diagnosing and Mitigating Performance Problems

  • مشکلات عملکرد در Spark Performance Issues in Spark

  • تنگناهای عملکرد در Spark: Serialization و Skew Performance Bottlenecks in Spark: Serialization and Skew

  • تنگناهای عملکرد در Spark: Spill، Shuffle و Memory Performance Bottlenecks in Spark: Spill, Shuffle, and Memory

  • پارتیشن های حافظه و پارتیشن های دیسک Memory Partitions and Disk Partitions

  • نسخه ی نمایشی: پارتیشن بندی دیسک Demo: Disk Partitioning

  • پرش داده ها و خوشه بندی Z-order Data Skipping and Z-order Clustering

  • نسخه ی نمایشی: Z-ordering در یک میز دلتا کوچک Demo: Z-ordering on a Small Delta Table

  • نسخه ی نمایشی: Z-ordering در یک میز دلتا بزرگ Demo: Z-ordering on a Large Delta Table

  • Bucketing برای بهینه سازی اتصالات Bucketing to Optimize Joins

  • نسخه ی نمایشی: جداول سطل دار و بدون سطل Demo: Bucketed and Unbucketed Tables

  • نسخه ی نمایشی: پیوستن به جداول سطلی و بدون سطل Demo: Joining Bucketed and Unbucketed Tables

بهینه سازی جرقه برای عملکرد Optimizing Spark for Performance

  • FIFO و Fair Schedulers FIFO and Fair Schedulers

  • نسخه ی نمایشی: برنامه ریزی پیش فرض استخر FIFO Demo: Default Pool FIFO Scheduling

  • نسخه ی نمایشی: پیکربندی استخرهای مختلف برای به اشتراک گذاری منابع Demo: Configuring Different Pools to Share Resources

  • دلتا کش Delta Cache

  • نسخه ی نمایشی: پیکربندی کش دلتا در یک کلاستر Demo: Configuring the Delta Cache on a Cluster

  • نسخه ی نمایشی: اجرای پرس و جو بر روی داده های ذخیره شده Demo: Running Queries on Cached Data

  • ویژگی های جدید Apache Spark 3.0 New Features in Apache Spark 3.0

  • خلاصه و مطالعه بیشتر Summary and Further Study

نمایش نظرات

نظری ارسال نشده است.

آموزش بهینه سازی اسپارک آپاچی در دیتابریکس
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
2h 0m
31
Pluralsight (پلورال سایت) pluralsight-small
12 آبان 1400 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
16
4.9 از 5
دارد
دارد
دارد
Janani Ravi

https://donyad.com/d/9c80

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

آموزش پردازش داده های جریانی با Apache Spark در Databricks

آموزش پردازش داده های جریانی با Apache Spark در Databricks

Processing Streaming Data with Apache Spark on Databricks

این دوره به شما می آموزد که چگونه از انتزاعات Spark برای استریم داده ها استفاده کنید و با استفاده از API های جریان ساختار یافته Spark در Azure Databricks، روی داده های جریانی تبدیل کنید.

آموزش بررسی API جریان ساختاری Apache Spark برای پردازش داده های جریان

آموزش بررسی API جریان ساختاری Apache Spark برای پردازش داده های جریان

Exploring the Apache Spark Structured Streaming API for Processing Streaming Data

جریان ساختاری موتور پردازش جریان مقیاس پذیر و متحمل خطا در Apache Spark 2 است. فریم داده ها در Spark 2.x از داده های بی نهایت پشتیبانی می کنند ، بنابراین به طور موثر برنامه های دسته ای و جریان را متحد می کند.

آموزش مدلسازی داده های جریان برای پردازش با جریان ساختاری جرقه ای Apache

آموزش مدلسازی داده های جریان برای پردازش با جریان ساختاری جرقه ای Apache

Modeling Streaming Data for Processing with Apache Spark Structured Streaming

اجرای تجزیه و تحلیل جریان می تواند دشوار باشد. این دوره به شما می آموزد که با استفاده از Spark Strukted Streaming پردازش داده در زمان واقعی را مدلسازی کنید.

Eugene Meidinger Eugene Meidinger

آموزش مدیریت سریع داده ها با Apache Spark SQL و پخش جریانی

آموزش مدیریت سریع داده ها با Apache Spark SQL و پخش جریانی

Handling Fast Data with Apache Spark SQL and Streaming

Apache Spark پیشرو در زمینه پردازش سریع و کارآمد داده است. این دوره به شما می آموزد که چگونه از SQL ، Streaming و حتی API های Streamed Streaming جدیدتر Spark برای ایجاد برنامه های کاربردی قادر به مدیریت داده ها هنگام ورود اطلاعات استفاده کنید.

Justin Pihony Justin Pihony

Janani Ravi Janani Ravi

معمار و مهندس داده خبره Google Cloud

Janani Ravi یک معمار و مهندس داده خبره Google cloud است.

جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.

Pluralsight (پلورال سایت)

Pluralsight یکی از پرطرفدارترین پلتفرم‌های آموزش آنلاین است که به میلیون‌ها کاربر در سراسر جهان کمک می‌کند تا مهارت‌های خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دوره‌های آموزشی در زمینه‌های فناوری اطلاعات، توسعه نرم‌افزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه می‌دهد.

یکی از ویژگی‌های برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعه‌دهندگان و کارشناسان معتبر، دوره‌هایی را ارائه می‌دهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژی‌ها نگه می‌دارد. این امر به کاربران این اطمینان را می‌دهد که دوره‌هایی که در Pluralsight می‌پذیرند، با جدیدترین دانش‌ها و تجارب به روز شده‌اند.