لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش بهینهسازی اسپارک و ذخیرهسازی دادههای ابری برای تحلیل دادهها
- آخرین آپدیت
دانلود Optimizing Spark and Cloud Data Storage for Analytics
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
در این دوره، شما بر تکنیکهای پیشرفته بهینهسازی عملکرد برای پردازش دادهها در مقیاس بزرگ با استفاده از Apache Spark و فناوریهای ذخیرهسازی ابری مسلط خواهید شد. در این دوره عملی، یاد میگیرید که گلوگاههای عملکردی (Bottlenecks) سیستمهای دادههای توزیع شده را شناسایی و رفع کنید، استراتژیهای پارتیشنبندی و کشینگ استراتژیک را پیادهسازی کنید که میتواند عملکرد عملیاتها را تا ۳۰٪ یا بیشتر بهبود بخشد و زیرساختهای دادهای ابری، امن و مقرونبهصرفه طراحی کنید.
شما در زمینه فناوریهای دریاچه داده تراکنشی مانند Delta Lake تخصص کسب میکنید، فرمتهای ذخیرهسازی را برای بهینهسازی بارهای کاری تحلیلی ارزیابی میکنید و زیرساختهای ابری در سطح سازمانی را با کنترلهای امنیتی مناسب فراهم میکنید. از طریق تمرینات کاربردی، برنامههای اجرایی اسپارک (Execution Plans) را تحلیل کرده، نسخهبندی دادهها و تراکنشهای ACID را پیادهسازی میکنید و فرمتهای مختلف ذخیرهسازی را برای اتخاذ تصمیمات معماری آگاهانه، بنچمارک خواهید کرد.
در پایان، مهارتهای لازم برای بهینهسازی خطوط لوله داده (Data Pipelines) در مقیاس بالا، کاهش هزینههای ذخیرهسازی ابری از طریق انتخاب هوشمندانه فرمتها و ساخت زیرساخت دادهای مستحکمی که الزامات امنیتی سازمان را برآورده کند، به دست خواهید آورد. این تخصص مستقیماً چالشهای عملکردی مهندسان دادهای را که با مجموعهدادههای در مقیاس پتابایت در محیطهای عملیاتی سرویس میدهند، برطرف میکند.
سرفصل ها و درس ها
مبانی تحلیل عملکرد اسپارک
Spark Performance Analysis Foundation
وقتی خطوط لوله داده متوقف میشوند: بحران عملکرد
When Data Pipelines Crash: A Performance Crisis
مبانی Spark UI: خواندن داستان عملکرد
Spark UI Fundamentals: Reading the Performance Story
کار با Spark UI برای بهینهسازی عملکرد
Navigating the Spark UI for Performance Optimization
تحلیل و شتابدهی به عملکرد
Performance Analysis & Acceleration
از ۴ ساعت به ۵ دقیقه: موفقیت نتفلیکس در بهینهسازی
From 4 Hours to 5 Minutes: Netflix's Optimization Success
استراتژیهای کشینگ: کاهش هزینههای محاسباتی
Caching Strategies: Reducing Computation Costs
پیادهسازی بهینهسازیهای پارتیشنبندی و کشینگ
Implementing Partitioning and Caching Optimizations
نمایش نظرات