آموزش بهینه‌سازی اسپارک و ذخیره‌سازی داده‌های ابری برای تحلیل داده‌ها - آخرین آپدیت

دانلود Optimizing Spark and Cloud Data Storage for Analytics

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: در این دوره، شما بر تکنیک‌های پیشرفته بهینه‌سازی عملکرد برای پردازش داده‌ها در مقیاس بزرگ با استفاده از Apache Spark و فناوری‌های ذخیره‌سازی ابری مسلط خواهید شد. در این دوره عملی، یاد می‌گیرید که گلوگاه‌های عملکردی (Bottlenecks) سیستم‌های داده‌های توزیع شده را شناسایی و رفع کنید، استراتژی‌های پارتیشن‌بندی و کشینگ استراتژیک را پیاده‌سازی کنید که می‌تواند عملکرد عملیات‌ها را تا ۳۰٪ یا بیشتر بهبود بخشد و زیرساخت‌های داده‌ای ابری، امن و مقرون‌به‌صرفه طراحی کنید. شما در زمینه فناوری‌های دریاچه داده تراکنشی مانند Delta Lake تخصص کسب می‌کنید، فرمت‌های ذخیره‌سازی را برای بهینه‌سازی بارهای کاری تحلیلی ارزیابی می‌کنید و زیرساخت‌های ابری در سطح سازمانی را با کنترل‌های امنیتی مناسب فراهم می‌کنید. از طریق تمرینات کاربردی، برنامه‌های اجرایی اسپارک (Execution Plans) را تحلیل کرده، نسخه‌بندی داده‌ها و تراکنش‌های ACID را پیاده‌سازی می‌کنید و فرمت‌های مختلف ذخیره‌سازی را برای اتخاذ تصمیمات معماری آگاهانه، بنچ‌مارک خواهید کرد. در پایان، مهارت‌های لازم برای بهینه‌سازی خطوط لوله داده (Data Pipelines) در مقیاس بالا، کاهش هزینه‌های ذخیره‌سازی ابری از طریق انتخاب هوشمندانه فرمت‌ها و ساخت زیرساخت داده‌ای مستحکمی که الزامات امنیتی سازمان را برآورده کند، به دست خواهید آورد. این تخصص مستقیماً چالش‌های عملکردی مهندسان داده‌ای را که با مجموعه‌داده‌های در مقیاس پتابایت در محیط‌های عملیاتی سرویس می‌دهند، برطرف می‌کند.

سرفصل ها و درس ها

مبانی تحلیل عملکرد اسپارک Spark Performance Analysis Foundation

  • وقتی خطوط لوله داده متوقف می‌شوند: بحران عملکرد When Data Pipelines Crash: A Performance Crisis

  • مبانی Spark UI: خواندن داستان عملکرد Spark UI Fundamentals: Reading the Performance Story

  • کار با Spark UI برای بهینه‌سازی عملکرد Navigating the Spark UI for Performance Optimization

تحلیل و شتاب‌دهی به عملکرد Performance Analysis & Acceleration

  • از ۴ ساعت به ۵ دقیقه: موفقیت نتفلیکس در بهینه‌سازی From 4 Hours to 5 Minutes: Netflix's Optimization Success

  • استراتژی‌های کشینگ: کاهش هزینه‌های محاسباتی Caching Strategies: Reducing Computation Costs

  • پیاده‌سازی بهینه‌سازی‌های پارتیشن‌بندی و کشینگ Implementing Partitioning and Caching Optimizations

تحلیل برنامه‌های اجرایی اسپارک Analyze Spark Execution Plans

  • چرا تحلیل عملکرد تیم‌های داده را از فاجعه‌های خط لوله نجات می‌دهد Why Performance Analysis Saves Data Teams from Pipeline Disasters

  • درک معماری اجرای توزیع شده اسپارک Understanding Spark's Distributed Execution Architecture

  • تفسیر معیارهای بصری اجرا و شاخص‌های عملکرد Interpreting Visual Execution Metrics and Performance Indicators

رفع گلوگاه‌های عملکردی Resolve Performance Bottlenecks

  • بهینه‌سازی پیکربندی: تنظیم اسپارک برای حداکثر عملکرد Configuration Optimization: Tuning Spark for Maximum Performance

پیاده‌سازی ویژگی‌های تراکنشی و نسخه‌بندی - مبانی Apply Transactional and Versioning Features - Foundation

  • درک تراکنش‌های ACID و نسخه‌بندی در دریاچه‌های داده Understanding ACID Transactions and Versioning in Data Lakes

  • تبدیل جداول Parquet به فرمت Delta Converting Parquet Tables to Delta Format

پیاده‌سازی ویژگی‌های تراکنشی و نسخه‌بندی - کاربرد اصلی و ارزیابی Apply Transactional and Versioning Features - Core Application & Assessment

  • عملیات نوشتن اتمیک و حذف‌های شرطی Atomic Write Operations and Conditional Deletes

  • پرس‌وجو از نسخه‌های تاریخی و تایید قابلیت‌های بازگشت (Rollback) Querying Historical Versions and Verifying Rollback Capabilities

مبانی امنیت ابری Cloud Security Foundations

  • چرا رخنه در امنیت ابری میلیون‌ها دلار برای شرکت‌ها هزینه دارد Why Cloud Security Breaches Cost Companies Millions

  • اصول اصلی معماری امنیت ابری Core Principles of Cloud Security Architecture

  • تحلیل الگوهای پیکربندی امن Terraform Analyzing Secure Terraform Configuration Patterns

پیاده‌سازی زیرساخت امن Secure Infrastructure Implementation

  • نتفلیکس چگونه زیرساخت داده‌های امن خود را مقیاس‌پذیر می‌کند How Netflix Scales Secure Data Infrastructure

  • پیاده‌سازی ذخیره‌سازی امن S3 با Terraform Implementing Secure S3 Storage with Terraform

مبانی ارزیابی معماری ذخیره‌سازی Storage Architecture Evaluation Foundations

  • چرا تصمیمات فرمت ذخیره‌سازی باعث موفقیت یا شکست عملکرد تحلیلی می‌شود Why Storage Format Decisions Make or Break Analytics Performance

  • ذخیره‌سازی ستونی در مقابل ردیفی: مفاهیم اصلی و مزایا و معایب Columnar vs Row-Oriented Storage: Core Concepts and Trade-offs

  • تحلیل سبک-سنگین کردن فرمت‌های ذخیره‌سازی: یک رویکرد سیستماتیک Analyzing Storage Format Trade-offs: A Systematic Approach

بنچ‌مارکینگ عملکرد و توصیه‌ها Performance Benchmarking and Recommendations

  • گزارش‌های توصیه‌ای حرفه‌ای: تبدیل بنچ‌مارک‌ها به ارزش تجاری Professional Recommendation Reports: Translating Benchmarks into Business Value

پروژه: بهینه‌سازی اسپارک و ذخیره‌سازی داده‌های ابری برای تحلیل داده‌ها Project: Optimizing Spark and Cloud Data Storage for Analytics

نمایش نظرات

آموزش بهینه‌سازی اسپارک و ذخیره‌سازی داده‌های ابری برای تحلیل داده‌ها
جزییات دوره
10h 27m
23
(آخرین آپدیت)
89
- از 5
دارد
دارد
دارد
Chris Croft
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Chris Croft Chris Croft

مربی مدیریت، سخنران، نویسنده