آموزش پردازش داده‌های توزیع‌شده و موتورهای محاسباتی - آخرین آپدیت

دانلود Distributed Data Processing and Compute Engines

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: یاد بگیرید چگونه بارهای کاری پردازش داده‌های توزیع‌شده را برای عملکرد مقیاس‌پذیر و بهره‌وری هزینه، طراحی، تحلیل و بهینه‌سازی کنید. این دوره برای مهندسان داده، متخصصان داده و علاقه‌مندان به محاسبات توزیع‌شده، Apache Spark و معماری‌های محاسباتی مدرن طراحی شده است. شما اصول پردازش توزیع‌شده، مدل محاسباتی در حافظه Spark، معماری محاسباتی، وظایف، مراحل و پارتیشن‌بندی داده‌ها را بررسی خواهید کرد. درک خواهید کرد که چگونه این اجزا از اجرای کارآمد بارهای کاری داده در مقیاس بزرگ پشتیبانی می‌کنند. کشف کنید که چگونه ادغام اپراتورها، مکانیسم‌های Shuffle و سریال‌سازی بر عملکرد تأثیر می‌گذارند. انحراف داده‌ها (Data Skew)، داده‌های کند (Stragglers)، اجرای حدسی و اجرای تطبیقی کوئری (AQE) را بررسی کنید تا گلوگاه‌ها را شناسایی و استراتژی‌های بهینه‌سازی را ارزیابی کنید. همچنین فیلترهای بلوم (Bloom filters)، ایزولاسیون منابع، پردازش میکرو-بچ و پیوسته، و جداسازی محاسبات از ذخیره‌سازی را بررسی خواهید کرد. بیاموزید که چگونه FinOps در محاسبات توزیع‌شده، حاکمیت داده و تبارشناسی داده‌ها (Data Lineage) از کنترل هزینه و شفافیت عملیاتی پشتیبانی می‌کنند. در پایان این دوره، شما قادر خواهید بود معماری‌های توزیع‌شده را تحلیل، چالش‌های عملکردی را عیب‌یابی، تکنیک‌های بهینه‌سازی را ارزیابی و تصمیمات آگاهانه‌ای در زمینه مقیاس‌پذیری و هزینه اتخاذ کنید. آنچه این دوره را متمایز می‌کند، رویکرد یکپارچه آن به اجرای توزیع‌شده، بهینه‌سازی عملکرد و مدیریت محاسبات با آگاهی از هزینه است که به شما در ایجاد دانش کاربردی برای مدیریت بارهای کاری داده‌های مقیاس‌پذیر کمک می‌کند.

سرفصل ها و درس ها

مبانی محاسبات توزیع‌شده Foundations of Distributed Computing

  • اصول پردازش توزیع‌شده Distributed Processing Fundamentals

  • اسپارک و محاسبات در حافظه (In-Memory) Spark and In-Memory Computing

  • اجزای محاسبات توزیع‌شده Distributed Compute Components

  • وظایف، مراحل و واحدهای اجرایی Tasks-Stages-and Execution Units

  • استراتژی‌های پارتیشن‌بندی داده Data Partitioning Strategies

بهینه‌سازی بارهای کاری توزیع‌شده Optimizing Distributed Workloads

  • ادغام اپراتورها و مکانیسم‌های Shuffle Operator Fusion and Shuffle Mechanics

  • سریال‌سازی در سیستم‌های توزیع‌شده Serialization in Distributed Systems

  • اجرای حدسی و داده‌های کند (Stragglers) Speculative Execution and Stragglers

  • شناسایی و رفع انحراف داده‌ها (Data Skew) Detecting and Resolving Data Skew

  • اجرای تطبیقی کوئری (AQE) Adaptive Query Execution

عملیات محاسباتی مقیاس‌پذیر Scalable Compute Operations

  • فیلترهای بلوم و ایزولاسیون منابع Bloom Filters and Resource Isolation

  • مقایسه پردازش میکرو-بچ و پیوسته Micro-Batch vs Continuous Processing

  • جداسازی محاسبات از ذخیره‌سازی Separating Compute and Storage

  • مدیریت مالی (FinOps) در محاسبات توزیع‌شده Distributed Compute FinOps

  • حاکمیت و تبارشناسی داده‌های توزیع‌شده Distributed Governance and Lineage

نمایش نظرات