عیب یابی اسپارک آپاچی [فیلم]

سرفصل ها و درس ها

مشکلات رایج و عیب یابی موتور توزیع شده اسپارک Common Problems and Troubleshooting the Spark Distributed Engine

• بررسی اجمالی دوره The Course Overview

• محاسبات مشتاق: ارزیابی تنبل Eager Computations: Lazy Evaluation

• مقادیر حافظه پنهان: ماندگاری در حافظه Caching Values: In-Memory Persistence

• رفتار غیرمنتظره API: انتخاب RDD API مناسب Unexpected API Behavior: Picking the Proper RDD API

• وابستگی های گسترده: استفاده از وابستگی های باریک Wide Dependencies: Using Narrow Dependencies

مشکلات بهینه سازی DataFrames توزیع شده Distributed DataFrames Optimization Pitfalls

• ساخت محاسبات موازی: استفاده از پارتیشن ها Making Computations Parallel: Using Partitions

• تعریف توابع سفارشی قوی: درک عملکردهای تعریف شده توسط کاربر Defining Robust Custom Functions: Understanding User-Defined Functions

• برنامه های منطقی پنهان کردن حقیقت: بررسی نقشه های فیزیکی Logical Plans Hiding the Truth: Examining the Physical Plans

• لامبداهای آهسته تفسیر شده: بهینه سازی جرقه تولید کد Slow Interpreted Lambdas: Code Generation Spark Optimization

پیوندهای توزیع شده در خوشه Distributed Joins in Cluster

• اجتناب از استراتژی‌های پیوستن نادرست: استفاده از نوع Join بر اساس حجم داده Avoid Wrong Join Strategies: Using a Join Type Based on Data Volume

• پیوستن آهسته: انتخاب یک برنامه اجرایی برای پیوستن Slow Joins: Choosing an Execution Plan for Join

• مشکل اتصالات توزیع شده: DataFrame API Distributed Joins Problem: DataFrame API

• مشکل اتصال TypeSafe: جدیدترین API DataSet TypeSafe Joins Problem: The Newest DataSet API

حل مسائل با تبدیل های غیر کارآمد Solving Problems with Non-Efficient Transformations

• به حداقل رساندن ایجاد شی: استفاده مجدد از اشیاء موجود Minimizing Object Creation: Reusing Existing Objects

• Iterating Transformations - روش mapPartitions(). Iterating Transformations – The mapPartitions() Method

• Slow Spark Application Start: کاهش سربار نصب Slow Spark Application Start: Reducing Setup Overhead

• انجام محاسبه مجدد غیر ضروری: استفاده مجدد از RDD Performing Unnecessary Recomputation: Reusing RDDs

عیب یابی مشاغل پردازش بلادرنگ در Spark Streaming Troubleshooting Real-Time Processing Jobs in Spark Streaming

• تکرار همان کد در Stream Pipeline: با استفاده از منابع و سینک ها Repeating the Same Code in Stream Pipeline: Using Sources and Sinks

• تأخیر طولانی مشاغل: درک موارد داخلی دسته ای Long Latency of Jobs: Understanding Batch Internals

• تحمل خطا: استفاده از Data Checkpointing Fault Tolerance: Using Data Checkpointing

• حفظ دسته ای و جریانی: استفاده از نرم افزارهای جریان سازی ساختاریافته Maintaining Batch and Streaming: Using Structured Streaming Pros