آموزش طراحی خطوط لوله داده تاب‌آور در AWS - آخرین آپدیت

دانلود Designing Resilient AWS Data Pipelines

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: بسیاری از خطوط لوله داده (Data Pipelines) در AWS به دلیل تکامل مدل‌های داده یا بروز خطا در میانه مسیر، با عدم پایداری مواجه می‌شوند. در این دوره آموزشی با عنوان «طراحی خطوط لوله داده تاب‌آور در AWS»، شما یاد می‌گیرید چگونه خطوط لوله‌ای بسازید که بتوانند تغییرات شمای داده (Schema Changes)، پردازش مجدد و اعتبارسنجی را با اطمینان مدیریت کنند. ابتدا نحوه پارتیشن‌بندی داده‌ها در S3 و تعریف مدل‌های شمایی که از تحلیل‌ها و مدیریت چرخه حیات داده پشتیبانی می‌کنند را بررسی خواهید کرد. سپس، نحوه اعمال نسخه‌بندی شما و پیکربندی رفتار تلاش مجدد (Retry) و ثبت لاگ در اجزای خط لوله مانند Lambda و Glue را خواهید آموخت. در نهایت، یاد می‌گیرید که چگونه منطق پردازش Idempotent (هم‌توان) بسازید و خروجی خط لوله را با استفاده از کوئری‌های Athena اعتبارسنجی کنید. پس از اتمام این دوره، شما مهارت‌ها و دانش لازم برای طراحی خطوط لوله داده تاب‌آور در AWS را خواهید داشت تا تغییرات شما را مدیریت کرده، پردازش مجدد ایمن را تضمین کنید و سیستم‌های تحمل‌پذیر در برابر خطا بسازید.

سرفصل ها و درس ها

طراحی خطوط لوله با شمای تاب‌آور در AWS Designing Schema-resilient Pipelines in AWS

  • چه چیزی یک خط لوله را تاب‌آور می‌کند؟ What Makes a Pipeline Resilient?

  • معماری خطوط لوله تاب‌آور در AWS Architecting Resilient Pipelines on AWS

  • پارتیشن‌بندی داده‌ها در S3 برای اهداف تحلیلی و چرخه حیات Partitioning Data in S3 for Analytics and Lifecycle Goals

  • دمو: استفاده از Glue Crawler برای پارتیشن‌بندی و شناسایی شما Demo: Using Glue Crawler to Partition and Discover Schema

  • تعریف و مدیریت شماها با AWS Glue Defining and Managing Schemas with AWS Glue

  • چگونه شماها را بدون شکستن خط لوله تکامل دهیم؟ How to Evolve Schemas without Breaking Pipelines?

  • دمو: سازگاری خط لوله با تغییرات شما Demo: Pipeline Compatibility with Schema Changes

  • الگوهای طراحی برای انعطاف‌پذیری شما Design Patterns for Schema Flexibility

  • ۵ عادت که از شکستن شما در محیط عملیاتی جلوگیری می‌کند 5 Habits That Prevent Schema Breakage in Production

ساخت خطوط لوله تحمل‌پذیر در برابر خطا و هم‌توان (Idempotent) Building Fault-tolerant and Idempotent Pipelines

  • چرا خطوط لوله در محیط عملیاتی شکست می‌خورند؟ Why Pipelines Break in Production?

  • تلاش مجدد بدون حفاظ: الگوهای پنهان شکست Retry without Guardrails: Hidden Failure Patterns

  • کدنویسی برای تلاش‌های مجدد و بازپخش ایمن Codify Retries and Safe Replay

  • دمو: مدیریت خطاها با Lambda Retries و صف‌های Dead Letter Demo: Handling Failures with Lambda Retries and Dead-letter Queues

  • هم‌توانی (Idempotency): کلید خطوط لوله‌ای با تلاش مجدد ایمن Idempotency: The Key to Retry-safe Pipelines

  • دمو: ساخت تابع Lambda هم‌توان Demo: Building Idempotent Lambda Function

  • اعتبارسنجی خروجی‌ها با Athena Validating Outputs with Athena

  • دمو: اعتبارسنجی Athena با حذف داده‌های تکراری در Glue Demo: Athena Validation with Glue Deduplication

  • مشکل تلاش مجدد گله‌ای (Thundering Herd) The Thundering-herd Retry Problem

  • الگوهای عقب‌نشینی تطبیقی برای تلاش‌های مجدد تاب‌آور Adaptive Backoff Patterns for Resilient Retries

  • طراحی خطوط لوله داده خودبهبودبخش در AWS Designing Self-healing Data Pipelines on AWS

نمایش نظرات

آموزش طراحی خطوط لوله داده تاب‌آور در AWS
جزییات دوره
1h 21m
20
(آخرین آپدیت)
4
از 5
دارد
دارد
دارد
Rupesh Tiwari
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Rupesh Tiwari Rupesh Tiwari

روپش یک مشاور مستقل با بیش از 12 سال تجربه در زمینه تولید نرم افزار است. Rupesh به عنوان یک معمار نرم افزار ، برنامه های وب را برای صنایع مختلف دامنه با استفاده از JavaScript ، Node ، Angular ، C # و .Net ایجاد می کند. روپش بیش از 100 توسعه دهنده نرم افزار را در کنفرانس ها و شرکت های سراسر جهان در زمینه توسعه بخش ، آزمایش ، کد تمیز ، طراحی دامنه محور ، خدمات خرد و معماری سرویس گرا آموزش داد. او در نیوجرسی زندگی می کند ، جایی که در codeproject.com وبلاگ می نویسد و به عنوانroopkt در توییتر فعال است.