آموزش طراحی خطوط لوله داده منعطف و مقاوم در AWS - آخرین آپدیت

دانلود Designing Resilient AWS Data Pipelines

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: بسیاری از خطوط لوله داده (Data Pipelines) در AWS با تکامل مدل‌های داده یا بروز خطا در میانه مسیر، از کار می‌افتند. در این دوره آموزشی با عنوان «طراحی خطوط لوله داده مقاوم در AWS»، شما یاد می‌گیرید چگونه خطوط لوله‌ای بسازید که بتوانند تغییرات شمای داده (Schema Changes)، پردازش مجدد و اعتبارسنجی را با اطمینان کامل مدیریت کنند. ابتدا نحوه پارتیشن‌بندی داده‌ها در S3 و تعریف مدل‌های شمایی را که از تحلیل‌ها و مدیریت چرخه عمر داده پشتیبانی می‌کنند، بررسی خواهید کرد. سپس، نحوه اعمال نسخه‌بندی شما و پیکربندی رفتارهای تلاش مجدد (Retry) و ثبت لاگ در اجزای خط لوله مانند Lambda و Glue را کشف می‌کنید. در نهایت، یاد می‌گیرید چگونه منطق پردازش Idempotent (یکتایی) ایجاد کرده و خروجی خط لوله را با استفاده از کوئری‌های Athena اعتبارسنجی کنید. پس از اتمام این دوره، شما مهارت‌ها و دانش لازم برای طراحی خطوط لوله داده مقاوم در AWS را خواهید داشت تا تغییرات شما را مدیریت کرده، پردازش مجدد ایمن را تضمین کنید و سیستم‌های تحمل‌پذیر در برابر خطا (Fault-tolerant) بسازید.

سرفصل ها و درس ها

طراحی خطوط لوله مقاوم در برابر تغییرات شما در AWS Designing Schema-resilient Pipelines in AWS

  • چه چیزی یک خط لوله را مقاوم می‌کند؟ What Makes a Pipeline Resilient?

  • معماری خطوط لوله مقاوم در AWS Architecting Resilient Pipelines on AWS

  • پارتیشن‌بندی داده‌ها در S3 برای اهداف تحلیلی و چرخه عمر Partitioning Data in S3 for Analytics and Lifecycle Goals

  • دمو: استفاده از Glue Crawler برای پارتیشن‌بندی و شناسایی شما Demo: Using Glue Crawler to Partition and Discover Schema

  • تعریف و مدیریت شماها با AWS Glue Defining and Managing Schemas with AWS Glue

  • چگونه شماها را بدون شکستن خط لوله تکامل دهیم؟ How to Evolve Schemas without Breaking Pipelines?

  • دمو: سازگاری خط لوله با تغییرات شما Demo: Pipeline Compatibility with Schema Changes

  • الگوهای طراحی برای انعطاف‌پذیری شما Design Patterns for Schema Flexibility

  • ۵ عادت که از شکست شما در محیط عملیاتی جلوگیری می‌کند 5 Habits That Prevent Schema Breakage in Production

ساخت خطوط لوله تحمل‌پذیر در برابر خطا و Idempotent Building Fault-tolerant and Idempotent Pipelines

  • چرا خطوط لوله در محیط عملیاتی شکست می‌خورند؟ Why Pipelines Break in Production?

  • تلاش مجدد بدون حفاظ: الگوهای پنهان شکست Retry without Guardrails: Hidden Failure Patterns

  • کدنویسی تلاش‌های مجدد و بازپخش ایمن داده‌ها Codify Retries and Safe Replay

  • دمو: مدیریت خطاها با Lambda Retries و صف‌های Dead Letter Demo: Handling Failures with Lambda Retries and Dead-letter Queues

  • Idempotency: کلید خطوط لوله‌ای با قابلیت تلاش مجدد ایمن Idempotency: The Key to Retry-safe Pipelines

  • دمو: ساخت تابع Lambda با خاصیت Idempotent Demo: Building Idempotent Lambda Function

  • اعتبارسنجی خروجی‌ها با Athena Validating Outputs with Athena

  • دمو: اعتبارسنجی Athena با حذف داده‌های تکراری در Glue Demo: Athena Validation with Glue Deduplication

  • مشکل Thundering Herd در تلاش‌های مجدد The Thundering-herd Retry Problem

  • الگوهای Adaptive Backoff برای تلاش‌های مجدد مقاوم Adaptive Backoff Patterns for Resilient Retries

  • طراحی خطوط لوله داده خودبهبودبخش (Self-healing) در AWS Designing Self-healing Data Pipelines on AWS

نمایش نظرات

آموزش طراحی خطوط لوله داده منعطف و مقاوم در AWS
جزییات دوره
1h 21m
20
(آخرین آپدیت)
4
از 5
دارد
دارد
دارد
Rupesh Tiwari
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Rupesh Tiwari Rupesh Tiwari

روپش یک مشاور مستقل با بیش از 12 سال تجربه در زمینه تولید نرم افزار است. Rupesh به عنوان یک معمار نرم افزار ، برنامه های وب را برای صنایع مختلف دامنه با استفاده از JavaScript ، Node ، Angular ، C # و .Net ایجاد می کند. روپش بیش از 100 توسعه دهنده نرم افزار را در کنفرانس ها و شرکت های سراسر جهان در زمینه توسعه بخش ، آزمایش ، کد تمیز ، طراحی دامنه محور ، خدمات خرد و معماری سرویس گرا آموزش داد. او در نیوجرسی زندگی می کند ، جایی که در codeproject.com وبلاگ می نویسد و به عنوانroopkt در توییتر فعال است.