آموزش خط لوله‌های داده بدون سرور (Serverless Data Pipelines) - آخرین آپدیت

مبانی خط لوله‌های بدون سرور و رویداد-محور Foundations of Serverless and Event-Driven Pipelines

• معرفی دوره Course Introduction

• بررسی مفاهیم بنیادی رایانش بدون سرور Exploring the Fundamentals of Serverless Computing

• درک اجزای خط لوله‌های داده مدرن Understanding Components of Modern Data Pipelines

• مقایسه خط لوله‌های ETL سنتی و بدون سرور Comparing Traditional ETL and Serverless Pipelines

• دمو: استقرار یک تابع پایه AWS Lambda با استفاده از پایتون Demonstration: Deploying a Basic AWS Lambda Function Using Python

• دمو: اجرای Lambda از طریق رویدادهای آپلود فایل در S3 Demonstration: Triggering Lambda Through S3 File Upload Events

• درک الگوهای معماری رویداد-محور Understanding Event-Driven Architecture Patterns

• مدیریت پردازش‌های غیرهمزمان با استفاده از صف‌ها Managing Asynchronous Processing with Queues

• ارزیابی قابلیت اطمینان در سیستم‌های رویداد توزیع شده Evaluating Reliability in Distributed Event Systems

• دمو: ارسال و پردازش رویدادها با Amazon SQS Demonstration: Sending and Processing Events with Amazon SQS

• دمو: ساخت یک خط لوله پردازش رویداد مبتنی بر صف Demonstration: Building a Queue-Based Event Processing Pipeline

جذب و تبدیل داده‌های بدون سرور Serverless Data Ingestion and Transformation

• طراحی معماری‌های مقیاس‌پذیر برای جذب داده Designing Scalable Data Ingestion Architectures

• پردازش داده‌های مبتنی بر فایل و مبتنی بر رویداد Processing File-Based and Event-Based Data

• تحلیل خطاهای رایج در خط لوله‌های جذب داده Analyzing Common Failures in Data Ingestion Pipelines

• دمو: ساخت یک خط لوله جذب داده مبتنی بر S3 Demonstration: Building an S3-Based Data Ingestion Pipeline

• دمو: پردازش داده‌های JSON آپلود شده با استفاده از Lambda Demonstration: Processing Uploaded JSON Data Using Lambda

• تبدیل داده‌ها در خط لوله‌های ابری Transforming Data in Cloud Pipelines

• پردازش داده‌های ساختاریافته و نیمه‌ساختاریافته Processing Structured and Semi-Structured Data

• بهینه‌سازی ETL سبک با پایتون Optimizing Lightweight ETL with Python

• دمو: پاک‌سازی و تبدیل داده‌های CSV با استفاده از Lambda Demonstration: Cleaning and Transforming CSV Data Using Lambda

• دمو: تولید فایل‌های خروجی پردازش شده از داده‌های خام Demonstration: Generating Processed Output Files from Raw Data

مانیتورینگ، قابلیت اطمینان و استقرار جامع (End to End) Monitoring, Reliability, and End-to-End Deployment

• بررسی چالش‌های قابلیت اطمینان در سیستم‌های بدون سرور Investigating Reliability Challenges in Serverless Systems

• مدیریت مکانیزم‌های تلاش مجدد و بازیابی از خطا Managing Retry and Failure Recovery Mechanisms

• ارزیابی مشاهده‌پذیری (Observability) در خط لوله‌های رویداد-محور Evaluating Observability in Event-Driven Pipelines

• دمو: درک صف‌های FIFO و حذف داده‌های تکراری Demonstration: Understanding FIFO Queues and Deduplication

• دمو: ایجاد هشدارهای CloudWatch برای تشخیص خطای خط لوله Demonstration: Creating CloudWatch Alarms for Pipeline Failure Detection

• ساخت معماری‌های جامع خط لوله (End to End) Building End-to-End Pipeline Architectures

• مدیریت جریان داده‌ها در سرویس‌های بدون سرور Managing Data Flow Across Serverless Services

• بهینه‌سازی هزینه و عملکرد در خط لوله‌های ابری Optimizing Cost and Performance in Cloud Pipelines

• دمو: ارکستراسیون گردش کارهای چندمرحله‌ای با AWS Step Functions Demonstration: Orchestrating Multi-Step Workflows with AWS Step Functions

• دمو: ذخیره‌سازی نتایج خط لوله با استفاده از Amazon DynamoDB Demonstration: Persisting Pipeline Results Using Amazon DynamoDB

• جمع‌بندی دوره Course Summary