آموزش طراحی سیستم برای پایپ‌لاین‌های بیگ دیتا - آخرین آپدیت

سرفصل ها و درس ها

مقدمه و انتظارات Introduction & Expectations

• نیاز به طراحی پایپ‌لاین باکیفیت Need for Quality Pipeline Design

• پوشش مطالب دوره و پیش‌نیازها Course Coverage and Pre-requisites

• فناوری‌های بدون سرور ابری Cloud Serverless Technologies

بلوک‌های سازنده پایپ‌لاین‌های بیگ دیتا Building Blocks for Big Data Pipelines

• شبکه پایپ‌لاین بیگ دیتا The Big Data Pipeline Network

• بلوک‌های گردآوری داده Data Acquisition Blocks

• بلوک‌های انتقال داده Data Transport Blocks

• بلوک‌های پردازش داده Data Processing Blocks

• بلوک‌های ذخیره‌سازی داده Data Storage Blocks

• بلوک‌های سرویس‌دهی داده Data Serving Blocks

• زیرساخت پایپ‌لاین داده Data Pipeline Infrastructure

• عملیات پایپ‌لاین داده Data Pipeline Operations

فرآیند طراحی سیستم System Design Process

• مروری بر فرآیند طراحی سیستم System Design Process Overview

• تحلیل نیازمندی‌های عملکردی Analyze Functional Requirements

• تحلیل ورودی پایپ‌لاین Analyze Pipeline Input

• تحلیل نیازمندی‌های غیرعملکردی Analyze Non-functional Requirements

• ترسیم فلوچارت پایپ‌لاین Draw a Pipeline Flowchart

• ایجاد طرح کلی Create a Skeleton Design

• تحلیل مقیاس‌پذیری Analyze Scaling

• انتخاب فناوری‌ها Select Technologies

• طراحی زیرساخت و عملیات Design Infrastructure and Operations

• توسعه استراتژی تست Develop a Test Strategy

پایپ‌لاین‌های مقیاس‌پذیر - اصول طراحی Scalable Pipelines - Design Principles

• پایپ‌لاین‌های دسته‌ای در مقابل بلادرنگ Batch vs Realtime Pipelines

• معماری‌های توزیع‌شده Distributed Architectures

• معماری‌های مبتنی بر میکروسرویس Microservices based Architectures

• پایپ‌لاین‌های دسته‌ای - بهترین شیوه‌ها Batch Pipelines - Best Practices

• پایپ‌لاین‌های بلادرنگ - بهترین شیوه‌ها Realtime Pipelines - Best Practices

• بنچمارک عملکرد برای پایپ‌لاین‌های بیگ دیتا Performance Benchmarking for Big Data Pipelines

طراحی گردآوری داده Data Acquisition Design

• الگوی انتقال فایل File Transfer Pattern

• الگوی کلاینت استخراج Extraction Client Pattern

• الگوی API دریافت داده Ingestion API Pattern

• الگوی گردآوری انتشار-اشتراک Pub Sub Acquisition Pattern

• شیوه‌های طراحی گردآوری داده Data Acquisition Design Practices

طراحی انتقال داده Data Transport Design

• الگوی استخراج و بارگذاری Extract Load Pattern

• الگوی درخواست-پاسخ Request Response Pattern

• الگوی جریان‌سازی رویداد Event Streaming Pattern

• شیوه‌های طراحی انتقال داده Data Transport Design Practices

طراحی پردازش و تبدیل داده Data Processing & Transformation Design

• الگوهای پردازش داده Data Processing Patterns

• پردازش توزیع‌شده با بیگ دیتا Distributed Processing with Big Data

• شیوه‌های طراحی پردازش دسته‌ای - بخش ۱ Batch Processing Design Practices - Part 1

• شیوه‌های طراحی پردازش دسته‌ای - بخش ۲ Batch Processing Design Practices - Part 2

• شیوه‌های طراحی پردازش جریانی Stream Processing Design Practices

• پردازش دسته‌ای در مقابل بلادرنگ Batch vs Realtime Processing

• ملاحظات ورودی و خروجی برای پردازش Input and Output Considerations for Processing

• فناوری‌های موتور پردازش Processing Engine Technologies

طراحی ذخیره‌سازی Storage Design

• الگوی سیستم فایل توزیع‌شده Distributed File System Pattern

• الگوی پایگاه داده رابطه‌ای Relational Database Pattern

• الگوی پایگاه داده سندی Document Database Pattern

• الگوی پایگاه داده ستونی Columnar Database Pattern

• الگوی پایگاه داده گرافی Graph Database Pattern

• الگوی کش توزیع‌شده Distributed Cache Pattern

• شیوه‌های طراحی ذخیره‌سازی داده - بخش ۱ Data Storage Design Practices - 1

• شیوه‌های طراحی ذخیره‌سازی داده - بخش ۲ Data Storage Design Practices - 2

طراحی سرویس‌دهی Serving Design

• الگوی رابط پرس‌وجو Query Interface Pattern

• الگوی API سرویس‌دهی Serving API Pattern

• الگوی کلاینت پوش Push Client Pattern

• الگوی انتشار-اشتراک Publish Subscribe Pattern

• شیوه‌های طراحی سرویس‌دهی داده Data Serving Design Practices

زیرساخت و استقرارها Infrastructure and Deployments

• فناوری‌های زیرساخت Infrastructure Technologies

• استقرار میکروسرویس‌ها Microservices Deployments

• استقرار جاب‌های پردازشی Processing Jobs Deployments

• استقرار پایگاه‌های داده و صف‌ها Databases and Queues Deployments

• توزیع جغرافیایی Geographical Distribution

امنیت Security

• امنیت پایپ‌لاین در طراحی Pipeline Security by Design

• امن‌سازی رابط‌های خارجی Secure External Interfaces

• امن‌سازی ذخیره‌سازی داده Secure Data Storage

• ملاحظات حریم خصوصی Privacy Considerations

• ملاحظات چندمستأجری Multi-Tenancy Considerations

سرویس‌پذیری Serviceability

• عناصر سرویس‌پذیری Elements of Serviceability

• مانیتورینگ پایپ‌لاین‌ها Monitoring Pipelines

• داده‌ها برای مانیتورینگ Data to Monitor

• عیب‌یابی پایپ‌لاین Pipeline Troubleshooting

مطالعه موردی ۱: تحلیل سفر مشتری (CJA) Use Case I : Customer Journey Analytics (CJA)

• تعریف مسئله برای تحلیل سفر مشتری Problem Definition for CJA

• بررسی نیازمندی‌های عملکردی تحلیل سفر مشتری Study CJA Functional Requirements

• تحلیل داده‌های ورودی تحلیل سفر مشتری Analyze CJA Input Data

• بررسی نیازمندی‌های غیرعملکردی تحلیل سفر مشتری Study CJA Non-Functional Requirements

• بررسی فلوچارت پایپ‌لاین تحلیل سفر مشتری Study CJA Pipeline Flowchart

• ایجاد طرح کلی برای تحلیل سفر مشتری Create CJA Skeleton Design

• تحلیل مقیاس‌پذیری تحلیل سفر مشتری Analyze CJA Scaling

• انتخاب فناوری‌ها برای تحلیل سفر مشتری Select Technologies for CJA

• طراحی زیرساخت و عملیات برای تحلیل سفر مشتری Design Infrastructure and Operations for CJA

مطالعه موردی ۲: هشدار ورود مشکوک (SLA) Use Case II : Suspicious Login Alerting (SLA)

• تعریف مسئله برای هشدار ورود مشکوک Problem Definition for SLA

• بررسی نیازمندی‌های عملکردی هشدار ورود مشکوک Study SLA Functional Requirements

• تحلیل داده‌های ورودی هشدار ورود مشکوک Analyze SLA Input Data

• بررسی نیازمندی‌های غیرعملکردی هشدار ورود مشکوک Study SLA Non-Functional Requirements

• ترسیم فلوچارت پایپ‌لاین هشدار ورود مشکوک Draw SLA Pipeline Flowchart

• ایجاد طرح کلی برای هشدار ورود مشکوک Create SLA Skeleton Design

• تحلیل مقیاس‌پذیری هشدار ورود مشکوک Analyze SLA Scaling

• انتخاب فناوری‌ها برای هشدار ورود مشکوک Select SLA Technologies

• تعریف زیرساخت و عملیات برای هشدار ورود مشکوک Define SLA Infrastructure and Operations

نتیجه‌گیری Conclusion

• سپاسگزاری Thank You