آموزش تسلط بر دریاچه داده ها: کلید مهندسی داده های بزرگ و داده ها

سرفصل ها و درس ها

معرفی Introduction

• خوش آمدید و درباره این دوره Welcome & About This Course

• همه اسلایدها و فایل ها All slides & files

• دریاچه داده چیست؟ What is a Data Lake?

• دریاچه داده چیست؟ What is a Data Lake?

• مزایای دریاچه داده Benefits of a Data Lake

• درک دریاچه های داده: مزایا و چالش ها Understanding Data Lakes: Benefits and Challenges

• اصطلاحات و مفاهیم کلیدی Key Terms & Concepts

• طراحی دریاچه داده: معماری و اجزاء Designing a Data Lake: Architecture and Components

• Data Lake در مقابل Data Warehouse در مقابل Lakehouse Data Lake vs. Data Warehouse vs. Lakehouse

• مقایسه دریاچه‌های داده، انبارها و دریاچه‌ها Comparing Data Lakes, Warehouses, and Lakehouses

• درک سطوح مختلف در AWS Understanding the different Tiers in AWS

• راه اندازی حساب AWS AWS Account Setup

• تنظیم بودجه Setting a budget

• ایجاد سطل های S3 Creating S3 buckets

• راه اندازی اولیه برای Retail Insights Inc.'s Data Lake Initial Setup for Retail Insights Inc.'s Data Lake

معماری و اجزای دریاچه داده Data Lake Architecture & Components

• عناصر ضروری یک دریاچه داده Essential Elements of a Data Lake

• بررسی اجمالی سطح بالا از جریان داده High Level Overview of Data Flow

• درک معماری دریاچه داده و گردش کار Understanding Data Lake Architecture and Workflow

• مناطق مختلف در دریاچه داده Different Zones in Data Lake

• طراحی مناطق دریاچه داده Designing Data Lake Zones

• ابزار برای مناطق مختلف Tools for the different zones

• فرمت های داده مورد استفاده در دریاچه داده Data Formats used In a Data Lake

• فرمت های داده در دریاچه های داده Data Formats in Data Lakes

بلع داده ها Data Ingestion

• روش های مصرف داده ها Data Ingestion Methods

• اصول مصرف دسته ای Basics of Batch Ingestion

• درک بلع دسته ای در دریاچه های داده Understanding Batch Ingestion in Data Lakes

• کاتالوگ و پروفایل داده Data Catalog & Profiling

• سناریوی پروژه Project Scenario

• توجه: هزینه اجرای کار چسب Note: Cost of running Glue Jobs

• عملی: کاتالوگ داده و خزنده ها Hands-on: Data Catalog & Crawlers

• بلع دسته ای با چسب AWS Batch Ingestion with AWS Glue

• پیاده سازی مصرف داده ها در منطقه خام Implementing Data Ingestion into the Raw Zone

• الگوهای بلع Ingestion Patterns

• بلع رویداد محور Event-Driven Ingestion

• بلع رویداد محور Event-Driven Ingestion

• بلع رویداد محور با AWS Lambda Event-Driven Ingestion with AWS Lambda

• پروفایل داده ها Data Profiling

• پرس و جو در محل In-Place Querying

• پرس و جو در محل آتنا Athena In-Place Querying

• فهرست نویسی داده ها با خزنده ها و پرس و جو در آتنا Data Cataloging with Crawlers and Querying in Athena

• جریان داده را درک کنید Understand Data Streaming

• جریان داده را درک کنید Understand Data Streaming

• AWS Kinesis Streaming AWS Kinesis Streaming

• مانیتورینگ و عیب یابی Monitoring and Troubleshooting

• عملی: نظارت و عیب یابی Hands-on: Monitoring & Troubleshooting

مدیریت ذخیره سازی داده ها Data Storage Management

• مفاهیم کلیدی برای مدیریت ذخیره سازی داده ها Key Concepts for Data Storage Management

• بررسی اجمالی محیط Environment Overview

• پارتیشن بندی Partitioning

• ساختار پوشه Folder Structure

• مدیریت ذخیره سازی داده ها در دریاچه های داده Data Storage Management in Data Lakes

• ایجاد پارتیشن خودکار Automatic Partition Creation

• به روز رسانی دستی کاتالوگ داده ها Manually Updating the Data Catalog

• تغییرات طرحواره Schema Changes

• مدیریت چرخه عمر داده Data Lifecycle Management

• مدیریت چرخه عمر داده Data Lifecycle Management

• عملی: کلاس های ذخیره سازی Hands-on: Storage Classes

• عملی: قوانین چرخه زندگی Hands-on: Lifecycle Rules

• طبقه بندی هوشمند Intelligent Tiering

• بهینه‌سازی ذخیره‌سازی استراتژیک برای Retail Insights Inc.'s Data Lake Strategic Storage Optimization for Retail Insights Inc.'s Data Lake

• نسخه سازی در دریاچه های داده Versioning in Data Lakes

• عملی: نسخه سازی در S3 Hands-on: Versioning in S3

• همانند سازی Replication

• تکرار منطقه ای Cross-Region Replication

• پشتیبان گیری و بازیابی Backups & Recovery

• عملی: پشتیبان گیری و بازیابی Hands-on: Backup & Recover

• عملی: طرح پشتیبان Hands-on: Backup Plan

پردازش و تبدیل Processing and Transformation

• درک پردازش داده در دریاچه های داده Understanding Data Processing in Data Lakes

• درک پردازش داده در دریاچه های داده Understanding Data Processing in Data Lakes

• هادوپ Hadoop

• جرقه Spark

• ادغام داده ها با چسب AWS Data Integration with AWS Glue

• عملی: تبدیل داده ها Hands-on: Data Transformations

• بارهای افزایشی Incremental Loads

• بارهای افزایشی Incremental Loads

• پردازش یک جریان Processing a Stream

• بهینه سازی هزینه در دریاچه های داده Cost optimization in Data Lakes

• بارگذاری افزایشی Incremental Loading

ارکستراسیون گردش کار Workflow Orchestration

• ارکستراسیون گردش کار را درک کنید Understand Workflow Orchestration

• ارکستراسیون گردش کار را درک کنید Understand Workflow Orchestration

• سناریو اتوماسیون خرده فروش داده لیک Scenario Automating Retailer Data Lake

• ایجاد وظایف فردی Creating the individual tasks

• ایجاد منطق گردش کار Create Workflow Logic

• منطق شرطی Conditional Logic

تجزیه و تحلیل در دریاچه داده Analytics in a Data Lake

• درک تجزیه و تحلیل در دریاچه داده Understanding Analytics in a Data Lake

• درک تجزیه و تحلیل در دریاچه داده Understanding Analytics in a Data Lake

• کاوش داده ها و پرس و جوهای جانبی Data Exploration & adhoc Queries

• اتصال ابزار BI (Power BI) Connecting BI Tool (Power BI)

• تجزیه و تحلیل کسب و کار با QuickSight Business Analytics with QuickSight

• ایجاد نوت بوک Jupyter Creating Jupyter Notebooks

• کاوش داده ها با استفاده از نوت بوک Data Exploration using Notebooks

• اتصال Retail Insights Inc.'s Data Lake به Power BI Connecting Retail Insights Inc.'s Data Lake to Power BI

نظارت بر Monitoring

• نیاز به نظارت در دریاچه داده The Need for Monitoring in Data Lake

• نیاز به نظارت در دریاچه داده The Need for Monitoring in Data Lake

• مجموعه ابزار برای نظارت Toolset for Monitoring

• نظارت با استفاده از متریک Monitoring Using Metrics

• راه اندازی داشبوردها Setting up Dashboards

• راه اندازی آلارم Setting up alarms

• استفاده از لاگ ها Using Logs

• نظارت بر استفاده از منابع چسب AWS Monitoring AWS Glue Resource Utilization

کنترل دسترسی Access Control

• کنترل دسترسی در دریاچه های داده Access Control in Data Lakes

• اصل کمترین امتیاز (PoLP) Principle of Least Privilege (PoLP)

• کنترل دسترسی مبتنی بر نقش (RBAC) Role-Based Access Control (RBAC)

• درک کنترل دسترسی Understanding Access Control

• پیاده سازی RBAC Implementation of RBAC

• تست RBAC Testing RBAC

• سیاست های سفارشی Custom policies

• پیاده سازی RBAC در دریاچه داده Implementing RBAC in Data Lake

امنیت و حکمرانی اضافی Security & Additional Governance

• استراتژی امنیتی چند لایه Multi-Layered Security Strategy

• استراتژی امنیتی چند لایه Multi-Layered Security Strategy

• مسیر ابری Cloud Trail

• رمزگذاری Encryption

• عملی: رمزگذاری Hands-on: Encryption

• استفاده از برچسب ها Using Tags

• عملی: تنظیم برچسب ها Hands-on: Setting up Tags

• مدیریت هزینه و چرخه عمر با برچسب ها Cost & Lifecycle Management with Tags

استراتژی و رهبری دریاچه داده Data Lake Strategy & Leadership

• استراتژی و رهبری دریاچه داده Data Lake Strategy & Leadership

• چشم انداز و نیازسنجی در دریاچه داده Vision & Assessment of Needs in Data Lake

• شناسایی و مشارکت دادن سهامداران کلیدی Identifying and Involving Key Stakeholders

• چارچوب و تیم حاکمیت داده Data Governance Framework & Team

• تعریف استانداردهای حکمرانی Defining Governance Standards

• راه اندازی تیم دریاچه داده Setting up Data Lake Team

• توسعه نقشه راه Roadmap Development

جایزه Bonus

• جایزه Bonus