آموزش مهندسی داده‌های ابری (Cloud Data Engineering) - آخرین آپدیت

شروع کار با مهندسی داده‌های ابری Getting Started with Cloud Data Engineering

• معرفی مدرس Instructor Introduction

• معرفی دوره Course Introduction

• راهنمای شروع آزمایشگاه (Lab) Lab Onboarding

• مرور کلی پروژه دوره سوم Course 3 Project Overview

• مقدمه‌ای بر پایان قانون مور Introduction to the End of Moore's Law

• مشکلات همزمانی (Concurrency) در پایتون The Problem with Concurrency in Python

• کاوش در پایان قانون مور Exploring the End of Moore's Law

• استفاده از CUDA و Numba Using CUDA and Numba

• ASIC چیست؟ What is an ASIC?

• بهره‌برداری از Colab Pro Taking Advantage of Colab Pro

• کاوش در Colab AI Exploring Colab AI

• مقدمه‌ای بر سیستم‌های توزیع‌شده Introduction to Distributed Systems

• ثبت وقایع و ابزارگذاری سیستم‌های توزیع‌شده Logging and Instrumentation Distributed Systems

• قضیه CAP CAP Theorem

• قانون آمداهل Amdahl's Law

• انعطاف‌پذیری (Elasticity) Elasticity

• در دسترس بودن بالا (99.999%) Highly Available Nine Nine's

• عیب‌یابی کدهای پایتون Debugging Python Code

• کاوش در Google BigQuery Exploring Google BigQuery

• داده‌های حجیم (Big Data) چیست؟ What is Big Data?

• دریاچه‌های داده (Data Lakes) Data Lakes

• پردازش داده‌های حجیم Big Data Processing

• مقدمه‌ای بر اصول طراحی مهندسی داده در AWS Introduction to AWS Data Engineering Design Principles

• پردازش داده‌های حجیم با AWS Processing Big Data with AWS

• تبدیل داده‌ها با Databricks Spark SQL Transform Data with Databricks Spark SQL

بررسی اصول مهندسی داده Examining Principles of Data Engineering

• مقدمه‌ای بر مهندسی داده Introduction to Data Engineering

• سازمان‌های داده‌محور Data Driven Organizations

• مهندسی داده چیست؟ What is Data Engineering?

• مقایسه دسته‌ای (Batch)، جریانی (Streaming) و رویداد-محور Batch vs. Streaming vs. Events

• ورودی داده‌ها به صورت دسته‌ای یا جریانی Ingesting by Batch or Stream

• ساخت ابزارهای CLI با Click Building CLI Tools with Click

• ساخت ابزارهای خط فرمان کانتینری Building Containerized Command-line Tools

• زبان‌های Rust و Python Rust and Python

• ساخت ماشین حساب CLI با پایتون Python Calculator CLI

• ساخت رمز سزار CLI Caesar Cipher CLI

• تست پیشرفته با Amazon CodeGuru Advanced Testing with Amazon CodeGuru

• تست پیشرفته با AWS CodeBuild Advanced Testing with AWS CodeBuild

• نگاشت توابع به CLI: بخش اول Mapping Functions to CLI: Part 1

• نگاشت توابع به CLI: بخش دوم Mapping Functions to CLI: Part 2

• استفاده از AWS CodeWhisperer در CLI AWS CodeWhisperer CLI

• استفاده از AWS CodeWhisperer در SDK AWS CodeWhisperer SDK

ساخت خط لوله‌های مهندسی داده Building Data Engineering Pipelines

• مقدمه‌ای بر مهندسی داده بدون سرور (Serverless) Introduction to Serverless Data Engineering

• اتوماسیون خط لوله‌ها Automating Pipelines

• Serverless چیست؟ What is Serverless?

• مفاهیم بدون سرور: مدل سرویس Serverless Concepts: Service Model

• مفاهیم بدون سرور: توابع (Functions) Serverless Concepts: Functions

• مفاهیم بدون سرور: اکوسیستم Serverless Concepts: Ecosystem

• مرور کلی AWS Lambda AWS Lambda: Overview

• مقدمه‌ای بر AWS Cloud9 Introduction to AWS Cloud9

• مدیریت رویدادها در AWS Lambda AWS Lambda: Event Handling

• برنامه Hello World در AWS Lambda AWS Lambda: Hello World

• تست استقرار در AWS Lambda AWS Lambda: Deploy Testing

• مثال ویکی‌پدیا در AWS Lambda AWS Lambda: Wikipedia Example

• ساخت یک خط لوله داده بدون سرور Build a Serverless Data Pipeline

• راهنمای عملی Serverless با AWS Serverless Cookbook with AWS

• راهنمای عملی Serverless با GCP Serverless Cookbook with GCP

• مقدمه‌ای بر حاکمیت داده (Data Governance) Introduction to Data Governance

• حاکمیت داده چیست؟ What is Data Governance?

• اصل کمترین امتیاز (Least Privilege) The Principle of Least Privilege

• امنیت ابری با IAM در AWS Cloud Security with IAM on AWS

• مدل امنیتی مشترک AWS AWS Shared Security Model

• سرویس AWS IAM AWS IAM Service

• عملیات امنیت ابری AWS AWS Cloud Security Operations

• رمزنگاری داده‌ها در حالت استراحت و انتقال Encrypt at Rest and Transit

پیاده‌سازی وظایف کلیدی مهندسی داده Applying Key Data Engineering Tasks

• مقدمه‌ای بر استخراج، تبدیل و بارگذاری (ETL) Introduction to Extract, Transform, Load (ETL)

• ETL چیست؟ What is ETL?

• ورود و آماده‌سازی داده‌ها در AWS Ingesting and Preparing Data on AWS

• استفاده از Amazon Athena با AWS Glue Using Amazon Athena with AWS Glue

• مشکلات دنیای واقعی در ETL Real-World Problems in ETL

• مقدمه‌ای بر پایگاه‌های داده ابری Introduction to Cloud Databases

• آیا یک راهکار برای همه در فضای ابری مناسب است؟ One Size Does Not Fit All in the Cloud?

• مرور کلی MySQL MySQL Overview

• کار با MySQL از طریق ترمینال MySQL from Terminal

• آرشیو و حذف پایگاه داده Archive and Drop Database

• وارد کردن پایگاه داده خارجی Sakila Import external database Sakila

• اصلاح پایگاه داده Sakila Modify database Sakila

• خط لوله‌های Bash با MySQL Bash pipelines with MySQL

• اتصال MySQL به وب‌سرور کتابخانه استاندارد پایتون MySQL to Python Standard Library Web Server

• استفاده از BigQuery با مهندسی پرامپت Big Query with Prompt Engineering

• خط لوله BigQuery در Colab Big Query Colab Pipeline

• مقدمه‌ای بر ذخیره‌سازی ابری (Cloud Storage) Introduction to Cloud Storage

• چرا ذخیره‌سازی ابری؟ Why Cloud Storage?

• بررسی عمیق ذخیره‌سازی ابری Cloud Storage Deep Dive

• استفاده از Amazon S3 Using Amazon S3