آموزش بوت‌کمپ مهندسی داده AWS: راهنمای جامع - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

سرویس‌های مهندسی داده AWS AWS DATA ENGINNER SERVICES

• مقدمه INTRODUCTION

• ساخت حساب رایگان AWS CREATE AWS FREE ACCOUNT

• آشنایی با Amazon S3 Amazon s3 Introduction

• مزایا و موارد استفاده AWS S3 AWS S3 Benefits & Use Case

• آزمایشگاه عملی AWS S3 AWS S3 PRACTICAL LAB

• کلاس‌های ذخیره‌سازی AWS S3 AWS s3 Storage Classes

• عملی: ورژن‌بندی و سیاست‌های دسترسی S3 AWS S3 Practical VERSIONING & Access Policy

• مقدمه‌ای بر AWS IAM (نقش، سیاست، کاربر و گروه) AWS IAM INTRODUCTION - ROLE POLICY USER GROUP

• عملی: ساخت کاربر، گروه و سیاست در IAM AWS IAM - CREATE USERS , GROUP & POLICY

• نقش‌های AWS IAM AWS IAM Role

• فعال‌سازی احراز هویت چند مرحله‌ای (MFA) در AWS Enable Multi Factor Authentication on AWS

• مقدمه‌ای بر AWS Lambda AWS Lambda Introduction

• آزمایشگاه عملی ۱ لـمـبـدا: اولین تابع لـمـبـدا AWS Lambda Practical Lab -1 - First Lambda Function

• آزمایشگاه تریگرهای AWS Lambda AWS Lambda Trigger Lab

• پروژه مهندسی داده ۱ (Lambda + S3) AWS Data Engineering Project 1 (lambda+s3)

• مقدمه‌ای بر AWS Glue AWS Glue Introduction

• Crawler و کاتالوگ داده در AWS AWS Crawler & Data Catalog

• آزمایشگاه عملی ۱ Glue (تبدیل TXT به JSON) AWS Glue Practical Lab-1 (TXT TO JSON )

• آزمایشگاه عملی ۲ Glue: تبدیل داده‌ها AWS Glue Practical Lab - 2 - Transformation

• عملی: تبدیل فیلتر در AWS Glue AWS Glue Practical - Filter Transformation

• بوک‌مارک‌های شغلی در AWS GLUE AWS GLUE - JOB BOOKMARK

• عملی: بوک‌مارک شغلی | بارگذاری افزایشی AWS GLUE - JOB BOOKMARK Practical | Incremental Load

• تبدیل با پرس‌وجوی SQL در AWS GLUE AWS GLUE- SQL QUERY TRANSFORMATION

• تبدیل تغییر طرح (Change Schema) در AWS GLUE AWS GLUE- CHANGE SCHEMA TRANSFORMATION

• تبدیل مسیریابی شرطی در AWS GLUE AWS GLUE- CONDITIONAL ROUTER TRANSFORMATION

• تبدیل تجمیعی (Aggregate) در AWS GLUE AWS GLUE- AGGREGATE TRANSFORMATION

• تبدیل ستون مشتق شده در AWS GLUE AWS GLUE - Derived Column Transformation

• تبدیل الحاق (Concatenate) در AWS GLUE AWS GLUE- Concatenate Transformation

• تبدیل Explode Array در AWS GLUE AWS GLUE- EXPLODE ARRAY Transformation

• تبدیل Flatten در AWS GLUE AWS GLUE- Flatten Transformation

• مقدمه‌ای بر AWS Athena AWS Athena Introduction

• آزمایشگاه عملی ATHENA (کاتالوگ AWS Glue) AWS ATHENA Practical - Lab (AWS Glue Catalog)

• پرس‌وجوی S3 بدون Crawler در AWS Athena AWS Athena - Query s3 without Crawler

• مقدمه‌ای بر EC2 EC2 - introduction

• ساخت ماشین ویندوزی در EC2 ec2 (Create Windows )

• انواع EC2 و ماشین‌های لینوکس ec2 Type And Linux Machine

• انواع نمونه‌های (Instance) EC2 EC2 Instance Type

• سرویس اعلان ساده AWS SNS AWS SNS (Simple Notification Service)

• تمرین عملی AWS SNS AWS SNS Practical

• عملی: ارسال اعلان بر اساس آپلود فایل در S3 AWS SNS Practical - Send Notification based on S3 file upload

• مقدمه‌ای بر AWS CLOUDWATCH AWS CLOUDWATCH - INTRODUCTION

• دموی AWS CLOUDWATCH AWS CLOUDWATCH - DEMO

• سرویس AWS EMR (Elastic MAP Reduce) AWS EMR -Elastic MAP Reduce

• عملی: ساخت کلاستر AWS EMR AWS EMR CLUSTER CREATION - PRACTICAL

• عملی: تنظیم EMR STUDIO و اتصال به Notebook AWS EMR STUDIO SETUP -ATTCH TO NOTEBOOK PRACTICAL

• مقدمه‌ای بر AWS RDS AWS RDS - Introduction

• عملی: ساخت RDS و تنظیم SQL SERVER AWS RDS CREATION - SQL SERVER SETUP PRACTICAL

• سرویس AWS Kinesis AWS Kinesis

• آزمایشگاه عملی ۱ Kinesis AWS Kinesis Lab-1

آموزش جامع Databricks و PySpark COMPLETE DATABRICKS & PYSPARK

• دیتابریکس (Databricks) چیست؟ What is Databricks

• مزایای Databricks Databricks Advantage

• نسخه رایگان Databricks Databricks Free Edition

• نمای کلی Databricks Databricks Overview

• مفهوم Lakehouse در Databricks Lakehouse in Databricks

• کاتالوگ Unity در Databricks Unity Catalog in Databricks

• ساخت Unity Catalog در Databricks Create Unity Catalog in Databricks

• مقایسه جداول Managed و External در Databricks Managed vs External Tables in Databricks

• مفهوم Volumes در Databricks Volumes in Databricks

• ساخت و آپلود Volumes در Databricks Create & Upload Volumes in Databricks

• تنظیمات و مقدمه Pyspark در Databricks Pyspark Setup & Intro in Databricks

• ساخت Dataframe با استفاده از Pyspark Create Dataframe Using Pyspark

• ساخت Dataframe از فایل‌های JSON یا Parquet Create Dataframe Using JSON Or Parquet

• تبدیل Select در PYSPARK Select Transformation - PYSPARK

• استفاده از With Column و With Column Renamed در PYSPARK With Column & With Column Renamed - PYSPARK

• فیلتر کردن داده‌ها در PYSPARK Filter Data - PYSPARK

• مقایسه Distinct و DropDuplicates در PYSPARK Distinct vs DropDuplicates - PYSPARK

• مرتب‌سازی Sort و OrderBy در PYSPARK Sort & OrderBy - PYSPARK

• گروه‌بندی GroupBy در PYSPARK GroupBy - PYSPARK

• اتصال Join در PYSPARK Join - PYSPARK

• اتحاد Union در PYSPARK Union - PYSPARK

• نحوه مدیریت مقادیر Null در PYSPARK How to Handle Null Values - PYSPARK

• متد Collect() در pyspark Collect() in pyspark

• مفاهیم Struct Type و Struct Field در PYSPARK Struct Type & Struct Field - PYSPARK

• تبدیلات Pivot و Unpivot در PYSPARK Pivot & Unpivot - PYSPARK

• توابع کاربر تعریف شده (UDF) در PYSPARK UDF - PYSPARK

• نمای موقت (Temp View) در PYSPARK Temp View - PYSPARK

• توابع پنجره‌ای (Windows Function) در PYSPARK Windows Function - PYSPARK

• مفاهیم PartitionBy, Repartition و Coalesce در PYSPARK PartitionBy , Repartition And Coalesce - PYSPARK

• فرمت تاریخ در PYSPARK Date Format - PYSPARK

• توابع مختلف تاریخ Different Date Functions

• تابع Explode در PYSPARK Explode Function - PYSPARK

• کار با فایل‌ها در Databricks با PYSPARK Databricks Files - PYSPARK

• اتحاد Lakehouse (Lakehouse Federation) در PYSPARK Lakehouse Federation - PYSPARK

• کاتالوگ‌ها و جداول خارجی در PYSPARK Foreign Catalog & Tables - PYSPARK

• زبان Databricks SQL در PYSPARK Databricks SQL - PYSPARK

• نمای کلی Databricks SQL در PYSPARK Databricks SQL Overview - PYSPARK

• پارامترهای Databricks SQL در PYSPARK Databricks SQL Parameters - PYSPARK

• قطعه کدهای (Snippets) Databricks SQL در PYSPARK Databricks SQL Snippets - PYSPARK

• مرور Databricks SQL (Join, ROW_NUMBER) و CTE در PYSPARK Databricks SQL Revision(Join, ROW_NUMBER)CTE, - PYSPARK

• زمان‌بندی پرس‌وجوها (Scheduling Query) Scheduling - Query

• مانیتورینگ پرس‌وجوها (Monitoring Query) Monitoring - Query

• بهبود عملکرد پرس‌وجو با Databricks Cache Databricks Cache - Query Performance

• سیستم هشدار (Alert) در Databricks Databricks Alert

• داشبورد و بصری‌سازی در DATABRICKS Dashboard & Visalization - DATABRICKS

• معرفی Genie در Databricks Genie in Databricks

• شغل‌های Lakehouse (Lakehouse Jobs) در Databricks Lakehouse Jobs in Databricks

• عملی: اجرای Lakehouse Jobs در Databricks Lakehouse Jobs practical in Databricks

• عملی: اجرای شغل‌های If Else در Databricks If -Else Jobs Practical in Databricks

• عملی: اجرای شغل‌های For Each در Databricks For - Each Jobs Practical in Databricks

• زمان‌بندی و تریگر در Databricks Schedule and Trigger in Databricks

• شغل‌های محاسباتی (Compute Jobs) در Databricks Compute Jobs In Databricks

• شغل‌های اعلان (Notification Jobs) در Databricks Notification Jobs In Databricks

• مانیتورینگ شغل‌ها در Databricks Monitoring Jobs In Databricks.

• استریمینگ ساختاریافته در Spark (Structured Streaming) Spark Structure Streaming

• مقدمه‌ای بر AUTO LOADER در DATABRICKS AUTO LOADER INTRO- DATABRICKS

• معماری AUTO LOADER AUTO LOADER - ARCHITECTURE

• مقدمه عملی AUTO LOADER AUTO LOADER - PRACTICAL INTRO

• تنظیمات عملی AUTO LOADER AUTO LOADER - PRACTICAL SETUP

• عملی: اسکریپت‌نویسی AUTO LOADER AUTO LOADER - SCRIPT PRACTICAL

• بارگذاری افزایشی با AUTO LOADER AUTO LOADER - INCREMENTAL LOAD

• مدیریت طرح (Schema) در AUTO LOADER AUTO LOADER -SCHEMA HANDLE

• دستور Copy INTO در databricks Copy INTO- databricks

• عملی: استفاده از COPY INTO در databricks COPY INTO PRACTICAL databricks

• جداول زنده دلتا (Delta Live Tables) در Databricks Delta Live Tables - Databricks

• مشکلاتی که DLT حل می‌کند DLT - Problem its solving

• مزایای DLT DLT - ADVANTAGES

• موردهای کاربردی کلیدی DLT KEY USE CASE - DLT

• مجموعه داده‌های DLT: جداول استریمینگ، ویو و ویوهای متریالایز شده DLT dataset - streaming table , view , materialized view

• نمای کلی عملی DLT DLT PRACTICAL OVERVIEW

• ساخت جدول استریمینگ در DLT Create Streaming Table -DLT

• ویوی متریالایز شده (Materialized View) در DLT Materialized view - DLT

• عملی: کار با View در DLT DLT PRACTICAL - View

• عملی: استریمینگ، متریالایز ویو و ویو در DLT DLT PRACTICAL - STREAMING , MATERIALIZED VIEW , VIEW

• زبان SPARK SQL (بخش ۱) SPARK SQL - 1

• زبان SPARK SQL (بخش ۲: like, distinct, limit) SPARK SQL --2 ( like , distinct , limit)

• اتصال (Joining) و اتحاد (Union) در SPARK SQL SPARK SQL Joining & Union

• توابع پنجره‌ای در SPARK SQL: Rank, Dense Rank, Row number SPARK SQL -WINDOWS FUNCTION - Rank , Dense Rank , Row number

• توابع پنجره‌ای در SPARK SQL: LEAD و LAG SPARK SQL - WINDOWS FUNCTION - LEAD & LAG

• یکپارچه‌سازی Databricks با گیت‌هاب (CI CD) Databricks Github integration - CI CD

• عملی: یکپارچه‌سازی Databricks و گیت‌هاب Databricks Github Integration practical

• ساخت شاخه‌ها (Branches) در Databricks و مراحل استقرار در محیط تولید Databricks Branches Creation and Steps to follow in Production

• اجرای شغل تولیدی در Databricks متصل به گیت‌هاب Run production Job in Databricks pointing Github

آموزش جامع SQL COMPLETE SQL

• مقدمه‌ای بر SQL SQL Introduction

• پایگاه داده چیست؟ What is Databases

• تمرین عملی پایگاه داده Database Practical

• دستور Insert در SQL Insert Statement in SQL

• محدودیت‌ها (Constraints) در SQL SQL Constraints

• محدودیت‌های Not Null و Unique Not Null & Unique Constraints

• محدودیت‌های Check و Default Check & Default Constraints

• کلید اصلی (Primary Key) در SQL Primary Key in SQL

• کلید خارجی (Foreign Key) در SQL Foreign Key in SQL

• فیلتر و مرتب‌سازی در SQL Filter & Sort in SQL

• مقایسه Delete vs Drop vs Truncate در SQL Delete vs Drop vs Truncate in SQL

• دستور Update در SQL Update in SQL

• دستورات شرطی در SQL Conditional Statement in SQL

• توابع تجمیعی (Aggregate) در SQL Aggregate Function in SQL

• گروه‌بندی Group by در SQL Group by in SQL

• عملگر Like در SQL Like Operator in SQL

• عبارت Having در SQL Having Clause in SQL

• استفاده از Top یا Limit در SQL Top or Limit in SQL

• استفاده از Distinct در SQL Distinct in SQL

• تابع Coalesce در SQL Coalesce in SQL

• اتصال (Joining) در SQL Joining in SQL

• مقایسه Union vs Union All در SQL Union vs Union All in SQL

• دستور Alter در SQL Alter in SQL

• توابع پنجره‌ای در SQL Windows Function in SQL

• توابع Rank, Dense Rank, Row Number در SQL Rank, Dense Rank, Row Number in SQL

• توابع Lead و Lag در SQL Lead and Lag in SQL

• عبارات CTE در SQL CTE in SQL

• ویوها (Views) در SQL Views in SQL

• روال‌های ذخیره شده (Store Procedure) در SQL Store Procedure in SQL

• پرس‌وجوهای تو در تو (Sub Query) در SQL Sub Query in SQL

• تریگرها (Triggers) در SQL Triggers in SQL

آموزش جامع پایتون COMPLETE PYTHON

• پلی‌لیست مقدمه‌ای بر پایتون Introduction To Python Playlist

• پایتون چیست و چه ویژگی‌هایی دارد؟ What is Python And Feature

• انواع داده‌ها و متغیرها در پایتون Python Data Type And Variables

• تابع ورودی input() در پایتون Python Input() Function

• عملگرها در پایتون Python Operators

• دستورات شرطی If Else در پایتون Python If Else Statements

• حلقه For در پایتون Python For Loop

• حلقه While در پایتون While Loop in Python

• لیست‌ها در پایتون List in Python

• متدهای لیست در پایتون List Method in Python

• مساله کدنویسی لیست ۱ (کمترین و بیشترین) List Coding Problem -1 (lowest & highest)

• مساله کدنویسی لیست ۲ (جایگزینی دو عضو لیست) List Coding Problem -2 (swap two element in list)

• مساله کدنویسی لیست ۳ (معکوس کردن لیست) List Coding Problem -3 (reverse list)

• مساله کدنویسی لیست ۴ (مجموع و میانگین لیست) List Coding Problem -4 (sum and average of given list)

• مساله کدنویسی لیست ۵ (جداسازی زوج و فرد) List Coding Problem -5 ( even and odd from list)

• مساله کدنویسی لیست ۶ (حذف موارد تکراری) List Coding Problem -6 ( remove duplicate from list)

• درک List Comprehension List Comprehension

• تاپل‌ها (Tuples) در پایتون Tuples in Python

• مجموعه‌ها (Sets) در پایتون Sets in Python

• دیکشنری‌ها در پایتون Dictionary in Python

• رشته‌ها (Strings) در پایتون String in Python

• سوالات کدنویسی رشته در پایتون String Coding Questions in Python

• توابع در پایتون Functions in Python

• مفاهیم Args و Kwargs در پایتون Args and Kwargs in Python

• توابع Lambda در پایتون Lambda in Python

• برنامه‌نویسی شیءگرا (OOPS) در پایتون OOPS in Python

• توابع Map, Filter و Reduce در پایتون Map, Filter and Reduce in Python

• سازنده (Constructor) و متد در پایتون Constructor and Method in Python

• وراثت (Inheritance) در پایتون Inhertitence in Python

• کپسوله‌سازی (Encapsulation) در پایتون Encapslation in Python

• مقایسه Iterable و Iterator Iterable vs Iterator

• ماژول‌ها در پایتون Module in Python

• ماژول OS در پایتون OS Module in Python

• کار با Date و Datetime در پایتون Date and Datetime in Python

• مدیریت خطا با Try Except در پایتون Try -Except in Python

پروژه‌ها PROJECTS

• پروژه تحلیل فروش خرده‌فروشی (مدل Medallion) PROJECT - RETAIL SALES ANALYTICS PROJECT (Medallion)

• پروژه ۱ (S3 + IAM + LAMBDA + S3 + CLOUDWATCH) PROJECT-1 (S3 + IAM + LAMBDA + S3 + CLOUDWATCH )

• پروژه ۲ (S3 + GLUE + LAMBDA) PROJECT 2 - S3 + GLUE + LAMBDA

آمادگی برای مصاحبه مهندسی داده DATA ENGINEER INTERVIEW PREPARATION

• مصاحبه مهندسی داده ۱ DATA ENGINEER INTERVIEW -1

• مصاحبه مهندسی داده (بخش پایتون) PYTHON DATA ENGINEER INTERVIEW

• سوالات برتر مصاحبه SQL برای مهندسی داده TOP SQL DATA ENGINEER INTERVIEW

• سوالات برتر مصاحبه PySpark برای مهندسی داده TOP P YSPARK DATA ENGINEER INTERVIEW

• سوالات برتر کدنویسی پایتون در مصاحبه مهندسی داده TOP PYTHON CODING DATA ENGINEER INTERVIEW

• سوالات برتر مصاحبه SQL (بخش ۲) TOP SQL DATA ENGINEER INTERVIEW -2

• سوال و جواب کدنویسی PySpark در مصاحبه PYSPARK CODING INTERVIEW QUESTION - ANSWER

• کدنویسی پایتون: مرتب‌سازی و تکراری‌ها PYTHON CODING - SORTING , DUPLIATE

• کدنویسی پایتون: مسئله Two Sum PYTHON CODING - TWO SUM

• کدنویسی پایتون: انتقال صفرها به انتها و دومین مقدار بزرگ PYTHON CODING - MOVE ZERO TO END , SECOND LARGEST

• کدنویسی پایتون: گروه‌بندی آناگرام‌ها PYTHON CODING - GROUP ANAGRAM

• کدنویسی پایتون: محاسبه نرخ میانگین متحرک PYTHON CODING - FIND AVG MOVING RATE

• سوال مصاحبه SQL: قیمت سهام SQL INTERVIEW QUESTION - STOCK PRICE

• مصاحبه مهندسی داده: SQL Least Fare DATA ENGINEER INTERVIEW - SQL LEAST FARE

• مصاحبه مفاهیم Joining در SQL SQL - JOINING INTERVIEW

• مقایسه Star Schema و Snowflake Schema START SCHEMA VS SNOWFLAKE SCHEMA

• مقایسه انبار داده (Data Warehouse) و دریاچه داده (Data Lake) DATA WAREHOUSE VS DATALAKE

• مقایسه نرمال‌سازی و غیرنرمال‌سازی (Normalization vs Denormalization) NORMALIZATION VS DENORMALIZATION

• بررسی فرمت‌های مختلف فایل DIFFERENT FILE FORMATS

گیت‌هاب و CI CD GITHUB -CI CD

• نحوه ارسال Pull Request How to Raise pull request

• یکپارچه‌سازی Databricks با گیت‌هاب DATABRICKS GITHUB INTEGRATION

• عملی: یکپارچه‌سازی Databricks و گیت‌هاب Databricks Github Integration practical

• ساخت شاخه‌ها در Databricks و مراحل اجرا در محیط تولید Databricks Branches Creation and Steps to follow in Production