آموزش مهندسی داده برای مبتدیان با استفاده از Google Cloud و Python

سرفصل ها و درس ها

معرفی Introduction

• به این دوره خوش آمدید Welcome to This Course

• ساختار و پوشش دوره Course Structure & Coverage

• چگونه از این دوره حداکثر ارزش را بدست آوریم How To Get Maximum Value From This Course

مقدمه ای بر مهندسی داده Introduction to Data Engineering

• مهندسی داده چیست؟ What is Data Engineering?

• مثال مهندسی داده Data Engineering Example

• مدل سازی داده چیست؟ What is Data Modelling?

پایگاه داده Database

• پایگاه داده چیست؟ What is Database

• پایگاه داده رابطه ای Relational Database

• چه زمانی از پایگاه داده رابطه ای استفاده نکنیم؟ When Not To Use Relational Database?

• پایگاه داده NoSQL NoSQL Database

• نسخه ی نمایشی: Postgresql Demo : Postgresql

• نسخه ی نمایشی: پایتون برای Postgresql Demo : Python for Postgresql

• نسخه ی نمایشی: Elasticsearch Demo : Elasticsearch

• نسخه ی نمایشی: Python برای Elasticsearch Demo : Python for Elasticsearch

مدل پایگاه داده رابطه ای Relational Database Model

• اهمیت مدل داده های رابطه ای The Importance of Relational Data Model

• OLTP در مقابل OLAP OLTP vs OLAP

• عادی سازی پایگاه داده Database Normalization

• اولین فرم عادی (1NF) First Normal Form (1NF)

• فرم دوم عادی (2NF) Second Normal Form (2NF)

• فرم سوم عادی (3NF) Third Normal Form (3NF)

• نرمال سازی نسخه ی نمایشی پایتون Normalization Python Demo

• نکات عادی سازی Normalization Tips

• غیرعادی سازی پایگاه داده Database Denormalization

• غیرعادی سازی نسخه ی نمایشی پایتون Denormalization Python Demo

• جداول واقعیت و ابعاد Fact & Dimension Tables

• طرحواره ستاره Star Schema

• طرح نمایشی Star Schema Python Star Schema Python Demo

• طرح واره دانه های برف Snowflake Schema

• طرحواره کهکشان Galaxy Schema

• استخراج بار تبدیل (ETL) و جداول مرحله‌بندی Extract Transform Load (ETL) & Staging Tables

• ETL و جداول مرحله‌بندی - نمای کلی نسخه ی نمایشی ETL & Staging Tables - Demo Overview

• ETL و جداول مرحله‌بندی - نسخه آزمایشی پایتون 1 ETL & Staging Tables - Python Demo 1

• ETL و جداول مرحله‌بندی - نسخه آزمایشی پایتون 2 ETL & Staging Tables - Python Demo 2

• برای درج یا به روز رسانی؟ To Insert or To Update?

• ETL و جداول مرحله‌بندی - نسخه آزمایشی پایتون 3 ETL & Staging Tables - Python Demo 3

• ETL و جداول مرحله‌بندی - نسخه آزمایشی پایتون 4 ETL & Staging Tables - Python Demo 4

• ETL و جداول مرحله‌بندی - نکات ETL & Staging Tables - Tips

مدل پایگاه داده NoSQL NoSQL Database Model

• مفهوم پایه NoSQL Basic NoSQL Concept

• قضیه CAP CAP Theorem

• غیرعادی سازی در Elasticsearch Denormalization on Elasticsearch

• کاربرد اصلی Elasticsearch Elasticsearch Basic Usage

• Elasticsearch Index & Document Elasticsearch Index & Document

• Elasticsearch ETL - بررسی اجمالی Elasticsearch ETL - Overview

• Elasticsearch Query DSL Elasticsearch Query DSL

• Elasticsearch ETL - نسخه ی نمایشی پایتون Elasticsearch ETL - Python Demo

پایگاه داده تحلیلی Data Warehouse

• چشم انداز کسب و کار Business Perspective

• دیدگاه فنی Technical Perspective

• جدول اطلاعات و ابعاد بیشتر More Fact & Dimension Table

• مکعب OLAP OLAP Cube

• On-Premise یا Cloud؟ On-Premise or Cloud?

• تکنیک های مختلف Various Techniques

• نمای کلی نسخه ی نمایشی Demo Overview

• نسخه آزمایشی 1 - انبار داده PostgreSQL Demo 1 - PostgreSQL Data Warehouse

• نسخه ی نمایشی 2 - انبار داده BigQuery Demo 2 - BigQuery Data Warehouse

• نسخه ی نمایشی 3 - عملیات انبار داده Demo 3 - Data Warehouse Operations

اعدادی که هر مهندس باید بداند Numbes Every Engineer Should Know

• اعدادی که هر مهندس باید بداند Numbers Every Engineer Should Know

• اعداد کوچک Small Numbers

• اعداد بزرگ Big Numbers

Hadoop & Spark Hadoop & Spark

• اکوسیستم هادوپ Hadoop Ecosystem

• معرفی اسپارک Introducing Spark

• برنامه نویسی اسپارک Spark Programming

• فرمت های داده Data Formats

• سلام اسپارک Hello Spark

• Spark Demo - Dataframe Spark Demo - Dataframe

• Spark Demo - Spark SQL Spark Demo - Spark SQL

• Spark & ​​BigQuery - تنظیم محیط Spark & BigQuery - Setting Environment

• Spark & ​​BigQuery - فیلم‌های ETL Spark & BigQuery - ETL Movies

• Spark & ​​BigQuery - درس آموخته شده Spark & BigQuery - Lesson Learned

Spark Cluster در Google Cloud (Dataproc) Spark Cluster on Google Cloud (Dataproc)

• Spark Cluster - نمای کلی Spark Cluster - Overview

• نسخه ی نمایشی: داده های بزرگ Demo : Big Data

• Google Dataproc Google Dataproc

دریاچه داده Data Lake

• بررسی اجمالی دریاچه داده Data Lake Overview

• طرحواره در خواندن Schema On Read

• دریاچه نه باتلاق Lake, not Swamp

• کاتالوگ داده های گوگل Google Data Catalog

منابع و مراجع Resources & References

• کد منبع و مجموعه داده ها را دانلود کنید Download Source Code & Datasets

• کدهای جایزه و تخفیف Bonus & Discount Codes