آموزش مدرن سازی دریاچه های داده و انبارهای داده با GCP

مقدمه Introduction

• معرفی دوره Course Introduction

مقدمه ای بر مهندسی داده Introduction to Data Engineering

• نقش یک مهندس داده را کاوش کنید Explore the role of a data engineer

• چالش های مهندسی داده را تحلیل کنید Analyze data engineering challenges

• معرفی BigQuery Intro to BigQuery

• دریاچه های داده و انبارهای داده Data Lakes and Data Warehouses

• نسخه ی نمایشی: پرس و جوهای فدرال با BigQuery Demo:Federated Queries with BigQuery

• پایگاه داده های معاملاتی در مقابل انبارهای داده Transactional Databases vs Data Warehouses

• با سایر تیم های داده به طور موثر شریک شوید Partner effectively with other data teams

• دسترسی و حاکمیت داده ها را مدیریت کنید Manage data access and governance

• نسخه ی نمایشی: یافتن PII در مجموعه داده خود با DLP API Demo:Finding PII in your dataset with DLP API

• خطوط لوله آماده تولید را ایجاد کنید Build production-ready pipelines

• مطالعه موردی مشتری GCP را مرور کنید Review GCP customer case study

• خلاصه کردن Recap

• شروع کار با GCP و Qwiklabs Getting Started With GCP And Qwiklabs

• معرفی آزمایشگاه: استفاده از BigQuery برای انجام تجزیه و تحلیل Lab Intro:Using BigQuery to do Analysis

• آزمایشگاه: استفاده از BigQuery برای انجام تجزیه و تحلیل Lab: Using BigQuery to do Analysis

ساخت دریاچه داده Building a Data Lake

• مقدمه ای بر اطلاعات دریاچه ها Introduction to Data Lakes

• گزینه های ذخیره سازی داده و ETL در GCP Data Storage and ETL options on GCP

• ساخت دریاچه داده با استفاده از Cloud Storage Building a Data Lake using Cloud Storage

• نسخه ی نمایشی: بهینه سازی هزینه با کلاسهای Google Cloud Storage و Cloud Functions Demo:Optimizing cost with Google Cloud Storage classes and Cloud Functions

• امنیت ذخیره سازی ابر Securing Cloud Storage

• ذخیره انواع انواع داده ها Storing All Sorts of Data Types

• نسخه ی نمایشی: در حال اجرای پرس و جوهای فدرال در پرونده های Parket و ORC در BigQuery Demo:Running federated queries on Parquet and ORC files in BigQuery

• ذخیره داده های رابطه ای در ابر Storing Relational Data in the Cloud

• Cloud SQL به عنوان یک دریاچه داده ای رابطه ای Cloud SQL as a relational Data Lake

• آزمایشگاه: بارگیری داده های تاکسی در Cloud SQL Lab:Loading Taxi Data into Cloud SQL

• آزمایشگاه: بارگیری داده های تاکسی در Google Cloud SQL Lab: Loading Taxi Data into Google Cloud SQL

ساخت انبار داده Building a data warehouse

• انبار داده مدرن The Modern Data Warehouse

• معرفی BigQuery Intro to BigQuery

• نسخه ی نمایشی: سنجش میزان سل اطلاعات در عرض چند ثانیه Demo:Querying TB of Data in seconds

• شروع شدن Getting Started

• در حال بارگیری داده ها Loading Data

• معرفی آزمایشگاه: بارگیری داده ها در BigQuery Lab Intro:Loading Data into BigQuery

• آزمایشگاه: بارگیری داده ها در BigQuery Lab: Loading data into BigQuery

• کاوش در برنامه ها Exploring Schemas

• نسخه ی نمایشی: کاوش در برنامه ها Demo:Exploring Schemas

• طرحواره Schema Design

• قسمتهای تو در تو و تکرار شده Nested and Repeated Fields

• نسخه ی نمایشی: زمینه های تو در تو و تکرار شده Demo:Nested and Repeated Fields

• Intro Lab: کار با JSON و Array Data در BigQuery Lab Intro:Working with JSON and Array Data in BigQuery

• آزمایشگاه: کار با داده های JSON و Array در BigQuery Lab: Working with JSON and Array data in BigQuery

• بهینه سازی با پارتیشن بندی و خوشه بندی Optimizing with Partitioning and Clustering

• نسخه ی نمایشی: ایجاد جداول جدا شده Demo:Creating Partitioned Tables

• نسخه ی نمایشی: پارتیشن بندی و خوشه بندی Demo:Partitioning and Clustering

• پیش نمایش: تبدیل داده های دسته ای و جریانی Preview:Transforming Batch and Streaming Data

• خلاصه کردن Recap

خلاصه Summary

• خلاصه دوره Course Summary

• مدرن سازی دریاچه داده ها و انبارهای داده با اسلایدهای Google Cloud Modernizing Data Lakes and Data Warehouses with Google Cloud Slides