آموزش نوسازی دریاچه های داده و انبارهای داده با GCP - آخرین آپدیت

مقدمه Introduction

• مقدمه دوره Course Introduction

مقدمه ای بر مهندسی داده Introduction to Data Engineering

• نقش یک مهندس داده را کاوش کنید Explore the role of a data engineer

• چالش های مهندسی داده را تجزیه و تحلیل کنید Analyze data engineering challenges

• معرفی به BigQuery Intro to BigQuery

• دریاچه های داده و انبارهای داده Data Lakes and Data Warehouses

• نسخه ی نمایشی: پرس و جوهای فدرال با BigQuery Demo:Federated Queries with BigQuery

• پایگاه داده های معامله ای در مقابل انبارهای داده Transactional Databases vs Data Warehouses

• شریک زندگی با سایر تیم های داده Partner effectively with other data teams

• دسترسی به داده ها و مدیریت را مدیریت کنید Manage data access and governance

• نسخه ی نمایشی: یافتن PII در مجموعه داده خود با API DLP Demo:Finding PII in your dataset with DLP API

• خطوط لوله آماده تولید را بسازید Build production-ready pipelines

• مطالعه موردی مشتری GCP را مرور کنید Review GCP customer case study

• درج کردن Recap

• شروع با GCP و Qwiklabs Getting Started With GCP And Qwiklabs

• معرفی آزمایشگاه: استفاده از BigQuery برای انجام تجزیه و تحلیل Lab Intro:Using BigQuery to do Analysis

• آزمایشگاه: استفاده از BigQuery برای انجام تجزیه و تحلیل Lab: Using BigQuery to do Analysis

ساخت دریاچه داده Building a Data Lake

• آشنایی با دریاچه های داده Introduction to Data Lakes

• ذخیره داده ها و گزینه های ETL در GCP Data Storage and ETL options on GCP

• ساختن یک دریاچه داده با استفاده از ذخیره سازی ابر Building a Data Lake using Cloud Storage

• نسخه ی نمایشی: بهینه سازی هزینه با کلاسهای ذخیره سازی ابر گوگل و عملکردهای ابر Demo:Optimizing cost with Google Cloud Storage classes and Cloud Functions

• تأمین فضای ذخیره سازی ابری Securing Cloud Storage

• ذخیره انواع انواع داده ها Storing All Sorts of Data Types

• نسخه ی نمایشی: اجرای نمایش داده های فدرال در پرونده های پارکت و ORC در BigQuery Demo:Running federated queries on Parquet and ORC files in BigQuery

• ذخیره داده های رابطه ای در ابر Storing Relational Data in the Cloud

• Cloud SQL به عنوان یک دریاچه داده رابطه ای Cloud SQL as a relational Data Lake

• آزمایشگاه: بارگیری داده های تاکسی در Cloud SQL Lab:Loading Taxi Data into Cloud SQL

• آزمایشگاه: بارگیری داده های تاکسی در Google Cloud SQL Lab: Loading Taxi Data into Google Cloud SQL

ساخت انبار داده Building a data warehouse

• انبار داده مدرن The Modern Data Warehouse

• معرفی به BigQuery Intro to BigQuery

• نسخه ی نمایشی: پرس و جو از داده ها در چند ثانیه Demo:Querying TB of Data in seconds

• شروع Getting Started

• بارگیری داده ها Loading Data

• معرفی آزمایشگاه: بارگیری داده ها در BigQuery Lab Intro:Loading Data into BigQuery

• آزمایشگاه: بارگیری داده ها در BigQuery Lab: Loading data into BigQuery

• کاوش در طرح ها Exploring Schemas

• نسخه ی نمایشی: کاوش در طرحواره Demo:Exploring Schemas

• طراحی طرحواره Schema Design

• زمینه های تو در تو و مکرر Nested and Repeated Fields

• نسخه ی نمایشی: زمینه های تو در تو و مکرر Demo:Nested and Repeated Fields

• معرفی آزمایشگاه: کار با JSON و ARRAY DATA در BigQuery Lab Intro:Working with JSON and Array Data in BigQuery

• آزمایشگاه: کار با JSON و Array Data در BigQuery Lab: Working with JSON and Array data in BigQuery

• بهینه سازی با پارتیشن بندی و خوشه بندی Optimizing with Partitioning and Clustering

• نسخه ی نمایشی: ایجاد جداول تقسیم شده Demo:Creating Partitioned Tables

• نسخه ی نمایشی: پارتیشن بندی و خوشه بندی Demo:Partitioning and Clustering

• پیش نمایش: تبدیل داده های دسته ای و جریان Preview:Transforming Batch and Streaming Data

• درج کردن Recap

خلاصه Summary

• خلاصه دوره Course Summary

• مدرن سازی دریاچه های داده و انبارهای داده با اسلایدهای Google Cloud Modernizing Data Lakes and Data Warehouses with Google Cloud Slides