آموزش BigQuery برای مهندسین داده های بزرگ - Master Big Query Internals

سرفصل ها و درس ها

مقدمه ای بر GCP و خدمات آن Introduction to GCP & its services

• مقدمه ای بر پلتفرم ابری گوگل Introduction to Google Cloud Platform

• GCP در مقابل AWS در مقابل Azure - چرا GCP را انتخاب کنید GCP vs AWS vs Azure - Why choose GCP

• خدمات محاسبه در GCP Compute Services in GCP

• خدمات ذخیره سازی در GCP Storage Services in GCP

• خدمات کلان داده در GCP Big data Services in GCP

• خدمات هوش مصنوعی و ML در GCP AI & ML Services in GCP

• اکوسیستم کلان داده در GCP Big data ecosystem in GCP

• آزمون 1 Quiz 1

مقدمه ای بر BigQuery Introduction to BigQuery

• مشکلات مرسوم انبار داده Conventional Datawarehouse Problems

• BigQuery چیست؟ What is BigQuery

• ویژگی های خارج از جعبه BigQuery BigQuery Out-of-the Box Features

• معماری BigQuery Architecture of BigQuery

ایجاد مجموعه داده و جدول Dataset & Table creation

• یک حساب GCP راه اندازی کنید Setup a GCP account

• یادداشت مهم Important note

• یک پروژه ایجاد کنید Create a Project

• تور رابط کاربری BigQuery BigQuery UI Tour

• منطقه در مقابل چند منطقه Region Vs Multi-region

• یک مجموعه داده ایجاد کنید Create a Dataset

• یک جدول ایجاد کنید Create a Table

• تکلیف 1 Assignment 1

استفاده از گزینه های داشبورد BigQuery Using BigQuery Dashboard options

• اجرای پرس و جو با تنظیمات پرس و جوی مختلف Running query with various Query Settings

• ویژگی ها و محدودیت های حافظه پنهان Caching features & limitations

• پرس و جو از جداول Wildcard Querying Wildcard Tables

• محدودیت های جدول عام Wildcard Table Limitations

• برنامه ریزی، ذخیره، اشتراک گذاری یک پرس و جو Schedule, Save, Share a Query

• تشخیص خودکار طرحواره Schema Auto detection

طراحی طرحواره کارآمد در BigQuery Efficient Schema Design in BigQuery

• طرحی کارآمد برای جداول BigQuery طراحی کنید Design an Efficient schema for BigQuery Tables

• ستون های تودرتو و تکراری Nested & Repeated Columns

• آزمون 2 Quiz 2

• تکلیف 2 Assignment 2

عملیات روی مجموعه داده ها و جداول Operations on Datasets & Tables

• کپی کردن مجموعه داده ها Copying Datasets

• خدمات انتقال برای برنامه ریزی مشاغل کپی Transfer Service for scheduling Copy Jobs

• عملیات بومی در جدول برای تغییر طرحواره Native operations on Table for Schema change

• عملیات دستی روی جدول Manual operations on Table

طرح اجرای BigQuery Execution Plan of BigQuery

• چگونه BigQuery طرح اجرای یک کوئری را ایجاد می کند How BigQuery creates Execution Plan of a Query

• درک برنامه اجرا در داشبورد UI Understanding Execution Plan in UI Dashboard

جداول پارتیشن بندی شده در BigQuery Partitioned Tables in BigQuery

• پارتیشن بندی چیست و مزایای آن What is Partitioning & its benefits

• جداول تقسیم‌بندی شده زمان مصرف Ingestion time Partitioned Tables

• ستون تاریخ جداول تقسیم شده Date column Partitioned Tables

• جداول پارتیشن بندی شده مبتنی بر عدد صحیح Integer based Partitioned Tables

• ALTER، عملیات کپی در جداول پارتیشن بندی شده ALTER, COPY operations on Partitioned Tables

• عملیات DML در جداول پارتیشن بندی شده DML operations on Partitioned Tables

• بهترین روش ها برای پارتیشن بندی Best Practices for Partitioning

جداول خوشه ای در BigQuery Clustered Tables in BigQuery

• خوشه بندی چیست What is Clustering

• زمان استفاده از Clustering OR Partitioning OR Both When to use Clustering OR Partitioning OR Both

• جدول خوشه ای ایجاد کنید Create Clustered Table

• بایدها و نبایدها برای خوشه بندی Dos & Don'ts for Clustering

بارگیری و پرس و جو از منابع داده خارجی Loading & Querying External Data Sources

• معرفی و ایجاد سطل ذخیره سازی ابری Introduction and Create Cloud Storage Bucket

• جدول دائمی را در سطل ذخیره‌سازی ابری ایجاد و پرس و جو کنید Create & Query Permanent Table on Cloud Storage bucket

• محدودیت های منبع داده خارجی External data source Limitations

نماها در Bigquery Views in Bigquery

• مقدمه ای بر Views و مزایای آن Introduction to Views & its Advantages

• ایجاد Views در BigQuery Create Views in BigQuery

• سطرها را در سطح کاربر در Views محدود کنید Restrict rows at User level in Views

• محدودیت نماها Limitations of Views

نماهای مادی شده در BigQuery Materialized Views in BigQuery

• نماهای مادی شده چیست؟ What are Materialized Views

• یک نمای مادی ایجاد کنید Create a Materialized View

• ALTER نمای مادی شده ALTER Materialized View

• یک پرس و جو بهینه شده برای نمای Materialized طراحی کنید Design an optimized query for Materialized View

• بازخوانی خودکار و دستی نماهای مادی شده Auto & Manual Refreshes of Materialized Views

• محدودیت ها و سهمیه های نماهای مادی شده Limitations & Quotas of Materialized Views

• بهترین شیوه ها در دیدگاه های مادی شده Best Practices in Materialized Views

• امتحان 3 Quiz 3

خط فرمان BQ BQ Command Line

• معرفی Introduction

• راه اندازی Cloud SDK Cloud SDK Setup

• دستورات اولیه BQ BQ Basic commands

• BQ - دستورات پرس و جو BQ - Querying Commands

• BQ- دستور ایجاد مجموعه داده BQ- Dataset creation command

• BQ - ایجاد انواع جداول BQ - Create all types of Tables

• BQ - داده ها را در جدول بارگذاری کنید BQ - Load data into Table

• BQ - عملیات انحصاری BQ - Exclusive operations

• تکلیف 3 Assignment 3

Python Client Library of BigQuery Python Client Library of BigQuery

• برپایی Setup

• کد پایتون برای ایجاد مجموعه داده Python code to create dataset

• کد پایتون برای ایجاد جدول Python code to create table

• کد پایتون برای پرس و جو جداول Python code to query tables

ساخت خطوط لوله داده سرتاسر (پرتو آپاچی) Build End-to-End Data Pipelines (Apache Beam)

• الزامات مطالعه موردی Case Study Requirements

• رویکرد GCP به مطالعه موردی GCP approach to case study

• ایجاد خط لوله پرتو آپاچی Apache Beam Pipeline creation

• تبدیل ها را در پرتو بنویسید Write Transformations in Beam

• به BigQuery بنویسید Write to BigQuery

• مشاهده برای داده های روزانه ایجاد کنید Create View for Daily data

• کد پایتون 3 Python 3 code

• خط لوله پرتو را اجرا کنید Run the Beam Pipeline

• ایجاد گزارش در Cloud DataStudio Create Reports in Cloud DataStudio

• گزارش های ماهانه در DataStudio ایجاد کنید Create monthly reports in DataStudio

• برای برنامه ریزی Airflow DAG را بنویسید Write Airflow DAG to schedule

• محیط Cloud Composer را ایجاد کنید و DAG را اجرا کنید Create Cloud Composer environment and run DAG

خط لوله داده های جریانی بسازید Build Streaming Data Pipelines

• معرفی Introduction

• Google Pub/Sub Architecture Google Pub/Sub Architecture

• انتشار پیام ها به Pub/Sub Publish messages to Pub/Sub

• خط لوله پرتو برای جریان داده ها Beam pipeline for Streaming data

قیمت گذاری BigQuery BigQuery Pricing

• قیمت گذاری ذخیره سازی Storage Pricing

• استعلام قیمت گذاری Query Pricing

• API، قیمت گذاری DML API, DML pricing

• عملیات رایگان در BigQuery Free operations in BigQuery

• ماشین حساب Google Cloud Pricing Google Cloud Pricing Calculator

بهترین روش ها/تکنیک های بهینه سازی Best Practices / Optimization Techniques

• معرفی Introduction

• روش هایی برای محدود کردن اسکن داده ها Methods to restrict data scan

• راه های کاهش زمان CPU Ways to reduce CPU time

• از کدام آنتی الگوهای SQL اجتناب کنید Which SQL anti-patterns to avoid

آموزش های اضافی - فرمت های مختلف فایل و پرتو آپاچی Additional Learnings - Different File Formats & Apache Beam

• چه چیزی از یک فایل نیاز داریم What do we need from a File

• متن، دنباله، فایل های Avro Text, Sequence, Avro Files

• فایل های RC، ORC، پارکت RC, ORC, Parquet Files

• نتایج تست عملکرد فایل های مختلف Performance Test results of Various Files

• کدام فرمت فایل را انتخاب کنید Which File Format to choose

• آشنایی با پرتو آپاچی Introduction to Apache Beam

• پردازش دسته ای در مقابل جریان Batch Vs Stream processing

• متشکرم Thankyou

جایزه BONUS

• جایزه Bonus