آموزش مهندسی داده با Google BigQuery و Google Cloud - آخرین آپدیت
دانلود Data Engineering with Google BigQuery & Google Cloud
ساخت پایپلاین داده با BigQuery، Data Studio و سایر خدمات Google Cloud
یادگیری مبانی SQL در BigQuery و تکنیکهای مرتبط
معرفی Google BigQuery
ساخت پایپلاین داده با استفاده از Google BigQuery از منابع مختلف (فایل، پایگاه داده، API، کارگزار پیام)
تکنیکها و ابزارهای مختلف برای بارگذاری داده در Google BigQuery
مروری بر پاکسازی و آمادهسازی دادهها
مروری بر تجسم دادهها با استفاده از Google Sheets و Data Studio
پیشنیازها
- آشنایی با SQL پایه (مانند SELECT, FROM, WHERE, GROUP BY, HAVING, ORDER BY)
- داشتن حساب Google
یک انبار داده (Data Warehouse) مخزنی از دادههای تاریخی است که برای پاسخ به سوالات، کسب اطلاعات از دادهها و تصمیمگیریهای تجاری مورد استفاده قرار میگیرد. BigQuery محصول Google برای انبار داده است. این سرویس برای ذخیره و پرسوجوی ترابایتها، حتی پتابایتها داده طراحی شده است، بدون اینکه نیازی به راهاندازی و مدیریت زیرساخت داشته باشید. BigQuery یک پایگاه داده تراکنشی برای عملیات روزانه نیست.
BigQuery از SQL استاندارد پشتیبانی میکند، بنابراین اگر با پایگاه دادههای رابطهای مانند Oracle، PostgreSQL، MySQL، Microsoft SQL Server و غیره توسعه دادهاید، به راحتی میتوانید با BigQuery آشنا شوید. چند تابع BigQuery برای پشتیبانی از نیازهای امروزی وجود دارد و یادگیری آنها کار شما را آسانتر میکند.
هیچ زیرساختی مورد نیاز نیست. ما نیازی به نگرانی در مورد اندازه ذخیرهسازی، تعداد پردازندهها یا تخصیص حافظه برای پردازش پرسوجو نداریم. BigQuery بهطور خودکار مقیاس میشود تا پرسوجو را اجرا کند و سپس منابع را پس از اتمام کار آزاد میکند. ما حتی برای تخصیص حافظه یا پردازنده هزینهای پرداخت نمیکنیم.
Google نمونه پایگاه دادههایی را برای تمرین و آزمایش ارائه میدهد.
آنچه در این دوره خواهید آموخت
- معرفی دوره
- درباره Data Warehouse و نقش BigQuery در آن
- نحوه ایجاد یک پایپلاین داده ساده، شامل ورودی داده، پاکسازی داده و تجسم داده
- ابزارها و روشهایی که میتوان برای مهندسی داده، بهویژه در مورد جمعآوری دادهها از منابع مختلف به BigQuery استفاده کرد
- تجسم داده با استفاده از Google Sheets و Data Studio
این دوره برای افرادی است که دانش فنی پایه در مورد SQL دارند.
این دوره دوره SQL پایه نیست، بنابراین ما معنی SQL پایه مانند SELECT, FROM, WHERE, GROUP BY, ORDER BY را یاد نخواهیم گرفت.
ویدئوی پیشنمایش "فناوریهای این دوره" را برای کلمات کلیدی SQL که بهطور مفصل مورد بحث قرار نخواهند گرفت، مشاهده کنید.
با این حال، ما همچنان برخی از سینتکسهای SQL مدرن را که میتوانند در BigQuery استفاده شوند، یاد خواهیم گرفت.
در این دوره همچنین یاد خواهیم گرفت که چگونه دادهها را از چندین منبع واکشی کنیم، بنابراین این یک دوره خوب است اگر شما مهندسی هستید که مسئول ایجاد پایپلاین داده هستید.
مقدمه Introduction
-
به این دوره خوش آمدید Welcome to This Course
-
چگونه بیشترین ارزش را از این دوره بدست آورید How To Get Maximum Value From This Course
-
ساختار و پوشش دوره Course Structure & Coverage
-
فناوری در این دوره Technology In This Course
معرفی انبار داده و BigQuery Introducing Data Warehouse & BigQuery
-
انبار داده Data Warehouse
-
شروع با BigQuery Start With BigQuery
-
رابط کاربری وب BigQuery BigQuery Web User Interface
اولین کاوش First Exploration
-
اولین داده First Data
-
کاوش اولیه Basic Exploration
-
توابع Functions
-
انواع داده های رایج Common Data Types
-
کویری متفاوت؟ Different Query?
-
کاوش انواع داده های رایج Exploring Common Data Types
-
تبدیل انواع داده Converting Data Types
جریان داده پایه Data Flow Basic
-
کیفیت داده Data Quality
-
پاکسازی و تبدیل Clean & Transform
-
ذخیره داده Store Data
-
ارتقا از حساب Sandbox Upgrading From Sandbox Account
-
پاکسازی و تبدیل با Dataprep Clean & Transform With Dataprep
-
پرس و جوی زمانبندی شده Scheduled Query
-
تجزیه و تحلیل داده Analyze Data
-
تصویرسازی داده Data Visualization
شیرجه رفتن به BigQuery Diving Into BigQuery
-
BigQuery ضروری Essential BigQuery
-
بارگذاری داده ها در BigQuery (قسمت 1) - مقدماتی Load Data Into BigQuery (Part 1) - The Basic
-
نکته: داده های ساختگی Tip : Mock Data
-
بارگذاری داده ها در BigQuery (قسمت 2) - مدیریت خطاها Load Data Into BigQuery (Part 2) - Handling Errors
-
بارگذاری داده ها در BigQuery (قسمت 3) - بارگذاری کارآمد Load Data Into BigQuery (Part 3) - Efficient Load
-
بارگذاری داده ها در BigQuery (قسمت 4) - از داده های شما تا BigQuery Load Data Into BigQuery (Part 4) - From Your Data to BigQuery
-
بارگذاری داده ها در BigQuery (قسمت 5) - در معماری Microservice Load Data Into BigQuery (Part 5) - In Microservice Architecture
-
نکته: مروری بر Message Broker Tip : Message Broker Overview
-
بارگذاری داده ها در BigQuery (قسمت 6) - بارگذاری دوره ای Load Data Into BigQuery (Part 6) - Recurring Load
داده های مجازی با استفاده از View Virtual Data using View
-
BigQuery View BigQuery View
تصویرسازی داده Data Visualization
-
آنچه یاد خواهیم گرفت What We Will Learn
-
Google Sheets و BigQuery Google Sheets & BigQuery
-
Google Data Studio Google Data Studio
پرس و جوی میانی Intermediate Query
-
استفاده از Join - تئوری Using Join - Theory
-
استفاده از Join - عملی Using Join - Hands On
-
Union و Intersect Union & Intersect
-
توابع آماری پایه Basic Statistical Functions
منبع و مرجع Resource & Reference
-
منبع و مرجع برای دوره (اسکریپت ها، لینک ها و غیره) Resource & Reference for The Course (Scripts, Links, etc)
-
جایزه و دوره های دیگر Bonus & Other Courses
Timotius Pamungkas
نمایش نظرات