آموزش مهندسی داده با Google BigQuery و Google Cloud
Data Engineering with Google BigQuery & Google Cloud
انبار داده مخزنی از داده‌های تاریخی است که برای پاسخ به سؤالات، کسب بینش از دادهها و تصمیم‌گیری تجاری مورد پرسش قرار می‌گیرد. BigQuery محصول Google برای انبار داده است. این برای ذخیره و جستجوی ترابایت، حتی پتابایت داده بدون نیاز به راه اندازی و مدیریت زیرساخت طراحی شده است. این یک پایگاه داده تراکنشی برای عملیات روزانه نیست.
BigQuery از SQL استاندارد پشتیبانی می کند، بنابراین اگر با پایگاه داده رابطه ای مانند Oracle، PostgreSQL، MySQL، Microsoft SQL Server و غیره توسعه می دهید، به راحتی می توانید با BigQuery آشنا شوید. چند عملکرد BigQuery برای پشتیبانی از نیازهای امروزی وجود دارد، و یادگیری در مورد آنها کار شما را آسان تر می کند.
هیچ زیرساختی مورد نیاز نیست. ما نیازی به نگرانی در مورد اندازه فضای ذخیره سازی، تعداد پردازنده ها یا تخصیص حافظه برای درخواست پردازش نداریم. BigQuery به طور خودکار برای اجرای پرس و جو مقیاس می شود و پس از اتمام آن منبع را آزاد می کند. ما حتی برای تخصیص حافظه یا پردازنده هزینه ای دریافت نمی کنیم.
Google پایگاه داده نمونه را برای تمرین و آزمایش ارائه می دهد.
این دوره دارای چندین موضوع است:
یک مقدمه، جایی که خواهیم دید این دوره در مورد چه چیزی است
انبار داده چیست و BigQuery در کدام قسمت نقش دارد
چگونه می‌توانیم یک خط لوله داده ساده ایجاد کنیم، از جمله ورودی داده، پاکسازی دادهها و تجسم دادهها
ابزارها و روش‌هایی که می‌توانند برای مهندسی دادهها، به‌ویژه در انتقال دادهها از منابع مختلف به BigQuery استفاده شوند
تجسم دادهها با استفاده از استودیوی داده کاربرگ‌نگار Google
این دوره برای افرادی است که دانش فنی پایه در SQL دارند.
این دوره آموزشی پایه SQL نیست، بنابراین معنای sql پایه مانند SELECT، FROM، WHERE، GROUP BY، ORDER BY را نمی آموزیم.
پیش‌نمایش فناوری فناوری را در این دوره برای کلمه کلیدی SQL ببینید که در مورد آن به تفصیل صحبت نمی‌کنیم
با این حال، ما همچنان برخی از نحو مدرن SQL را که می توان در BigQuery استفاده کرد، یاد خواهیم گرفت
در این دوره ما همچنین یاد خواهیم گرفت که چگونه داده ها را از چندین منبع واکشی کنیم، بنابراین اگر شما یک مهندس هستید که مسئولیت ایجاد خط لوله داده را بر عهده دارد، این دوره آموزشی خوبی است.
معرفی Introduction
-
به این دوره خوش آمدید Welcome to This Course
-
چگونه از این دوره حداکثر ارزش را بدست آوریم How To Get Maximum Value From This Course
-
ساختار و پوشش دوره Course Structure & Coverage
-
فناوری در این دوره Technology In This Course
معرفی Data Warehouse و BigQuery Introducing Data Warehouse & BigQuery
-
پایگاه داده تحلیلی Data Warehouse
-
با BigQuery شروع کنید Start With BigQuery
-
رابط کاربری وب BigQuery BigQuery Web User Interface
کاوش اول First Exploration
-
داده اول First Data
-
اکتشاف اساسی Basic Exploration
-
کارکرد Functions
-
انواع داده های رایج Common Data Types
-
پرس و جو متفاوت؟ Different Query?
-
بررسی انواع داده های رایج Exploring Common Data Types
-
تبدیل انواع داده ها Converting Data Types
جریان داده پایه Data Flow Basic
-
کیفیت داده Data Quality
-
پاکسازی و تبدیل Clean & Transform
-
ذخیره داده ها Store Data
-
ارتقا از حساب Sandbox Upgrading From Sandbox Account
-
پاکسازی و تبدیل با Dataprep Clean & Transform With Dataprep
-
پرس و جو برنامه ریزی شده Scheduled Query
-
تحلیل دادهها Analyze Data
-
تجسم داده ها Data Visualization
غواصی در BigQuery Diving Into BigQuery
-
BigQuery ضروری Essential BigQuery
-
بارگذاری داده ها در BigQuery (قسمت 1) - پایه Load Data Into BigQuery (Part 1) - The Basic
-
نکته: داده های ساختگی Tip : Mock Data
-
بارگذاری داده ها در BigQuery (قسمت 2) - مدیریت خطاها Load Data Into BigQuery (Part 2) - Handling Errors
-
بارگذاری داده ها در BigQuery (قسمت 3) - بار کارآمد Load Data Into BigQuery (Part 3) - Efficient Load
-
بارگذاری داده ها در BigQuery (قسمت 4) - از داده های شما به BigQuery Load Data Into BigQuery (Part 4) - From Your Data to BigQuery
-
بارگذاری داده ها در BigQuery (قسمت 5) - در معماری Microservice Load Data Into BigQuery (Part 5) - In Microservice Architecture
-
نکته: نمای کلی کارگزار پیام Tip : Message Broker Overview
-
بارگذاری داده ها در BigQuery (قسمت 6) - بارگذاری تکرارشونده Load Data Into BigQuery (Part 6) - Recurring Load
داده های مجازی با استفاده از View Virtual Data using View
-
نمای BigQuery BigQuery View
تجسم داده ها Data Visualization
-
آنچه ما یاد خواهیم گرفت What We Will Learn
-
Google Sheets و BigQuery Google Sheets & BigQuery
-
Google Data Studio Google Data Studio
پرس و جو میانی Intermediate Query
-
استفاده از Join - Theory Using Join - Theory
-
استفاده از Join - Hands On Using Join - Hands On
-
اتحاد و تقاطع Union & Intersect
-
توابع آماری پایه Basic Statistical Functions
منبع و مرجع Resource & Reference
-
منبع و مرجع برای دوره (اسکریپت ها، پیوندها و غیره) Resource & Reference for The Course (Scripts, Links, etc)
-
پاداش و دوره های دیگر Bonus & Other Courses
https://donyad.com/d/8f88ff
Timotius Pamungkas
مهندس نرم افزار جاوا، معمار
نمایش نظرات