لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش ETL با استفاده از Python: از MySQL به BigQuery
ETL using Python: from MySQL to BigQuery
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
دوره ای برای تحلیلگران سوپرشارژ اتصال به MySQL با استفاده از Python اتصال به BigQuery با استفاده از داده های Python ETL از MySQL به BigQuery با استفاده از Python تنظیم محیط خود برای استفاده از Python با MySQL و BigQuery پیش نیازها: Python نصب شده (مثلاً محیط مجازی، آناکوندا و غیره... ) آشنایی با SQL آشنایی با حساب Python GCP برای دسترسی BigQuery به یک IDE مانند VS Code یا PyCharm
این یک دوره آموزشی مستقیم و کامل است که شما را به سرعت داده های ETL را از MySQL به BigQuery می رساند.
درس های این دوره به دستورالعمل های کوتاه تقسیم می شوند. بنابراین می توانید این دوره را در آخر هفته بگذرانید و صبح دوشنبه آماده باشید تا مهارت های خود را به رخ بکشید!
چیزهایی که پوشش خواهیم داد:
تنظیم
تنظیم یک حساب GCP
اعتبارنامه و احراز هویت برای امنیت
تنظیم محیط پایتون
استخراج
از Python برای اتصال به MySQL
استفاده کنید
از پانداهای پایتون برای صادرات داده استفاده کنید
استفاده از کتابخانه پایتون برای ذخیره فایل ها در مسیرهای فایل
تبدیل
از توابع پایتون برای تبدیل داده ها استفاده کنید
از پانداهای پایتون برای تبدیل داده ها استفاده کنید
از SQL درون خطی در طول Extract برای تبدیل داده استفاده کنید
بارگیری
از کتابخانه BigQuery Python استفاده کنید
به BigQuery متصل شوید
داده ها را در BigQuery بارگیری کنید
بارهای افزایشی در مقابل کوتاه کردن و بارگذاری
گزینه های دیگر مدیریت داده در حین بارگیری
پس از گذراندن این دوره، با موارد بسیار جالب زیر راحت خواهید بود:
با استفاده از Python به MySQL متصل شوید
بیاموزید که چگونه اعتبار پایگاه داده خود را مبهم کنید تا آنها را در کد خود فاش نکنید
استفاده از ماژول OS به منظور ذخیره فایلها و کدگذاری سخت کمتر موارد.
از کتابخانه پایتون و پانداها برای تبدیل دادهها در حین مرحله تبدیل ETL خود استفاده کنید
بیاموزید که چگونه از ماژولها/کتابخانههای GBQ استفاده کنید تا بارگیری دادهها به یک کار بسیار آسان و ساده تبدیل شود
از آن لذت ببرید، لذت ببرید و به رشد خود ادامه دهید!
سرفصل ها و درس ها
برپایی
Setup
معرفی
Introduction
نصب پایتون
Installing Python
محیط های مجازی
Virtual Environments
ایجاد یک حساب Google
Creating a Google Account
پروژه BigQuery، مجموعه داده و جداول
BigQuery Project, Dataset and Tables
نصب Google SDK
Installing the Google SDK
احراز هویت گوگل
Google Authentication
ذخیره کردن ویژگی های اتصال
Storing Connection Properties
نصب ماژول های مورد نیاز
Installing Needed Modules
بررسی اجمالی ETL
ETL Overview
برپایی
Setup
معرفی
Introduction
نصب پایتون
Installing Python
محیط های مجازی
Virtual Environments
ایجاد یک حساب Google
Creating a Google Account
پروژه BigQuery، مجموعه داده و جداول
BigQuery Project, Dataset and Tables
نصب Google SDK
Installing the Google SDK
احراز هویت گوگل
Google Authentication
ذخیره کردن ویژگی های اتصال
Storing Connection Properties
نصب ماژول های مورد نیاز
Installing Needed Modules
بررسی اجمالی ETL
ETL Overview
استخراج کردن
Extract
به MySQL متصل شوید
Connect to MySQL
MySQL را با استفاده از پایتون پرس و جو کنید
Query MySQL using Python
مروری بر پانداها
Overview of Pandas
پانداهای dtypes
Pandas dtypes
فیلتر پانداها
Pandas filters
پانداها را به CSV صادر کنید
Pandas Export to CSV
استخراج کردن
Extract
به MySQL متصل شوید
Connect to MySQL
MySQL را با استفاده از پایتون پرس و جو کنید
Query MySQL using Python
مروری بر پانداها
Overview of Pandas
پانداهای dtypes
Pandas dtypes
فیلتر پانداها
Pandas filters
پانداها را به CSV صادر کنید
Pandas Export to CSV
تبدیل
Transform
ستون جدید پانداها با SQL
Pandas new column with SQL
ستون جدید پانداها با تابع پایتون
Pandas new column with Python Function
تبدیل داده پانداها
Pandas data transformation
تبدیل
Transform
ستون جدید پانداها با SQL
Pandas new column with SQL
ستون جدید پانداها با تابع پایتون
Pandas new column with Python Function
تبدیل داده پانداها
Pandas data transformation
بار
Load
کنسول BigQuery: ایجاد جدول DDL
BigQuery Console: Create Table DDL
نمایش نظرات