آموزش ETL با استفاده از Python: از MySQL به BigQuery

ETL using Python: from MySQL to BigQuery

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: دوره ای برای تحلیلگران سوپرشارژ اتصال به MySQL با استفاده از Python اتصال به BigQuery با استفاده از داده های Python ETL از MySQL به BigQuery با استفاده از Python تنظیم محیط خود برای استفاده از Python با MySQL و BigQuery پیش نیازها: Python نصب شده (مثلاً محیط مجازی، آناکوندا و غیره... ) آشنایی با SQL آشنایی با حساب Python GCP برای دسترسی BigQuery به یک IDE مانند VS Code یا PyCharm

این یک دوره آموزشی مستقیم و کامل است که شما را به سرعت داده های ETL را از MySQL به BigQuery می رساند.

درس های این دوره به دستورالعمل های کوتاه تقسیم می شوند. بنابراین می توانید این دوره را در آخر هفته بگذرانید و صبح دوشنبه آماده باشید تا مهارت های خود را به رخ بکشید!

چیزهایی که پوشش خواهیم داد:

  • تنظیم

    • تنظیم یک حساب GCP

    • اعتبارنامه و احراز هویت برای امنیت

    • تنظیم محیط پایتون

  • استخراج

    • از Python برای اتصال به MySQL

      استفاده کنید
    • از پانداهای پایتون برای صادرات داده استفاده کنید

    • استفاده از کتابخانه پایتون برای ذخیره فایل ها در مسیرهای فایل

  • تبدیل

    • از توابع پایتون برای تبدیل داده ها استفاده کنید

    • از پانداهای پایتون برای تبدیل داده ها استفاده کنید

    • از SQL درون خطی در طول Extract برای تبدیل داده استفاده کنید

  • بارگیری

    • از کتابخانه BigQuery Python استفاده کنید

    • به BigQuery متصل شوید

    • داده ها را در BigQuery بارگیری کنید

    • بارهای افزایشی در مقابل کوتاه کردن و بارگذاری

    • گزینه های دیگر مدیریت داده در حین بارگیری

پس از گذراندن این دوره، با موارد بسیار جالب زیر راحت خواهید بود:

  • با استفاده از Python به MySQL متصل شوید

  • بیاموزید که چگونه اعتبار پایگاه داده خود را مبهم کنید تا آنها را در کد خود فاش نکنید

  • استفاده از ماژول OS به منظور ذخیره فایل‌ها و کدگذاری سخت کمتر موارد.

  • از کتابخانه پایتون و پانداها برای تبدیل داده‌ها در حین مرحله تبدیل ETL خود استفاده کنید

  • بیاموزید که چگونه از ماژول‌ها/کتابخانه‌های GBQ استفاده کنید تا بارگیری داده‌ها به یک کار بسیار آسان و ساده تبدیل شود

از آن لذت ببرید، لذت ببرید و به رشد خود ادامه دهید!


سرفصل ها و درس ها

برپایی Setup

  • معرفی Introduction

  • نصب پایتون Installing Python

  • محیط های مجازی Virtual Environments

  • ایجاد یک حساب Google Creating a Google Account

  • پروژه BigQuery، مجموعه داده و جداول BigQuery Project, Dataset and Tables

  • نصب Google SDK Installing the Google SDK

  • احراز هویت گوگل Google Authentication

  • ذخیره کردن ویژگی های اتصال Storing Connection Properties

  • نصب ماژول های مورد نیاز Installing Needed Modules

  • بررسی اجمالی ETL ETL Overview

برپایی Setup

  • معرفی Introduction

  • نصب پایتون Installing Python

  • محیط های مجازی Virtual Environments

  • ایجاد یک حساب Google Creating a Google Account

  • پروژه BigQuery، مجموعه داده و جداول BigQuery Project, Dataset and Tables

  • نصب Google SDK Installing the Google SDK

  • احراز هویت گوگل Google Authentication

  • ذخیره کردن ویژگی های اتصال Storing Connection Properties

  • نصب ماژول های مورد نیاز Installing Needed Modules

  • بررسی اجمالی ETL ETL Overview

استخراج کردن Extract

  • به MySQL متصل شوید Connect to MySQL

  • MySQL را با استفاده از پایتون پرس و جو کنید Query MySQL using Python

  • مروری بر پانداها Overview of Pandas

  • پانداهای dtypes Pandas dtypes

  • فیلتر پانداها Pandas filters

  • پانداها را به CSV صادر کنید Pandas Export to CSV

استخراج کردن Extract

  • به MySQL متصل شوید Connect to MySQL

  • MySQL را با استفاده از پایتون پرس و جو کنید Query MySQL using Python

  • مروری بر پانداها Overview of Pandas

  • پانداهای dtypes Pandas dtypes

  • فیلتر پانداها Pandas filters

  • پانداها را به CSV صادر کنید Pandas Export to CSV

تبدیل Transform

  • ستون جدید پانداها با SQL Pandas new column with SQL

  • ستون جدید پانداها با تابع پایتون Pandas new column with Python Function

  • تبدیل داده پانداها Pandas data transformation

تبدیل Transform

  • ستون جدید پانداها با SQL Pandas new column with SQL

  • ستون جدید پانداها با تابع پایتون Pandas new column with Python Function

  • تبدیل داده پانداها Pandas data transformation

بار Load

  • کنسول BigQuery: ایجاد جدول DDL BigQuery Console: Create Table DDL

  • BigQuery Console: ایجاد آپلود فایل جدول BigQuery Console: Create Table file upload

  • BigQuery: با پایتون ارتباط برقرار کنید BigQuery: Connect with Python

  • BigQuery: بارگیری داده ها BigQuery: Loading Data

  • BigQuery: کوتاه کردن v Append BigQuery: Truncate v Append

  • پرسش بزرگ: برنامه ETL را کامل کنید Big Query: Complete ETL Program

  • BigQuery: ماده جایزه BigQuery: Bonus Material

بار Load

  • کنسول BigQuery: ایجاد جدول DDL BigQuery Console: Create Table DDL

  • BigQuery Console: ایجاد آپلود فایل جدول BigQuery Console: Create Table file upload

  • BigQuery: با پایتون ارتباط برقرار کنید BigQuery: Connect with Python

  • BigQuery: بارگیری داده ها BigQuery: Loading Data

  • BigQuery: کوتاه کردن v Append BigQuery: Truncate v Append

  • پرسش بزرگ: برنامه ETL را کامل کنید Big Query: Complete ETL Program

  • BigQuery: ماده جایزه BigQuery: Bonus Material

افکار نهایی Final Thoughts

  • افکار نهایی و سایر منابع Final Thoughts and Other Resources

افکار نهایی Final Thoughts

  • افکار نهایی و سایر منابع Final Thoughts and Other Resources

نمایش نظرات

آموزش ETL با استفاده از Python: از MySQL به BigQuery
جزییات دوره
3 hours
27
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
1,070
4.2 از 5
دارد
دارد
دارد
Oscar Valles
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Oscar Valles Oscar Valles

تجزیه و تحلیل و هوش تجاری حرفه ای