آموزش اتوماسیون خط لوله داده با اقدامات GitHub با استفاده از R و Python

سرفصل ها و درس ها

معرفی Introduction

• اتوماسیون خط لوله داده با GitHub Actions Data pipeline automation with GitHub Actions

• آنچه شما باید بدانید What you should know

1. EIA API 1. EIA API

• رسیدگی به درخواست داده های بزرگ با پایتون Handling a large data request with Python

• رسیدگی به درخواست داده های بزرگ با R Handling a large data request with R

• کشیدن ابرداده از API با R Pulling metadata from API with R

• داشبورد EIA API The EIA API dashboard

• تنظیم یک متغیر محیطی Setting an environment variable

• ارسال یک درخواست ساده GET با R Sending a simple GET request with R

• جستجوی داده ها از طریق مرورگر Querying the data via the browser

• ساختار درخواست GET GET request structure

• پرس و جو داده ها با R و Python Querying data with R and Python

• راه حل: API را با R پرس و جو کنید Solution: Query the API with R

• راه حل: API را با پایتون پرس و جو کنید Solution: Query the API with Python

• کشیدن ابرداده از API با پایتون Pulling metadata from API with Python

• محدودیت های API با پایتون API limitations with Python

• ارسال یک درخواست GET ساده با پایتون Sending a simple GET request with Python

• محدودیت های API با R API limitations with R

• EIA API EIA API

• چالش: از API پرس و جو کنید Challenge: Query the API

2. اتوماسیون داده ها 2. Data Automation

• بررسی کیفیت داده ها Data quality checks

• توابع پشتیبانی ETL ETL supporting functions

• پر کردن داده ها Data backfilling

• فرآیند به روز رسانی داده ها Data refresh process

• خروجی تازه سازی داده ها Data refresh output

• محدوده و الزامات خط لوله داده Data pipeline scope and requirements

• معماری خط لوله داده Data pipeline architecture

3. استقرار 3. Deployment

• تنظیم اسرار و متغیرهای محیطی Setting secrets and environment variables

• تنظیم گردش کار GitHub Actions Setting GitHub Actions workflow

• گردش کار پیشرفته Advanced workflow

• بررسی گزارش‌های گردش کار Reviewing workflows logs

• استقرار خط لوله داده Data pipeline deployment

• استقرار با Docker Deployment with Docker

• مقدمه ای بر GitHub Actions Introduction to GitHub Actions

4. نظارت 4. Monitoring

• استقرار داشبورد در صفحات GitHub Deploying dashboard to GitHub Pages

• تعمیر و نگهداری خط لوله داده Data pipeline maintenance

نتیجه Conclusion

• مراحل بعدی Next steps