لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش اتوماسیون خط لولههای ETL
- آخرین آپدیت
دانلود Automate ETL Pipelines
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
بهروز نگه داشتن دادههای مکانی بسیار حیاتی است، اما بهروزرسانی دستی پایگاههای داده در هر شب قابلیت مقیاسپذیری ندارد. در این دوره آموزشی (سطح مبتدی تا متوسط، نیازمند دانش مقدماتی پایتون و SQL)، شما خواهید آموخت که چگونه یک خط لوله ETL زمینفضایی (Geospatial) واقعی را از ابتدا تا انتها بسازید، خودکار کنید و مانیتور نمایید.
در طی سه درس پیشرونده و با تمرکز بر سناریوی عملی بهروزرسانی شبانه آدرسها، شما دادههای خام CSV را با استفاده از PostGIS به رکوردهای مکانی تبدیل میکنید، خط لولههای قابل اعتماد را با Airflow زمانبندی میکنید و خطاها را با استفاده از لاگها و ابزارهای نظارتی تحلیل خواهید کرد. از طریق ویدیوهای کوتاه، یادگیری عملی، بازتابهای هدایتشده توسط مربی و تصمیمگیریهای مبتنی بر سناریو، شما از تئوری فراتر رفته و وارد دنیای مهندسی داده کاربردی میشوید.
برای این دوره داشتن مهارتهای پایه در پایتون، آشنایی با فایلهای CSV و دانش مقدماتی در مورد پایگاههای داده و SQL الزامی است. در پایان این دوره، شما اعتماد به نفس و مهارتهای لازم برای ساخت خط لولههای زمینفضایی آماده تولید (Production-ready) را خواهید داشت که بهطور خودکار اجرا میشوند، در صورت بروز خطا بازیابی شده و در زمان نیاز به مداخله، به شما هشدار میدهند.
سرفصل ها و درس ها
از CSV تا دادههای مکانی
From CSV to Spatial Data
مقدمه و خوشآمدگویی
Introduction and Welcome
ETL به زبان ساده: توضیح استخراج، تبدیل و بارگذاری
ETL for Humans: Extract, Transform, Load Explained
خودکارسازی اجراهای شبانه با Airflow
Automating Nightly Runs with Airflow
از اجراهای دستی تا DAGهای زمانبندی شده
From Manual Runs to Scheduled DAGs
مانیتورینگ، لاگگیری و مدیریت خطاها
Monitoring, Logging, and Failure Handling
خواندن لاگها و سیگنالها در Airflow
Reading Logs and Signals in Airflow
تبریک و یادگیری مستمر
Congratulations and Continuous Learning
نمایش نظرات