آموزش ساخت خطوط لوله داده با لوئیجی و پایتون

Building Data Pipelines with Luigi and Python

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: سایر توسعه دهندگان خطوط لوله داده را با قرار دادن مجموعه ای از اسکریپت های هکی پیاده سازی می کنند که با گذشت زمان به مسئولیت ها و کابوس های تعمیر و نگهداری تبدیل می شوند. این دوره را برای اجرای خطوط انتقال داده هوشمند و هوشمند با لوئیجی در پایتون بگذرانید. داده از منابع مختلف می آید و نیاز به پردازش بیشتر دارد این بسیار وسوسه انگیز است که دوباره چرخ را اختراع کنید و کتابخانه خود را برای ساخت خطوط داده برای پردازش دسته ای بنویسید. این منجر به خطوط لوله داده می شود که نگهداری آنها دشوار است. در این دوره ، ساخت داده های خط لوله با لوئیجی و پایتون ، شما می آموزید که چگونه خطوط داده را با لوئیجی و پایتون بسازید. ابتدا ، نحوه ساخت اولین خطوط انتقال داده را با لوئیجی کشف خواهید کرد. در مرحله بعدی ، نحوه پیکربندی خطوط لوله لوئیجی را خواهید فهمید. سرانجام ، شما یاد خواهید گرفت که چگونه خطوط لوله لوئیجی را اجرا کنید. وقتی این دوره را به پایان رسانید ، مهارت و دانش لوئیجی برای ساخت خطوط لوله داده را دارید که نگهداری آنها آسان است.

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

شروع کار با لوئیجی Getting Started with Luigi

  • چرا خطوط لوله داده با لوئیجی؟ Why Data Pipelines with Luigi?

  • لوئیجی را نصب کنید Install Luigi

  • خط لوله 'Hello World' را بسازید Build a 'Hello World' Pipeline

  • خط لوله با دو وظیفه بسازید Build a Pipeline with Two Tasks

ساخت خطوط لوله لوئیجی Building Luigi Pipelines

  • خط لوله با سه کار پی در پی بسازید Build a Pipeline with Three Successive Tasks

  • خط لوله با سه کار موازی بسازید Build a Pipeline with Three Parallel Tasks

  • یک خط لوله با کارهای موازی و پی در پی بسازید Build a Pipeline with Parallel and Successive Tasks

  • خط لوله ای با بسیاری از وظایف ایجاد کنید Build a Pipeline with Many Tasks

  • خط لوله با کارهای پویا بسازید Build a Pipeline with Dynamic Tasks

پیکربندی خطوط لوله لوئیجی Configuring Luigi Pipelines

  • پارامترها را به خط لوله اضافه کنید Add Parameters to a Pipeline

  • خط لوله را با پارامترها شروع کنید Start a Pipeline with Parameters

  • با استفاده از پرونده های پیکربندی Using Configuration Files

  • انواع بیشتر پارامترها More Types of Parameters

خطوط لوله لوئیجی را اجرا کنید Running Luigi Pipelines

  • شروع خط لوله Starting a Pipeline

  • برنامه ریزی خط لوله Scheduling a Pipeline

  • پیگیری پیشرفت خط لوله Tracking Pipeline Progress

  • گزینه های لوئیجی Luigi Alternatives

  • خلاصه Summary

نمایش نظرات

آموزش ساخت خطوط لوله داده با لوئیجی و پایتون
جزییات دوره
1h 33m
19
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
-
از 5
دارد
دارد
دارد
Dan Tofan
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Dan Tofan Dan Tofan

دن دهه ها پیش برنامه نویسی را بر روی Clone Spectrum آغاز كرد و فعالیت حرفه ای برنامه نویسی خود را از سال 2003 آغاز كرد. دن با اشتیاق به یادگیری برای تحصیل در دانشگاه گرونینگن به هلند مهاجرت كرد. اکنون ، دان به پایان نامه دکترای خود در زمینه تصمیم گیری و کسب دانش در معماری نرم افزار و حدود دوازده نشریه با صدها استناد افتخار می کند. دن سالها از فناوریهای مایکروسافت استفاده می کرد ، اما به تدریج به پایتون ، لینوکس و AWS مهاجرت کرد تا اطلاعات بیشتری در مورد دنیای رایانه کسب کند. در حال حاضر ، دان یک برنامه نویس تمام وقت پایتون در دفتر رومانی یک شرکت جهانی در حوزه تحقیق است.