آموزش مقدمه عملی: مهندسی داده
Hands-On Introduction: Data Engineering
دنیای امروز پر از داده‌هایی است که کسب‌وکارها را سرپا نگه می‌دارد. در پاسخ، سازمان‌ها، شرکت‌ها و کارمندان در سراسر جهان تکنیک‌های تصمیم‌گیری مبتنی بر داده را اتخاذ کرده‌اند. با این حال، اکثریت قریب به اتفاق متخصصان داده های جدید به طور رسمی آموزش ندیده اند. آنها نمی دانند چگونه خطوط لوله داده پایداری را بسازند که بتواند در سرعت و مقیاس به طور موثر عمل کند. علاوه بر این، چارچوب(های) برای تقطیر وظایف داده محور به اجزای مجزا به آنها داده نشده است.
در این دوره، مدرس Vinoo Ganesh یک نمای کلی از مهارت‌های اساسی که برای حل مسائل پیچیده داده‌ها به روشی مقیاس‌پذیر و سازنده نیاز دارید، به شما ارائه می‌دهد. اصول اصلی جعبه ابزار مهندسی داده - از جمله ELT، OLTP/OLAP، ارکستراسیون، DAGs و موارد دیگر - و همچنین نحوه راه‌اندازی یک خط لوله محلی Apache Airflow و مهندسی داده در مقیاس کامل ETL را بررسی کنید. در طول مسیر، Vinoo به شما کمک می کند تا مجموعه مهارت های فنی خود را با استفاده از سناریوهای واقعی و عملی تقویت کنید.
این دوره با GitHub Codespaces یکپارچه شده است، یک محیط توسعه دهنده ابر فوری که تمام عملکردهای IDE مورد علاقه شما را بدون نیاز به هیچ گونه راه اندازی ماشین محلی ارائه می دهد. با GitHub Codespaces، می‌توانید در هر زمان و در هر زمانی از هر ماشینی تمرین عملی داشته باشید، در حالی که از ابزاری استفاده میکنید که احتمالاً در محل کار با آن مواجه خواهید شد. برای یادگیری نحوه شروع، ویدیوی «استفاده از فضاهای کد GitHub با این دوره» را بررسی کنید.
معرفی Introduction
-
مهندسی داده عملی Hands-on data engineering
-
دانش پیشینه Background knowledge
-
تاریخچه داده ها در شرکت The history of data in the enterprise
-
استفاده از GitHub Codespaces با این دوره Using GitHub Codespaces with this course
1. دریافت بلبرینگ 1. Getting Your Bearings
-
مهندسی داده و خطوط لوله داده Data engineering and data pipelines
-
ارکستراسیون: به معنای امروزی Orchestration: In the modern sense
-
استخراج، تبدیل، بارگذاری (ETL) Extract, transform, load (ETL)
-
وظایف، DAG ها و وابستگی ها Tasks, DAGs, and dependencies
-
امتحان فصل Chapter Quiz
2. معرفی جریان هوا 2. Airflow Introduction
-
مقدمه ای بر جریان هوا Introduction to Airflow
-
نصب جریان هوا Installing Airflow
-
اجرای وب سرور و زمانبندی Airflow Running the Airflow webserver and scheduler
-
تنظیم تنظیمات پیکربندی جریان هوا Adjusting Airflow configuration settings
-
یک DAG 1 Task بسازید Build a 1 Task DAG
-
یک DAG 2 Task بسازید Build a 2 Task DAG
-
امتحان فصل Chapter Quiz
3. ETL پایه در جریان هوا 3. Basic ETL in Airflow
-
ETL در جریان هوا ETL in Airflow
-
یک کار مهندسی داده در دنیای واقعی A real-world data engineering task
-
استخراج داده ها به صورت دستی Extracting data manually
-
استخراج داده با جریان هوا Extracting data with Airflow
-
تبدیل داده ها به صورت دستی Transforming data manually
-
تبدیل داده ها با جریان هوا Transforming data with Airflow
-
بارگیری داده ها به صورت دستی Loading data manually
-
بارگیری داده ها با جریان هوا Loading data with Airflow
-
ساخت ETL DAG با جریان هوا Building an ETL DAG with Airflow
-
چالش: سوالات ETL را مرور کنید Challenge: Review ETL questions
-
راه حل: راه حل برای سوالات ETL Solution: Solutions to ETL questions
-
امتحان فصل Chapter Quiz
نتیجه Conclusion
-
آینده مهندسی داده The future of data engineering
https://donyad.com/d/141767
Vinoo Ganesh
مدیر عامل و بنیانگذار Stealth Startup
Vinoo یک مهندس نرم افزار و داده با تجربه، معمار نرم افزار و استارت آپ است. مشاور. او کار خود را در Palantir Technologies آغاز کرد، جایی که او تیم Compute شرکت را رهبری کرد و برخی از فن‌آوری‌های اساسی را ساخت که بزرگترین شرکت‌های جهان را در بخش‌های مالی، مراقبت‌های بهداشتی و دفاعی نیرو می‌داد. او سپس به عنوان مدیر ارشد فناوری در Veraset، یک استارت آپ داده های جغرافیایی به عنوان یک سرویس، کار کرد. گروه سرمایه گذاری سیتادل به عنوان رئیس مهندسی بازرگانی؛ و اشلر، جایی که خطوط لوله داده های حیاتی و پلتفرم های سرمایه گذاری را در مقیاس بزرگ ساخت و نظارت کرد. Vinoo همچنین یک مشاور با تجربه است که به سازمان ها کمک می کند تا استراتژی های داده خود را توسعه دهند و مقیاس دهند.
نمایش نظرات