آموزش مهندسی داده 101: راهنمای مبتدی - آخرین آپدیت

سرفصل ها و درس ها

آشنایی با مهندسی داده Introduction to data engineering

• مقدمه Introduction

• اسلایدهای دوره را بارگیری کنید Download the Course Slides

• منابع بیشتر ، کمک و جامعه More Resources, Help and Community

• مهندسی داده چیست و چرا مهم است؟ What is data engineering and why is it important?

• باستانی کلی خط لوله داده پایان به پایان Overall archiecture of end-to-end data pipeline

• بخش 1 - مسابقه 1 Section 1 - Quiz 1

• برخی از زمینه های تاریخی Some historical context

• بلوغ داده ها Data maturity

• محل مهندس داده در یک تیم داده است Data engineer’s place within a data team

• بخش 1 - مسابقه 2 Section 1 - Quiz 2

خط لوله داده پایان به پایان End-to-end data pipeline in-depth

• تولید (سیستم های منبع): مقدمه Generation (source systems): Intro

• تولید (سیستم های منبع): انواع بانکهای اطلاعاتی Generation (source systems): Types of databases

• تولید (سیستم های منبع): سیستم های شخص ثالث و جریان رویداد Generation (source systems): Third-party systems and event streams

• بخش 2 - مسابقه 1 Section 2 - Quiz 1

• ذخیره سازی: مقدمه Storage: Intro

• ذخیره سازی: سریال سازی (قالب های فایل ذخیره سازی) ، فشرده سازی و ذخیره سازی Storage: Serialization (storage file formats), compression, and caching

• ذخیره سازی: ذخیره سازی توزیع شده Storage: Distributed storage

• ذخیره سازی: انواع سیستم های ذخیره سازی Storage: Types of storage systems

• ذخیره سازی: ذخیره سازی مبتنی بر ردیف در مقابل ستونی (یا OLTP در مقابل OLAP) Storage: Row-based vs columnar storage (or OLTP vs OLAP)

• ذخیره سازی: انبار داده ، دریاچه داده و داده دریاچه خانه Storage: Data warehouse, data lake, and data lakehouse

• بخش 2 - مسابقه 2 Section 2 - Quiz 2

• مصرف: دسته/میکرو دسته/جریانی جریان و ETL در مقابل ELT Ingestion: Batch/micro-batch/streaming ingestion and ETL vs ELT

• مصرف: مصرف جریان Ingestion: Streaming ingestion

• مصرف: مقیاس پذیری و طرحواره بالادست تغییر می کند Ingestion: Scalability and upstream schema changes

• مصرف: روشهای مختلف برای مصرف داده ها Ingestion: Different ways to ingest data

• تحول: نمایش داده شد Transformation: Queries

• تحول: مدل سازی داده ها Transformation: Data modeling

• تحول: نمایش داده شد و تحولات Transformation: Queries and transformations

• تحول: رویدادها در مقابل ایالت ها و گروه در مقابل جریان Transformation: Events vs states and batch vs streaming

• خدمت Serving

• بخش 2 - مسابقه 3 Section 2 - Quiz 3

زیر بغل Undercurrents

• DataOps DataOps

• ارکستراسیون Orchestration

• امنیت ، حریم خصوصی ، کیفیت داده ها Security, privacy, data quality

• گردش کار توسعه Development workflow

• بخش 3 - مسابقه 1 Section 3 - Quiz 1

نمونه های معماری خط لوله داده Data pipeline architecture examples

• معماری داده خوب چیست؟ What is a good data architecture?

• هنگام طراحی معماری داده خود چه عواملی را باید در نظر بگیرید؟ What factors should you consider when designing your data architecture?

• آموزش های بیشتر ، پشتیبانی و جامعه More tutorials, Support, and Community

• Bi Stack (انبار داده): ذخیره سازی BI stack (data warehouse): Storage

• Bi Stack (انبار داده): DuckDB BI stack (data warehouse): DuckDB

• Bi Stack (انبار داده): ارکستر BI stack (data warehouse): Orchestrator

• Bi Stack (انبار داده): مصرف BI stack (data warehouse): Ingestion

• BI Stack (انبار داده): تحول و تجسم BI stack (data warehouse): Transformation and visualization

• Bi Stack (Data Lakehouse): ذخیره سازی - کوه یخ آپاچی BI stack (data lakehouse): Storage - Apache Iceberg

• Bi Stack (Data Lakehouse): موتور محاسبه - ترینو BI stack (data lakehouse): Compute engine - Trino

• بخش 4 - مسابقه 1 Section 4 - Quiz 1

• پشته جریان: مصرف رویداد Streaming stack: Event ingestion

• پشته جریان: پردازش رویداد Streaming stack: Event processing

• ML Stack: اصول اولیه ML و AI ML stack: The basics of ML and AI

• ML Stack: فروشگاه ویژگی ML stack: Feature store

• پشته ML: آموزش مدل ML stack: Model training

• ML Stack: مدل خدمت (A.K.A. استنتاج مدل) ML stack: Model serving (a.k.a. model inference)

• پشته یادگیری عمیق: مقدمه Deep learning stack: Intro

• پشته یادگیری عمیق: برچسب زدن ، آموزش و استنباط Deep learning stack: Labeling, training, and inference

• سایر ملاحظات مربوط به ساخت خط لوله داده Other considerations to building a data pipeline

• بخش 4 - مسابقه 2 Section 4 - Quiz 2

چه چیزی بعدی؟ What's next?

• آینده مهندسی داده ها؟ نظر ما Future of data engineering? Our opinion

• چه بعدی است What's next

• مراحل بعدی - منابع رایگان بیشتر (آموزش های دستی) و جامعه Next steps - more free resources (hands-on tutorials) and community