آموزش Spark، Hadoop و Snowflake برای مهندسی داده - آخرین آپدیت

مرور کلی و آشنایی با PySpark Overview and Introduction to PySpark

• آشنایی با مدرس دوره: کندی برمن Meet your Co-Instructor: Kennedy Behrman

• آشنایی با مدرس دوره: نوآ گیفت Meet your Co-Instructor: Noah Gift

• مرور کلی پلتفرم‌های کلان‌داده (Big Data) Overview of Big Data Platforms

• شروع کار با Hadoop Getting Started with Hadoop

• شروع کار با Spark Getting Started with Spark

• مقدمه‌ای بر مجموعه‌های داده توزیع‌شده تاب‌آور (RDD) Introduction to Resilient Distributed Datasets (RDD)

• دموی مجموعه‌های داده توزیع‌شده تاب‌آور (RDD) Resilient Distributed Datasets (RDD) Demo

• مقدمه‌ای بر Spark SQL Introduction to Spark SQL

• دموی دیتای‌فریم PySpark: بخش اول PySpark Dataframe Demo: Part 1

• دموی دیتای‌فریم PySpark: بخش دوم PySpark Dataframe Demo: Part 2

اسنو-فلیک (Snowflake) Snowflake

• اسنو-فلیک (Snowflake) چیست؟ What is Snowflake?

• لایه‌های Snowflake Snowflake Layers

• رابط کاربری وب Snowflake Snowflake Web UI

• کار با محیط Snowflake Navigating Snowflake

• ایجاد جدول در Snowflake Creating a Table in Snowflake

• انبار‌های (Warehouses) اسنو-فلیک Snowflake Warehouses

• نوشتن داده‌ها در Snowflake Writing to Snowflake

• خواندن داده‌ها از Snowflake Reading from Snowflake

Azure Databricks و MLFlow Azure Databricks and MLFLow

• دسترسی به Databricks Accessing Databricks

• استفاده از نوت‌بوک‌های Spark در Databricks Spark Notebooks with Databricks

• کار با داده‌ها در Databricks Using Data with Databricks

• کار با محیط‌های کاری (Workspaces) در Databricks Working with Workspaces in Databricks

• قابلیت‌های پیشرفته Databricks Advanced Capabilities of Databricks

• مقدمه‌ای بر PySpark در Databricks PySpark Introduction on Databricks

• بررسی ویژگی‌های Databricks Azure Exploring Databricks Azure Features

• استفاده از DBFS تا جریان کاری AutoML Using the DBFS to AutoML Workflow

• بارگذاری، ثبت و استقرار مدل‌های ML Load, Register and Deploy ML Models

• ثبت مدل در Databricks (Model Registry) Databricks Model Registry

• ارائه مدل (Model Serving) در Databricks Model Serving on Databricks

• MLOps چیست؟ What is MLOps?

• بررسی فریم‌ورک‌های متن‌باز MLFlow Exploring Open-Source MLFlow Frameworks

• اجرای MLFlow با Databricks Running MLFlow with Databricks

• پیاده‌سازی کامل Databricks MLFlow End to End Databricks MLFlow

• ثبت خودکار (Autologging) در Databricks با MLFlow Databricks Autologging with MLFlow

متدولوژی‌های DataOps و عملیات DataOps and Operations Methodologies

• متدولوژی Kaizen برای داده‌ها Kaizen Methodology for Data

• آشنایی با GitHub CodeSpaces Introducing GitHub CodeSpaces

• کامپایل پایتون در GitHub Codespaces Compiling Python in GitHub Codespaces

• بررسی Sagemaker Studio Lab Walking through Sagemaker Studio Lab

• کلاس جامع Pytest (اختیاری) Pytest Master Class (Optional)

• DevOps چیست؟ What is DevOps?

• مفاهیم کلیدی DevOps DevOps Key Concepts

• مرور کلی یکپارچه‌سازی مستمر (CI) Continuous Integration Overview

• ساخت یک مدل NLP در Cloud9 با پایتون Build an NLP in Cloud9 with Python

• ساخت یک میکروسرویس FastAPI کانتینری با استقرار مستمر Build a Continuously Deployed Containerized FastAPI Microservice

• استقرار مستمر Hugo در AWS Hugo Continuous Deploy on AWS

• تحویل مستمر مبتنی بر کانتینر Container Based Continuous Delivery

• DataOps چیست؟ What is DataOps?

• استفاده از DataOps و MLOps در Snowflake DataOps and MLOps with Snowflake

• ساخت خط لوله‌های ابری با Step Functions و Lambda Building Cloud Pipelines with Step Functions and Lambda

• دریاچه داده (Data Lake) چیست؟ What is a Data Lake?

• مقایسه انبار داده (Data Warehouse) و Feature Store Data Warehouse vs. Feature Store

• چالش‌های کلان‌داده (Big Data) Big Data Challenges

• انواع پردازش کلان‌داده Types of Big Data Processing

• خط لوله مهندسی داده در دنیای واقعی Real-World Data Engineering Pipeline

• حلقه بازخورد داده‌ها (Data Feedback Loop) Data Feedback Loop