آموزش توسعه پروژه یادگیری ماشینی پایدار و مقیاس پذیر

سرفصل ها و درس ها

معرفی Introduction

• معرفی دوره Course Introduction

• چرا این دوره؟ Why This Course?

• چرا بسیاری از شرکت ها شکست می خورند؟ Why Too Many Companies Fail?

• چرا بسیاری از شرکت ها شکست می خورند - منابع Why Too Many Companies Fail - Resources

• نکاتی برای بهبود تجربه خود در دوره Tips To Improve Your Course Taking Experience

• این دوره در مورد چه چیزی نیست؟ What This Course is NOT About?

• اطلاعات مهم Important Information

• سرور Discord Discord Server

• از کجا شروع کنیم؟ Where to start?

Git و Github Quickstart Git and Github Quickstart

• معرفی بخش Git و Github Quickstart Git and Github Quickstart section introduction

• Git و Github - آنها چیست؟ Git and Github - What are they?

• نصب Git - لینوکس Git Installation - Linux

• نصب گیت - ویندوز Git Installation - Windows

• نصب Git - MacOS Git Installation - MacOS

• Github - ایجاد حساب Github - Account creation

• افزودن یک جفت کلید SSH به حساب GitHub - Linux Adding an SSH key pair to GitHub account - Linux

• افزودن یک جفت کلید SSH به حساب GitHub - MacOS Adding an SSH key pair to GitHub Account - MacOS

• افزودن یک جفت کلید SSH به حساب GitHub - Windows Adding an SSH key pair to GitHub account - Windows

• Git و GitHub - گردش کار پایه Git and GitHub - Basic workflow

• برگرداندن تغییرات خود Reverting Your Changes Back

• تاریخچه را متعهد کنید Commit History

• نام مستعار Aliases

• بازگشت به یک تعهد قبلی Reverting Back to a Previous Commit

• Git Diff Git Diff

• انشعاب و ادغام Branching and Merging

• درخواست کش و بررسی کد Pull Request and Code Review

• Rebase Rebase

• پنهان کردن Stashing

• برچسب زدن Tagging

• چیدن گیلاس Cherry Pick

• Git و GitHub - کلمات پایانی Git and GitHub - Final Words

Docker Quick Start Docker Quickstart

• معرفی بخش Docker Quickstart Docker Quickstart section introduction

• داکر چیست و چرا از آن استفاده می کنیم؟ What Is Docker and Why Do We Use It?

• نصب - لینوکس Installation - Linux

• نصب - ویندوز Installation - Windows

• نصب - MacOS Installation - MacOS

• کانتینرهای داکر Docker Containers

• Docker Containers - Hands On Docker Containers - Hands On

• چرا داکر خیلی خوب است؟ Why Docker Is So Good?

• تصاویر داکر Docker Images

• Dockerfile Dockerfile

• اطلاعات بیشتر در مورد Dockerfile More about Dockerfile

• داده های پایدار در داکر Persistent Data In Docker

• داده های پایدار در Docker - حجم ها - Hands On Persistent Data In Docker - Volumes - Hands On

• داده های پایدار در Docker - Bind Mounting - Hands On Persistent Data in Docker - Bind Mounting - Hands On

• Docker Compose Docker Compose

• بهترین روش های Dockerfile Dockerfile Best Practices

DVC DVC

• DVC - بخش مقدمه DVC - Section Introduciton

• نسخه سازی داده ها Data Versioning

• دسترسی به داده های شما Accessing Your Data

• خطوط لوله - قسمت 1 Pipelines - Part 1

• خطوط لوله - قسمت 2 Pipelines - Part 2

• خطوط لوله - قسمت 3 Pipelines - Part 3

• معیارها و آزمایش ها Metrics And Experiments

هیدرا Hydra

• Hydra - مقدمه بخش Hydra - Section Introduction

• چگونه از Hydra از Command-Line استفاده کنیم؟ How to Use Hydra From Command-Line?

• تعیین یک فایل پیکربندی Specifying A Config File

• اطلاعات بیشتر درباره OmegaConf More About OmegaConf

• گروه بندی فایل های پیکربندی Grouping Config Files

• انتخاب تنظیمات پیش فرض Selecting Default Configs

• چند اجرا Multirun

• دایرکتوری خروجی و کاری Output And Working Directory

• ورود به سیستم Logging

• اشکال زدایی Debugging

• نمونه سازی کنید Instantiate

• بسته ها Packages

• پروژه ای کوچک برای دیدن "تصویر بزرگ" A Small Project To See "The Big Picture"

• پروژه کوچک - تکلیف Small Project - Assignment

• پروژه کوچک - راه حل تکلیف Small Project - Assignment Solution

• تکمیل جدول Tab Completion

• تنظیمات ساختار یافته Structured Configs

• استفاده از پیکربندی های ساختاریافته Structured Configs Basic Usage

• پیکربندی استاتیک سلسله مراتبی Hierarchical Static Configuration

• گروه های پیکربندی در پیکربندی های ساخت یافته Config Groups in Structured Configs

• فهرست پیش‌فرض‌ها در پیکربندی‌های ساخت‌یافته Defaults List in Structured Configs

• طرح واره پیکربندی ساختاریافته Structured Config Schema

• اعتبارسنجی پارامترهای پیکربندی با استفاده از Pydantic Validating Config Parameters Using Pydantic

• گسترش پروژه کوچک با پیکربندی های ساختاریافته Extending The Small Project With Structured Configs

• گسترش پروژه کوچک با پیکربندی های ساختاریافته - تکلیف دوره Extending The Small Project With Structured Configs - Course Assignment

• گسترش پروژه کوچک با پیکربندی های ساختاریافته - راه حل تکلیف Extending The Small Project With Structured Configs - Assignment Solution

Google Cloud Platform Quick Start Google Cloud Platform Quickstart

• Google Cloud Platform - بخش معرفی Google Cloud Platform - Section Introduction

• چطور یک حساب کاربری ایجاد کنیم؟ How to Create An Account?

• چگونه یک پروژه ایجاد کنیم؟ How to Create a Project?

• دستورات "gsutils" و "gcloud". "gsutils" and "gcloud" commands

• Google Cloud Storage (GCS) - ایجاد سطل Google Cloud Storage (GCS) - Bucket Creation

• Google Cloud Storage (GCS) - استفاده از سطل Google Cloud Storage (GCS) - Bucket Usage

• بخش ایست بازرسی Section Checkpoint

• موتور محاسباتی گوگل (GCE) Google Compute Engine (GCE)

• موتور محاسباتی گوگل (GCE) - سهمیه ها Google Compute Engine (GCE) - Quotas

• رجیستری مصنوعات Artifact Registry

• قوانین فایروال Firewall Rules

• گروه های نمونه Instance Groups

MLFlow MLFlow

• MLFlow - معرفی بخش MLFlow - Section introduction

• ردیابی MLFlow MLFlow Tracking

• ردیابی MLFlow - عملی MLFlow Tracking - Hands-on

• انواع ذخیره سازی Storage Types

• پروژه ها Projects

• پروژه ها - عملی Projects - Hands-on

• مدل ها Models

• مدل ها - عملی Models - Hands-on

• رجیستری مدل Model Registry

• رجیستری مدل - عملی Model Registry - Hands-on

• راه اندازی محلی MLFlow Local MLFlow Setup

• نمای کلی از معماری تولید MLFlow General Overview of the Production MLFlow Architecture

• ایجاد فروشگاه مصنوع در GCP Artifact Store Creation on GCP

• ایجاد فروشگاه Backend در GCP Backend Store Creation on GCP

• ردیابی استقرار سرور در GCP Tracking Server Deployment on GCP

• تست سرور ردیابی مستقر شده Testing the Deployed Tracking Server

داسک Dask

• Dask - مقدمه بخش Dask - Section Introduction

• Dask DataFrame Dask DataFrame

• شروع کار با Dask Getting Started with Dask

• ایجاد و ذخیره Dask DataFrame Creating and Storing Dask DataFrames

• Dask DataFrame - بهترین روش ها Dask DataFrame - Best Practices

• مخلوط کردن برای GroupBy و Join Shuffling for GroupBy and Join

• با تاخیر Delayed

• آینده Futures

• برنامه ریزی Scheduling

• استقرار خوشه ها - خط فرمان Deploying Clusters - Command Line

• استقرار خوشه ها - Python API Deploying Clusters - Python API

راه اندازی محیط پروژه Project Environment Setup

• بخش مقدمه Section Introduction

• "Make" و "Makefile" چیست؟ What are "make" and "Makefile"?

• "ساخت" و "Makefile" در عمل "make" and "Makefile" In Practice

• شعر چیست و چرا به آن نیاز داریم؟ What is Poetry and Why Do We Need It?

• شعر در عمل Poetry In Practice

• قالب بندی کد/مرتب سازی/لینتینگ/بررسی نوع Code Formatting / Sorting / Linting / Type Checking

• پیکربندی Black/Isort/Flake8/MyPy Configuring Black / Isort / Flake8 / MyPy

• ایجاد قالب Dockerfile Creating Dockerfile Template

• ایجاد قالب Docker Compose Creating Docker Compose Template

• فایل‌های gitignore و .gitattributes .gitignore and .gitattributes files

• تنظیم فایل Makefile Makefile setup

• تنظیم پیکربندی Hydra Hydra configuration setup

• چند تغییر در قالب A few changes in the template

• از کجا/چگونه می توان الگوی پروژه را دریافت کرد؟ Where / how to get the project template?

نسخه سازی داده ها با DVC Data Versioning with DVC

• پیش نیازها Prerequisites

• معرفی Introduction

• تنظیم الگوی پروژه برای نسخه‌سازی داده‌ها Adjusting Project Template for Data Versioning

• مجموعه داده ها Datasets

• پیوندهای مجموعه داده Dataset Links

• مقداردهی اولیه DVC Initializing DVC

• راه اندازی ذخیره سازی DVC Initializing DVC Storage

• نسخه سازی داده ها Data Versioning

• ایجاد یک نسخه داده جدید Creating a New Data Version

• تکلیف دوره ویرایش داده ها Data Versioning Course Assignment

• راه حل تکلیف دوره ویرایش داده ها Data Versioning Course Assignment Solution

پردازش داده ها Data Processing

• پیش نیازها Prerequisites

• معرفی Introduction

• ایجاد مخزن Repository Creation

• دریافت یک ارزش مخفی از GCP Getting a Secret Value From GCP

• ایجاد یک راز در GCP برای توکن دسترسی GitHub Creating a Secret on GCP for GitHub Access Token

• دریافت نسخه خاص داده خام Getting Specific Raw Data Version

• به روز رسانی پیکربندی با پارامترهای داده خام Updating Config with Raw Data Parameters

• تجزیه و تحلیل داده های اکتشافی برای خوانندگان مجموعه داده Exploratory Data Analysis for Dataset Readers

• GHC Dataset Reader GHC Dataset Reader

• JTC Dataset Reader JTC Dataset Reader

• خوانندگان مجموعه داده - تکلیف دوره - مجموعه داده توییتر Dataset Readers - Course Assignment - Twitter Dataset

• مجموعه داده خوان - تکلیف دوره - مجموعه داده توییتر - راه حل Dataset Readers - Course Assignment - Twitter Dataset - Solution

• هشدارهای فیلترینگ Filtering Warnings

• تجزیه و تحلیل داده های اکتشافی برای پاک کننده های مجموعه داده Exploratory Data Analysis for Dataset Cleaners

• پاک کننده های مجموعه داده - قسمت 1 Dataset Cleaners - Part 1

• پاک کننده های مجموعه داده - قسمت 2 Dataset Cleaners - Part 2

• طرحواره های پاک کننده مجموعه داده Dataset Cleaner Schemas

• تنظیمات پاک کننده مجموعه داده Dataset Cleaner Configs

• پاک کننده های مجموعه داده - تکلیف دوره Dataset Cleaners - Course Assignment

• پاک کننده های مجموعه داده - تکلیف دوره - راه حل Dataset Cleaners - Course Assignment - Solution

• قالب بندی/مرتب سازی/لینتینگ/بررسی نوع Formatting / Sorting / Linting / Type Checking

• راه اندازی کلاستر داسک محلی Local Dask Cluster Setup

• پردازش داده های محلی Local Data Processing

• ایجاد طرحواره پیکربندی خوشه Dask Creating Dask Cluster Config Schema

• افزودن قوانین فایروال برای Dask Cluster Adding Firewall Rules for Dask Cluster

• ایجاد پیکربندی نهایی Generating Final Config

• ساخت و ارسال تصویر Docker به رجیستری مصنوع GCP Building and Pushing Docker Image to GCP Artifact Registry

• آماده سازی خوانندگان مجموعه داده برای پردازش داده های توزیع شده Preparing Dataset Readers for Distributed Data Processing

• ایجاد پیکربندی GCP Dask Cluster Creating GCP Dask Cluster Config

• مجوزهای IAM و حساب خدمات IAM and Service Account Permissioons

• اجرای پردازش داده های توزیع شده در فضای ابری Running Distributed Data Processing on Cloud

• به راحتی بین پردازش داده های محلی و از راه دور جابجا شوید Easily Switching Between Local and Remote Data Processing

• فیلتر کردن مجموعه داده ما Filtering Our Dataset

آموزش توکنایزر Training a Tokenizer

• پیش نیازها Prerequisites

• معرفی Introduction

• ایجاد پیکربندی نهایی Generating Final Config

• به روز رسانی وابستگی های پایتون Updating Python Dependencies

• آماده سازی مربی توکنایزر - قسمت 1 Preparing Tokenizer Trainer - Part 1

• اجزای کتابخانه Tokenizers Tokenizers Library Components

• آماده سازی مربی Tokenizer - قسمت 2 Preparing Tokenizer Trainer - Part 2

• ایجاد طرحواره های پیکربندی Creating Config Schemas

• آموزش ساخت فایل های پیکربندی و توکنایزر Creating Config Files and Tokenizer Training

آموزش و ارزیابی مدل توزیع شده Distributed Model Training and Evaluation

• پیش نیازها Prerequisites

• معرفی Introduction

• ایجاد مخزن Repository Creation

• به روز رسانی وابستگی های پایتون Updating Python Dependencies

• به روز رسانی Docker Compose File Updating Docker Compose File

• ساختن تصویر داکر Building Docker Image

• ایجاد پیکربندی نهایی Generating Final Config

• معماری عمومی General Architecture

• نکته ای در مورد کد آموزشی مدل A Note About Model Training Code

• PyTorch Lightning Data Module چیست؟ What is PyTorch Lightning Data Module?

• ماژول رعد و برق PyTorch چیست؟ What is PyTorch Lightning Lightning Module?

• PyTorch Lightning Trainer چیست؟ What is PyTorch Lightning Trainer?

• جزئیات معماری Architecture Details

• پیکربندی ما چگونه خواهد بود؟ How Our Config is Going to Look Like?

• نکته ای درباره طرحواره های پیکربندی A Note About Config Schemas

• ایجاد ماژول داده Data Module Creation

• تمرین ماژول داده Data Module Practice

• طرحواره های پیکربندی ماژول داده Data Module Config Schemas

• تحولات Transformations

• معرفی مدل ها Models Introduction

• ستون فقرات Backbones

• آداپتورها Adapters

• سرها Heads

• مدل ها Models

• طرحواره های مدل Model Schemas

• توابع از دست دادن Loss Functions

• برنامه ریزان Schedulers

• ماژول رعد و برق Lightning Module

• طرحواره های ماژول رعد و برق Lightning Module Schemas

• وظایف آموزشی قسمت 1 Training Tasks Part 1

• طرح واره مربی Trainer Schema

• وظایف آموزشی قسمت 2 Training Tasks Part 2

• تنظیم اسکریپت نقطه ورودی Setting Up Entry-point Script

• ایجاد پیکربندی ماژول داده Creating Data Module Config

• ایجاد پیکربندی ستون فقرات Creating Backbone Config

• ایجاد پیکربندی مدل Creating Model Config