آموزش علم داده: یادگیری عمیق مدرن در پایتون

سرفصل ها و درس ها

مقدمه و طرح کلی Introduction and Outline

• مقدمه و طرح کلی Introduction and Outline

• کد را از کجا دریافت کنیم Where to get the Code

• چگونه در این دوره موفق شویم How to Succeed in this Course

مرور Review

• بررسی (نقطه 1): پیش بینی های عصبی Review (pt 1): Neuron Predictions

• مرور (پشت 2): یادگیری نورون Review (pt 2): Neuron Learning

• بررسی (بخش 3): شبکه های عصبی مصنوعی Review (pt 3): Artificial Neural Networks

• اعلان تمرین را مرور کنید Review Exercise Prompt

• کد بازبینی (نقطه 1) Review Code (pt 1)

• کد بازبینی (نقطه 2) Review Code (pt 2)

• خلاصه مرور Review Summary

نزول گرادیان تصادفی و نزول گرادیان دسته ای کوچک Stochastic Gradient Descent and Mini-Batch Gradient Descent

• نزول گرادیان تصادفی و نزول گرادیان دسته ای کوچک (تئوری) Stochastic Gradient Descent and Mini-Batch Gradient Descent (Theory)

• اعلان تمرین SGD SGD Exercise Prompt

• نزول گرادیان تصادفی و نزول گرادیان دسته ای کوچک (کد pt 1) Stochastic Gradient Descent and Mini-Batch Gradient Descent (Code pt 1)

• نزول گرادیان تصادفی و نزول گرادیان دسته ای کوچک (کد pt 2) Stochastic Gradient Descent and Mini-Batch Gradient Descent (Code pt 2)

سرعت و سرعت یادگیری تطبیقی Momentum and adaptive learning rates

• استفاده از مومنتوم برای افزایش سرعت تمرین Using Momentum to Speed Up Training

• حرکت نستروف Nesterov Momentum

• حرکت در کد Momentum in Code

• نرخ یادگیری متغیر و انطباقی Variable and adaptive learning rates

• نرخ یادگیری ثابت در مقابل RMSProp در کد Constant learning rate vs. RMSProp in Code

• Adam Optimization (pt 1) Adam Optimization (pt 1)

• Adam Optimization (pt 2) Adam Optimization (pt 2)

• آدم در کد Adam in Code

• صندوق پیشنهادات Suggestion Box

انتخاب فراپارامترها Choosing Hyperparameters

• بهینه سازی هایپرپارامتر: اعتبارسنجی متقابل، جستجوی شبکه ای و جستجوی تصادفی Hyperparameter Optimization: Cross-validation, Grid Search, and Random Search

• نمونه برداری لگاریتمی Sampling Logarithmically

• جستجوی شبکه در کد Grid Search in Code

• اصلاح جستجوی شبکه Modifying Grid Search

• جستجوی تصادفی در کد Random Search in Code

مقدار اولیه وزن Weight Initialization

• مقدمه بخش اولیه سازی وزن Weight Initialization Section Introduction

• ناپدید شدن و انفجار گرادیان Vanishing and Exploding Gradients

• مقدار اولیه وزن Weight Initialization

• حداقل های محلی در مقابل جهانی Local vs. Global Minima

• خلاصه بخش اولیه سازی وزن Weight Initialization Section Summary

تیانو Theano

• مبانی Theano: متغیرها، توابع، عبارات، بهینه سازی Theano Basics: Variables, Functions, Expressions, Optimization

• ساخت شبکه عصبی در Theano Building a neural network in Theano

• آیا تیانو مرده است؟ Is Theano Dead?

TensorFlow TensorFlow

• مبانی TensorFlow: متغیرها، توابع، عبارات، بهینه سازی TensorFlow Basics: Variables, Functions, Expressions, Optimization

• ساخت شبکه عصبی در تنسورفلو Building a neural network in TensorFlow

• Session چیست؟ (و بیشتر) What is a Session? (And more)

افزایش سرعت پردازنده گرافیکی، تکالیف خانگی و سایر موضوعات متفرقه GPU Speedup, Homework, and Other Misc Topics

• راه اندازی یک نمونه GPU در خدمات وب آمازون Setting up a GPU Instance on Amazon Web Services

• در حال نصب کتابخانه‌های یادگیری عمیق NVIDIA-GPU Accelerated در رایانه خانگی خود Installing NVIDIA GPU-Accelerated Deep Learning Libraries on your Home Computer

• آیا می توان از داده های بزرگ برای سرعت بخشیدن به پس انتشار استفاده کرد؟ Can Big Data be used to Speed Up Backpropagation?

• چگونه مهارت های Theano و Tensorflow خود را بهبود بخشید How to Improve your Theano and Tensorflow Skills

• Theano در مقابل TensorFlow Theano vs. TensorFlow

انتقال به نیمه دوم دوره Transition to the 2nd Half of the Course

• انتقال به نیمه دوم دوره Transition to the 2nd Half of the Course

پروژه: تشخیص حالت چهره Project: Facial Expression Recognition

• معرفی پروژه تشخیص حالت چهره Facial Expression Recognition Project Introduction

• شرح مشکل تشخیص حالت چهره Facial Expression Recognition Problem Description

• مشکل عدم تعادل طبقاتی The class imbalance problem

• راهنمايي آب و برق Utilities walkthrough

• ANN مبتنی بر کلاس در Theano Class-Based ANN in Theano

• ANN مبتنی بر کلاس در TensorFlow Class-Based ANN in TensorFlow

• خلاصه پروژه تشخیص حالت چهره Facial Expression Recognition Project Summary

تکنیک های منظم سازی مدرن Modern Regularization Techniques

• مقدمه بخش تکنیک های منظم سازی مدرن Modern Regularization Techniques Section Introduction

• تنظیم ترک تحصیل Dropout Regularization

• شهود ترک تحصیل Dropout Intuition

• تزریق نویز Noise Injection

• خلاصه بخش تکنیک های منظم سازی مدرن Modern Regularization Techniques Section Summary

عادی سازی دسته ای Batch Normalization

• مقدمه عادی سازی دسته ای Batch Normalization Introduction

• میانگین های هموار نمایی Exponentially-Smoothed Averages

• تئوری عادی سازی دسته ای Batch Normalization Theory

• نرمال سازی دسته ای Tensorflow (قسمت 1) Batch Normalization Tensorflow (part 1)

• نرمال سازی دسته ای Tensorflow (قسمت 2) Batch Normalization Tensorflow (part 2)

• نرمال سازی دسته ای Theano (قسمت 1) Batch Normalization Theano (part 1)

• نرمال سازی دسته ای Theano (قسمت 2) Batch Normalization Theano (part 2)

• چشم انداز نویز Noise Perspective

• خلاصه نرمال سازی دسته ای Batch Normalization Summary

کراس Keras

• بحث کراس Keras Discussion

• کراس در کد Keras in Code

• Keras Functional API Keras Functional API

• چگونه به راحتی Keras را به کد Tensorflow 2.0 تبدیل کنیم How to easily convert Keras into Tensorflow 2.0 code

PyTorch PyTorch

• مبانی PyTorch PyTorch Basics

• خروج PyTorch PyTorch Dropout

• هنجار دسته ای PyTorch PyTorch Batch Norm

PyTorch، CNTK و MXNet PyTorch, CNTK, and MXNet

• PyTorch، CNTK و MXNet PyTorch, CNTK, and MXNet

مباحث مرور یادگیری عمیق Deep Learning Review Topics

• تفاوت بین "شبکه های عصبی" و "یادگیری عمیق" چیست؟ What's the difference between "neural networks" and "deep learning"?

• انتخاب دستی نرخ یادگیری و جریمه منظم سازی Manually Choosing Learning Rate and Regularization Penalty

تنظیم محیط شما (سؤالات متداول بر اساس درخواست دانشجو) Setting Up Your Environment (FAQ by Student Request)

• تنظیم محیط آناکوندا Anaconda Environment Setup

• نحوه نصب Numpy، Scipy، Matplotlib، Pandas، IPython، Theano و TensorFlow How to install Numpy, Scipy, Matplotlib, Pandas, IPython, Theano, and TensorFlow

کمک اضافی برای کدنویسی پایتون برای مبتدیان (سؤالات متداول بر اساس درخواست دانشجو) Extra Help With Python Coding for Beginners (FAQ by Student Request)

• نحوه کدنویسی توسط خودتان (قسمت 1) How to Code by Yourself (part 1)

• نحوه کدنویسی توسط خودتان (قسمت 2) How to Code by Yourself (part 2)

• اثبات اینکه استفاده از نوت بوک Jupyter همان استفاده نکردن از آن است Proof that using Jupyter Notebook is the same as not using it

• چگونه یک فایل .tar.gz را از حالت فشرده خارج کنیم How to Uncompress a .tar.gz file

• پایتون 2 در مقابل پایتون 3 Python 2 vs Python 3

استراتژی‌های یادگیری مؤثر برای یادگیری ماشین (سؤالات متداول بر اساس درخواست دانشجو) Effective Learning Strategies for Machine Learning (FAQ by Student Request)

• چگونه در این دوره موفق شویم (نسخه طولانی) How to Succeed in this Course (Long Version)

• این برای مبتدیان است یا متخصصان؟ علمی یا عملی؟ سریع یا کند؟ Is this for Beginners or Experts? Academic or Practical? Fast or slow-paced?

• نقشه راه پیش نیاز یادگیری ماشین و هوش مصنوعی (نقطه 1) Machine Learning and AI Prerequisite Roadmap (pt 1)

• نقشه راه پیش نیاز یادگیری ماشین و هوش مصنوعی (نقطه 2) Machine Learning and AI Prerequisite Roadmap (pt 2)

ضمیمه/پرسش و پاسخ نهایی Appendix / FAQ Finale

• آپاندیس چیست؟ What is the Appendix?

• جایزه BONUS