آموزش یادگیری ماشین برای سیستم‌های نهفته با NPU ARM Ethos-U - آخرین آپدیت

سرفصل ها و درس ها

شروع کار با دوره Getting Started with the Course

• درک تفاوت بین آموزش مدل و استنتاج مدل Understanding the difference between Model Training and Model Inference

• استنتاج مدل یادگیری ماشین Machine Learning Model Inference

• دستگاه‌های نهفته به عنوان محصول نهایی برای استنتاج مدل Embedded Devices as End Product for Model Inference

• راهنمای راه‌اندازی، اسلایدها و لینک‌های مخزن Setup Guide Slide and Repository Links

مرور کلی معماری یادگیری ماشین برای دستگاه‌های نهفته Machine Learning For Embedded Devices Architecture Overview

• جریان توسعه مدل‌های Tiny Machine Learning Tiny Machine Learning Model Developement Flow

• مرور کلی مدل‌های مختلف یادگیری ماشین Different Machine Learning Models Overview

• چالش‌های مدل‌های ML استاندارد در دستگاه‌های نهفته Standard Trained ML Models Challenge on Embedded Devices

• مدل CNN به عنوان مورد استفاده برای دستگاه‌های نهفته CNN Model As Use Case for Embedded Devices

• مرحله کانولوشن (Convolution) Convolution Stage

• مرحله فعال‌ساز (RELU) Activation (RELU) Satge

• مرحله پولینگ (Pooling - اختیاری) Pooling (Optional) Stage

• پشته‌سازی لایه‌های متعدد Stacking Multiple Layers

• تخت‌سازی (Flatten) Flatten

• لایه متراکم/متصل (Dense/Connected) Dense/Connected Layer

• SoftMax و تصمیم نهایی SoftMax and Final Decision

• مراحل مدل ML و انتخاب مدل برای دستگاه‌های نهفته ML Model Stages & Model Selection for Embedded Devices

مدل‌های مبتنی بر TensorFlow Lite برای میکروکنترلرها Tensor Flow Lite For Microcontroller Based Model

• جریان تولید مدل‌های ML مبتنی بر TensorFlow Lite for Microcontroller (TFLM) Tensor Flow Lite for Microcontroller (TFLM) Based ML Models Generation Flow

• مرحله آموزش در فریم‌ورک اصلی TensorFlow Tensor Flow Main Framework Training Stage

• تبدیل فایل H5 به .TFLite H5 to .TFLite File Convertion

• مرحله کامپایل ARM NPU Vela ARM NPU Vela Compilation Stage

• خلاصه‌ای از عملیات یادگیری ماشین پشتیبانی شده در TFLM Summary of Supported TFLM Machine Learning Operations

کامپایلر ARM NPU Vela ARM NPU Vela Compiler

• مورد استفاده از کامپایلر Vela Vela Compiler Use Case

• مرور کلی جریان کاری کامپایلر Vela Vela Compiler Work Flow Overview

• پیش‌نیازهای نصب کامپایلر Vela Vela Compiler Installation Pre-requisites

• نصب کامپایلر Vela Vela Compiler Installation

• خلاصه دستورات خط فرمان پشتیبانی شده در کامپایلر Vela Vela Compiler Supported Commands Line Summary

• مرور کلی فایل پیکربندی سیستم کامپایلر Vela Vela Compiler System Configuration File Overview

• فایل پیکربندی سیستم: حالت‌های پیکربندی حافظه System Configuration File: Memory Configurations Modes

• فایل پیکربندی تنظیمات (Tuning) کامپایلر Vela Vela Compiler Tuning Configuration File

• مرحله کامپایل مدل ML ML Model Compilation Stage

فلت‌بافر یادگیری ماشین مبتنی بر TFLM برای سخت‌افزارهای ARM NPU TFLM Based Machine Learning FlatBuffer for ARM NPU Based Hardware

• خلاصه تولید فایل خروجی کامپایل شده Vela (.TFLite) .TFLite Vela Compiled Output File Generation Summary

• فرمت فایل Flat Buffer Flat Buffer File Format

• تبدیل خروجی Flat Buffer مدل Vela به فرمت JSON Dump the Vela Output .TFLite Flat Buffer to JSON File Format Representation

• مثال نمایش JSON از فایل Flat Buffer Flat Buffer File JSON presentation Example

• عناصر Flat Buffer: بخش جدول Opcode Flat Buffer Elements: Opcode Table Section

• عناصر Flat Buffer: بخش بافرها (Buffers) Flat Buffer Elements: Buffers Section

• عناصر Flat Buffer: بخش SubGraph Flat Buffer Elements: SubGraph Section

• عناصر Flat Buffer: ایندکس‌گذاری Opcodeهای اپراتورهای ML Flat Buffer Elements: Machine Learning Operators Opcodes Indexing

• عناصر Flat Buffer: ایندکس‌گذاری تنسورها Flat Buffer Elements: Tensors Indexing

• عناصر Flat Buffer: ایندکس‌گذاری بافرها Flat Buffer Elements: Buffers Indexing

• عملیات سفارشی NPU: ETHOSU_CONV_2D NPU CUstom Operation ETHOSU_CONV_2D

• جریان داده عملیات NPU مدل ETHOSU_CONV_2D ETHOSU_CONV_2D NPU Operation Data Stream

• اطلاعات حافظه نهفته در عملیات NPU مدل ETHOSU_CONV_2D ETHOSU_CONV_2D NPU Operation Embedded Memory Informations

• اطلاعات متادیتای فایل Flat Buffer مدل .TFLite (بخش اول) .TFLite Flat Buffer File Metadata Informations Part1

• اطلاعات متادیتای فایل Flat Buffer مدل .TFLite (بخش دوم - مصرف حافظه) .TFLite Flat Buffer File Metadata Informations Part2 (Memory Usage)

• اطلاعات متادیتای فایل Flat Buffer مدل .TFLite (بخش سوم - پیکربندی معماری) .TFLite Flat Buffer File Metadata Informations Part3 (Architecture Config)

• خلاصه مثال متادیتای فایل Flat Buffer مدل .TFLite .TFLite Flat Buffer File Metadata Example Summary

جریان داده‌های ورودی ARM Ethos U NPU ARM Ethos-U NPU Input Data Stream

• مرور کلی جریان داده‌های ورودی اپراتور ETHOSU_CONV_2D ETHOSU_CONV_2D Operator Input Data Stream Overview

• دستورات انتقال DMA DMA Transfer Commands

• خلاصه دستورات انتقال DMA DMA Transfer Commands Summary

• اطلاعات مناطق حافظه Memory Regions Informations

• مرور کلی منطق لوپینگ و تایلینگ (Tiling) Looping and Tiling Logic Overview

• منطق تایلینگ (Tiling Logic) Tiling Logic

• میکرو-عملیات NPU NPU Micro-Operations

خانواده‌های ARM ETHOS U/N NPU (شتاب‌دهنده‌های سخت‌افزاری AI نهفته) ARM ETHOS-U/N NPU (Embedded AI Hardware Accelerators) Families

• مقایسه NPUهای ARM ETHOS با کارایی بالا در مقابل کم‌مصرف (ETHOS U در مقابل ETHOS N) High Performance Vs Low Power ARM ETHOS NPUs (ETHOS-U Vs ETHOS-N)

• کاربرد NPUهای کم‌مصرف ARM ETHOS U ARM ETHOS-U Low Power NPUs Usage

• مرور کلی یکپارچه‌سازی سخت‌افزاری ARM Cortex M55 + Ethos U ARM Cortex-M55 + Ethos-U Hardware System Integration Overview

• مثال یکپارچه‌سازی سخت‌افزاری ARM Cortex M55 + Ethos U ARM Cortex-M55 + Ethos-U Hardware System Integration Example

• توپولوژی‌های یکپارچه‌سازی سیستم ARM Ethos U و Cortex M/A ARM Ethos-U & Cortex-M/A System Inegration Topologies

• مرور کلی نمودار بلوکی سخت‌افزاری ARM NPU ARM NPU Hardware Block Diagram Overview

• نمودار بلوکی عملکردی NPU NPU Functional Block Diagram

• تصمیمات طراحی یکپارچه‌سازی سیستم NPU NPU System Integration Design Decision

کتابخانه زمان اجرای ++C برای TensorFlow Lite for Microcontroller (TFLM) Tensor Flow Lite for Microcontroller (TFLM) C++ Runtime Library

• جریان سطح بالای TFLM TFLM Top Level Flow

• مرحله مقداردهی اولیه مفسر TFLM TFLM Interpreter Initialization Stage

• مقداردهی TFLM: تخصیص حافظه Arena TFLM Initialization: Arena Memory Allocation

• مقداردهی TFLM: نمونه‌سازی مفسر (بخش اول) TFLM Initialization: Interpreter Instantiation Part1

• مقداردهی TFLM: نمونه‌سازی مفسر (بخش دوم) TFLM Initialization: Interpreter Instantiation Part2

• تخصیص نودهای TFLM: تخصیص تنسورها (بخش اول) TFLM Nodes Allocation: Tensors Allocation Part1

• تخصیص نودهای TFLM: تخصیص تنسورها (بخش دوم) TFLM Nodes Allocation: Tensors Allocation Part2

• تخصیص نودهای TFLM: تخصیص تنسورها (بخش سوم) TFLM Nodes Allocation: Tensors Allocation Part3

• تخصیص نودهای TFLM: تخصیص تنسورها (بخش چهارم) TFLM Nodes Allocation: Tensors Allocation Part4

• مرور کلی فراخوانی اپراتورهای TFLM TFLM Operators Invokation Overview

• فراخوانی اپراتورهای TFLM: اپراتورهای مبتنی بر Kernel و DSP TFLM Operators Invokation: Kernel & DSP Based Operators

• فراخوانی اپراتورهای TFLM: اپراتور سفارشی مبتنی بر NPU Ethos U TFLM Operators Invokation: Custom NPU Ethos-U Based Operator

• تسلط بر TensorFlow Lite Micro: تنظیم مفسر، حافظه Arena و شتاب‌دهنده TensorFlow Lite Micro Mastery: Interpreter Setup, Memory Arena & Accelerator Dis

کتابخانه ARM CMSIS NN (شبکه عصبی) ARM CMSIS-NN (Neural Network) Library

• نقش ARM CMSIS NN در جریان اجرای یادگیری ماشین ARM CMSIS-NN Role in Machine Learning Execution Flow

• CMSIS NN به عنوان کتابخانه عصبی برای میکروپروسسورهای Cortex M CMSIS-NN As Neural Library for Cortex-M Micro-Processors

• طراحی معماری نرم‌افزاری CMSIS NN CMSIS-NN Software Architecture Design

• انتخاب پرچم‌های ویژگی در زمان کامپایل CMSIS NN CMSIS-NN Compile Time Feature Flags Selection

• خلاصه APIهای CMSIS NN CMSIS-NN APIs Summary

• پیاده‌سازی‌های خاص برای پردازنده‌های هدف در CMSIS NN CMSIS-NN Processors Targets Specific Implementation

برد Alif E7 برای موارد استفاده یادگیری ماشین نهفته Alif E7 Board For Embedded Based Machine Learning Use Cases

• نمودار بلوکی سخت‌افزاری System on Chip مدل Alif E7 Alif E7 System on Chip Hardware Block Diagram

• Alif E7: مقایسه NPUهای ARM Ethos U55 با کارایی بالا (HP) در مقابل بهره‌وری بالا (HE) Alif E7: High Performance (HP) vs High Efficiency (HE) ETHOS-U55 ARM NPUs

• کیت توسعه Alif E7 Alif E7 Development Kit

• مرور کلی شماتیک کیت توسعه Alif E7 Alif E7 Development Kit Schematic Overview

• پیکربندی جامپرهای کیت توسعه Alif E7 Alif E7 Development Kit Jumpers Configuration

• معرفی کیت توسعه Alif E7 Alif E7 Development Kit Presentation

• بوت کردن کیت توسعه Alif E7 Booting Alif E7 Development Kit

• بوت کردن زنده کیت توسعه ML Alif E7 Live Booting of Alif E7 ML Development Kit

• مثال‌های داخلی کیت توسعه Alif E7 Alif E7 Development Kit Builtin Example

مثال‌های Alif E7 و راهنمای راه‌اندازی محیط Alif E7 Examples & Setup Environment Guide

• اسلایدهای راهنمای راه‌اندازی و لینک‌های مخزن Setup Guide Slides and Repository Links

• مخزن مثال‌ها و دموهای Alif E7 Alif E7 Examples & Demos Repository

• پیکربندی سیستم ویندوزی برای Alif E7 Alif E7 Windows Machine Configuration

• نصب ابزارهای مورد نیاز Alif E7 روی ویندوز Alif E7 Required Tools Installation on Windows Machine

• نصب پکیج‌های پایتون نسخه بالاتر از 3.10 Python > 3.10 Package Installation

• کلون کردن و راه‌اندازی مخازن ابزارها و پروژه‌های نمونه Tools & Examples Projects Repositories Cloning and Setup

• نحوه پیکربندی و بیلد مثال تشخیص کلمه کلیدی (KWS) How to Configure & Build the Key Word Spotting Example (KWS)

• پیکربندی و بیلد مثال KWS: مرحله پیکربندی How to Configure & Build the Key Word Spotting Example (KWS): Configure Stage

• پیکربندی و بیلد مثال KWS: مرحله بیلد با Ninja How to Configure & Build the Key Word Spotting Example (KWS): Ninja Build Stage

• بررسی فایل خروجی .axf مثال KWS Inspect the Output KWS Example .axf File

• مورد استفاده طبقه‌بندی تصاویر Image Classification Use Case

• آماده‌سازی برای اجرای مثال‌های یادگیری ماشین (KWS و طبقه‌بندی تصویر) Prepare to Execute our Machine Learning Examples (KWS & Image Classification)

• اجرای مثال تشخیص کلمه کلیدی (KWS) روی برد Alif E7 ML Running the Key Word Spotting (KWS) Example on Alif E7 ML Board

• اجرای مثال طبقه‌بندی تصویر (image_class) روی برد Alif E7 ML Running the Image Classification (image_class) Example on Alif E7 ML Board

بررسی کتابخانه مفسر TensorFlow Microcontroller Walk Through Tensor Flow Microcontroller Interpreter Library

• ساختار سطح بالای پروژه Alif E7 و وابستگی‌های درایورهای سطح پایین Alif E7 Project Top Level Structure and Low Level Drivers Dependencies

• تخصیص Tensor Arena و ارجاع غیرمستقیم آرایه FlatBuffer Tensor Arena Allocation and FlatBuffer Array Dereference

• تعریف جدول Lockup ثبت TFLM برای عملیات یادگیری ماشین TFLMRegistration Lockup Table Defintion for Machine Learning Operations

• توضیح ثبت Callbackهای تابع TFLMRegistration برای عملیات ML Machine Learning Ops TFLMRegistration function Callbacks Registration Explained

• نگاشت بین توابع Callback ثبت TFLM و APIهای cmsis nn/Ethos Mapping betwween TFLMRegistration Callabck Functions and cmsis-nn/EThos APIs

• تخصیص‌کننده مدیریت حافظه TFLM TFLM Memory Manager Allocater

• ساخت و نمونه‌سازی مفسر TFLM TFLM Interpreter Construction and Instantiation

• فراخوانی API تابع AllocateTensors در TFLM TFLM AllocateTensors Function API Call

• اجرای استنتاج مدل TFLM از طریق تابع Invoke هر عملیات ML TFLM Model Inference Execution via each ML Ops Invoke Function

• کوییز مبانی APIهای TFLM — ماژول ML نهفته Alif E7 TFLM API Basics Quiz — Alif E7 Embedded ML Module