آموزش دوره جامع محاسبات علمی: برنامه‌نویسی موازی و توزیع‌شده - آخرین آپدیت

سرفصل ها و درس ها

ابررایانه‌ها و کلاسترهای HPC Supercomputers and HPC clusters

• خوش‌آمدگویی Welcome

• چرا این دوره را انتخاب کنیم؟ Why Get this Course?

• معرفی مدرس Instructor

• تمرین دستورات شل با محیط تعاملی Practice Shell Commands with Interactive Shell

• سازماندهی دوره Course Organisation

• مقدمه‌ای بر سیستم‌های HPC Introduction to HPC Systems

• تاریخچه کوتاهی از ابررایانش A Little bit of Supercomputing history

• نمونه‌هایی از مراکز ابررایانشی Examples of Supercomputing Facilities

• دموی سریع‌ترین ابررایانه جهان! Fastest Supercomputer in the World Demo!

• معرفی سیستم‌های HPC Introduction to HPC Systems

• مزایای استفاده از سیستم‌های HPC Benefits of Using HPC Systems

اجزای یک سیستم HPC Components of a HPC System

• انواع نودهای HPC چیستند؟ What are the HPC Nodes Types?

• اجزای کلاستر HPC HPC Cluster Components

• نود(های) ورود (Login Node) HPC Login Node(s)

• نود(های) اصلی (Master Node) HPC Master Node(s)

• نود(های) ذخیره‌سازی (Storage Node) HPC Storage Node(s)

• نودهای محاسباتی HPC HPC Compute Nodes

• ایجاد یک سیستم HPC با VMWare Creating a HPC System with VMWare

دسترسی به HPC و انتقال داده‌ها HPC Access and Data Transfer

• دسترسی به HPC Access to HPC

• انتقال داده‌ها Data Transfer

ماژول‌های نرم‌افزاری HPC HPC Software Modules

• ماژول‌های نرم‌افزاری HPC HPC Software Modules

• دموی ماژول‌های نرم‌افزاری HPC HPC Software Modules Demonstration

• لیست نرم‌افزارهای HPC HPC Software List

کارهای HPC و نرم‌افزارهای زمان‌بندی HPC Jobs and Scheduling Software

• کار (Job) در HPC چیست؟ What is a HPC Job?

• زمان‌بندهای کارهای HPC HPC Job Schedulers

• نرم‌افزارهای زمان‌بندی (Slurm و PBS) HPC Job Scheduling Software (Slurm and PBS)

مدیریت بار کاری SLURM SLURM - Workload Manager

• مقدمه‌ای بر Slurm Introduction to Slurm

• رایج‌ترین دستورات Slurm کدامند؟ What are the Most Common Slurm Commands?

• لیست دستورات Slurm A List of Slurm Commands

• دستورات کاربردی Slurm Useful Slurm Commands

• موجودیت‌ها و پارتیشن‌های Slurm Slurm Entities and Partitions

• مثالی از یک کار ساده در Slurm Example of a Simple Slurm Job

• دموی ارسال کار در Slurm Slurm Job Submission Demonstration

• کارهای توزیع‌شده MPI و GPU در Slurm Slurm distributed MPI and GPU jobs

• کارهای چندرشته‌ای OpenMP در Slurm Slurm Multi-threaded OpenMP Jobs

• کارهای تعاملی Slurm Slurm Interactive Jobs

• کارهای آرایه‌ای Slurm Slurm Array Jobs

• وابستگی‌های شغلی در Slurm Slurm job dependencies

• تست دستورات Slurm Slurm Commands Test

سیستم دسته‌ای قابل حمل PBS PBS - Portable Batch System

• مقدمه‌ای بر PBS Introduction to PBS

• مثال‌هایی از دستورات PBS PBS Command Examples

• دستورات پایه PBS PBS basic commands

• دستور PBS: qsub PBS command: qsub

• دستور PBS: qstat PBS command: qstat

• دستور PBS: qdel PBS command: qdel

• دستور PBS: qalter PBS command: qalter

• وضعیت‌های شغلی PBS PBS job states

• متغیرهای شغلی PBS PBS Job Variables

• مثال اسکریپت شغلی PBS PBS Job Script Example

• کارهای تعاملی PBS PBS Interactive Jobs

• آرایه‌های PBS PBS Arrays

برنامه‌نویسی موازی با OpenMP Parallel Programming with OpenMP

• مقدمه‌ای بر OpenMP Introduction to OpenMP

• اجزای OpenMP (دستورات، روتین‌ها و متغیرها) OpenMP Components (Directives, Routines and Variables)

• بندهای OpenMP OpenMP Clauses

• ساختارهای اشتراک کاری OpenMP OpenMP - Worksharing Constructs

• مثال کد Hello world در OpenMP OpenMP- Hello world! Code Example

• دموی Hello world در OpenMP OpenMP Hello world! Demonstration

• کاهش (Reduction) و حلقه-for موازی در OpenMP OpenMP - Reduction and Parallel `for-loop`

• مثال موازی‌سازی بخش‌ها در OpenMP OpenMP - Section Parallelization Example

• مثال جمع برداری در OpenMP OpenMP Vector Add Example

برنامه‌نویسی موازی و توزیع‌شده با MPI Parallel and Distributed Programming with MPI (Message Passing Interface)

• مقدمه‌ای بر MPI Introduction to MPI

• ساختار برنامه‌نویسی MPI MPI Programm Stucture

• مثال Hello World در MPI MPI - Hello World! Example

• دموی Hello World در MPI MPI Hello World! Demonstration

• ارسال و دریافت در MPI MPI Send/ Receive

برنامه‌نویسی موازی داده‌ها با GPUها Data-Parallel Programming with GPUs (Graphics Processing Units)

• انواع GPU (Nvidia) GPU types (Nvidia)

• مقدمه‌ای بر CUDA Introduction to CUDA

• مقدمه‌ای بر GP GPU Introduction to GP GPU

• CUDA چیست؟ What is CUDA?

• نصب CUDA toolkit و اجرای کدها (ویندوز) Install CUDA toolkit and run CUDA codes (Windows)

• طرح کلی GPGPU GPGPU Schema

• لایه نرم‌افزاری GPGPU GPGPU software layer

• دستگاه، رشته، بلوک‌ها و گریدها در CUDA CUDA device, thread, blocks and grids

• سازماندهی گرید و سلسله‌مراتب حافظه در CUDA CUDA grid organisation and memory hierarchy

• مثال کد Hello World در CUDA CUDA - Hello World! Example Code

• مثال کد عملی Hello World در CUDA CUDA "Hello World!" code example

• توضیح تابع کرنل در CUDA CUDA kernel function explained

• جمع متغیرها در دستگاه CUDA (یک بلوک و یک رشته) CUDA variable addtion on the device (1 block and 1 thread)

• جمع برداری CUDA (با استفاده از N بلوک) CUDA vector addtion (using N blocks)

• جمع متغیرها در CUDA (بلوک‌ها و رشته‌های متغیر) CUDA variable addtion (variable blocks and threads)

• جمع برداری CUDA (با استفاده از N رشته) CUDA vector addition (using N threads)

• دموی جمع برداری در CUDA CUDA Vector Addition Demonstration

برنامه‌نویسی CUDA (مفاهیم سطح بالا و ساده) CUDA Programming (Easy to understand, high level concepts)

• مفاهیم سطح بالای CUDA CUDA - High Level concepts

• مدل برنامه‌نویسی CUDA CUDA Programming Model

• حلقه-for موازی در CUDA CUDA Parallel For-loop

• رشته‌ها، بلوک‌ها و گریدها در CUDA CUDA Threds, Blocks and Grids

• مدل حافظه CUDA CUDA Memory Model

• همگام‌سازی (Synchronization) در CUDA CUDA Synchronization

• مثال: مجذور کردن یک آرایه در CUDA Example: CUDA Square an Aarray

برنامه‌نویسی AMD GPU AMD GPU Programming

• مقدمه Introduction

• پردازنده‌های گرافیکی AMD AMD GPUs

• مفاهیم Concepts

• معماری AMD AMD Architecture

برنامه‌نویسی AMD HIP AMD HIP Programming

• آشنایی با HIP HIP

• کرنل‌های HIP HIP Kernels

• مدل‌های حافظه HIP HIP Memory Models

• مثال ماتریسی در HIP با همگام‌سازی HIP Matrix example with sycns

• ابزارهای HIP HIP Tools

• ابزار Hipify Hipify

• کتابخانه‌های HIP HIP Libraries

• کتابخانه‌های HIP (پیشرفته) HIP Libraries (advanced)

• مقیاس‌پذیری GPUهای AMD (چند GPU) AMD GPU scaling (multi-gpu)

استقرار کلاستر AWS HPC و اجرای کدها AWS HPC Cluster - Deployment and Run Codes

• کلاستر موازی AWS HPC چیست؟ What is AWS Parallel HPC Cluster?

• استقرار کلاستر AWS HPC Deploy AWS HPC Cluster

• پیکربندی AWS HPC AWS HPC Configuration

• نحوه عملکرد سیستم How it works?

• صف کارهای AWS HPC AWS HPC Job Queue

• اجرای کد موازی در AWS HPC Run Parallel Code @ AWS HPC

نتیجه‌گیری و منابع Conclusion and References

• چگونه به محیط‌های تعاملی این دوره دسترسی پیدا کنیم؟ How to Get the Interactive Playgrounds for this Course?

• دسترسی به محیط‌های تعاملی Interactive playgrounds Access

• نکات پایانی Concluding Notes

• منابع References