آموزش پیش‌بینی نقشه‌برداری با استفاده از داده‌های GIS و الگوریتم‌های پیشرفته یادگیری ماشینی - آخرین آپدیت

سرفصل ها و درس ها

1-مقدمه و محتوای دوره: بیایید ببینیم در مورد چه چیزی صحبت خواهیم کرد! Introduction and Course Content : Get to know what will we talk about!

• محتوای دوره Course contents

• کاربردهای دوره: تحلیل پیش‌بینی رانش زمین و آلودگی هوا Course applications: Landslide and Air pollution prediction analysis

• داده‌های پروژه، مناطق مورد مطالعه و وسعت کاربردها Projects data, study areas and applications extent

• نتایج مورد انتظار: چه چیزی را با هم به دست خواهیم آورد! Expected outcomes: What will we achieve together!

خلاصه عملی در مورد الگوریتم‌های یادگیری ماشین مبتنی بر طبقه‌بندی! Practical summary about the classification based machine learning algorithms!

• بسته CARET در R CARET package in R

• بهینه‌سازی هایپرپارامترها (تنظیم مدل) در یادگیری ماشین Hyperparameters optimization (model tuning) in machine learning

• ماشین یادگیری طبقه‌بند گرادیان تقویت‌شده شدید (XGBoost) eXtreeme Gradient Boosting (XGBoost) classifier machine learning

• ماشین یادگیری طبقه‌بند K نزدیک‌ترین همسایه (KNN) K- nearest neighbors (KNN) classifier machine learning

• ماشین یادگیری طبقه‌بند بیز ساده (NB) Naive Bayes (NB) classifier machine learning

• ماشین یادگیری طبقه‌بند جنگل تصادفی آنسامبل (RF) Ensemble Random forest (RF) classifier machine learning

• انتخاب مفهوم داده‌های آموزشی و آزمایشی Selection of training and testing data concept

• مشخصات فعلی کامپیوتر و نرم‌افزارهای مورد استفاده در دوره Current computer and software's specifications that used in the course

پروژه 1: نقشه برداری پیش بینی PM10: پیش پردازش رکورد داده و ورود داده Project 1: PM10 prediction mapping : Data record pre-processing and data entry

• پیش پردازش داده‌های PM10 و آماده سازی داده‌های ورودی در اکسل PM10 readings pre-processing and input data preparation in Excel

• محل ایستگاه‌های پایش هوا و ورود داده‌ها در QGIS Allocate the air monitoring stations and record data entry in QGIS

• تبدیل داده‌های PM10 به محدودیت‌های سازمان جهانی بهداشت در QGIS PM10 readings conversion to WHO limits in QGIS

پروژه 1 نقشه برداری پیش بینی PM10: پردازش و تولید فریم داده ورودی Project 1 PM10 prediction mapping : Input data-frame processing and production

• آماده سازی لیست داده‌های متغیرهای سنجش از دور پیش‌بینی PM10 Preparation of PM10 prediction remote sensing variables data-list

• دانلود تصاویر ماهواره‌ای Landsat 8 Landsat 8 imagery download

• نمایش تصویری تصاویر دانلود شده Landsat 8 Visualization of downloaded Landsat 8 images

• پردازش باندها و شاخص‌های Landsat 8 در R Processing of Landsat 8 bands and indices in R

• پردازش دمای سطح زمین (LST) در R Processing of Land Surface Temperature (LST) in R

• پردازش میانگین ماهانه و سالانه باندها و شاخص‌های Landsat 8 در R Processing of average monthly and annual Landsat 8 bands and indices in R

• پردازش و تولید متغیر شبکه‌های جاده‌ای در QGIS Processing and production of road networks variable in QGIS

• آماده سازی فریم داده ورودی (عوامل هدف و شرطی) در QGIS Preparation of input dataframe (target and conditioning factors) in QGIS

• تکمیل متغیرهای ورودی و تبدیل آن به فایل با فرمت CSV در QGIS برای مدل سازی Finalize input variables and convert it to CSV format file in QGIS for modeling

پروژه 1 نقشه برداری پیش بینی PM10: مدل سازی طبقه‌بندهای پیشرفته ML در R Project 1 PM10 prediction mapping : modeling of advanced ML classifiers in R

• الگوریتم XGBoost: ورود داده و نمایش تصویری در R XGBoost algorithm: Data entry and visualization in R

• الگوریتم XGBoost: اجرای تابع پیش فرض آموزش XGBoost algorithm: Run of train default function

• الگوریتم XGBoost: بهینه‌سازی هایپرپارامتر و نمودار (تنظیم مدل) XGBoost algorithm: Hyper-parameter optimization and plot (model tuning)

• الگوریتم XGBoost: مقدار AUC نمودار ROC XGBoost algorithm: AUC value of ROC plot

• الگوریتم XGBoost: برازش مدل بهینه شده با استفاده از تمام مشاهدات موجودی XGBoost algorithm: Fit optimized model using all inventory observations

• الگوریتم XGBoost: تبدیل به فریم داده و مقیاس بندی تصاویر رستری XGBoost algorithm: Conversion to dataframe and scaling of Raster images

• الگوریتم XGBoost: تولید نقشه‌های پیش‌بینی احتمال XGBoost algorithm: Probability prediction maps production

• الگوریتم XGBoost: تولید نقشه‌های پیش‌بینی طبقه‌بندی XGBoost algorithm: Classification prediction maps production

• الگوریتم NB: ggplot خطی بودن بین هدف و متغیرهای مستقل NB algorithm: ggplot of linearity between target and independents and variables

• الگوریتم NB: اجرای تابع پیش فرض آموزش NB algorithm: Run of train default function

• الگوریتم NB: بهینه‌سازی هایپرپارامتر، AUC نمودار ROC و رستری‌های نرمال شده NB algorithm: Hyper-parameter optimization, AUC of ROC plot & normalized Rasters

• الگوریتم NB: تولید نقشه‌های پیش‌بینی احتمال و طبقه‌بندی NB algorithm: Probability and classification prediction maps production

• الگوریتم KNN: اجرای تابع آموزش و مدل‌های بهینه‌سازی شده هایپرپارامتر KNN algorithm: Run of train function and hyper-parameter optimized models

• الگوریتم KNN: AUC نمودار ROC و نقشه‌های پیش‌بینی احتمال و طبقه‌بندی KNN algorithm: AUC of ROC and probability and classification prediction maps

• الگوریتم RF: ورود داده و تابع آموزش با استفاده از تنظیم جستجوی شبکه RF algorithm: Data entry and train function using Grid search tuning

• الگوریتم RF: تابع آموزش با استفاده از تنظیم جستجوی تصادفی و AUC نمودار ROC RF algorithm: train function using Random search tuning and AUC of ROC

• الگوریتم RF: مقیاس‌بندی و تبدیل تصاویر رستری به فریم داده RF algorithm: Scaling and conversion of raster images to dataframe

• الگوریتم RF: نقشه پیش‌بینی احتمال RF algorithm: Probability prediction map

• الگوریتم RF: نقشه پیش‌بینی طبقه‌بندی RF algorithm: Classification prediction map

• خلاصه و نمایش تصویری نقشه‌های پیش‌بینی 4 الگوریتم در QGIS Summary and Visualization of 4 algorithms prediction resultant maps in QGIS

پروژه 2 رانش زمین: ایجاد داده‌های آموزشی و آزمایشی در QGIS Project 2 Landslide : Create training and testing data in QGIS

• افزودن ابزارهای توسعه یافته به کتابخانه پردازش QGIS Adding my developed tools to QGIS processing library

• ایجاد نقشه پوشش زمین (تبدیل مشاهدات رشته‌ای به عددی) در QGIS Create Land Cover map (convert string observations to numeric) in QGIS

• اجرای ابزارها مرحله 1 Run the tools Step 1

• اجرای ابزارها مرحله 2 Run the tools Step 2

• اجرای ابزارها مرحله 3 Run the tools Step 3

پروژه 2 نقشه برداری پیش بینی رانش زمین: پیش پردازش داده‌های آموزشی در اکسل Project 2 Landslide prediction mapping : pre-processing training data in Excel

• کار اکسل مرحله 1 Excel work step 1

• کار اکسل مرحله 2 Excel work step 2

پروژه 2 نقشه برداری پیش بینی رانش زمین: مدل سازی طبقه‌بندهای پیشرفته ML Project 2 Landslide prediction mapping : modeling of advanced ML classifiers

• الگوریتم XGBoost: ورود داده‌های آموزشی و آزمایشی در R XGBoost algorithm : Training and testing data entry in R

• الگوریتم XGBoost: اجرای تابع آموزش با استفاده از تنظیمات پیش فرض XGBoost algorithm : Run train function using default settings

• الگوریتم XGBoost: بهینه‌سازی هایپرپارامتر (تنظیم مدل) و نمودار جفت‌ها XGBoost algorithm: Hyper-parameter optimization (model tuning) and pairs plot

• الگوریتم XGBoost: نمودار AUC ROC و خطای فنی مهم XGBoost algorithm: AUC of ROC plot and important technical error

• الگوریتم XGBoost: اجرای مدل بهینه‌سازی شده و نقشه‌های پیش‌بینی احتمال XGBoost algorithm: Run optimized model and probability prediction maps

• الگوریتم XGBoost: تولید نقشه پیش‌بینی طبقه‌بندی XGBoost algorithm: Classification prediction map production

• الگوریتم KNN: ورود داده و نمایش تصویری هدف و سایر متغیرها KNN algorithm : Data entry and visualization of target and other variables

• الگوریتم KNN: اجرای تابع آموزش و مدل‌های بهینه‌سازی شده هایپرپارامتر KNN algorithm: Run of train function and hyper-parameter optimized models

• الگوریتم KNN: نمودار AUC ROC و مشکلات فنی با ورود داده KNN algorithm: AUC of ROC plot and technical issues with data entry

• الگوریتم KNN: نقشه‌های پیش‌بینی احتمال KNN algorithm: probability prediction maps

• الگوریتم KNN: نقشه پیش‌بینی طبقه‌بندی KNN algorithm: classification prediction map

• الگوریتم NB: ورود داده‌های آموزشی و نمایش تصویری متغیرها NB algorithm: Training data entry and visualization of variables

• الگوریتم NB: تابع آموزش و هایپرپارامترها و نمودار AUC ROC NB algorithm: Train function and Hyper-parameters and AUC of ROC plot

• الگوریتم NB: تولید نقشه‌های پیش‌بینی احتمال و طبقه‌بندی NB algorithm: Probability and classification prediction maps production

• الگوریتم RF: ورود داده‌های متغیرهای داده‌های آموزشی RF algorithm: Data entry of training data variables

• الگوریتم RF: تابع آموزش پیش فرض و هایپرپارامتر و نمودار AUC ROC RF algorithm: default train function and Hyper-parameter and AUC of ROC plot

• الگوریتم RF: نقشه‌های پیش‌بینی احتمال و طبقه‌بندی RF algorithm: Probability and classification prediction maps

• خلاصه و نمایش تصویری نقشه‌های پیش‌بینی 4 الگوریتم در QGIS Summary and Visualization of 4 algorithms prediction maps in QGIS

نتیجه‌گیری پروژه‌ها و نکات اصلی دوره ارائه شده Projects Conclusion and main remarks of the presented course

• خلاصه: بیایید همه چیز را خلاصه کنیم و آنچه را که قبلاً بحث کردیم مرور کنیم! Summary: Let us sum up everything and recap what we discussed earlier!