آموزش کلان داده برای مدیران

سرفصل ها و درس ها

معرفی Introduction

• معرفی دوره Introduction to the course

• پیش نیازهای دوره و ساختار دوره Course prerequisites and course structure

• اندازه داده های بزرگ Big data sizes

• مطالعه موردی: راه حل سنتی در مقابل راه حل داده های بزرگ Case study: Traditional solution vs Big data solution

• فعالیت: اندازه داده ها را برای پروژه های کلان داده در سازمان خود محاسبه کنید Activity : Calculate the data sizes for big data projects in your organization

معرفی Introduction

ویژگی های کلان داده Big data characteristics

• معرفی Introduction

• 3 در مقابل داده های بزرگ 3 Vs of Big Data

• نمونه های صنعت داده های بزرگ Industry examples of big data

• تجزیه و تحلیل و تجسم داده های بزرگ Big data analysis and visualization

• فناوری سنتی در مقابل کلان داده Traditional vs big data technology

• فناوری داده های بزرگ چگونه متفاوت است؟ How is big data technology different?

• مراحل حل داده های بزرگ Big data solution stages

• آپاچی هادوپ و HDFS Apache Hadoop and HDFS

• نقشه کاهش و نخ Map reduce and Yarn

• خوک، کندو و جرقه Pig, Hive and Spark

• چیز هایی برای به یاد آوردن Things to remember

• فعالیت: انتخاب نوع فناوری Activity: Technology type selection

ویژگی های کلان داده Big data characteristics

ذخیره سازی داده های بزرگ Big data storage

• معرفی Introduction

• مراحل حل داده های بزرگ Big data solution stages

• ویژگی های ذخیره سازی داده های بزرگ Big data storage characteristics

• پایگاه های داده بدون SQL No-SQL databases

• HDFS HDFS

• Hbase Hbase

• کاساندرا Cassandra

• Mongo DB و Impala Mongo DB and Impala

• اندازه خوشه خود را Sizing your cluster

• چیز هایی برای به یاد آوردن Things to remember

• فعالیت: خوشه داده بزرگ خود را با استفاده از الگو اندازه کنید Activity: Size your big data cluster using the template

• فعالیت: این تمرین های ذخیره سازی را حل کنید Activity: Solve these storage exercises

ذخیره سازی داده های بزرگ Big data storage

مصرف کلان داده Big data ingestion

• معرفی Introduction

• مرحله راه حل بلع Solution stage Ingestion

• منابع و انواع داده ها برای بلع Sources and types of data for ingestion

• ویژگی های ابزار جذب داده های بزرگ Big data ingestion tool features

• بلع داده های دسته ای: Sqoop و Distcp Ingestion of batch data : Sqoop and Distcp

• انتقال جریان داده با استفاده از Flume Streaming data ingestion using Flume

• کافکا: یک سیستم پیام رسانی Kafka : A messaging system

• آپاچی فلینک Apache Flink

• Nifi برای جذب داده ها Nifi for data ingestion

• سناریوهایی برای جذب کلان داده scenarios for big data ingestion

• نمودار دریافت داده ها Data ingestion diagram

• چیز هایی برای به یاد آوردن Things to remember

• فعالیت: مشکلات بلع Activity: Ingestion problems

• آزمون 1 Quiz 1

مصرف کلان داده Big data ingestion

تجزیه و تحلیل داده های بزرگ Big data analytics

• معرفی Introduction

• ویژگی های تجزیه و تحلیل کلان داده ها Characteristics of big data analysis

• تجزیه و تحلیل با استفاده از نقشه کاهش، خوک و کندو Analysis using map-reduce, Pig and Hive

• تجزیه و تحلیل با استفاده از Spark Analysis using Spark

• تجزیه و تحلیل با استفاده از مجموعه طوفان و جریان Analysis using Storm and Stream sets

• تکنیک های یادگیری ماشین و یادگیری ماشین Machine learning and machine learning techniques

• تبدیل بینش به عمل Turning insights into action

• چیز هایی برای به یاد آوردن Things to remember

• فعالیت Activity

• فعالیت: برای این موقعیت ها راه حل ارائه کنید Activity: Provide solutions to these situations

تجزیه و تحلیل داده های بزرگ Big data analytics

تجسم داده های بزرگ، امنیت و فروشندگان Big data visualization, security and vendors

• معرفی Introduction

• انواع سنتی و جدید تجسم داده برای داده های بزرگ Traditional and new types of data visualization for big data

• ابزارهایی برای تجسم داده های بزرگ: Tableau، Qlikview و Zeppelin Tools for big data visualization : Tableau, Qlikview and Zeppelin

• نمودارهای اسکریپت جاوا برای تجسم Java script charts for visualization

• خلاصه تجسم Visualization summary

• امنیت داده های بزرگ Big data security

• کربروس و آپاچی ناکس Kerberos and Apache Knox

• Apache Ranger و Apache Sentry Apache Ranger and Apache Sentry

• بهترین روش ها برای امنیت داده های بزرگ Best practices for big data security

• نرم افزار منبع باز و پشتیبانی Opensource software and support

• پردازش ابری Cloud Computing

• داده های بزرگ در ابر Big data on Cloud

• کلان داده در AWS Big Data on AWS

• کلان داده در Azure Big Data on Azure

• کلان داده در Google Cloud Big Data on Google Cloud

• چند ابری، ترکیبی ابری و محاسبات لبه Multi-Cloud, Hybrid Cloud and Edge Computing

• پردازش بدون سرور چیست؟ What is Serverless Processing?

• فروشنده کلان داده: کلودرا Big Data Vendor: Cloudera

• فروشنده بزرگ داده: MapR Big Data Vendor: MapR

• Snowflake: A Cloud Data Warehouse Snowflake: A Cloud Data Warehouse

• چیز هایی برای به یاد آوردن Things to remember

• نسخه ی نمایشی: مجموعه داده های بزرگ را روی EMR راه اندازی کنید و با استفاده از Zeppelin به Spark و S3 دسترسی پیدا کنید Demo: Setup big data cluster on EMR and access Spark and S3 using Zeppelin

• نسخه ی نمایشی: بدون سرور AWS EMR Demo: AWS EMR Serverless

تجسم داده های بزرگ، امنیت و فروشندگان Big data visualization, security and vendors

پروژه های کلان داده Big data projects

• معرفی Introduction

• گرفتن ارزش از کلان داده Getting value out of big data

• 5 P از علم داده 5 P's of data science

• هدف و افراد Purpose and People

• فرآیند و بسترها Process and Platforms

• قابلیت برنامه ریزی Programmability

• مطالعه موردی 1: تجزیه و تحلیل ریسک های پرداخت Case study 1: Analyze payment risks

• مطالعه موردی 2: تجزیه و تحلیل محصول جدید Case study 2: New product analysis

• مطالعه موردی 3: توصیه محصول Case study 3: Product recommendation

• مطالعه موردی 4: تجزیه و تحلیل فایل لاگ با راه حل های متعدد Case study 4: Log file analysis with multiple solutions

• چیز هایی برای به یاد آوردن Things to remember

پروژه های کلان داده Big data projects

نتیجه Conclusion

• نتیجه گیری و مراحل بعدی Conclusion and next steps

• مسابقه پایان دوره Course end quiz

نتیجه Conclusion

افزودنی ها Add ons

• فعالیت آزمایشی و تمرینی: یک سطل در آمازون S3 ایجاد کنید Demo and practice activity: Create a bucket on Amazon S3

• پاسخ تمرینات ذخیره سازی Answers to storage exercises

• پاسخ به تمرینات بلع Answers to Ingestion exercises

افزودنی ها Add ons