آموزش SQL، NoSQL، Big Data و Hadoop

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• ساخت یک سازمان داده محور - مقدمه Building a Data-driven Organization - Introduction

• ساخت یک سازمان داده محور - مقدمه Building a Data-driven Organization - Introduction

• مهندسی داده Data Engineering

• مهندسی داده Data Engineering

• محیط آموزشی و مواد درسی Learning Environment & Course Material

• مجموعه داده Movielens Movielens Dataset

• مجموعه داده Movielens Movielens Dataset

معرفی Introduction

• معرفی Introduction

• محیط آموزشی و مواد درسی Learning Environment & Course Material

سیستم های پایگاه داده رابطه ای Relational Database Systems

• مقدمه ای بر پایگاه های داده رابطه ای Introduction to Relational Databases

• SQL SQL

• مدل رابطه ای Movielens Movielens Relational Model

• مدل رابطه‌ای Movielens: عادی‌سازی در مقابل غیرعادی‌سازی Movielens Relational Model: Normalization vs Denormalization

• مدل رابطه‌ای Movielens: عادی‌سازی در مقابل غیرعادی‌سازی Movielens Relational Model: Normalization vs Denormalization

• MySQL MySQL

• Movielens در MySQL: وارد کردن پایگاه داده Movielens in MySQL: Database import

• OLTP در RDBMS: برنامه های کاربردی CRUD OLTP in RDBMS: CRUD Applications

• OLTP در RDBMS: برنامه های کاربردی CRUD OLTP in RDBMS: CRUD Applications

• شاخص ها Indexes

• ذخیره سازی داده ها Data Warehousing

• پردازش تحلیلی Analytical Processing

• پردازش تحلیلی Analytical Processing

• گزارش معاملات Transaction Logs

• پایگاه های داده رابطه ای - جمع بندی Relational Databases - Wrap Up

• پایگاه های داده رابطه ای - جمع بندی Relational Databases - Wrap Up

سیستم های پایگاه داده رابطه ای Relational Database Systems

• مقدمه ای بر پایگاه های داده رابطه ای Introduction to Relational Databases

• SQL SQL

• مدل رابطه ای Movielens Movielens Relational Model

• MySQL MySQL

• Movielens در MySQL: وارد کردن پایگاه داده Movielens in MySQL: Database import

• شاخص ها Indexes

• ذخیره سازی داده ها Data Warehousing

• گزارش معاملات Transaction Logs

طبقه بندی پایگاه داده Database Classification

• پایگاه های داده توزیع شده Distributed Databases

• قضیه CAP CAP Theorem

• پایه BASE

• پایه BASE

• طبقه بندی دیگر Other Classification

طبقه بندی پایگاه داده Database Classification

• پایگاه های داده توزیع شده Distributed Databases

• قضیه CAP CAP Theorem

• طبقه بندی دیگر Other Classification

فروشگاه Key-Value Key-Value Store

• معرفی فروشگاه های KV Introduction to KV Stores

• ردیس Redis

• Redis را نصب کنید Install Redis

• Redis را نصب کنید Install Redis

• پیچیدگی زمانی الگوریتم Time Complexity of Algorithm

• ساختارهای داده در Redis: Key & String Data Structures in Redis : Key & String

• ساختارهای داده در Redis II: Hash & List Data Structures in Redis II : Hash & List

• ساختارهای داده در Redis II: Hash & List Data Structures in Redis II : Hash & List

• ساختارهای داده در Redis III : Set & Sorted Set Data structures in Redis III : Set & Sorted Set

• ساختارهای داده در Redis III : Set & Sorted Set Data structures in Redis III : Set & Sorted Set

• ساختارهای داده در Redis IV: Geo & HyperLogLog Data structures in Redis IV : Geo & HyperLogLog

• ساختارهای داده در Redis IV: Geo & HyperLogLog Data structures in Redis IV : Geo & HyperLogLog

• ساختارهای داده در Redis V: Pubsub & Transaction Data structures in Redis V : Pubsub & Transaction

• مدل سازی Movielens در Redis Modelling Movielens in Redis

• مدل سازی Movielens در Redis Modelling Movielens in Redis

• مثال Redis در برنامه Redis Example in Application

• مثال Redis در برنامه Redis Example in Application

• فروشگاه های KV: بسته بندی KV Stores: Wrap Up

فروشگاه Key-Value Key-Value Store

• معرفی فروشگاه های KV Introduction to KV Stores

• ردیس Redis

• پیچیدگی زمانی الگوریتم Time Complexity of Algorithm

• ساختارهای داده در Redis: Key & String Data Structures in Redis : Key & String

• ساختارهای داده در Redis V: Pubsub & Transaction Data structures in Redis V : Pubsub & Transaction

• فروشگاه های KV: بسته بندی KV Stores: Wrap Up

پایگاه های داده مدارک Document-Oriented Databases

• مقدمه‌ای بر پایگاه‌های اطلاعاتی مستند گرا Introduction to Document-Oriented Databases

• مقدمه‌ای بر پایگاه‌های اطلاعاتی مستند گرا Introduction to Document-Oriented Databases

• MongoDB MongoDB

• نصب MongoDB MongoDB installation

• نصب MongoDB MongoDB installation

• Movielens در MongoDB Movielens in MongoDB

• Movielens در MongoDB Movielens in MongoDB

• Movielens در MongoDB: Normalization در مقابل Denormalization Movielens in MongoDB: Normalization vs Denormalization

• Movielens در MongoDB: Normalization در مقابل Denormalization Movielens in MongoDB: Normalization vs Denormalization

• Movielens در MongoDB: پیاده سازی Movielens in MongoDB: Implementation

• Movielens در MongoDB: پیاده سازی Movielens in MongoDB: Implementation

• عملیات CRUD در MongoDB CRUD Operations in MongoDB

• شاخص ها Indexes

• پرس و جو تجمع MongoDB - تابع MapReduce MongoDB Aggregation Query - MapReduce function

• پرس و جو تجمع MongoDB - تابع MapReduce MongoDB Aggregation Query - MapReduce function

• MongoDB Aggregation Query - Aggregation Framework MongoDB Aggregation Query - Aggregation Framework

• نسخه ی نمایشی: MySQL در مقابل MongoDB. مدلسازی با اسپارک Demo: MySQL vs MongoDB. Modeling with Spark

• نسخه ی نمایشی: MySQL در مقابل MongoDB. مدلسازی با اسپارک Demo: MySQL vs MongoDB. Modeling with Spark

• فروشگاه های اسناد: بسته بندی Document Stores: Wrap Up

پایگاه های داده مدارک Document-Oriented Databases

• MongoDB MongoDB

• عملیات CRUD در MongoDB CRUD Operations in MongoDB

• شاخص ها Indexes

• MongoDB Aggregation Query - Aggregation Framework MongoDB Aggregation Query - Aggregation Framework

• فروشگاه های اسناد: بسته بندی Document Stores: Wrap Up

موتور جستجو Search Engine

• مقدمه ای بر فروشگاه های موتورهای جستجو Introduction to Search Engine Stores

• Elasticsearch Elasticsearch

• Elasticsearch Elasticsearch

• مفاهیم پایه و توضیحات Basic Terms Concepts and Description

• مفاهیم پایه و توضیحات Basic Terms Concepts and Description

• Movielens در Elastisearch Movielens in Elastisearch

• Movielens در Elastisearch Movielens in Elastisearch

• CRUD در Elasticsearch CRUD in Elasticsearch

• جستجو در Elasticsearch Search Queries in Elasticsearch

• پرس و جوهای تجمع در Elasticsearch Aggregation Queries in Elasticsearch

• پرس و جوهای تجمع در Elasticsearch Aggregation Queries in Elasticsearch

• پشته الاستیک (ELK) The Elastic Stack (ELK)

• مورد استفاده: مشاهده بشقاب پرنده در ElasticSearch Use case: UFO Sighting in ElasticSearch

• مورد استفاده: مشاهده بشقاب پرنده در ElasticSearch Use case: UFO Sighting in ElasticSearch

• موتورهای جستجو: Wrap Up Search Engines: Wrap Up

• موتورهای جستجو: Wrap Up Search Engines: Wrap Up

موتور جستجو Search Engine

• مقدمه ای بر فروشگاه های موتورهای جستجو Introduction to Search Engine Stores

• CRUD در Elasticsearch CRUD in Elasticsearch

• جستجو در Elasticsearch Search Queries in Elasticsearch

• پشته الاستیک (ELK) The Elastic Stack (ELK)

فروشگاه ستون عریض Wide Column Store

• مقدمه ای بر پایگاه های داده Columnar Introduction to Columnar databases

• HBase HBase

• معماری HBase HBase Architecture

• نصب HBase HBase Installation

• نصب HBase HBase Installation

• Apache Zookeeper Apache Zookeeper

• Apache Zookeeper Apache Zookeeper

• داده های Movielens در HBase Movielens Data in HBase

• داده های Movielens در HBase Movielens Data in HBase

• انجام CRUD در HBase Performing CRUD in HBase

• SQL در HBase - Apache Phoenix SQL on HBase - Apache Phoenix

• SQL در HBase - Apache Phoenix - Movielens SQL on HBase - Apache Phoenix - Movielens

• SQL در HBase - Apache Phoenix - Movielens SQL on HBase - Apache Phoenix - Movielens

• نسخه ی نمایشی: مسیرهای GPS GeoLife Demo : GeoLife GPS Trajectories

• فروشگاه ستون گسترده: بسته بندی Wide Column Store: Wrap Up

فروشگاه ستون عریض Wide Column Store

• مقدمه ای بر پایگاه های داده Columnar Introduction to Columnar databases

• HBase HBase

• معماری HBase HBase Architecture

• انجام CRUD در HBase Performing CRUD in HBase

• SQL در HBase - Apache Phoenix SQL on HBase - Apache Phoenix

• نسخه ی نمایشی: مسیرهای GPS GeoLife Demo : GeoLife GPS Trajectories

• فروشگاه ستون گسترده: بسته بندی Wide Column Store: Wrap Up

پایگاه های داده سری های زمانی Time Series Databases

• مقدمه ای بر سری زمانی Introduction to Time Series

• مقدمه ای بر سری زمانی Introduction to Time Series

• InfluxDB InfluxDB

• نصب InfluxDB InfluxDB Installation

• نصب InfluxDB InfluxDB Installation

• مدل داده InfluxDB InfluxDB Data Model

• مدل داده InfluxDB InfluxDB Data Model

• دستکاری داده ها در InfluxDB Data manipulation in InfluxDB

• تیک پشته I TICK Stack I

• تیک پشته II TICK Stack II

• پایگاه داده سری های زمانی: جمع بندی Time Series Databases: Wrap Up

پایگاه های داده سری های زمانی Time Series Databases

• InfluxDB InfluxDB

• دستکاری داده ها در InfluxDB Data manipulation in InfluxDB

• تیک پشته I TICK Stack I

• تیک پشته II TICK Stack II

• پایگاه داده سری های زمانی: جمع بندی Time Series Databases: Wrap Up

بانک های اطلاعاتی نمودار Graph Databases

• مقدمه ای بر پایگاه های داده گراف. Introduction to Graph Databases.

• مقدمه ای بر پایگاه های داده گراف. Introduction to Graph Databases.

• مدل سازی در نمودار Modelling in Graph

• مدل سازی Movielens به عنوان یک نمودار Modelling Movielens as a Graph

• Neo4J Neo4J

• Neo4J Neo4J

• نصب Neo4J Neo4J installation

• نصب Neo4J Neo4J installation

• سایفر Cypher

• سایفر Cypher

• Cypher II Cypher II

• Movielens در Neo4J: Data Import Movielens in Neo4J: Data Import

• Movielens در Neo4J: Data Import Movielens in Neo4J: Data Import

• Movielens در Neo4J: Spring Application Movielens in Neo4J: Spring Application

• تجزیه و تحلیل داده ها در پایگاه داده های نموداری Data Analysis in Graph Databases

• تجزیه و تحلیل داده ها در پایگاه داده های نموداری Data Analysis in Graph Databases

• نمونه هایی از الگوریتم های گراف در Neo4J Examples of Graph Algorithms in Neo4J

• پایگاه داده های نمودار: جمع بندی Graph Databases: Wrap Up

بانک های اطلاعاتی نمودار Graph Databases

• مدل سازی در نمودار Modelling in Graph

• مدل سازی Movielens به عنوان یک نمودار Modelling Movielens as a Graph

• Cypher II Cypher II

• Movielens در Neo4J: Spring Application Movielens in Neo4J: Spring Application

• نمونه هایی از الگوریتم های گراف در Neo4J Examples of Graph Algorithms in Neo4J

• پایگاه داده های نمودار: جمع بندی Graph Databases: Wrap Up

پلتفرم Hadoop Hadoop Platform

• مقدمه ای بر داده های بزرگ با Apache Hadoop Introduction to Big Data With Apache Hadoop

• ذخیره سازی کلان داده در Hadoop (HDFS) Big Data Storage in Hadoop (HDFS)

• ذخیره سازی کلان داده در Hadoop (HDFS) Big Data Storage in Hadoop (HDFS)

• پردازش کلان داده ها: YARN Big Data Processing : YARN

• نصب و راه اندازی Installation

• نصب و راه اندازی Installation

• پردازش داده در Hadoop (MapReduce) Data Processing in Hadoop (MapReduce)

• پردازش داده در Hadoop (MapReduce) Data Processing in Hadoop (MapReduce)

• نمونه هایی در MapReduce Examples in MapReduce

• پردازش داده در Hadoop (Pig) Data Processing in Hadoop (Pig)

• پردازش داده در Hadoop (Pig) Data Processing in Hadoop (Pig)

• نمونه هایی در Pig Examples in Pig

• نمونه هایی در Pig Examples in Pig

• پردازش داده ها در Hadoop (Spark) Data Processing in Hadoop (Spark)

• پردازش داده ها در Hadoop (Spark) Data Processing in Hadoop (Spark)

• نمونه هایی در اسپارک Examples in Spark

• تجزیه و تحلیل داده ها با آپاچی اسپارک Data Analytics with Apache Spark

• تجزیه و تحلیل داده ها با آپاچی اسپارک Data Analytics with Apache Spark

• متراکم سازی داده ها Data Compression

• فرمت های سریال سازی و ذخیره سازی داده ها Data serialization and storage formats

• هادوپ: جمع کن Hadoop: Wrap Up

• هادوپ: جمع کن Hadoop: Wrap Up

پلتفرم Hadoop Hadoop Platform

• مقدمه ای بر داده های بزرگ با Apache Hadoop Introduction to Big Data With Apache Hadoop

• پردازش کلان داده ها: YARN Big Data Processing : YARN

• نمونه هایی در MapReduce Examples in MapReduce

• نمونه هایی در اسپارک Examples in Spark

• متراکم سازی داده ها Data Compression

• فرمت های سریال سازی و ذخیره سازی داده ها Data serialization and storage formats

موتورهای کلان داده SQL Big Data SQL Engines

• مقدمه Big Data SQL Engines Introduction Big Data SQL Engines

• مقدمه Big Data SQL Engines Introduction Big Data SQL Engines

• Apache Hive Apache Hive

• Apache Hive: نمایش Apache Hive : Demonstration

• MPP SQL-on-Hadoop: مقدمه MPP SQL-on-Hadoop: Introduction

• ایمپالا Impala

• ایمپالا: تظاهرات Impala : Demonstration

• ایمپالا: تظاهرات Impala : Demonstration

• PrestoDB PrestoDB

• PrestoDB PrestoDB

• PrestoDB: نمایش PrestoDB : Demonstration

• SQL-on-Hadoop: Wrap Up SQL-on-Hadoop: Wrap Up

• SQL-on-Hadoop: Wrap Up SQL-on-Hadoop: Wrap Up

موتورهای کلان داده SQL Big Data SQL Engines

• Apache Hive Apache Hive

• Apache Hive: نمایش Apache Hive : Demonstration

• MPP SQL-on-Hadoop: مقدمه MPP SQL-on-Hadoop: Introduction

• ایمپالا Impala

• PrestoDB: نمایش PrestoDB : Demonstration

گزارش تعهد توزیع شده Distributed Commit Log

• معماری داده ها Data Architectures

• مقدمه ای بر گزارش های تعهد توزیع شده Introduction to Distributed Commit Logs

• آپاچی کافکا Apache Kafka

• آپاچی کافکا Apache Kafka

• نصب پلتفرم Confluent Confluent Platform Installation

• نصب پلتفرم Confluent Confluent Platform Installation

• مدل سازی داده ها در کافکا اول Data Modeling in Kafka I

• مدل سازی داده ها در کافکا اول Data Modeling in Kafka I

• مدل سازی داده ها در کافکا II Data Modeling in Kafka II

• مدل سازی داده ها در کافکا II Data Modeling in Kafka II

• تولید داده برای آزمایش Data Generation for Testing

• مورد استفاده: جمع آوری هزینه عوارض Use case: Toll fee Collection

• پردازش جریان Stream processing

• پردازش جریان Stream processing

• Stream Processing II با Stream + Connect APIs Stream Processing II with Stream + Connect APIs

• مثال: جریان های کافکا Example: Kafka Streams

• مثال: جریان های کافکا Example: Kafka Streams

• KSQL: پردازش جریانی در SQL KSQL : Streaming Processing in SQL

• KSQL: مثال KSQL: Example

• تظاهرات: تاکسی و کرایه نیویورک Demonstration: NYC Taxi and Fares

• تظاهرات: تاکسی و کرایه نیویورک Demonstration: NYC Taxi and Fares

• جریان: جمع کردن Streaming: Wrap Up

• جریان: جمع کردن Streaming: Wrap Up

گزارش تعهد توزیع شده Distributed Commit Log

• معماری داده ها Data Architectures

• مقدمه ای بر گزارش های تعهد توزیع شده Introduction to Distributed Commit Logs

• تولید داده برای آزمایش Data Generation for Testing

• مورد استفاده: جمع آوری هزینه عوارض Use case: Toll fee Collection

• Stream Processing II با Stream + Connect APIs Stream Processing II with Stream + Connect APIs

• KSQL: پردازش جریانی در SQL KSQL : Streaming Processing in SQL

• KSQL: مثال KSQL: Example

خلاصه Summary

• پایگاه داده Polyglot Database Polyglot

• دانش خود را گسترش دهید Extending your knowledge

• دانش خود را گسترش دهید Extending your knowledge

• تجسم داده ها Data Visualization

• ساخت یک سازمان داده محور - نتیجه گیری Building a Data-driven Organization - Conclusion

• نتیجه Conclusion

خلاصه Summary

• پایگاه داده Polyglot Database Polyglot

• تجسم داده ها Data Visualization

• ساخت یک سازمان داده محور - نتیجه گیری Building a Data-driven Organization - Conclusion

• نتیجه Conclusion