کلان داده برای معماران [ویدئو]

سرفصل ها و درس ها

معرفی Introduction

• ساختار و رویکرد دوره Course Structure and Approach

• پیش نیاز دوره Course Pre-Requisites

• مخاطبان دوره Course Audience

• درباره نویسنده About the Author

تنظیم محیط Setting Up the Environment

• راه اندازی یک حساب Google Cloud Setting up a Google Cloud Account

• ایجاد یک کلاستر Dataproc Creating a Dataproc Cluster

• بهترین روش‌های حساب Google Cloud Platform (GCP). Google Cloud Platform (GCP) Account Best Practices

دیدگاه کل نگر از معماری و خطوط لوله Holistic View of Architectures and Pipelines

• معماری منطقی داده های بزرگ Big Data Logical Architecture

• تکامل فن آوری های داده های بزرگ Evolution of Big Data Technologies

• معماری کلان داده های کلیدی Key Big Data Architectures

• خط لوله دسته ای کلان داده معمولی Typical Big Data Batch Pipeline

• خط لوله انتقال داده های بزرگ معمولی Typical Big Data Streaming Pipeline

• مثال 01: خط لوله جریان داده های بزرگ Example 01: Big Data Streaming Pipeline

• مثال 02: خط لوله انتقال داده های بزرگ Example 02: Big Data Streaming Pipeline

چارچوب‌های ورود/جریان داده کلیدی Key Ingestion/Dataflow Frameworks

• عواملی که باید در هنگام مقایسه چارچوب‌های مصرف در نظر گرفت Factors to Consider while Comparing Ingestion Frameworks

• کافکا در مقابل فلوم Kafka Versus Flume

• NiFi در مقابل کافکا NiFi Versus Kafka

• Sqoop Versus Flume Sqoop Versus Flume

• Sqoop Versus Kafka Connect Sqoop Versus Kafka Connect

• نصب NiFi Installing NiFi

• نصب کافکا Installing Kafka

• پیشینه ادغام دستی کافکا و NiFi Hands-on Kafka and NiFi Integration Background

• ادغام کافکا و نی فای Integrating Kafka and NiFi

چارچوب های ذخیره سازی کلیدی Key Storage Frameworks

• عواملی که باید در هنگام مقایسه چارچوب های ذخیره سازی در نظر گرفته شوند Factors to Consider while Comparing Storage Frameworks

• سیستم فایل توزیع شده Hadoop (HDFS) در مقابل HBase Hadoop Distributed File System (HDFS) Versus HBase

• HBase در مقابل Kudu HBase Versus Kudu

• سیستم فایل توزیع شده Hadoop (HDFS) در مقابل Kudu Hadoop Distributed File System (HDFS) Versus Kudu

• HBase در مقابل کاساندرا HBase Versus Cassandra

فرمت های داده Data formats

• متن در مقابل باینری Text Versus Binary

• قابلیت همکاری Interoperability

• سطر گرا در مقابل ستون گرا Row-Oriented Versus Column-Oriented

• فرمت های قابل تقسیم Splittable Formats

• تکامل طرحواره Schema Evolution

• مقایسه فرمت های داده Comparing Data Formats

• نصب Sqoop در Dataproc Cluster Installing Sqoop on Dataproc Cluster

• خط لوله دسته ای داده های بزرگ با استفاده از فرمت Avro Hands-on Big Data Batch Pipeline Using the Avro Format

چارچوب های پردازش داده های کلیدی Key Data Processing Frameworks

• عواملی که باید در هنگام مقایسه چارچوب های پردازش در نظر گرفت Factors to Consider while Comparing Processing Frameworks

• MapReduce (MR) در مقابل معماری منطقی Spark MapReduce (MR) Versus Spark Logical Architecture

• MapReduce (MR) در مقابل عملکرد جرقه MapReduce (MR) Versus Spark Performance

• اسپارک در مقابل تز Spark Versus Tez

• اسپارک در مقابل فلینک Spark Versus Flink

• کافکا استریم در مقابل جرقه جرقه Kafka Streams Versus Spark Streaming

• Spark 2.x Streaming در مقابل Spark 1.x Streaming Spark 2.x Streaming Versus Spark 1.x Streaming

• Spark Core در مقابل Spark Structured Query Language (SQL) Spark Core Versus Spark Structured Query Language (SQL)

• ادغام کافکا و جرقه استریم Integrating Kafka and Spark Streaming

چارچوب های کلیدی تجزیه و تحلیل داده ها Key Data Analysis Frameworks

• عواملی که هنگام مقایسه چارچوب های تحلیل باید در نظر گرفت Factors to Consider while Comparing Analysis Frameworks

• کندو در مقابل ایمپالا Hive Versus Impala

• کندو در مقابل خوک Hive Versus Pig

• Hive Versus Spark Structured Query Language (SQL) Hive Versus Spark Structured Query Language (SQL)

• Hive Versus Hive Live Long and Process (LLAP) در مقابل Impala Hive Versus Hive Live Long and Process (LLAP) Versus Impala

• Hive در مقابل KSQL Hive Versus KSQL

• KSQL در مقابل KSQLDB KSQL Versus KSQLDB

• عملی KSQL Hands-On KSQL

• نوشتن در یک جریان و جدول با استفاده از KSQL Writing to a Stream and Table Using KSQL

• پس‌زمینه خط لوله استخراج جریان، تبدیل، بارگذاری (ETL). Streaming Extract, Transform, Load (ETL) Pipeline Background

• ساخت یک خط لوله استخراج، تبدیل، بارگذاری مقیاس پذیر (ETL) با اتصال کافکا - قسمت 1 Building a Scalable Extract, Transform, Load (ETL) Pipeline with Kafka Connect - Part 1

• ساخت یک خط لوله استخراج، تبدیل، بارگذاری مقیاس پذیر (ETL) با کافکا کانکت - قسمت 2 Building a Scalable Extract, Transform, Load (ETL) Pipeline with Kafka Connect - Part 2

دریاچه دلتا Delta Lake

• معماری دلتا Delta Architecture

• چرا دریاچه دلتا Why Delta Lake

• چالش های با دریاچه دلتا Challenges with Delta Lake

• نسخه ی نمایشی دریاچه دلتا Delta Lake Demo

مواد اضافی Additional Material

• Solr در مقابل Elasticsearch Solr Versus Elasticsearch

• جستجوی کلودرا در مقابل Solr Cloudera Search Versus Solr

• Oozie در مقابل جریان هوا Oozie Versus Airflow

• KSQL در مقابل KStreams KSQL Versus KStreams

خلاصه Summary

• نتیجه Conclusion