آموزش تحلیلگر کلان داده (Big Data Analyst) - استفاده از Sqoop و Hive پیشرفته (CCA159) - آخرین آپدیت
دانلود Big Data Analyst -using Sqoop and Advance Hive (CCA159)
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
تبدیل شوید به تحلیلگر کلان داده با Hive و Sqoop
این دوره آموزشی عالی برای تحلیلگران کسبوکار، تسترهای نرمافزار و توسعهدهندگان SQL طراحی شده است. تحلیلگر کلان داده با Hive و Sqoop
دانشجویان، Hive و Sqoop پیشرفته را برای تحلیل و ورود دادههای کلان فرا خواهند گرفت. CCA159
پیشنیازها:
دانش پایه SQL
در ابتدای این دوره، با مفاهیم Hadoop و سیستم فایل توزیع شده هادوپ آشنا شده و پرکاربردترین دستورات هادوپ مورد نیاز برای کار با سیستم فایل هادوپ را خواهید آموخت.
سپس با Sqoop Import آشنا خواهید شد:
- چرخه عمر دستورات Sqoop را درک خواهید کرد.
- از دستور Sqoop Import برای مهاجرت دادهها از MySQL به HDFS استفاده خواهید کرد.
- از دستور Sqoop Import برای مهاجرت دادهها از MySQL به Hive استفاده خواهید کرد.
- فرمتهای مختلف فایل، فشردهسازی، جداکننده فایل، عبارت WHERE و کوئریها را هنگام وارد کردن دادهها به کار خواهید گرفت.
- مفهوم split-by و boundary queries را درک خواهید کرد.
- از حالت افزایشی (incremental mode) برای مهاجرت دادهها از MySQL به HDFS استفاده خواهید کرد.
در ادامه، با Sqoop Export برای مهاجرت دادهها آشنا خواهید شد:
- مفهوم Sqoop Export چیست.
- با استفاده از Sqoop Export، دادهها را از HDFS به MySQL مهاجرت خواهید داد.
- با استفاده از Sqoop Export، دادهها را از Hive به MySQL مهاجرت خواهید داد.
در نهایت، به مبحث Apache Hive [پیشرفته] خواهیم پرداخت:
- معرفی Hive
- جدولهای خارجی (External) و مدیریت شده (Managed)
- دستورات Insert و Multi Insert
- انواع داده (Data Types) و انواع داده پیچیده (Complex Data Types)
- توابع مجموعه (Collection Functions)
- توابع شرطی (Conditional Functions)
- توابع رشتهای Hive (Hive String Functions)
- توابع تاریخ Hive (Hive Date Functions)
- توابع ریاضی (Mathematical Functions)
- تحلیل Hive (Hive Analysis)
- دستور Alter
- انواع Join ها، Multi Join ها و Map Join ها
- کار با فایلهای مختلف: Parquet, Avro
- فشردهسازی (Compressions)
- پارتیشنبندی (Partitioning)
- باکتینگ (Bucketing)
- نماها (Views)
- Lateral Views/Explode
- توابع پنجرهای (Windowing Functions): Rank/Dense Rank/lead/lag/min/max
- مشخصه پنجره (Window Specification)
سرفصل ها و درس ها
مقدمه Hadoop Hadoop Introduction
-
مقدمه Big Data Big Data Intro
-
سیستم فایل توزیع شده Hadoop و دستورات آن Hadoop Distributed File System & Commands
-
آخرین بهروزرسانی آزمون CCA159 در سال ۲۰۲۰ CCA159 Exam Update 2020
-
نصب ماشین مجازی Cloudera Cloudera vm setup
-
رفع مشکلات کلاستر در Google Cloud Cluster Fixes on Google Cloud
-
نصب کلاستر در Google Cloud Cluster Setup on Google Cloud
-
بهروزرسانی محیط Environment Update
Hive Hive
-
مقدمه Hive Hive Introduction
-
پایگاه داده Hive Hive Database
-
جداول مدیریت شده در Hive Hive Managed Tables
-
جداول خارجی در Hive Hive External Tables
-
درج در Hive Hive Insert
-
درج چندگانه در Hive Hive MultiInsert
-
دستور تغییر (Alter Command) Alter Command
انواع داده در Hive Hive Data Types
-
مقدمه انواع داده DataTypes Introduction
-
نوع داده آرایه (Array) Array DataType
-
نوع داده مپ (Map) Map DataType
-
نوع داده ساختار (Struct) Struct DataType
توابع در Hive Hive Functions
-
توابع مجموعه (Collection Functions) Collection Functions
-
توابع شرطی (Conditional Functions) Conditional Functions
-
توابع رشتهای (String Functions) String Functions
-
توابع تاریخ (Date Functions) Date Functions
-
توابع ریاضی (Mathematical Functions) Mathematical Functions
اتصال در Hive Hive Join
-
اتصال در Hive Join in Hive
-
اتصالات چندگانه در Hive Multi Joins in Hive
-
اتصالات سمت مپ (Map Side Joins) Map Side Joins
کار با فرمتهای مختلف فایل و فشردهسازی Working with Different File Formats & Compressions
-
کار با Parquet Working with Parquet
-
فشردهسازی Parquet Compressing Parquet
-
کار با فرمت فایل ثابت (Fixed File Format) Working with Fixed File Format
Hive پیشرفته Advance Hive
-
پارتیشنبندی در Hive Hive Partitioning
-
باکتبندی در Hive Hive Bucketing
-
نماها (Views) در Hive Views in Hive
-
نمای جانبی / انفجار (Lateral View/Explode) Lateral View/Explode
-
تجزیه و تحلیل در Hive Hive Analytics
توابع پنجرهای در Hive Hive Windows Function
-
تابع پنجرهای Rank/Dense Rank Rank/Dense Rank Windowing Function
-
تابع پنجرهای Lead/Lag Lead/Lag Windowing Function
-
تابع پنجرهای Min/Max Min/Max Windowing Function
-
مشخصات پنجرهبندی (Windowing Specification) Windowing Specification
وارد کردن با Sqoop Sqoop Import
-
مقدمه Sqoop Sqoop Introduction
-
مدیریت دایرکتوری مقصد Managing Target Directory
-
کار با Parquet Working with Parquet
-
کار با فرمت فایل Avro Working with Avro File Format
-
کار با فشردهسازیهای مختلف Working with Different Compressions
-
وارد کردن شرطی (Conditional Imports) Conditional Imports
-
فیلدهای جداکننده و کوئریهای مرزی (Split-By and Boundary Queries) Split-By and Boundary Queries
-
جداکنندههای فیلد (Field Delimiters) Field Delimiters
-
افزودنیهای افزایشی (Incremental Appends) Incremental Appends
-
وارد کردن به Hive با Sqoop Sqoop Hive Import
-
تمرین ۱ Practice 1
-
تمرین ۲ Practice2
-
تمرین ۳ Practice3
-
درس جایزه: Sqoop با Airflow Bonus Lecture: Sqoop with Airflow
خروجی گرفتن با Sqoop Sqoop Export
-
خروجی گرفتن از HDFS به MYSQL Export from HDFS to MYSQL
-
خروجی گرفتن Avro فشرده شده به Mysql Export Avro Compressed to Mysql
-
خروجی گرفتن از Hive به MYSQL Export from Hive to MYSQL
https://donyad.com/d/4456f7
Navdeep Kaur
TechnoAvengers.com (مerسس) من یک معمار داده بزرگ با 11 سال سابقه صنعت در فناوری ها و حوزه های مختلف هستم. من علاقه زیادی به ارائه آموزش در زمینه فناوری های جدید دارم. من گواهینامه توسعه دهنده CCA175 Hadoop and Spark و گواهینامه معمار راه حل AWS را دریافت کرده ام. من عاشق هدایت مردم و کمک به آنها برای رسیدن به اهداف جدید هستم.
نمایش نظرات