Apache Hive for Data Engineers (Hands On) با 2 پروژه

Apache Hive for Data Engineers (Hands On) with 2 Projects

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: همه چیز را در مورد Apache Hive یک انبار داده مدرن و مدرن بیاموزید. چرا Hive برای مهندس داده ضروری است هدف این دوره کمک به شما برای آشنایی با بیت ها و بایت های Apache Hive است که A تا Z Apache HIVE (از سطح پایه تا پیشرفته) را یاد بگیرید. تجربه دستی در Apache Hive و مورد استفاده در زمان واقعی پیش نیازها: دانش پایه Hadoop دانش پایه SQL و پایگاه داده دسکتاپ یا لپ تاپ با سیستم عامل اوبونتو و حداقل 8 گیگابایت رم توصیه می شود آشنایی با Regular Expression ضروری است.

نرم افزار انبار داده Apache Hive خواندن، نوشتن و مدیریت مجموعه داده های بزرگ را که در فضای ذخیره سازی توزیع شده با استفاده از SQL قرار دارند، تسهیل می کند. ساختار را می توان بر روی داده هایی که از قبل در ذخیره سازی هستند، پیش بینی کرد. یک ابزار خط فرمان و درایور JDBC برای اتصال کاربران به Hive ارائه شده است.

یکی از با ارزش ترین مهارت های فناوری، توانایی تجزیه و تحلیل مجموعه داده های عظیم است، و این دوره به طور خاص طراحی شده است تا شما را با یکی از بهترین فناوری ها برای این کار آشنا کند، Apache Hive! شرکت‌های برتر فناوری مانند گوگل، فیس‌بوک، نتفلیکس، Airbnb، آمازون، ناسا و غیره همگی از Apache Hive استفاده می‌کنند!

Hive که در بالای Apache Hadoop ساخته شده است، ویژگی های زیر را ارائه می دهد:

  • ابزارهایی برای فعال کردن دسترسی آسان به داده‌ها از طریق SQL، بنابراین وظایف انبار داده‌ها مانند استخراج/تبدیل/بارگذاری (ETL)، گزارش‌دهی و تجزیه و تحلیل داده‌ها را فعال می‌کند.

  • مکانیسمی برای تحمیل ساختار بر انواع قالب‌های داده

  • دسترسی به فایل‌هایی که مستقیماً در Apache HDFS™ یا سایر سیستم‌های ذخیره‌سازی داده‌ها مانند Apache HBase™ ذخیره شده‌اند

  • اجرای کوئری از طریق Apache Tez™، Apache Spark™، یا MapReduce

  • زبان رویه ای با HPL-SQL

  • بازیابی پرس و جوی فرعی از طریق Hive LLAP، Apache YARN و Apache Slider.

Hive عملکرد استاندارد SQL، از جمله بسیاری از ویژگی‌های جدید SQL:2003، SQL:2011، و SQL:2016 را برای تجزیه و تحلیل ارائه می‌کند.
SQL Hive همچنین می‌تواند با کد کاربر از طریق توابع تعریف‌شده توسط کاربر (UDF) گسترش یابد. مجموعه های تعریف شده توسط کاربر (UDAF) و توابع جدول تعریف شده توسط کاربر (UDTF).

یک "قالب Hive" وجود ندارد که داده ها در آن ذخیره شوند. Hive دارای رابط‌های داخلی برای فایل‌های متنی با مقادیر جداشده با کاما و تب (CSV/TSV)، Apache Parquet™، Apache ORC™، و فرمت‌های دیگر است. کاربران می توانند Hive را با کانکتورها برای فرمت های دیگر گسترش دهند. لطفاً برای جزئیات، به فرمت‌های فایل و Hive SerDe در راهنمای برنامه‌نویس مراجعه کنید.

Hive برای بارهای کاری پردازش تراکنش آنلاین (OLTP) طراحی نشده است. بهتر است برای کارهای انبارداری داده سنتی استفاده شود.

Hive برای به حداکثر رساندن مقیاس‌پذیری (مقیاس‌سازی با ماشین‌های بیشتر اضافه شده به صورت پویا به خوشه Hadoop)، عملکرد، توسعه‌پذیری، تحمل خطا، و اتصال شل با قالب‌های ورودی آن طراحی شده است.


ما

را یاد خواهیم گرفت

1) نمای کلی Apache Hive

2) معماری Apache Hive

3) نصب و پیکربندی

4) چگونه یک جستجوی Hive در سیستم جریان می یابد.

5) ویژگی‌های کندو، محدودیت و مدل داده

6) نوع داده، زبان تعریف داده، و زبان دستکاری داده

7) Hive View، Partition و Bucketing

8) توابع و اپراتورهای داخلی

9) به Apache Hive بپیوندید

10) پرسش و پاسخ های متداول در مصاحبه

11) 2 پروژه بیدرنگ


هدف من این است که ابزارهای عملی در اختیار شما قرار دهم که در آینده برای شما مفید باشد. در حین انجام این کار، با یک فرصت استفاده واقعی.


من واقعاً هیجان زده هستم که اینجا هستید، امیدوارم تا پایان دوره را دنبال کنید. دنبال کردن این دوره نسبتاً ساده است. من گام به گام هر خط کد را به شما نشان خواهم داد و توضیح خواهم داد که چه کاری انجام می دهد و چرا ما آن را انجام می دهیم. بنابراین لطفاً از شما دعوت می کنم که آن را پیگیری کنید تا تمام سخنرانی ها را مرور کنید. بسیار خوب، به زودی شما را در دوره می بینم.



سرفصل ها و درس ها

بخش 1: مقدمه Section 1: Introduction

  • 1. مقدمه ای بر دوره 1. Introduction to Course

  • 2. مقدمه ای بر آپاچی Hive 2. Introduction to Apache Hive

  • 3. معماری کندو 3. Hive Architecture

  • 4. چگونه یک جستجوی Hive در سیستم جریان می یابد. 4. How a Hive query flows through the system.

  • 5. (اختیاری) مقدمه ای بر داده های بزرگ 5. (Optional) Introduction to Big Data

  • 6. (اختیاری) Hadoop چیست 6. (Optional) What is Hadoop

  • 7. ویژگی های کندو 7. Hive Features

  • 8. محدودیت کندو 8. Hive Limitation

معرفی Introduction

  • مقدمه دوره Introduction to Course

  • آشنایی با Apache Hive Introduction to Apache Hive

  • معماری کندو Hive Architecture

  • چگونه یک جستجوی Hive در سیستم جریان می یابد. How a Hive query flows through the system.

  • نکاتی برای بهبود تجربه گذراندن دوره Tips to Improve Your Course Taking Experience

  • (اختیاری) مقدمه ای بر داده های بزرگ (Optional) Introduction to Big Data

  • (اختیاری) Hadoop چیست (Optional) What is Hadoop

  • ویژگی های کندو Hive Features

  • محدودیت کندو Hive Limitation

بخش 2: نصب Apache Hive در ماشین اوبونتو (لینوکس). Section 2: Installing Apache Hive on Ubuntu (Linux) Machine

نصب Apache Hive در ماشین اوبونتو (لینوکس). Installing Apache Hive on Ubuntu (Linux) Machine

  • مراحل نصب Hadoop Installation Steps of Hadoop

  • مراحل نصب Apache Hive Installation Steps of Apache Hive

بخش 3: مدل داده های کندو Section 3: Hive Data Model

مدل داده های کندو Hive Data Model

  • نمودار مدل داده های کندو Hive Data Model Diagram

  • جداول Tables

  • پارتیشن ها Partitions

  • سطل یا خوشه Buckets or Clusters

بخش 4: انواع داده های کندو Section 4: Hive Data Types

انواع داده های کندو Hive Data Types

  • انواع داده های کندو Hive Data Types

  • نوع اولیه Primitive Type

  • نوع پیچیده Complex Type

بخش 5: زبان تعریف داده های HIVE. Section 5: HIVE Data Definition Language.

زبان تعریف داده های HIVE. HIVE Data Definition Language.

  • ایجاد پایگاه داده Create Database

  • پایگاه داده را رها کنید Drop Database

  • تغییر پایگاه داده Alter Database

  • از پایگاه داده استفاده کنید Use Database

  • نمایش پایگاه داده Show Database

  • پایگاه داده را شرح دهید Describe Database

  • ایجاد جدول Create Table

  • ایجاد جدول (دست روی دست) Create Table (Hands On)

  • جدول (Hands On) با تمام داده های اولیه ایجاد کنید Create Table (Hands On) with all Primitive Datatype

  • جدول (Hands On) با تمام داده های پیچیده ایجاد کنید Create Table (Hands On) with all Complex Datatype

  • جداول مدیریت شده و خارجی Managed and External Tables

  • میزهای مدیریت شده و خارجی (دست روی) Managed and External Tables (Hands On)

  • فرمت های ذخیره سازی Storage Formats

  • نمایش جداول Show Tables

  • جداول را شرح دهید Describe Tables

  • جدول رها کنید Drop Table

  • جدول تغییرات Alter Table

  • جدول کوتاه Truncate Table

بخش 6: زبان دستکاری داده های HIVE Section 6: HIVE Data Manipulation Language

زبان دستکاری داده های HIVE HIVE Data Manipulation Language

  • بار LOAD

  • انتخاب کنید SELECT

  • درج کنید INSERT

  • به روز رسانی UPDATE

  • حذف DELETE

بخش 7: نمای کندو، متاستور، پارتیشن ها و سطل سازی Section 7: Hive View, Metastore, Partitions, and Bucketing

عملکردهای داخلی کندو Hive Built-In Functions

  • توابع تاریخ Date Functions

  • توابع ریاضی Mathematical Functions

  • توابع رشته String Functions

بخش 8: عملکردهای داخلی کندو Section 8: Hive Built-In Functions

Hive View، Metastore، Partitions و Bucketing Hive View, Metastore, Partitions, and Bucketing

  • چشم انداز View

  • مشاهده (Hands On) View (Hands On)

  • متاستور Metastore

  • پارتیشن ها Partitions

  • پارتیشن (Hands On) Partitions (Hands On)

  • سطل سازی Bucketing

  • سطل سازی (دست روی) Bucketing (Hands On)

  • دستورات پوسته تعاملی Hive Hive Interactive Shell Commands

  • Queries Hive را در دستورات "One Shot" اجرا کنید Execute Hive Queries in “One Shot” Commands

  • اجرای Hive Queries از فایل ها Executing Hive Queries from Files

  • متغیر Hive Hive Variable

بخش 9: اپراتورهای داخلی Section 9: Built-in Operators

اپراتورهای داخلی Built-in Operators

  • اپراتورهای رابطه ای Relational Operators

  • عملگرهای حسابی Arithmetic Operators

  • عملگرهای منطقی Logical Operators

  • عملگرهای رشته ای String Operators

بخش 10: عضویت در کندو Section 10: Hive Join

Hive Join Hive Join

  • می پیوندد Joins

  • پیوستن داخلی (Hands On) Inner Join (Hands On)

  • اتصال بیرونی چپ (دست روی) Left Outer Join (Hands On)

  • اتصال بیرونی راست (دست روی) Right Outer Join (Hands On)

  • اتصال کامل بیرونی (دست روی) Full Outer Join (Hands On)

بخش 11: پرسش و پاسخ های متداول در مصاحبه Section 11: Frequently Asked Interview Question and Answers

کار با XML و JSON Working with XML and JSON

  • بارگیری XML در Hive Loading XML in Hive

  • بارگیری JSON در Hive Loading JSON in Hive

بخش 12: پروژه های دستی (2 پروژه) Section 12: Hands On Projects (2 Projects)

پرسش و پاسخ متداول در مصاحبه Frequently Asked Interview Question and Answers

  • چگونه می توان جدول HIVE را با جداکننده چند کاراکتر ایجاد کرد؟ How to create HIVE Table with multi character delimiter?

  • چگونه داده ها را از یک فایل txt. در جدول ذخیره شده به عنوان ORC در Hive بارگیری کنیم؟ How to load Data from a .txt file to Table Stored as ORC in Hive?

  • چگونه می توان از ردیف های سرصفحه از یک جدول در Hive عبور کرد؟ How to skip header rows from a table in Hive?

  • جدول Hive را برای فایل‌های کوچک بدون کاهش عملکرد در Hive ایجاد کنید؟ Create single Hive table for small files without degrading performance in Hive?

  • چگونه این فایل CSV را با استفاده از SerDe ساخته شده در انبار Hive مصرف خواهید کرد؟ How will you consume this CSV file into the Hive warehouse using built SerDe?

  • آیا امکان تغییر مکان پیش فرض جدول مدیریت شده وجود دارد؟ Is it possible to change the default location of a managed table?

  • آیا کوئری های hive را می توان از فایل های اسکریپت اجرا کرد؟ چگونه؟ Can hive queries be executed from script files? How?

  • آیا می توانیم دستورات پوسته یونیکس را از hive اجرا کنیم؟ مثال بزنید؟ Can we run unix shell commands from hive? Give example?

پروژه های دستی (2 پروژه) Hands On Projects (2 Projects)

  • نصب Apache Zeppelin (0.10.1) Installing Apache Zeppelin (0.10.1)

  • (Hands On) در حال دانلود فایل ها (Hands On) Downloading files

  • فایل های داده برای پروژه Data Files for the Project

  • (Hands On) Hive Interpreter را در Apache Zeppelin پیکربندی کنید (Hands On) Configure Hive Interpreter in Apache Zeppelin

  • Hive Interpreter را در Apache Zeppelin پیکربندی کنید Configure Hive Interpreter in Apache Zeppelin

  • تنظیمات پیکربندی Hadoop Hadoop Configuration Setting

  • کد منبع پروژه را دانلود کنید Download Source Code for Project

  • شروع Hadoop، Hive، Zeppelin و آپلود کد منبع Starting Hadoop,Hive, Zeppelin and Uploading Source Code

  • پروژه 1 - قسمت 1 Project 1 - Part 1

  • پروژه 1 قسمت 2 Project 1 Part 2

  • پروژه 1 قسمت 3 Project 1 Part 3

  • پروژه 1 قسمت 4 Project 1 Part 4

  • پروژه 1 قسمت 5 Project 1 Part 5

  • پروژه 2 قسمت 1 Project 2 Part 1

  • پروژه 2 قسمت 2 Project 2 Part 2

  • پروژه 2 قسمت 3 Project 2 Part 3

  • پروژه 2 قسمت 4 Project 2 Part 4

  • پروژه 2 قسمت 5 Project 2 Part 5

  • پروژه 2 قسمت 6 Project 2 Part 6

  • سخنرانی پاداش Bonus Lecuture

نمایش نظرات

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.

Apache Hive for Data Engineers (Hands On) با 2 پروژه
جزییات دوره
6.5 hours
94
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
14,105
4.3 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Bigdata Engineer Bigdata Engineer

مهندس Bigdata من معمار راه حل هستم با 12 سال تجربه در صنعت بانکداری ، ارتباطات از راه دور و خدمات مالی در طیف متنوعی از نقش ها در برنامه های کارت اعتباری ، پرداخت ها ، انبار داده و مرکز داده نقش من به عنوان Bigdata و Cloud Architect به عنوان بخشی از تیم Bigdata برای ارائه راه حل نرم افزاری کار می کنم. مسئولیت ها شامل - از همه مسائل مربوط به Hadoop پشتیبانی کنید - معیار سیستم های موجود ، تجزیه و تحلیل چالش های سیستم موجود/گلوگاه ها و پیشنهاد راه حل های مناسب برای از بین بردن آنها بر اساس فن آوری های مختلف Big Data - تجزیه و تحلیل و تعریف جوانب مثبت و منفی فناوری ها و سیستم عامل های مختلف - موارد استفاده ، راه حل ها و توصیه ها را تعریف کنید - استراتژی Big Data را تعریف کنید - انجام تجزیه و تحلیل دقیق از مشکلات کسب و کار و محیط های فنی - راه حل عملی بزرگ داده را بر اساس تجزیه و تحلیل نیازهای مشتری تعریف کنید - توصیه های عملی Big Big Cluster را تعریف کنید - به مشتریان در مورد فن آوری های مختلف Big Data آموزش دهید تا به آنها در درک نکات مثبت و منفی Big Data کمک کند - حاکمیت داده ها - ساخت ابزارهایی برای بهبود بهره وری توسعه دهنده و اجرای روشهای استاندارد