به عنوان بخشی از Sqoop، Hive، و Impala برای تحلیلگران داده (CCA 159 سابق)، شما مهارت های کلیدی مانند Sqoop، Hive و Impala را خواهید آموخت.
این دوره جامع همه جنبههای گواهینامه را با نمونههای واقعی و مجموعه دادهها پوشش میدهد.
نمای کلی از اکوسیستم کلان داده
نمای کلی توزیع ها و ابزارهای مدیریت
پروندههای ویژگیها و ویژگیها - دستورالعملهای عمومی
سیستم فایل توزیع شده Hadoop
YARN و Map Reduce2
ارسال Map ReduceJob
تعیین تعداد نقشهبردارها و کاهشدهندهها
آشنایی با ویژگی های پیکربندی YARN و Map Reduce
ویژگیهای شغلی را بررسی و لغو کنید
بازبینی نقشه کاهش گزارش کار
Map Reduce Job Counter
نمای کلی Hive
پایگاه های داده و موتورهای جستجو
مشاهده اجمالی مصرف داده در کلان داده
پردازش داده با استفاده از Spark
دستورات HDFS برای مدیریت فایل ها
معرفی HDFS برای امتحانات گواهینامه
نمای کلی HDFS و PropertiesFiles
نمای کلی Hadoop CLI
فهرست کردن فایل ها در HDFS
فضاهای کاربری یا فهرست راهنمای اصلی در HDFS
ایجاد فهرست راهنماها در HDFS
کپی کردن فایل ها و فهرست ها در HDFS
نمای کلی مجوزهای فایل و فهرست
دریافت فایل ها و فهرست ها از HDFS
پیش نمایش فایل های متنی در HDFS
کپی کردن یا انتقال فایلها و فهرستها در HDFS
درک اندازه فایل سیستم و فایل ها
نمای کلی اندازه بلوک و ReplicationFactor
دریافت فراداده فایل با استفاده از hdfs fsck
منابع و تمرینات
شروع به کار Hive
نمای کلی راهنمای زبان Hive
راه اندازی و استفاده از Hive CLI
نمای کلی از ویژگی های کندو
Hive CLI History and hiverc
اجرای دستورات HDFS در Hive CLI
آشنایی با فهرست انبار
ایجاد و استفاده از پایگاه داده Hive
ایجاد و توصیف جداول Hive
متاداده جداول را با استفاده از DESCRIBE بازیابی کنید
نقش پایگاه داده Hive Metastore
نمای کلی beeline
اجرای دستورات و پرسشهای Hive با استفاده از beeline
ایجاد جداول در Hive با استفاده از Hive QL
ایجاد جداول در Hive - سفارشات
نمای کلی انواع داده های پایه در Hive
افزودن نظرات به ستون ها و جداول
بارگیری داده ها در جداول Hive از سیستم فایل محلی
بارگیری داده ها در جداول Hive از HDFS
بارگیری داده ها - بازنویسی در مقابل الحاق
ایجاد جداول خارجی در Hive
مشخص کردن مکان برای جداول Hive
تفاوت بین جدول مدیریت شده و جدول خارجی
جداکنندههای پیشفرض در جداول Hive با استفاده از فایل متنی
نمای کلی فرمتهای فایل در Hive
تفاوتهای Hive و RDBMS
جداول را در Hive کوتاه و رها کنید
منابع و تمرینات
بارگیری/درج داده ها در جداول Hive با استفاده از Hive QL
مقدمه ای بر پارتیشن بندی و سطل بندی
ایجاد جداول با استفاده از قالب Orc - order_items
درج داده ها در جداول با استفاده از Stage Tables
بارگیری در مقابل درج در Hive
ایجاد جداول پارتیشن بندی شده در Hive
افزودن پارتیشن ها به جداول در Hive
در حال بارگیری در پارتیشن ها در جداول Hive
درج داده ها در پارتیشن ها در جداول Hive
درج با استفاده از حالت پارتیشن پویا
ایجاد جداول سطلی در Hive
درج داده ها در جداول سطلی
سطوبندی با مرتب سازی
نمای کلی تراکنشهای ACID
جدول هایی برای تراکنش ها ایجاد کنید
درج رکوردهای فردی در جداول Hive
بهروزرسانی و حذف دادهها در جداول Hive
نمای کلی توابع در Hive
نمای کلی توابع
توابع اعتبارسنجی
دستکاری رشته - تبدیل مورد و طول
دستکاری رشته - substr و split
دستکاری رشته - توابع برش و لایه برداری
دستکاری رشته - معکوس و الحاق چند رشته
دستکاری تاریخ - تاریخ و مهر زمانی فعلی
دستکاری تاریخ - حساب تاریخ
دستکاری تاریخ - trunc
دستکاری تاریخ - با استفاده از قالب تاریخ
دستکاری تاریخ - توابع استخراج
دستکاری تاریخ - برخورد با مهر زمانی یونیکس
نمای کلی توابع عددی
تبدیل نوع داده با استفاده از Cast
بررسی مقادیر پوچ
مثال پرس و جو - دریافت تعداد کلمات
نوشتن پرس و جوهای اساسی در Hive
نمای کلی SQL یا Hive QL
چرخه عمر اجرای Query Hive
مرور گزارشهای جستجوهای Hive
پروژهگذاری دادهها با استفاده از انتخاب و نمای کلی از
مقادیر شرطی را با استفاده از CASE و WHEN استخراج کنید
ارائه ارزشهای متمایز
فیلتر کردن داده ها با استفاده از بند Where
عملیات بولی در بند Where
Bolean OR vs IN Operator
فیلتر کردن داده ها با استفاده از اپراتور LIKE
انجام تجمیع پایه با استفاده از توابع جمع
انجام تجمیع با استفاده از GROUP BY
فیلتر کردن داده های انبوه با استفاده از HAVING
مرتبسازی جهانی با استفاده از ORDER BY
نمای کلی DISTRIBUTE BY
مرتبسازی دادهها در گروهها با استفاده از SORT BY
استفاده از CLUSTERED BY
پیوستن به مجموعه داده ها و تنظیم عملیات در Hive
نمای کلی از جستارهای فرعی تودرتو
پرسمانهای فرعی تودرتو - با استفاده از اپراتور IN
پرسمانهای فرعی تودرتو - با استفاده از اپراتور EXISTS
نمای کلی Joins در Hive
اجرای اتصالات داخلی با استفاده از Hive
اجرای اتصالات بیرونی با استفاده از Hive
اجرای اتصالات بیرونی کامل با استفاده از Hive
Map Side Join و Reduce Side Join در Hive
پیوستن به Hive با استفاده از Legacy Syntax
پیوستن متقاطع در Hive
نمای کلی از مجموعه عملیات در Hive
Set Union را بین دو نتیجه Hive Query انجام دهید
تنظیم عملیات - تقاطع و منهای پشتیبانی نمی شود
عملکردهای Windowing یا Analytics در Hive
پایگاه داده منابع انسانی را در Hive با جدول کارکنان آماده کنید
نمای کلی عملکردهای Analytics یا Windowing در Hive
انجام تجمیع با استفاده از Hive Queries
برای دریافت درآمد روزانه با استفاده از CTAS در Hive جداول ایجاد کنید
دریافت لید و تاخیر با استفاده از توابع پنجره در Hive
دریافت اولین و آخرین مقادیر با استفاده از توابع Windowing در Hive
اعمال رتبه با استفاده از توابع Windowing در Hive
اعمال رتبه متراکم با استفاده از توابع پنجره در Hive
اعمال شماره ردیف با استفاده از توابع پنجره در Hive
تفاوت بین رتبه، رتبه_ متراکم، و شماره_ردیف در Hive
درک ترتیب اجرای Hive Queries
نمای کلی از جستارهای فرعی تودرتو در Hive
فیلتر کردن داده ها در عملکردهای بالای پنجره در Hive
دریافت 5 محصول برتر بر اساس درآمد برای هر روز با استفاده از عملکردهای پنجره در Hive - Recap
اجرای پرس و جوها با استفاده از Impala
معرفی ایمپالا
نقش ایمپالا دیمون
فروشگاه ایالتی ایمپالا و سرور کاتالوگ
نمای کلی Impala Shell
رابطه بین Hive و Impala
نمای کلی ایجاد پایگاههای داده و جداول با استفاده از Impala
بارگیری و درج داده ها در جداول با استفاده از Impala
اجرای پرس و جوها با استفاده از Impala Shell
مرور گزارشهای جستجوهای ایمپالا
همگام سازی Hive و Impala - با استفاده از فراداده نامعتبر
اجرای اسکریپت ها با استفاده از Impala Shell
تکالیف - با استفاده از داده های NYSE
تکالیف - راه حل
شروع به کار با Sqoop
معرفی Sqoop
پایگاه داده منبع را تأیید کنید - MySQL
JDBC Jar را برای اتصال به MySQL مرور کنید
دریافت راهنمایی با استفاده از Sqoop CLI
نمای کلی راهنمای کاربر Sqoop
تأیید اعتبار ادغام Sqoop و MySQL با استفاده از پایگاه داده Sqoop List
فهرست کردن جداول در پایگاه داده با استفاده از Sqoop
پرس و جوها را در MySQL با استفاده از Sqoop Eval اجرا کنید
درک گزارشها در Sqoop
تغییر مسیر Sqoop Job Logs به Log Files
وارد کردن داده از MySQL به HDFS با استفاده از Sqoop Import
نمای کلی از فرمان واردات Sqoop
سفارشها را با استفاده از target-dir وارد کنید
وارد کردن اقلام سفارش با استفاده از warehouse-dir
مدیریت فهرستهای راهنمای HDFS
جریان اجرای واردات Sqoop
مرور گزارشهای Sqoop Import
Sqoop Import تعیین تعداد Mappers
فایل های خروجی تولید شده توسط Sqoop Import را مرور کنید
ورود قالبهای فایل پشتیبانیشده Sqoop
تأیید اعتبار فایلهای avro با استفاده از ابزار Avro
وارد کردن Sqoop با استفاده از فشرده سازی
Apache Sqoop - وارد کردن داده به HDFS - سفارشی کردن
مقدمه ای بر سفارشی سازی Sqoop Import
وارد کردن با تعیین ستونها
وارد کردن Sqoop با استفاده از Boundary Query
هنگام فیلتر کردن دادههای غیرضروری وارد کردن را انجام دهید
Sqoop Import با استفاده از Split By برای توزیع واردات با استفاده از ستون غیر پیشفرض
دریافت نتایج جستجو با استفاده از Sqoop eval
برخورد با جداول با کلیدهای ترکیبی هنگام استفاده از Sqoop Import
برخورد با جداول دارای فیلدهای کلید غیر عددی در حین استفاده از Sqoop Import
برخورد با جداول بدون فیلدهای کلیدی هنگام استفاده از Sqoop Import
استفاده از تنظیم خودکار به یک نگاشت برای استفاده از تنها یک نگاشت هنگام وارد کردن داده ها با استفاده از Sqoop از جداول بدون فیلد کلیدی
جداکنندههای پیشفرض استفاده شده توسط Sqoop Import برای قالب فایل متنی
تعیین جداکننده برای Sqoop Import با استفاده از قالب فایل متنی
برخورد با مقادیر پوچ با استفاده از Sqoop Import
Tables Multiple را از پایگاه داده منبع با استفاده از Sqoop Import وارد کنید
وارد کردن داده از MySQL به جداول Hive با استفاده از Sqoop Import
نمای کلی سریع Hive
پایگاه داده Hive را برای Sqoop Import ایجاد کنید
برای Sqoop Import جدول خالی Hive ایجاد کنید
داده ها را با استفاده از Sqoop Import از جدول پایگاه داده منبع به Hive Table وارد کنید
مدیریت Hive Tables هنگام وارد کردن داده با استفاده از Sqoop Import با استفاده از Overwrite
مدیریت جداول Hive هنگام وارد کردن دادهها با استفاده از Sqoop Import - اگر جدول از قبل وجود داشته باشد خطاها وجود دارد
درک جریان اجرای Sqoop Import در جداول Hive
بازبینی فایلهای تولید شده توسط Sqoop Import در Hive Tables
Sqoop Delimiters در مقابل Hive Delimiters
فرمت های مختلف فایل پشتیبانی شده توسط Sqoop Import هنگام وارد کردن به جداول Hive
Sqoop وارد کردن همه جداول به Hive از پایگاه داده منبع
صادرات داده از HDFS/Hive به MySQL با استفاده از Sqoop Export
مقدمه ای بر صادرات Sqoop
داده ها را برای Sqoop Export آماده کنید
جدول در MySQL برای Sqoop Export ایجاد کنید
صادرات ساده Sqoop را از جدول HDFS به MySQL انجام دهید
درک جریان اجرای Sqoop Export
تعیین تعداد Mapperها برای Sqoop Export
عیب یابی مشکلات مربوط به Sqoop Export
ادغام یا اضافه کردن داده ها با استفاده از Sqoop Export - نمای کلی
نمای کلی سریع MySQL - Upsert با استفاده از Sqoop Export
داده ها را با استفاده از کلید Update با استفاده از Sqoop Export به روز کنید
ادغام داده ها با استفاده از allowInsert در Sqoop Export
تعیین ستون ها با استفاده از Sqoop Export
تعیین جداکننده ها با استفاده از Sqoop Export
استفاده از Stage Table برای Sqoop Export
ارسال مشاغل Sqoop و واردات افزایشی Sqoop
مقدمه ای بر Sqoop Jobs
افزودن فایل رمز عبور برای Sqoop Jobs
ایجاد شغل Sqoop
اجرای Sqoop Job
نمای کلی بارهای افزایشی با استفاده از Sqoop
وارد کردن افزایشی Sqoop - با استفاده از Where
وارد کردن افزایشی Sqoop - با استفاده از حالت افزودن
وارد کردن افزایشی Sqoop - ایجاد جدول
وارد کردن افزایشی Sqoop - ایجاد کار Sqoop
واردات افزایشی Sqoop - اجرای کار
واردات افزایشی Sqoop - افزودن داده های اضافی
واردات افزایشی Sqoop - اجرای مجدد کار
وارد کردن افزایشی Sqoop - با استفاده از آخرین تغییر
در اینجا اهداف این دوره آمده است.
ساختار را برای داده ها ارائه دهید
از عبارات زبان تعریف داده (DDL) برای ایجاد یا تغییر ساختارها در متاستور برای استفاده توسط Hive و Impala استفاده کنید.
جدولها را با استفاده از انواع دادهها، جداکنندهها و قالبهای فایل ایجاد کنید
جدول جدید را با استفاده از جداول موجود برای تعریف طرحواره ایجاد کنید
با ایجاد جداول پارتیشن بندی شده در متاستور، عملکرد پرس و جو را بهبود بخشید
جدولها را برای اصلاح طرح موجود تغییر دهید
نماها را به منظور ساده کردن پرس و جوها ایجاد کنید
تجزیه و تحلیل داده ها
از عبارات Query Language (QL) در Hive و Impala برای تجزیه و تحلیل دادهها در خوشه استفاده کنید.
گزارشها را با استفاده از دستورات SELECT از جمله اتحادیهها و پرسشهای فرعی تهیه کنید
محاسبه آمار کل، مانند مجموع و میانگین، در طول یک پرس و جو
با استفاده از دستورات پیوستن، پرس و جوهایی را در برابر چندین منبع داده ایجاد کنید
با استفاده از توابع داخلی قالب خروجی پرس و جوها را تغییر دهید
پرسشها را در گروهی از ردیفها با استفاده از توابع پنجرهسازی انجام دهید
تمرینهایی برای داشتن تمرین کافی برای بهتر شدن در Sqoop و همچنین نوشتن عبارتهای جستجو با استفاده از Hive و Impala ارائه میشود.
همه نسخههای نمایشی در کلاستر Big Data پیشرفته ما ارائه میشوند. اگر خوشه چند گره ندارید، می توانید در آزمایشگاه های ما ثبت نام کنید و در خوشه چند گره ما تمرین کنید. میتوانید Sqoop و Hive را در خوشه تمرین کنید.
مشاور فناوری و Evangelist 13 سال تجربه در اجرای پروژه های پیچیده با استفاده از مجموعه گسترده ای از فناوری ها از جمله Big Data و Cloud. Iversity، llc - یک شرکت مستقر در ایالات متحده برای ارائه آموزش با کیفیت برای متخصصان فناوری اطلاعات و کارکنان و همچنین راه حل های مشاوره ای برای مشتریان سازمانی ، پیدا کردم. من هزاران نفر از متخصصان فناوری اطلاعات را در زمینه فن آوری های زیادی از جمله Big Data و Cloud آموزش داده ام. ایجاد حرفه ای فناوری اطلاعات برای افراد و ارائه خدمات با کیفیت به مشتریان از اهمیت بالاتری در سازمان ما برخوردار است. به عنوان یک استراتژی ورود ، ارائه آموزش با کیفیت در زمینه های ABCD خواهد بود * توسعه برنامه * داده های بزرگ و هوش تجاری * ابر * پایگاه داده ، پایگاه داده
Asasri Manthena
نمایش نظرات