برای پردازش و تجزیه و تحلیل مجموعه دادههای بزرگ، با مجموعه دادههای توزیعشده (RDD) انتزاعی اولیه Apache Spark کار کنید.
برنامههای Apache Spark 3.0 را با استفاده از تبدیلها و اقدامات RDD و Spark SQL توسعه دهید.
تجزیه و تحلیل داده های ساختاریافته و نیمه ساختار یافته با استفاده از Datasets و DataFrames و ایجاد درک کامل در مورد Spark SQL.
Apache Spark با Scala برای گواهینامه Databricks مفید است (غیر رسمی)
Apache Spark با اسکالا یک دوره آموزشی کرش برای علاقه مندان به گواهینامه Databricks (غیر رسمی) برای مبتدیان است
تجزیه و تحلیل «دادههای بزرگ» یک مهارت داغ و بسیار ارزشمند است – و این دوره به شما داغترین فناوری در دادههای بزرگ را آموزش میدهد: Apache Spark. کارفرمایان از جمله آمازون، eBay، ناسا، یاهو و بسیاری دیگر. همه از Spark استفاده میکنند. برای استخراج سریع معنی از مجموعه داده های عظیم در یک خوشه Hadoop مقاوم در برابر خطا. شما همان تکنیک ها را با استفاده از سیستم عامل خود در خانه یاد خواهید گرفت.
بنابراین، در این دوره چه چیزی را می خواهیم پوشش دهیم؟
با بیش از 30 مثال عملی، هنر قاببندی مسائل تجزیه و تحلیل دادهها را بهعنوان مشکلات Spark بیاموزید و به آنها مسلط شوید و سپس آنها را برای اجرای سرویسهای محاسبات ابری Databricks (سرویس رایگان) در این دوره اجرا کنید. خوب، دوره شامل موضوعاتی است که برای صدور گواهینامه گنجانده شده است:
1) اجزای معماری Spark
راننده،
Core/Slots/Threads،
مجری
پارتیشن ها
2) اجرای جرقه
شغل
وظایف
مراحل
3) مفاهیم جرقه
در حال ذخیره،
تغییرهای قاب داده در مقابل اقدامات، درهم ریختن
پارتیشن بندی، تغییر شکل گسترده در مقابل باریک
4) DataFrames API
DataFrameReader
DataFrameWriter
DataFrame [مجموعه داده]
5) ستون ردیف (DataFrame)
6) توابع Spark SQL
برای شروع دوره و برای انجام این کار، باید محیط خود را تنظیم کنید.
بنابراین، اولین چیزی که به آن نیاز دارید یک مرورگر وب است که می تواند (Google Chrome یا Firefox، یا Safari، یا Microsoft Edge (آخرین نسخه)) روی دسکتاپ Windows، Linux، و macOS باشد
این آموزش کاملاً عملی با محیط Databricks است.
این دوره برای چه کسانی است:
مبتدیان Apache Spark، مبتدیان Apache Spark Developer، Bigdata Engineers or Developers، توسعه دهنده نرم افزار، مهندس یادگیری ماشین، دانشمند داده
سرفصل ها و درس ها
مقدمه
Introduction
مقدمه
Introduction
دانلود منابع
Download Resources
دانلود منابع
Download Resources
مقدمه ای بر اجزای معماری اسپارک و اسپارک
Introduction to Spark and Spark Architecture Components
مقدمه ای بر اسپارک
Introduction to Spark
ایجاد حساب رایگان (قدیمی) در Databricks
(Old) Free Account creation in Databricks
(جدید) ایجاد حساب کاربری رایگان در Databricks
(New) Free Account creation in Databricks
تهیه یک خوشه جرقه
Provisioning a Spark Cluster
اصول اولیه در مورد نوت بوک
Basics about notebooks
چرا باید آپاچی اسپارک را یاد بگیریم؟
Why we should learn Apache Spark?
اجزای معماری اسپارک
Spark Architecture Components
راننده
Driver
پارتیشن ها
Partitions
مجریان
Executors
اجرای جرقه
Spark Execution
جابز جرقه
Spark Jobs
مراحل جرقه
Spark Stages
وظایف جرقه
Spark Tasks
نمایش عملی مشاغل، وظایف و مراحل
Practical Demonstration of Jobs, Tasks and Stages
Spark SQL، DataFrames و Datasets
Spark SQL, DataFrames and Datasets
Spark RDD (ایجاد و نمایش عملی)
Spark RDD (Create and Display Practical)
Spark Dataframe (ایجاد و نمایش عملی)
Spark Dataframe (Create and Display Practical)
توابع ناشناس در اسکالا
Anonymus Functions in Scala
اضافی (اختیاری در Spark DataFrame)
Extra (Optional on Spark DataFrame)
اضافی (اختیاری در Spark DataFrame) در جزئیات
Extra (Optional on Spark DataFrame) in Details
مجموعه داده های Spark (ایجاد و نمایش عملی)
Spark Datasets (Create and Display Practical)
ذخیره سازی
Caching
نکاتی در مورد خواندن فایل ها با Spark
Notes on reading files with Spark
فایل CSV منبع داده
Data Source CSV File
منبع داده فایل JSON
Data Source JSON File
منبع داده فایل LIBSVM
Data Source LIBSVM File
فایل تصویر منبع داده
Data Source Image File
منبع داده فایل Arvo
Data Source Arvo File
فایل پارکت منبع داده
Data Source Parquet File
عملیات مجموعه داده های تایپ نشده (معروف به عملیات DataFrame)
Untyped Dataset Operations (aka DataFrame Operations)
اجرای پرس و جوهای SQL به صورت برنامه ای
Running SQL Queries Programmatically
نمای موقت جهانی
Global Temporary View
ایجاد مجموعه داده ها
Creating Datasets
توابع اسکالر (توابع اسکالر داخلی) قسمت 1
Scalar Functions (Built-in Scalar Functions) Part 1
توابع اسکالر (توابع اسکالر داخلی) قسمت 2
Scalar Functions (Built-in Scalar Functions) Part 2
توابع اسکالر (توابع اسکالر داخلی) قسمت 3
Scalar Functions (Built-in Scalar Functions) Part 3
توابع اسکالر تعریف شده توسط کاربر
User Defined Scalar Functions
یودمی یکی از بزرگترین پلتفرمهای آموزشی آنلاین است که به میلیونها کاربر در سراسر جهان امکان دسترسی به دورههای متنوع و کاربردی را فراهم میکند. این پلتفرم امکان آموزش در زمینههای مختلف از فناوری اطلاعات و برنامهنویسی گرفته تا زبانهای خارجی، مدیریت، و هنر را به کاربران ارائه میدهد. با استفاده از یودمی، کاربران میتوانند به صورت انعطافپذیر و بهینه، مهارتهای جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.
یکی از ویژگیهای برجسته یودمی، کیفیت بالای دورهها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد میدهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و میتوانند به بهترین شکل ممکن از آموزشها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرمهای آموزشی آنلاین، به افراد امکان میدهد تا به راحتی و با کیفیت، مهارتهای مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.
مهندس Bigdata من معمار راه حل هستم با 12 سال تجربه در صنعت بانکداری ، ارتباطات از راه دور و خدمات مالی در طیف متنوعی از نقش ها در برنامه های کارت اعتباری ، پرداخت ها ، انبار داده و مرکز داده
نقش من به عنوان Bigdata و Cloud Architect به عنوان بخشی از تیم Bigdata برای ارائه راه حل نرم افزاری کار می کنم.
مسئولیت ها شامل
- از همه مسائل مربوط به Hadoop پشتیبانی کنید
- معیار سیستم های موجود ، تجزیه و تحلیل چالش های سیستم موجود/گلوگاه ها و پیشنهاد راه حل های مناسب برای از بین بردن آنها بر اساس فن آوری های مختلف Big Data
- تجزیه و تحلیل و تعریف جوانب مثبت و منفی فناوری ها و سیستم عامل های مختلف
- موارد استفاده ، راه حل ها و توصیه ها را تعریف کنید
- استراتژی Big Data را تعریف کنید
- انجام تجزیه و تحلیل دقیق از مشکلات کسب و کار و محیط های فنی
- راه حل عملی بزرگ داده را بر اساس تجزیه و تحلیل نیازهای مشتری تعریف کنید
- توصیه های عملی Big Big Cluster را تعریف کنید
- به مشتریان در مورد فن آوری های مختلف Big Data آموزش دهید تا به آنها در درک نکات مثبت و منفی Big Data کمک کند
- حاکمیت داده ها
- ساخت ابزارهایی برای بهبود بهره وری توسعه دهنده و اجرای روشهای استاندارد
نمایش نظرات