لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش برنامه نویسی Spark در اسکالا برای مبتدیان با Apache Spark 3 [ویدئو]
Spark Programming in Scala for Beginners with Apache Spark 3 [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
Apache Spark یک موتور تجزیه و تحلیل یکپارچه سریع رعد و برق برای داده های بزرگ و یادگیری ماشین است. از زمان انتشار، آپاچی اسپارک به سرعت توسط شرکت ها در طیف گسترده ای از صنایع مورد پذیرش قرار گرفته است. نیروگاه های اینترنتی مانند نتفلیکس، یاهو و eBay اسپارک را در مقیاس وسیعی به کار گرفته اند. به سرعت به بزرگترین انجمن منبع باز در داده های بزرگ تبدیل شده است. بنابراین، تسلط بر آپاچی اسپارک طیف گسترده ای از فرصت های حرفه ای را باز می کند.
این دوره با مقدمه ای بر Apache Spark شروع می شود که در آن به طور خلاصه می بینید که Apache Spark چیست. سپس، Apache Spark را نصب و استفاده می کنید. پس از آن، مدل اجرای Spark و معماری آن را به تفصیل مشاهده خواهید کرد. در مرحله بعد، مدل برنامه نویسی Spark و تجربه توسعه دهنده را یاد خواهید گرفت. پس از آن، به بنیاد API ساختار یافته Spark و منابع و سینک های داده Spark نگاه خواهید کرد. سپس، تغییر قاب و مجموعه داده Spark را به همراه تجمیعها در Apache Spark کاوش خواهید کرد. در نهایت، اتصالات فریم Spark Data را با جزئیات مشاهده خواهید کرد.
در پایان این دوره، برنامه نویسی Spark را درک خواهید کرد و از آن دانش برای ساخت راه حل های مهندسی داده استفاده می کنید.
همه فایل های منبع در مخزن GitHub در https://github.com/PacktPublishing/Spark-Programming-in-Scala-for-Beginners-with-Apache-Spark-3 آپلود می شوند. Learn Apache Spark و معماری Spark
به مهندسی داده و پردازش داده در Spark نگاه کنید
با منابع داده و سینک کار کنید
با فریم های داده، مجموعه داده ها و Spark SQL کار کنید
از IntelliJ IDEA برای توسعه و اشکال زدایی Spark استفاده کنید
درک تست واحد، مدیریت لاگ های برنامه و استقرار خوشه این دوره برای مهندسان نرم افزاری طراحی شده است که مایل به توسعه خط لوله مهندسی داده و برنامه با استفاده از اسپارک آپاچی هستند. همچنین برای معماران داده و مهندسان داده است که مسئول طراحی و ساخت زیرساخت داده محور سازمان هستند. همچنین برای مدیران و معمارانی که مستقیماً با پیادهسازی Spark کار نمیکنند مفید خواهد بود و همچنان با افرادی که آپاچی اسپارک را در سطح زمین پیادهسازی میکنند کار میکنند.
قبل از ادامه دوره، به دانش اولیه زبان برنامه نویسی اسکالا نیاز دارید. یک دوره جامع طراحی شده برای سطح مبتدی برای برنامه نویسی Spark در اسکالا * شیرجه عمیق به معماری Spark 3 و مهندسی داده * کد منبع آزمایش شده کامل و نمونه های مورد استفاده در توزیع منبع باز Apache Spark 3.0.0 از انتهای نویسنده
سرفصل ها و درس ها
معرفی آپاچی اسپارک
Apache Spark introduction
Big Data History و Primer
Big Data History and Primer
درک چشم انداز دریاچه داده
Understanding the Data Lake Landscape
آپاچی اسپارک چیست؟
What Is Apache Spark?
نصب و استفاده از آپاچی اسپارک
Installing and Using Apache Spark
محیط های توسعه جرقه
Spark Development Environments
Apache Spark در حالت Local Mode Command Line REPL
Apache Spark in Local Mode Command Line REPL
Apache Spark در IDE - IntelliJ IDEA
Apache Spark in the IDE - IntelliJ IDEA
Apache Spark در Cloud - Databricks Community and Notebooks
Apache Spark in Cloud - Databricks Community and Notebooks
آپاچی اسپارک در اکوسیستم هادوپ - نوت بوک های زپلین
Apache Spark in Hadoop Ecosystem - Zeppelin Notebooks
مدل و معماری اجرای جرقه
Spark Execution Model and Architecture
روش های اجرا - چگونه برنامه های Spark را اجرا کنیم؟
Execution Methods - How to Run Spark Programs?
مدل پردازش توزیع شده اسپارک - برنامه شما چگونه اجرا می شود؟
Spark Distributed Processing Model - How Your Program Runs?
حالت های اجرای جرقه و مدیران خوشه
Spark Execution Modes and Cluster Managers
خلاصه کردن مدل های اجرای جرقه - چه زمانی از چه چیزی استفاده کنیم؟
Summarizing Spark Execution Models - When to Use What?
کار با Spark Shell - نسخه ی نمایشی
Working with Spark Shell - Demo
پارتیشن ها و مجریان چارچوب داده
Data Frame Partitions and Executors
جرقه تحولات و اقدامات
Spark Transformations and Actions
مراحل و وظایف Spark Jobs
Spark Jobs Stages and Tasks
درک برنامه اجرایی شما
Understanding Your Execution Plan
اپلیکیشن اسپارک تست واحد
Unit Testing Spark Application
اشکال زدایی درایور و مجری Spark
Debugging Spark Driver and Executor
گزارش برنامه Spark در یک خوشه
Spark Application Logs in a Cluster
جمع بندی خلاصه
Rounding Off Summary
Spark Structured API Foundation
Spark Structured API Foundation
مقدمه ای بر Spark API
Introduction to Spark APIs
مقدمه ای بر Spark RDD API
Introduction to Spark RDD API
مجموعه داده در مقابل چارچوب داده
Dataset Versus Data Frame
کار با Spark Dataset
Working with Spark Dataset
کار با Spark SQL
Working with Spark SQL
Spark SQL Engine و Catalyst Optimizer
Spark SQL Engine and Catalyst Optimizer
خلاصه بخش
Section Summary
منابع و سینک های داده اسپارک
Spark Data Sources and Sinks
مقدمه ای بر منابع و سینک های جرقه
Introduction to Spark Sources and Sinks
Spark DataFrameReader API
Spark DataFrameReader API
خواندن فایلهای CSV، JSON و Parket
Reading CSV, JSON, and Parquet files
ایجاد Spark DataFrame Schema
Creating Spark DataFrame Schema
Spark DataFrameWriter API
Spark DataFrameWriter API
نوشتن داده ها و مدیریت طرح
Writing Your Data and Managing Layout
پایگاه های داده و جداول Spark
Spark Databases and Tables
کار با جداول Spark SQL
Working with Spark SQL Tables
Spark DataFrame و Dataset Transformations
Spark DataFrame and Dataset Transformations
مقدمه ای بر تبدیل داده ها
Introduction to Data Transformation
کار با ردیف های DataFrame
Working with DataFrame Rows
سطرهای DataFrame و تست واحد
DataFrame Rows and Unit Testing
ردیف های DataFrame و داده های بدون ساختار
DataFrame Rows and Unstructured data
کار با ستون های DataFrame
Working with DataFrame Columns
ایجاد و استفاده از UDF
Creating and Using UDF
تحولات متفرقه
Miscellaneous Transformations
تجمعات در آپاچی اسپارک
Aggregations in Apache Spark
جمع آوری DataFrames
Aggregating DataFrames
گروه بندی تجمعات
Grouping Aggregations
پنجره های جمع آوری
Windowing Aggregations
Spark DataFrame Joins
Spark DataFrame Joins
ابهام اتصالات DataFrame و نام ستون
DataFrame Joins and Column Name Ambiguity
اتصالات بیرونی در DataFrame
Outer Joins in DataFrame
اجزای داخلی Spark Join و Shuffle
Internals of Spark Join and Shuffle
بهینه سازی اتصالات
Optimizing Your Joins
پیاده سازی اتصالات سطلی
Implementing Bucket Joins
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
ScholarNest یک تیم کوچک از افرادی است که با پر کردن شکاف بین مهارتهای موجود و مورد نیازشان، علاقه زیادی به کمک به دیگران برای یادگیری و رشد در حرفهشان دارند. آنها با هم بیش از 40 سال تجربه در فناوری اطلاعات به عنوان توسعه دهنده، معمار، مشاور، مربی و مربی دارند. آنها با سازمان های خدمات نرم افزاری بین المللی در پروژه های مختلف داده محور و کلان داده کار کرده اند. این تیمی متشکل از اعتقاد راسخ به یادگیری مستمر مادام العمر و توسعه مهارت است. برای محبوب کردن اهمیت یادگیری مداوم، آنها شروع به انتشار فیلم های آموزشی رایگان در کانال یوتیوب خود کردند. آنها مفهوم یادگیری مستمر را مفهومسازی کردند و مجلهای از یادگیری ما را تحت عنوان مجله یادگیری ایجاد کردند.
نمایش نظرات