لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش برنامه نویسی Spark در پایتون برای مبتدیان با Apache Spark 3 [ویدئو]
Spark Programming in Python for Beginners with Apache Spark 3 [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
اگر به دنبال گسترش دانش خود در زمینه مهندسی داده هستید یا می خواهید با افزودن برنامه نویسی Spark به مجموعه مهارت های خود، نمونه کار خود را ارتقا دهید، در جای مناسبی هستید. این دوره به شما کمک می کند تا برنامه نویسی Spark را درک کنید و آن دانش را برای ساخت راه حل های مهندسی داده به کار ببرید. این دوره مبتنی بر مثال است و از رویکردی شبیه به جلسه کاری پیروی می کند. ما یک رویکرد برنامه نویسی زنده را در پیش خواهیم گرفت و تمام مفاهیم مورد نیاز در طول مسیر را توضیح خواهیم داد.
در این دوره با معرفی سریع آپاچی اسپارک شروع می کنیم و سپس با نصب و استفاده از آپاچی اسپارک محیط خود را راه اندازی می کنیم. در ادامه با مدل و معماری اجرای Spark و مدل برنامه نویسی Spark و تجربه توسعه دهنده آشنا خواهیم شد. در مرحله بعد، پایه API ساختار یافته Spark را پوشش می دهیم و سپس به سمت منابع داده و سینک های Spark حرکت می کنیم.
سپس تغییرات Spark Dataframe و Dataframe را پوشش خواهیم داد. همچنین تجمیعها را در آپاچی اسپارک پوشش میدهیم و در نهایت، اتصالات Spark Dataframe را پوشش میدهیم.
در پایان این دوره، شما قادر خواهید بود راه حل های مهندسی داده را با استفاده از Spark structured API در پایتون بسازید.
تمام منابع این دوره در https://github.com/PacktPublishing/Spark-Programming-in-Python-for-Beginners-with-Apache-Spark-3 در دسترس است. Learn Apache Spark Foundation and Spark architecture
مهندسی داده و پردازش داده را در اسپارک بیاموزید
با منابع داده و سینک کار کنید
با فریم های داده و Spark SQL کار کنید
از PyCharm IDE برای توسعه Spark و اشکال زدایی استفاده کنید
آموزش تست واحد، مدیریت لاگ های برنامه و استقرار خوشه این دوره برای مهندسان نرم افزاری طراحی شده است که مایل به توسعه خط لوله و برنامه مهندسی داده با استفاده از Apache Spark هستند. برای معماران داده و مهندسان داده که مسئول طراحی و ساخت زیرساخت های داده محور سازمان هستند، برای مدیران و معمارانی که مستقیماً با پیاده سازی Spark کار نمی کنند اما با افرادی که آپاچی اسپارک را در سطح زمین پیاده سازی می کنند کار می کنند.
این دوره نیازی به دانش قبلی Apache Spark یا Hadoop ندارد. فقط دانش برنامه نویسی با استفاده از زبان برنامه نویسی پایتون مورد نیاز است. راه حل های مهندسی داده های خود را با استفاده از Spark structured API در پایتون بسازید * درک عمیقی از معماری، اکوسیستم و شیوه های Apache Hadoop به دست آورید * آموزش استفاده از اصول برنامه نویسی Spark
سرفصل ها و درس ها
معرفی اسپارک آپاچی
Apache Spark Introduction
Big Data History و Primer
Big Data History and Primer
درک چشم انداز دریاچه داده
Understanding the Data Lake Landscape
Apache Spark چیست - مقدمه و مروری
What is Apache Spark - An Introduction and Overview
نصب و استفاده از آپاچی اسپارک
Installing and Using Apache Spark
محیط های توسعه جرقه
Spark Development Environments
کاربران مک - Apache Spark در حالت محلی خط فرمان REPL
Mac Users - Apache Spark in Local Mode Command Line REPL
کاربران ویندوز - Apache Spark در حالت Local Mode Command Line REPL
Windows Users - Apache Spark in Local Mode Command Line REPL
کاربران مک - Apache Spark در IDE - PyCharm
Mac Users - Apache Spark in the IDE - PyCharm
کاربران ویندوز - Apache Spark در IDE - PyCharm
Windows Users - Apache Spark in the IDE - PyCharm
Apache Spark در Cloud - Databricks Community and Notebooks
Apache Spark in Cloud - Databricks Community and Notebooks
جرقه آپاچی در آناکوندا - نوت بوک Jupyter
Apache Spark in Anaconda - Jupyter Notebook
مدل و معماری اجرای جرقه
Spark Execution Model and Architecture
روش های اجرا - چگونه برنامه های Spark را اجرا کنیم؟
Execution Methods - How to Run Spark Programs?
مدل پردازش توزیع شده اسپارک - برنامه شما چگونه اجرا می شود؟
Spark Distributed Processing Model - How Your Program Runs?
حالت های اجرای جرقه و مدیران خوشه
Spark Execution Modes and Cluster Managers
خلاصه کردن مدل های اجرای جرقه - چه زمانی از چه چیزی استفاده کنیم؟
Summarizing Spark Execution Models - When to Use What?
کار با PySpark Shell - نسخه ی نمایشی
Working with PySpark Shell - Demo
پارتیشن ها و مجریان چارچوب داده
Data Frame Partitions and Executors
جرقه تحولات و اقدامات
Spark Transformations and Actions
مراحل و وظایف Spark Jobs
Spark Jobs Stages and Task
درک برنامه اجرایی شما
Understanding your Execution Plan
اپلیکیشن اسپارک تست واحد
Unit Testing Spark Application
جمع بندی خلاصه
Rounding off Summary
Spark Structured API Foundation
Spark Structured API Foundation
مقدمه ای بر Spark API
Introduction to Spark APIs
مقدمه ای بر Spark RDD API
Introduction to Spark RDD API
کار با Spark SQL
Working with Spark SQL
Spark SQL Engine و Catalyst Optimizer
Spark SQL Engine and Catalyst Optimizer
خلاصه بخش
Section Summary
منابع و سینک های داده اسپارک
Spark Data Sources and Sinks
منابع و سینک های داده اسپارک
Spark Data Sources and Sinks
Spark DataFrameReader API
Spark DataFrameReader API
خواندن فایل های CSV، JSON و Parquet
Reading CSV, JSON and Parquet files
ایجاد Spark DataFrame Schema
Creating Spark DataFrame Schema
Spark DataFrameWriter API
Spark DataFrameWriter API
نوشتن داده ها و مدیریت طرح
Writing Your Data and Managing Layout
پایگاه های داده و جداول Spark
Spark Databases and Tables
کار با جداول Spark SQL
Working with Spark SQL Tables
Spark Dataframe و Dataset Transformations
Spark Dataframe and Dataset Transformations
مقدمه ای بر تبدیل داده ها
Introduction to Data Transformation
کار با ردیف های Dataframe
Working with Dataframe Rows
سطرهای DataFrame و تست واحد
DataFrame Rows and Unit Testing
ردیف های چارچوب داده و داده های بدون ساختار
Dataframe Rows and Unstructured data
کار با ستون های Dataframe
Working with Dataframe Columns
ایجاد و استفاده از UDF
Creating and Using UDF
تبدیل های متفرقه
Misc Transformations
تجمعات در آپاچی اسپارک
Aggregations in Apache Spark
جمع آوری Dataframes
Aggregating Dataframes
گروه بندی تجمعات
Grouping Aggregations
پنجره های جمع آوری
Windowing Aggregations
Spark Dataframe Joins
Spark Dataframe Joins
ابهام اتصالات فریم داده و نام ستون
Dataframe Joins and Column Name Ambiguity
اتصالات بیرونی در Dataframe
Outer Joins in Dataframe
موارد داخلی Spark Join و Shuffle
Internals of Spark Join and shuffle
بهینه سازی اتصالات
Optimizing Your Joins
پیاده سازی اتصالات سطلی
Implementing Bucket Joins
به یادگیری ادامه دهید
Keep Learning
کلمه پایانی
Final Word
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
ScholarNest یک تیم کوچک از افرادی است که با پر کردن شکاف بین مهارتهای موجود و مورد نیازشان، علاقه زیادی به کمک به دیگران برای یادگیری و رشد در حرفهشان دارند. آنها با هم بیش از 40 سال تجربه در فناوری اطلاعات به عنوان توسعه دهنده، معمار، مشاور، مربی و مربی دارند. آنها با سازمان های خدمات نرم افزاری بین المللی در پروژه های مختلف داده محور و کلان داده کار کرده اند. این تیمی متشکل از اعتقاد راسخ به یادگیری مستمر مادام العمر و توسعه مهارت است. برای محبوب کردن اهمیت یادگیری مداوم، آنها شروع به انتشار فیلم های آموزشی رایگان در کانال یوتیوب خود کردند. آنها مفهوم یادگیری مستمر را مفهومسازی کردند و مجلهای از یادگیری ما را تحت عنوان مجله یادگیری ایجاد کردند.
نمایش نظرات