کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش پردازش جریان بیدرنگ با استفاده از Apache Spark 3 برای توسعه دهندگان پایتون [ویدئو]

Real-Time Stream Processing Using Apache Spark 3 for Python Developers [Video]

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
توضیحات دوره: اولین قدم های خود را برای کشف، یادگیری و استفاده از Apache Spark 3.0 بردارید. ما در این دوره با ساختار دقیق، یک رویکرد برنامه نویسی زنده را در پیش خواهیم گرفت و تمام مفاهیم اصلی مورد نیاز در طول مسیر را توضیح خواهیم داد. در این دوره، مفاهیم پردازش جریان بلادرنگ، APIهای جریان ساختاری Spark و معماری را درک خواهیم کرد. ما با جریان های فایل، منبع کافکا و ادغام Spark با کافکا کار خواهیم کرد. در مرحله بعد، ما در مورد تحولات جریان بدون حالت و کامل یاد خواهیم گرفت. سپس سنگدانه های پنجره را با استفاده از Spark stream بپوشانید. در مرحله بعد، ما واترمارکینگ و پاکسازی حالت را پوشش خواهیم داد. پس از آن، پیوستن‌ها و تجمیع جریان‌ها را پوشش می‌دهیم و مشکلات حافظه را با پیوستن‌های جریانی حل می‌کنیم. در نهایت، یاد بگیرید که سینک های جریان دلخواه ایجاد کنید. در پایان این دوره، شما قادر خواهید بود با استفاده از آپاچی اسپارک، اپلیکیشن های پردازش جریانی را در زمان واقعی ایجاد کنید. تمام منابع دوره در https://github.com/PacktPublishing/Real-time-stream-processing-using-Apache-Spark-3-for-Python-developers موجود است. پنجره‌بندی مصالح با استفاده از جریان اسپارک Watermarking و پاکسازی حالت را یاد بگیرید پیوستن ها و تجمیع های جریانی را پیاده سازی کنید رسیدگی به مشکلات حافظه با پیوستن به جریان آموزش ایجاد سینک های جریان دلخواه این دوره برای مهندسان نرم افزار و معمارانی طراحی شده است که مایل به طراحی و توسعه پروژه های مهندسی داده های بزرگ با استفاده از Apache Spark هستند. همچنین برای برنامه نویسان و توسعه دهندگانی طراحی شده است که مشتاق رشد و یادگیری مهندسی داده با استفاده از Apache Spark هستند. برای این دوره، باید اصول Spark را بدانید و باید در معرض Spark Dataframe APIs قرار بگیرید. همچنین، شما باید اصول کافکا را بشناسید و دانش کاری از آپاچی کافکا داشته باشید. همچنین باید دانش برنامه نویسی برنامه نویسی پایتون را داشته باشد. مفاهیم پردازش جریان در زمان واقعی را بیاموزید * APIها و معماری جریان ساختار یافته Spark را درک کنید * با جریان های فایل، منبع کافکا و ادغام Spark با کافکا کار کنید
سرفصل ها و درس ها

قبل از اینکه تو شروع کنی Before you Start

  • درباره دوره About the Course

  • پیش نیازهای دوره Course Prerequisites

محیط خود را تنظیم کنید Setup your Environment

  • محیط توسعه جرقه Spark Development Environment

  • کاربر ویندوز - پیش نیازهای نصب Spark Windows User - Spark Installation Prerequisites

  • کاربر ویندوز - نصب Apache Spark Windows User - Installing Apache Spark

  • کاربر ویندوز - IDE خود را تنظیم و آزمایش کنید Windows User – Set Up and Test your IDE

  • کاربر مک - نصب Apache Spark Mac User - Installing Apache Spark

  • کاربر مک - IDE خود را تنظیم و آزمایش کنید Mac User – Set Up and Test your IDE

  • آپاچی کافکا را نصب و اجرا کنید Install and Run Apache Kafka

شروع کار با جریان ساختار یافته Spark Getting Started with Spark Structured Streaming

  • مقدمه ای بر پردازش جریانی Introduction to Stream Processing

  • Spark Streaming API - DSstream در مقابل جریان ساختاری Spark Streaming APIs - DStream Versus Structured Streaming

  • ایجاد اولین برنامه پردازش جریان شما Creating your First Stream Processing Application

  • مدل پردازش جریان در Spark Stream Processing Model in Spark

  • کار با فایل ها و دایرکتوری ها Working with Files and Directories

  • منابع جریان، سینک ها و حالت خروجی Streaming Sources, Sinks and Output Mode

  • تحمل خطا و راه اندازی مجدد Fault Tolerance and Restarts

جریان جرقه با کافکا Spark Streaming with Kafka

  • پخش از منبع کافکا Streaming from Kafka Source

  • کار با کافکا سینک Working with Kafka Sinks

  • برنامه جریان های چند پرس و جو Multi-Query Streams Application

  • سریال سازی کافکا و سریال زدایی برای اسپارک Kafka Serialization and Deserialization for Spark

  • ساخت سینک های Kafka AVRO Creating Kafka AVRO Sinks

  • کار با منبع Kafka AVRO Working with Kafka AVRO Source

پنجره ها و مصالح Windowing and Aggregates

  • دگرگونی های بی تابعیت در مقابل تحولات دولتی Stateless Versus Stateful Transformations

  • زمان رویداد و پنجره Event Time and Windowing

  • جمع کردن پنجره غلتشی Tumbling Window Aggregate

  • واترمارک کردن ویندوز شما Watermarking your Windows

  • حالت های واترمارک و خروجی Watermark and Output Modes

  • پنجره کشویی Sliding Window

پردازش جریانی و پیوستن Stream Processing and Joins

  • پیوستن جریان به منبع استاتیک Joining Stream to Static Source

  • پیوستن به جریان به جریانی دیگر Joining Stream to Another Stream

  • پخش واترمارک Streaming Watermark

  • پخش جریانی اتصالات خارجی Streaming Outer Joins

به یادگیری ادامه دهید Keep Learning

  • کلمه پایانی Final Word

نمایش نظرات

نظری ارسال نشده است.

آموزش پردازش جریان بیدرنگ با استفاده از Apache Spark 3 برای توسعه دهندگان پایتون [ویدئو]
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
4 h 34 m
33
Packtpub packtpub-small
06 اسفند 1400 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
از 5
ندارد
دارد
دارد
Scholar Nest

https://donyad.com/d/a63ed9

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

آموزش سواد داده: کاوش و توصیف داده ها

آموزش سواد داده: کاوش و توصیف داده ها

Data Literacy: Exploring and Describing Data

Barton Poulson Barton Poulson

آموزش تکنیک های تحلیل داده های اکتشافی در پایتون

آموزش تکنیک های تحلیل داده های اکتشافی در پایتون

Exploratory Data Analysis Techniques in Python

این دوره رویکردهای تحلیل داده های اکتشافی (EDA) با استفاده از پایتون را پوشش می دهد. موضوعات شامل تکنیک های تجسم، روش های خوشه بندی، تجزیه و تحلیل توزیع، نمونه گیری و خلاصه سازی است.

آموزش اشکال زدایی در پایتون

آموزش اشکال زدایی در پایتون

Debugging in Python

این دوره تکنیک ها و ابزارهایی را برای شناسایی و درک خطاها در کد پایتون به شما آموزش می دهد

آموزش تبدیل شدن به یک دانشمند داده

آموزش تبدیل شدن به یک دانشمند داده

Becoming a Data Scientist

این دوره شما را با نقش یک دانشمند داده و چگونگی تبدیل شدن به آن آشنا می کند.

Scholar Nest Scholar Nest

ScholarNest یک تیم کوچک از افرادی است که با پر کردن شکاف بین مهارت‌های موجود و مورد نیازشان، علاقه زیادی به کمک به دیگران برای یادگیری و رشد در حرفه‌شان دارند. آنها با هم بیش از 40 سال تجربه در فناوری اطلاعات به عنوان توسعه دهنده، معمار، مشاور، مربی و مربی دارند. آنها با سازمان های خدمات نرم افزاری بین المللی در پروژه های مختلف داده محور و کلان داده کار کرده اند. این تیمی متشکل از اعتقاد راسخ به یادگیری مستمر مادام العمر و توسعه مهارت است. برای محبوب کردن اهمیت یادگیری مداوم، آنها شروع به انتشار فیلم های آموزشی رایگان در کانال یوتیوب خود کردند. آنها مفهوم یادگیری مستمر را مفهوم‌سازی کردند و مجله‌ای از یادگیری ما را تحت عنوان مجله یادگیری ایجاد کردند.

Packtpub یک ناشر دیجیتالی کتاب‌ها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرم‌افزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتاب‌ها، ویدیوها و دوره‌های آموزشی می‌پردازد که به توسعه‌دهندگان و متخصصان فناوری اطلاعات کمک می‌کند تا مهارت‌های خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامه‌نویسی، توسعه وب، داده‌کاوی، امنیت سایبری و هوش مصنوعی را پوشش می‌دهد. محتوای این منابع به صورت کاربردی و به‌روز ارائه می‌شود تا کاربران بتوانند دانش و توانایی‌های لازم برای موفقیت در پروژه‌های عملی و حرفه‌ای خود را کسب کنند.

Data Data Science داده علم داده Java Python PyCharm Hadoop Apache Spark جاوا پایتون پای چارم هدوپ آپاچی اسپارک