آموزش فریمورکهای پردازش استریم: Apache Spark Structured Streaming - آخرین آپدیت
دانلود Stream Processing Frameworks: Apache Spark Structured Streaming
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
سرفصل ها و درس ها
درک مدل Micro batch در Spark Structured Streaming Understanding the Micro-batch Model of Spark Structured Streaming
-
میکرو-بچینگ (Micro batching) چیست؟ What Is Micro-batching?
-
نحوه اجرای جابهای استریمینگ در اسپارک How Spark Executes Streaming Jobs
-
تریگرها در Spark Structured Streaming Triggers in Spark Structured Streaming
-
واترمارکینگ در اسپارک Watermarking in Spark
-
ویژگیهای تأخیر و نرخ انتقال (Latency and Throughput) Latency and Throughput Characteristics
-
موردهای کاربردی پردازش بلادرنگ Real-time Processing Use Cases
نحوه فعالسازی جریانهای کاری پردازش استریم توسط Spark Structured Streaming How Spark Structured Streaming Enables Stream Processing Workflows
-
دادههای استریمینگ به عنوان DataFrames/Datasets نامحدود Streaming Data as Unbounded DataFrames/Datasets
-
دمو: دریافت داده از Kafka به DataFrame Demo: Ingest from Kafka into DataFrame
-
اجرای افزایشی، وضعیت (State) و چکپوینتینگ Incremental Execution, State, and Checkpointing
-
دمو: بازیابی چکپوینت Demo: Checkpoint Recovery
-
تریگرها و واترمارکها در جریانهای کاری Triggers and Watermarks in Workflows
-
دمو: تریگرها در عمل Demo: Triggers in Action
-
دمو: تجمیع پنجرهای با استفاده از واترمارکها Demo: Windowed Aggregation with Watermarks
-
عملیات استریمینگ در اسپارک Streaming Operations in Spark
-
دمو: عملیات استریمینگ (فیلتر، تجمیع و Join) Demo: Streaming Operations (Filter, Aggregations, Joins)
-
منابع ورودی (Sources) و مقصدهای خروجی (Sinks) در اسپارک Input Sources and Output Sinks in Spark
-
دمو: خط لوله (Pipeline) جامع انتها به انتها Demo: End-to-end Pipeline
بررسی مناسب بودن Spark Structured Streaming برای حجمهای کاری مختلف Suitability of Spark Structured Streaming for Different Workloads
-
چه زمانی اسپارک انتخاب مناسبی است و چه زمانی نیست؟ When Spark Is a Good Fit vs. Not
-
بهای عملکردی و سبکهای تبادل (Performance Trade-offs) Performance Trade-offs
-
تضمینهای تحویل داده و مقایسهها Delivery Guarantees and Comparisons
-
نقاط قوت محیطهای یکپارچه Batch و Stream Strengths of Unified Batch and Stream Environments
-
نقش اسپارک در معماریهای گستردهتر دادهها Spark’s Role in Broader Data Architectures
https://donyad.com/d/926c7e
Tejprakash
تِجپراکاش مهندس نرمافزار با پایه قوی در توسعه بکاند است که در حال حاضر در تقاطع امنیت IoT و مهندسی داده فعالیت میکند. تمرکز او بر طراحی سیستمهای امن و با کارایی بالا است که دادههای مقیاسبزرگ را در لحظه پردازش میکنند. او با تخصص در Java، Python، Apache Spark و پلتفرمهای ابری، دیدگاهی کاربردی و امنیتمحور را به سیستمهای بکاند و دادهها میآورد. او دانش خود را از طریق وبلاگهای فنی در Medium در زمینههای مهندسی داده، توسعه بکاند و امنیت به اشتراک میگذارد و با شرکت در گردهماییهای محلی، فعالانه با جامعه تکنولوژی در ارتباط است. تجپراکاش مشتاق به ساخت سیستمهایی است که از نظر طراحی، کارآمد، منعطف و امن باشند.
نمایش نظرات