Apache Spark Essential Training: Big Data Engineering

Apache Spark Essential Training: Big Data Engineering

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: مهندسی داده پایه و اساس ساخت برنامه های کاربردی تجزیه و تحلیل و علم داده در دنیای جدید Big Data است. مهندسی داده مستلزم ترکیب چندین فناوری کلان داده برای ساخت خطوط لوله و شبکه های داده برای جریان، پردازش و ذخیره داده ها است. این دوره بر ساخت راه حل های کامل تمرکز دارد که Apache Spark را با سایر ابزارهای کلان داده ترکیب می کند تا خطوط لوله داده سرتاسر ایجاد کند. مربی کوماران پونامبالام با تعریف مهندسی داده، کارکردها و مفاهیم آن شروع می کند. در مرحله بعد، کوماران به چگونگی کارکرد قابلیت‌های Spark مانند پردازش موازی، برنامه‌های اجرایی، گزینه‌های مدیریت حالت و یادگیری ماشین با استخراج، تبدیل، بارگذاری (ETL) می‌پردازد. او شما را با موارد و فرآیندهای استفاده از پردازش دسته ای و همچنین خطوط لوله پردازش بلادرنگ آشنا می کند. کوماران پس از اینکه شما را از طریق چندین بهترین تمرین مفید آشنا کرد، با یک پروژه تمرینی انتها به انتها پایان می‌دهد.

سرفصل ها و درس ها

مقدمه Introduction

  • پیش نیازهای دوره Course prerequisites

  • رانندگی مهندسی داده های بزرگ با آپاچی اسپارک Driving big data engineering with Apache Spark

  • تنظیم فایل های تمرین Setting up the exercise files

1. مفاهیم مهندسی داده 1. Data Engineering Concepts

  • پردازش دسته ای در مقابل پردازش بلادرنگ Batch vs. real-time processing

  • مهندسی داده چیست؟ What is data engineering?

  • مهندسی داده با اسپارک Data engineering with Spark

  • توابع مهندسی داده Data engineering functions

  • مهندسی داده در مقابل تجزیه و تحلیل داده در مقابل علم داده Data engineering vs. data analytics vs. data science

2. قابلیت های Spark برای ETL 2. Spark Capabilities for ETL

  • پردازش جریان حالت دار Stateful stream processing

  • طرح اجرای جرقه Spark execution plan

  • تجزیه و تحلیل جرقه و ML Spark analytics and ML

  • پردازش موازی با اسپارک Parallel processing with Spark

  • بررسی معماری اسپارک Spark architecture review

3. خط لوله پردازش دسته ای 3. Batch Processing Pipelines

  • تجمیع موجودی در انبارها Aggregating stock across warehouses

  • بارگذاری سهام در فروشگاه مرکزی Uploading stock to a central store

  • مورد استفاده پردازش دسته ای: بیان مشکل Batch processing use case: Problem statement

  • راه اندازی DB محلی Setting up the local DB

  • مورد استفاده پردازش دسته ای: طراحی Batch processing use case: Design

4. خطوط لوله پردازش زمان واقعی 4. Real-Time Processing Pipelines

  • مورد استفاده در زمان واقعی: مشکل Real-time use case: Problem

  • ساخت یک کار تجزیه و تحلیل وب سایت Building a website analytics job

  • اجرای خط لوله بلادرنگ Executing the real-time pipeline

  • مورد استفاده در زمان واقعی: طراحی Real-time use case: Design

  • ایجاد یک جریان داده بازدید Generating a visits data stream

5. مهندسی داده با اسپارک: بهترین روش ها 5. Data Engineering with Spark: Best Practices

  • عملیات پردازش مقیاس Scaling processing operations

  • عملیات استخراج و بارگذاری رسوب گذاری Scaling extraction and loading operations

  • ایجاد تاب آوری Building resiliency

  • دسته ای در مقابل گزینه های زمان واقعی Batch vs. real-time options

6. پروژه تمرین پایان به پایان 6. End-to-End Exercise Project

  • الزامات تمرین پروژه Project exercise requirements

  • ساختن کارت امتیازی Building a scorecard

  • استخراج اقدامات طولانی مدت Extracting long last actions

  • طراحی راه حل Solution design

نتیجه گیری Conclusion

  • اطلاعات بیشتر درباره آپاچی اسپارک More about Apache Spark

نمایش نظرات

Linkedin (لینکدین)

لینکدین: شبکه اجتماعی حرفه‌ای برای ارتباط و کارآفرینی

لینکدین به عنوان یکی از بزرگترین شبکه‌های اجتماعی حرفه‌ای، به میلیون‌ها افراد در سراسر جهان این امکان را می‌دهد تا ارتباط برقرار کنند، اطلاعات حرفه‌ای خود را به اشتراک بگذارند و فرصت‌های شغلی را کشف کنند. این شبکه اجتماعی به کاربران امکان می‌دهد تا رزومه حرفه‌ای خود را آپدیت کنند، با همکاران، دوستان و همکاران آینده ارتباط برقرار کنند، به انجمن‌ها و گروه‌های حرفه‌ای ملحق شوند و از مقالات و مطالب مرتبط با حوزه کاری خود بهره‌مند شوند.

لینکدین همچنین به کارفرمایان امکان می‌دهد تا به دنبال نیروهای با تجربه و مهارت مورد نیاز خود بگردند و ارتباط برقرار کنند. این شبکه حرفه‌ای به عنوان یک پلتفرم کلیدی برای بهبود دسترسی به فرصت‌های شغلی و گسترش شبکه حرفه‌ای خود، نقش مهمی را ایفا می‌کند. از این رو، لینکدین به عنوان یکی از مهمترین ابزارهای کارآفرینی و توسعه حرفه‌ای در دنیای امروز مورد توجه قرار دارد.

Apache Spark Essential Training: Big Data Engineering
جزییات دوره
1h 4m
32
Linkedin (لینکدین) Linkedin (لینکدین)
(آخرین آپدیت)
18
- از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Kumaran Ponnambalam Kumaran Ponnambalam

اختصاص به آموزش علوم داده

V2 Maestros به آموزش علوم داده و داده های بزرگ با هزینه های مقرون به صرفه برای جهان اختصاص دارد. مربیان ما تجربه دنیای واقعی در تمرین علم داده و ارائه نتایج تجاری دارند. علم داده یک حوزه داغ و در حال رخ دادن در صنعت فناوری اطلاعات است. متأسفانه منابع موجود برای یادگیری این مهارت به سختی یافت می شود و گران است. امیدواریم این مشکل را با ارائه آموزش باکیفیت با نرخ های مقرون به صرفه، با ایجاد استعدادهای علم داده در سراسر جهان، کاهش دهیم.