لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
Apache Spark Essential Training: Big Data Engineering
Apache Spark Essential Training: Big Data Engineering
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
مهندسی داده پایه و اساس ساخت برنامه های کاربردی تجزیه و تحلیل و علم داده در دنیای جدید Big Data است. مهندسی داده مستلزم ترکیب چندین فناوری کلان داده برای ساخت خطوط لوله و شبکه های داده برای جریان، پردازش و ذخیره داده ها است. این دوره بر ساخت راه حل های کامل تمرکز دارد که Apache Spark را با سایر ابزارهای کلان داده ترکیب می کند تا خطوط لوله داده سرتاسر ایجاد کند. مربی کوماران پونامبالام با تعریف مهندسی داده، کارکردها و مفاهیم آن شروع می کند. در مرحله بعد، کوماران به چگونگی کارکرد قابلیتهای Spark مانند پردازش موازی، برنامههای اجرایی، گزینههای مدیریت حالت و یادگیری ماشین با استخراج، تبدیل، بارگذاری (ETL) میپردازد. او شما را با موارد و فرآیندهای استفاده از پردازش دسته ای و همچنین خطوط لوله پردازش بلادرنگ آشنا می کند. کوماران پس از اینکه شما را از طریق چندین بهترین تمرین مفید آشنا کرد، با یک پروژه تمرینی انتها به انتها پایان میدهد.
سرفصل ها و درس ها
مقدمه
Introduction
پیش نیازهای دوره
Course prerequisites
رانندگی مهندسی داده های بزرگ با آپاچی اسپارک
Driving big data engineering with Apache Spark
تنظیم فایل های تمرین
Setting up the exercise files
1. مفاهیم مهندسی داده
1. Data Engineering Concepts
پردازش دسته ای در مقابل پردازش بلادرنگ
Batch vs. real-time processing
مهندسی داده چیست؟
What is data engineering?
مهندسی داده با اسپارک
Data engineering with Spark
توابع مهندسی داده
Data engineering functions
مهندسی داده در مقابل تجزیه و تحلیل داده در مقابل علم داده
Data engineering vs. data analytics vs. data science
2. قابلیت های Spark برای ETL
2. Spark Capabilities for ETL
پردازش جریان حالت دار
Stateful stream processing
طرح اجرای جرقه
Spark execution plan
تجزیه و تحلیل جرقه و ML
Spark analytics and ML
پردازش موازی با اسپارک
Parallel processing with Spark
بررسی معماری اسپارک
Spark architecture review
3. خط لوله پردازش دسته ای
3. Batch Processing Pipelines
تجمیع موجودی در انبارها
Aggregating stock across warehouses
بارگذاری سهام در فروشگاه مرکزی
Uploading stock to a central store
مورد استفاده پردازش دسته ای: بیان مشکل
Batch processing use case: Problem statement
راه اندازی DB محلی
Setting up the local DB
مورد استفاده پردازش دسته ای: طراحی
Batch processing use case: Design
4. خطوط لوله پردازش زمان واقعی
4. Real-Time Processing Pipelines
مورد استفاده در زمان واقعی: مشکل
Real-time use case: Problem
ساخت یک کار تجزیه و تحلیل وب سایت
Building a website analytics job
اجرای خط لوله بلادرنگ
Executing the real-time pipeline
مورد استفاده در زمان واقعی: طراحی
Real-time use case: Design
ایجاد یک جریان داده بازدید
Generating a visits data stream
5. مهندسی داده با اسپارک: بهترین روش ها
5. Data Engineering with Spark: Best Practices
عملیات پردازش مقیاس
Scaling processing operations
عملیات استخراج و بارگذاری رسوب گذاری
Scaling extraction and loading operations
ایجاد تاب آوری
Building resiliency
دسته ای در مقابل گزینه های زمان واقعی
Batch vs. real-time options
6. پروژه تمرین پایان به پایان
6. End-to-End Exercise Project
الزامات تمرین پروژه
Project exercise requirements
ساختن کارت امتیازی
Building a scorecard
استخراج اقدامات طولانی مدت
Extracting long last actions
طراحی راه حل
Solution design
نتیجه گیری
Conclusion
اطلاعات بیشتر درباره آپاچی اسپارک
More about Apache Spark
لینکدین: شبکه اجتماعی حرفهای برای ارتباط و کارآفرینی
لینکدین به عنوان یکی از بزرگترین شبکههای اجتماعی حرفهای، به میلیونها افراد در سراسر جهان این امکان را میدهد تا ارتباط برقرار کنند، اطلاعات حرفهای خود را به اشتراک بگذارند و فرصتهای شغلی را کشف کنند. این شبکه اجتماعی به کاربران امکان میدهد تا رزومه حرفهای خود را آپدیت کنند، با همکاران، دوستان و همکاران آینده ارتباط برقرار کنند، به انجمنها و گروههای حرفهای ملحق شوند و از مقالات و مطالب مرتبط با حوزه کاری خود بهرهمند شوند.
لینکدین همچنین به کارفرمایان امکان میدهد تا به دنبال نیروهای با تجربه و مهارت مورد نیاز خود بگردند و ارتباط برقرار کنند. این شبکه حرفهای به عنوان یک پلتفرم کلیدی برای بهبود دسترسی به فرصتهای شغلی و گسترش شبکه حرفهای خود، نقش مهمی را ایفا میکند. از این رو، لینکدین به عنوان یکی از مهمترین ابزارهای کارآفرینی و توسعه حرفهای در دنیای امروز مورد توجه قرار دارد.
V2 Maestros به آموزش علوم داده و داده های بزرگ با هزینه های مقرون به صرفه برای جهان اختصاص دارد. مربیان ما تجربه دنیای واقعی در تمرین علم داده و ارائه نتایج تجاری دارند. علم داده یک حوزه داغ و در حال رخ دادن در صنعت فناوری اطلاعات است. متأسفانه منابع موجود برای یادگیری این مهارت به سختی یافت می شود و گران است. امیدواریم این مشکل را با ارائه آموزش باکیفیت با نرخ های مقرون به صرفه، با ایجاد استعدادهای علم داده در سراسر جهان، کاهش دهیم.
نمایش نظرات