لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش PySpark برای مبتدیان [ویدئو]
PySpark for Beginners [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
Apache Spark یک چارچوب متن باز برای محاسبات خوشه ای کارآمد با یک رابط قوی برای موازی سازی داده ها و تحمل خطا است. این دوره به شما نشان می دهد که چگونه از قدرت پایتون استفاده کنید و از آن در اکوسیستم اسپارک استفاده کنید. شما با درک دقیق معماری Spark 2.0 و نحوه راه اندازی یک محیط Python برای Spark شروع خواهید کرد. شما با ماژول های موجود در PySpark آشنا خواهید شد. شما یاد خواهید گرفت که چگونه داده ها را با RDD ها و DataFrames انتزاع کنید و قابلیت های استریم PySpark را درک کنید. همچنین، مروری کامل بر قابلیتهای یادگیری ماشین PySpark با استفاده از ML و MLlib، پردازش گراف با استفاده از GraphFrames، و ماندگاری چند زبانه با استفاده از Blaze خواهید داشت. در نهایت، یاد خواهید گرفت که چگونه برنامه های خود را با استفاده از دستور spark-submit در فضای ابری مستقر کنید. در پایان این دوره، شما درک محکمی از Spark Python API و نحوه استفاده از آن برای ساخت برنامه های کاربردی با داده فشرده خواهید داشت.
تمام کدها و فایل های پشتیبانی این دوره در Github در https://github.com/PacktPublishing/PySpark-for-Beginners موجود است. 1. درباره Apache Spark و معماری Spark 2.0 بیاموزید.
2. با استفاده از Spark SQL Spark DataFrames را بسازید و با آن تعامل کنید
3. داده ها را بخوانید، تبدیل و درک کنید و از آنها برای آموزش مدل های یادگیری ماشین استفاده کنید
4. ساخت مدل های یادگیری ماشین با MLlib و ML
اگر شما یک توسعه دهنده پایتون هستید و می خواهید در مورد اکوسیستم Apache Spark 2.0 بیاموزید، این دوره برای شما مناسب است. انتظار می رود درک محکم پایتون بهترین نتیجه را از کتاب بگیرد. آشنایی با Spark مفید خواهد بود، اما اجباری نیست. بیاموزید که چرا و چگونه می توانید به طور موثر از Python برای پردازش داده ها و ساخت مدل های یادگیری ماشینی در Apache Spark 2.0 استفاده کنید. * ?توسعه و استقرار راه حل های کارآمد و مقیاس پذیر Spark بلادرنگ. * درک خود را از استفاده از Spark با پایتون با این راهنمای پرش * به سطح بعدی ببرید. *
سرفصل ها و درس ها
درک اسپارک
Understanding Spark
بررسی اجمالی دوره
The Course Overview
Spark Jobs و API ها
Spark Jobs and APIs
معماری Spark 2.0
Spark 2.0 Architecture
مجموعه داده های توزیع شده انعطاف پذیر
Resilient Distributed Datasets
ایجاد RDD
Creating RDDs
تحولات
Transformations
اقدامات
Actions
DataFrames
DataFrames
عملیات پایه با DataFrames
Basic Operations with DataFrames
عملیات بالا پایان - درون یابی و پرس و جو
High End Operations – Interpolating and Querying
داده ها را برای مدل سازی آماده کنید
Prepare Data for Modeling
بررسی موارد تکراری، مشاهدات گمشده و موارد دور از دسترس
Checking for Duplicates, Missing Observations, and Outliers
آشنایی با داده های شما
Getting Familiar with Your Data
تجسم
Visualization
معرفی MLlib
Introducing MLlib
بارگذاری و تبدیل داده ها
Loading and Transforming the Data
آشنایی با داده های خود
Getting to Know Your Data
ایجاد مجموعه داده نهایی
Creating the Final Dataset
پیش بینی بقای نوزاد
Predicting Infant Survival
معرفی بسته ML
Introducing the ML Package
پیش بینی شانس بقای نوزاد با ML
Predicting the Chances of Infant Survival with ML
پارامتر Hyper-Tuning
Parameter Hyper-Tuning
سایر ویژگی های PySpark ML در عمل
Other Features of PySpark ML in Action
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
توماس دراباس یک دانشمند داده است که برای مایکروسافت کار می کند و در حال حاضر در منطقه سیاتل زندگی می کند. او بیش از 12 سال تجربه بین المللی در تجزیه و تحلیل داده ها و علم داده در زمینه های متعددی دارد: فناوری پیشرفته، خطوط هوایی، مخابرات، امور مالی و مشاوره. توماس کار خود را در سال 2003 با شرکت هواپیمایی LOT Polish در ورشو، لهستان در حالی که مدرک کارشناسی ارشد خود را در مدیریت استراتژی به پایان رساند، آغاز کرد. در سال 2007، او به سیدنی نقل مکان کرد تا مدرک دکتری خود را در تحقیقات عملیات در دانشگاه نیو ساوت ولز، دانشکده هوانوردی ادامه دهد. تحقیقات او از مرزهای بین مدلسازی گسسته انتخاب و تحقیق در عملیات هواپیمایی عبور کرد. در طول مدت اقامت خود در سیدنی، او به عنوان تحلیلگر داده برای فراتر از تجزیه و تحلیل استرالیا و به عنوان یک تحلیلگر ارشد داده/دانشمند داده برای Vodafone Hutchison استرالیا در میان دیگران کار کرد. او همچنین مقالات علمی منتشر کرده، در کنفرانس های بین المللی شرکت کرده و به عنوان داور مجلات علمی خدمت کرده است. در سال 2015 او به سیاتل نقل مکان کرد تا کار خود را برای مایکروسافت آغاز کند. زمانی که در آنجا بود، او روی پروژه های متعددی کار کرده است که شامل حل مسائل در فضای ویژگی های با ابعاد بالا می شود.
نمایش نظرات