توضیحات دوره جامع:
داغ ترین کلمات کلیدی در صنعت تجزیه و تحلیل داده های بزرگ پایتون و آپاچی اسپارک هستند. PySpark از همکاری Python و Apache Spark پشتیبانی می کند. در این دوره، شما از اصول اولیه شروع کرده و به سطوح پیشرفته تجزیه و تحلیل داده ها می پردازید. از تمیز کردن دادهها تا ساخت ویژگیها و پیادهسازی مدلهای یادگیری ماشین (ML)، نحوه اجرای گردشهای کاری سرتاسر با استفاده از PySpark را خواهید آموخت.
در طول دوره، از PySpark برای انجام تجزیه و تحلیل داده ها استفاده خواهید کرد. شما Spark RDD ها، Dataframes و کمی جستجوهای Spark SQL را بررسی خواهید کرد. همچنین، شما تغییرات و اقداماتی را که میتوان روی دادهها با استفاده از Spark RDD و dataframe انجام داد، کاوش خواهید کرد. شما همچنین اکوسیستم Spark و Hadoop و معماری زیربنایی آنها را کشف خواهید کرد. شما از محیط Databricks برای اجرای اسکریپتهای Spark استفاده کرده و آن را نیز بررسی خواهید کرد.
در نهایت، طعم Spark را با ابر AWS خواهید چشید. خواهید دید که چگونه میتوانیم از حافظههای ذخیرهسازی، پایگاههای داده، محاسبات AWS استفاده کنیم و چگونه Spark میتواند با سرویسهای مختلف AWS ارتباط برقرار کند و دادههای مورد نیاز خود را دریافت کند.
این دوره چگونه متفاوت است؟
در این دوره آموزش با انجام، هر توضیح نظری با اجرای عملی دنبال میشود.
دوره " PySpark AWS: Master Big Data With PySpark and AWS" برای منعکس کننده ترین مهارت های محل کار ایجاد شده است. این دوره به شما کمک می کند تا تمام مفاهیم و متدولوژی های ضروری در رابطه با PySpark را درک کنید. دوره این است:
• درک آسان.
• رسا.
• جامع.
• کاربردی با کدگذاری زنده.
• غنی از آخرین هنر و آخرین دانش در این زمینه.
از آنجایی که این دوره مجموعه ای دقیق از تمام اصول اولیه است، به شما انگیزه می دهد تا پیشرفت سریع داشته باشید و بسیار بیشتر از آنچه آموخته اید تجربه کنید. در پایان هر مفهوم، تکالیف/وظایف/فعالیت ها/آزمون ها به همراه راه حل ها به شما محول می شود. این برای ارزیابی و ارتقای یادگیری شما بر اساس مفاهیم و روش های قبلی است که یاد گرفته اید. بیشتر این فعالیتها مبتنی بر کدنویسی خواهند بود، زیرا هدف این است که شما را با پیادهسازیها راهاندازی و اجرا کنید.
محتوای ویدئویی با کیفیت بالا، مطالب دوره عمیق، سوالات ارزیابی، یادداشتهای دقیق دوره و جزوههای آموزشی از مزایای این دوره است. شما میتوانید در صورت هرگونه سؤال مرتبط با دوره با تیم دوستانه ما تماس بگیرید و ما به شما اطمینان میدهیم که سریع پاسخ دهید.
آموزشهای دوره به بیش از 140 ویدیوی مختصر تقسیم میشوند. شما مفاهیم و متدولوژی های PySpark و AWS را به همراه بسیاری از پیاده سازی های عملی یاد خواهید گرفت. کل زمان اجرای ویدیوهای HD حدود 16 ساعت است.
چرا باید PySpark و AWS را یاد بگیرید؟
PySpark کتابخانه پایتون است که جادو را انجام می دهد.
PySpark به دلیل تقاضای زیاد برای متخصصان Spark و حقوق بالای آنها ارزش یادگیری دارد. استفاده از PySpark در پردازش داده های بزرگ در مقایسه با سایر ابزارهای کلان داده با سرعتی سریع در حال افزایش است.
AWS که در سال 2006 راه اندازی شد، سریع ترین رشد ابر عمومی است. زمان مناسب برای کسب درآمد از مهارتهای رایانش ابری - به طور دقیق، مهارتهای AWS - اکنون است.
محتوای دوره:
دوره فراگیر شامل موضوعات زیر است:
1. مقدمه:
a. چرا داده های بزرگ؟
b. برنامه های کاربردی PySpark
ج. مقدمه ای بر مربی
d. مقدمه ای بر دوره
e. نمای کلی پروژه ها
2. مقدمه ای بر Hadoop، Spark EcoSystems و Architectures:
a. Hadoop EcoSystem
b. Spark EcoSystem
ج. معماری Hadoop
d. Spark Architecture
e. راه اندازی PySpark Databricks
f. راه اندازی محلی PySpark
3. Spark RDD:
a. مقدمه ای بر PySpark RDD
b. درک پارتیشن های زیرین
ج. تبدیلات RDD
d. اقدامات RDD
e. ایجاد Spark RDD
f. اجرای Spark Code به صورت محلی
g. نقشه RDD (لامبدا)
h. نقشه RDD (عملکرد ساده)
i. RDD FlatMap
j. فیلتر RDD
k. RDD Distinct
l. RDD GroupByKey
m. RDD ReduceByKey
n. RDD (Count and CountByValue)
o. RDD (saveAsTextFile)
ص. RDD (پارتیشن)
q. پیدا کردن میانگین
r. یافتن حداقل و حداکثر
s. پروژه کوچک در مورد تجزیه و تحلیل مجموعه داده های دانش آموز
t. مجموع امتیازات دانش آموز دختر و پسر
u. مجموع دانش آموزان قبول شده و رد شده
v. کل ثبت نام در هر دوره
w. مجموع امتیازات در هر دوره
x. میانگین نمره در هر دوره
y. پیدا کردن حداقل و حداکثر علامت
z. میانگین سنی دانش آموزان دختر و پسر
4. Spark DFs:
a. مقدمه ای بر PySpark DFs
b. درک RDD های اساسی
ج. تبدیل DFs
d. اقدامات DFs
e. ایجاد Spark DF
f. طرحواره استنتاج جرقه
g. Spark Provide Schema
h. ایجاد DF از RDD
i. ستونهای DF
را انتخاب کنیدj. Spark DF با ستون
k. Spark DF با تغییر نام ستون و نام مستعار
l. ردیفهای فیلتر DF Spark
m. Spark DF (تعداد، متمایز، تکراری)
n. Spark DF (مرتب سازی، ترتیب بر اساس)
o. Spark DF (گروه بر اساس)
ص. Spark DF (UDF)
q. Spark DF (DF به RDD)
r. Spark DF (Spark SQL)
s. Spark DF (Write DF)
t. پروژه کوچک در مورد تجزیه و تحلیل مجموعه داده های کارکنان
u. نمای کلی پروژه
v. پروژه (شمارش و انتخاب کنید)
w. پروژه (گروه بر اساس)
x. پروژه (گروه بر اساس، تجمیع، و سفارش بر اساس)
y. پروژه (فیلتر کردن)
z. پروژه (UDF و با ستون)
aa. پروژه (نوشتن)
5. فیلتر مشارکتی:
a. درک فیلتر مشارکتی
b. توسعه سیستم توصیه با استفاده از مدل ALS
ج. ماتریس سودمند
d. رتبه بندی صریح و ضمنی
e. نتایج مورد انتظار
f. مجموعه داده
g. پیوستن به Dataframes
h. دادههای آموزش و آزمایش
i. مدل ALS
j. تنظیم فراپارامتر و اعتبارسنجی متقابل
k. بهترین مدل و ارزیابی پیش بینی ها
l. توصیهها
6. جرقه جرقه:
a. درک تفاوت بین تجزیه و تحلیل دسته ای و جریانی.
b. عملی با جریان جرقه از طریق مثال تعداد کلمات
ج. جریان جرقه با RDD
d. زمینه جریان جرقه
e. Spark Streaming Reading Data
f. Spark Streaming Cluster Restart
g. انتقال جرقه RDD
h. Spark Streaming DF
i. نمایش جریان جرقه
j. Spark Streaming DF Aggregations
7. خط لوله ETL
a. درک ETL
b. جریان خط لوله ETL
ج. مجموعه داده
d. در حال استخراج داده ها
e. تبدیل داده ها
f. در حال بارگیری داده ها (ایجاد RDS)
g. بارگذاری داده ها (ایجاد RDS)
h. شبکه RDS
i. در حال دانلود Postgres
j. نصب Postgres
k. از طریق PgAdmin
به RDS متصل شویدl. در حال بارگیری داده ها
8. پروژه - تغییر ضبط داده/تکرار در حال انجام
a. مقدمه ای بر پروژه
b. معماری پروژه
ج. ایجاد نمونه RDS MySql
d. ایجاد S3 Bucket
e. ایجاد نقطه پایانی منبع DMS
f. ایجاد نقطه پایانی مقصد DMS
g. ایجاد نمونه DMS
h. MySql WorkBench
i. اتصال با RDS و Dumping Data
j. درخواست RDS
k. بارگیری کامل DMS
l. تکرار DMS در حال انجام است
m. توقف نمونه ها
n. کار چسب (بار کامل)
o. کار چسب (تغییر ضبط)
ص. کار چسب (CDC)
q. ایجاد تابع Lambda و اضافه کردن Trigger
r. در حال بررسی ماشه
s. دریافت نام فایل S3 در Lambda
t. ایجاد کار چسب
u. افزودن Invoke برای Glue Job
v. آزمایش فراخوانی
w. نوشتن کار پوسته چسب
x. خط لوله تمام بار
y. تغییر خط لوله ضبط داده
پس از اتمام موفقیت آمیز این دوره، شما قادر خواهید بود:
● مفاهیم و کاربردهای Spark و AWS را با مشکلات دنیای واقعی مرتبط کنید.
● هر پروژه ای را که به دانش PySpark نیاز دارد از ابتدا اجرا کنید.
● جنبه های تئوری و عملی PySpark و AWS را بشناسید.
این دوره برای چه کسانی است:
● افرادی که مبتدی هستند و هیچ چیز درباره PySpark و AWS نمی دانند.
● افرادی که می خواهند راه حل های هوشمندی ایجاد کنند.
● افرادی که می خواهند PySpark و AWS را یاد بگیرند.
● افرادی که دوست دارند ابتدا مفاهیم نظری را قبل از پیاده سازی با استفاده از پایتون یاد بگیرند.
● افرادی که می خواهند PySpark را همراه با اجرای آن در پروژه های واقع گرایانه یاد بگیرند.
● دانشمندان کلان داده.
● مهندسان کلان داده.
کارشناسان هوش مصنوعی و دانشمندان داده | رتبه ۴+ | 168+ کشور
AI Sciences Teamپشتیبانی از تیم علوم هوش مصنوعی
نمایش نظرات