آموزش PySpark و AWS: تسلط بر داده های بزرگ با PySpark و AWS

PySpark & AWS: Master Big Data With PySpark and AWS

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
توضیحات دوره: آموزش نحوه استفاده از Spark، Pyspark AWS، برنامه های Spark، Spark EcoSystem، Hadoop و Mastering PySpark ●معرفی و اهمیت Big Data. ●توضیحات کاربردی و کدنویسی زنده با PySpark. Applications Excystem Spark ● معماری جرقه ● اکوسیستم Hadoop Architecture معماری pyspark rdds ● Pyspark RDD Transformations ● Pyspark RDD Data Dataframes Pyspark Data Frames Transformations transforms Pyspark ● Pyspark strapparames Pilterframes in alclaborames in collaborames و Replication on Going پیش نیازها:●آگاهی قبلی پایتون. ● درک ابتدایی از برنامه نویسی. ● تمایل به یادگیری و تمرین.

توضیحات دوره جامع:

داغ ترین کلمات کلیدی در صنعت تجزیه و تحلیل داده های بزرگ پایتون و آپاچی اسپارک هستند. PySpark از همکاری Python و Apache Spark پشتیبانی می کند. در این دوره، شما از اصول اولیه شروع کرده و به سطوح پیشرفته تجزیه و تحلیل داده ها می پردازید. از تمیز کردن داده‌ها تا ساخت ویژگی‌ها و پیاده‌سازی مدل‌های یادگیری ماشین (ML)، نحوه اجرای گردش‌های کاری سرتاسر با استفاده از PySpark را خواهید آموخت.

در طول دوره، از PySpark برای انجام تجزیه و تحلیل داده ها استفاده خواهید کرد. شما Spark RDD ها، Dataframes و کمی جستجوهای Spark SQL را بررسی خواهید کرد. همچنین، شما تغییرات و اقداماتی را که می‌توان روی داده‌ها با استفاده از Spark RDD و dataframe انجام داد، کاوش خواهید کرد. شما همچنین اکوسیستم Spark و Hadoop و معماری زیربنایی آنها را کشف خواهید کرد. شما از محیط Databricks برای اجرای اسکریپت‌های Spark استفاده کرده و آن را نیز بررسی خواهید کرد.

در نهایت، طعم Spark را با ابر AWS خواهید چشید. خواهید دید که چگونه می‌توانیم از حافظه‌های ذخیره‌سازی، پایگاه‌های داده، محاسبات AWS استفاده کنیم و چگونه Spark می‌تواند با سرویس‌های مختلف AWS ارتباط برقرار کند و داده‌های مورد نیاز خود را دریافت کند.

این دوره چگونه متفاوت است؟

در این دوره آموزش با انجام، هر توضیح نظری با اجرای عملی دنبال می‌شود.


دوره " PySpark AWS: Master Big Data With PySpark and AWS" برای منعکس کننده ترین مهارت های محل کار ایجاد شده است. این دوره به شما کمک می کند تا تمام مفاهیم و متدولوژی های ضروری در رابطه با PySpark را درک کنید. دوره این است:

• درک آسان.

• رسا.

• جامع.

• کاربردی با کدگذاری زنده.

• غنی از آخرین هنر و آخرین دانش در این زمینه.


از آنجایی که این دوره مجموعه ای دقیق از تمام اصول اولیه است، به شما انگیزه می دهد تا پیشرفت سریع داشته باشید و بسیار بیشتر از آنچه آموخته اید تجربه کنید. در پایان هر مفهوم، تکالیف/وظایف/فعالیت ها/آزمون ها به همراه راه حل ها به شما محول می شود. این برای ارزیابی و ارتقای یادگیری شما بر اساس مفاهیم و روش های قبلی است که یاد گرفته اید. بیشتر این فعالیت‌ها مبتنی بر کدنویسی خواهند بود، زیرا هدف این است که شما را با پیاده‌سازی‌ها راه‌اندازی و اجرا کنید.

محتوای ویدئویی با کیفیت بالا، مطالب دوره عمیق، سوالات ارزیابی، یادداشت‌های دقیق دوره و جزوه‌های آموزشی از مزایای این دوره است. شما می‌توانید در صورت هرگونه سؤال مرتبط با دوره با تیم دوستانه ما تماس بگیرید و ما به شما اطمینان می‌دهیم که سریع پاسخ دهید.

آموزش‌های دوره به بیش از 140 ویدیوی مختصر تقسیم می‌شوند. شما مفاهیم و متدولوژی های PySpark و AWS را به همراه بسیاری از پیاده سازی های عملی یاد خواهید گرفت. کل زمان اجرای ویدیوهای HD حدود 16 ساعت است.


چرا باید PySpark و AWS را یاد بگیرید؟

PySpark کتابخانه پایتون است که جادو را انجام می دهد.

PySpark به دلیل تقاضای زیاد برای متخصصان Spark و حقوق بالای آنها ارزش یادگیری دارد. استفاده از PySpark در پردازش داده های بزرگ در مقایسه با سایر ابزارهای کلان داده با سرعتی سریع در حال افزایش است.

AWS که در سال 2006 راه اندازی شد، سریع ترین رشد ابر عمومی است. زمان مناسب برای کسب درآمد از مهارت‌های رایانش ابری - به طور دقیق، مهارت‌های AWS - اکنون است.


محتوای دوره:

دوره فراگیر شامل موضوعات زیر است:

1. مقدمه:

a. چرا داده های بزرگ؟

b. برنامه های کاربردی PySpark

ج. مقدمه ای بر مربی

d. مقدمه ای بر دوره

e. نمای کلی پروژه ها

2. مقدمه ای بر Hadoop، Spark EcoSystems و Architectures:

a. Hadoop EcoSystem

b. Spark EcoSystem

ج. معماری Hadoop

d. Spark Architecture

e. راه اندازی PySpark Databricks

f. راه اندازی محلی PySpark


3. Spark RDD:

a. مقدمه ای بر PySpark RDD

b. درک پارتیشن های زیرین

ج. تبدیلات RDD

d. اقدامات RDD

e. ایجاد Spark RDD

f. اجرای Spark Code به صورت محلی

g. نقشه RDD (لامبدا)

h. نقشه RDD (عملکرد ساده)

i. RDD FlatMap

j. فیلتر RDD

k. RDD Distinct

l. RDD GroupByKey

m. RDD ReduceByKey

n. RDD (Count and CountByValue)

o. RDD (saveAsTextFile)

ص. RDD (پارتیشن)

q. پیدا کردن میانگین

r. یافتن حداقل و حداکثر

s. پروژه کوچک در مورد تجزیه و تحلیل مجموعه داده های دانش آموز

t. مجموع امتیازات دانش آموز دختر و پسر

u. مجموع دانش آموزان قبول شده و رد شده

v. کل ثبت نام در هر دوره

w. مجموع امتیازات در هر دوره

x. میانگین نمره در هر دوره

y. پیدا کردن حداقل و حداکثر علامت

z. میانگین سنی دانش آموزان دختر و پسر

4. Spark DFs:

a. مقدمه ای بر PySpark DFs

b. درک RDD های اساسی

ج. تبدیل DFs

d. اقدامات DFs

e. ایجاد Spark DF

f. طرحواره استنتاج جرقه

g. Spark Provide Schema

h. ایجاد DF از RDD

i. ستون‌های DF

را انتخاب کنید

j. Spark DF با ستون

k. Spark DF با تغییر نام ستون و نام مستعار

l. ردیف‌های فیلتر DF Spark

m. Spark DF (تعداد، متمایز، تکراری)

n. Spark DF (مرتب سازی، ترتیب بر اساس)

o. Spark DF (گروه بر اساس)

ص. Spark DF (UDF)

q. Spark DF (DF به RDD)

r. Spark DF (Spark SQL)

s. Spark DF (Write DF)

t. پروژه کوچک در مورد تجزیه و تحلیل مجموعه داده های کارکنان

u. نمای کلی پروژه

v. پروژه (شمارش و انتخاب کنید)

w. پروژه (گروه بر اساس)

x. پروژه (گروه بر اساس، تجمیع، و سفارش بر اساس)

y. پروژه (فیلتر کردن)

z. پروژه (UDF و با ستون)

aa. پروژه (نوشتن)

5. فیلتر مشارکتی:

a. درک فیلتر مشارکتی

b. توسعه سیستم توصیه با استفاده از مدل ALS

ج. ماتریس سودمند

d. رتبه بندی صریح و ضمنی

e. نتایج مورد انتظار

f. مجموعه داده

g. پیوستن به Dataframes

h. داده‌های آموزش و آزمایش

i. مدل ALS

j. تنظیم فراپارامتر و اعتبارسنجی متقابل

k. بهترین مدل و ارزیابی پیش بینی ها

l. توصیه‌ها


6. جرقه جرقه:

a. درک تفاوت بین تجزیه و تحلیل دسته ای و جریانی.

b. عملی با جریان جرقه از طریق مثال تعداد کلمات

ج. جریان جرقه با RDD

d. زمینه جریان جرقه

e. Spark Streaming Reading Data

f. Spark Streaming Cluster Restart

g. انتقال جرقه RDD

h. Spark Streaming DF

i. نمایش جریان جرقه

j. Spark Streaming DF Aggregations

7. خط لوله ETL

a. درک ETL

b. جریان خط لوله ETL

ج. مجموعه داده

d. در حال استخراج داده ها

e. تبدیل داده ها

f. در حال بارگیری داده ها (ایجاد RDS)

g. بارگذاری داده ها (ایجاد RDS)

h. شبکه RDS

i. در حال دانلود Postgres

j. نصب Postgres

k. از طریق PgAdmin

به RDS متصل شوید

l. در حال بارگیری داده ها

8. پروژه - تغییر ضبط داده/تکرار در حال انجام

a. مقدمه ای بر پروژه

b. معماری پروژه

ج. ایجاد نمونه RDS MySql

d. ایجاد S3 Bucket

e. ایجاد نقطه پایانی منبع DMS

f. ایجاد نقطه پایانی مقصد DMS

g. ایجاد نمونه DMS

h. MySql WorkBench

i. اتصال با RDS و Dumping Data

j. درخواست RDS

k. بارگیری کامل DMS

l. تکرار DMS در حال انجام است

m. توقف نمونه ها

n. کار چسب (بار کامل)

o. کار چسب (تغییر ضبط)

ص. کار چسب (CDC)

q. ایجاد تابع Lambda و اضافه کردن Trigger

r. در حال بررسی ماشه

s. دریافت نام فایل S3 در Lambda

t. ایجاد کار چسب

u. افزودن Invoke برای Glue Job

v. آزمایش فراخوانی

w. نوشتن کار پوسته چسب

x. خط لوله تمام بار

y. تغییر خط لوله ضبط داده


پس از اتمام موفقیت آمیز این دوره، شما قادر خواهید بود:

● مفاهیم و کاربردهای Spark و AWS را با مشکلات دنیای واقعی مرتبط کنید.

● هر پروژه ای را که به دانش PySpark نیاز دارد از ابتدا اجرا کنید.

● جنبه های تئوری و عملی PySpark و AWS را بشناسید.


این دوره برای چه کسانی است:

● افرادی که مبتدی هستند و هیچ چیز درباره PySpark و AWS نمی دانند.

● افرادی که می خواهند راه حل های هوشمندی ایجاد کنند.

● افرادی که می خواهند PySpark و AWS را یاد بگیرند.

● افرادی که دوست دارند ابتدا مفاهیم نظری را قبل از پیاده سازی با استفاده از پایتون یاد بگیرند.

● افرادی که می خواهند PySpark را همراه با اجرای آن در پروژه های واقع گرایانه یاد بگیرند.

● دانشمندان کلان داده.

● مهندسان کلان داده.


سرفصل ها و درس ها

معرفی Introduction

  • چرا داده های بزرگ Why Big Data

  • چرا داده های بزرگ Why Big Data

  • کاربردهای PySpark Applications of PySpark

  • کاربردهای PySpark Applications of PySpark

  • معرفی مربی Introduction to Instructor

  • معرفی مربی Introduction to Instructor

  • مقدمه دوره Introduction to Course

  • مقدمه دوره Introduction to Course

  • بررسی اجمالی پروژه ها Projects Overview

  • درخواست بررسی صادقانه شما Request for Your Honest Review

  • درخواست بررسی صادقانه شما Request for Your Honest Review

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

معرفی Introduction

  • بررسی اجمالی پروژه ها Projects Overview

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

01-مقدمه ای بر اکوسیستم ها و معماری هادوپ اسپارک 01-Introduction to Hadoop, Spark EcoSystems and Architectures

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • چرا اسپارک Why Spark

  • چرا اسپارک Why Spark

  • اکوسیستم هادوپ Hadoop EcoSystem

  • اکوسیستم هادوپ Hadoop EcoSystem

  • معماری اسپارک و اکوسیستم Spark Architecture and EcoSystem

  • معماری اسپارک و اکوسیستم Spark Architecture and EcoSystem

  • ثبت نام DataBricks DataBricks SignUp

  • نوت بوک DataBricks را ایجاد کنید Create DataBricks Notebook

  • دانلود Spark and Dependencies Download Spark and Dependencies

  • راه اندازی جاوا در پنجره Java Setup on Window

  • راه اندازی پایتون در پنجره Python Setup on Window

  • راه اندازی جرقه در پنجره Spark Setup on Window

  • راه اندازی Hadoop در پنجره Hadoop Setup on Window

  • راه اندازی Hadoop در پنجره Hadoop Setup on Window

  • اجرای اسپارک روی پنجره Runing Spark on Window

  • اجرای اسپارک روی پنجره Runing Spark on Window

  • دانلود جاوا در مک Java Download on MAC

  • نصب JDK روی MAC Installing JDK on MAC

  • نصب JDK روی MAC Installing JDK on MAC

  • تنظیم Java Home در MAC Setting Java Home on MAC

  • تنظیم Java Home در MAC Setting Java Home on MAC

  • جاوا را در MAC چک کنید Java check on MAC

  • جاوا را در MAC چک کنید Java check on MAC

  • نصب پایتون در مک Installing Python on MAC

  • راه اندازی Spark در MAC Setup Spark on MAC

  • کدام یک از عبارت های زیر درست است Which of the following statement is True

  • کدام یک از عبارت های زیر درست است Which of the following statement is True

  • کدام یک از موارد زیر جزء اکوسیستم اسپارک نیست؟ Which of the following is not a part of spark ecosystem?

  • کدام یک از موارد زیر جزء اکوسیستم اسپارک نیست؟ Which of the following is not a part of spark ecosystem?

01-مقدمه ای بر اکوسیستم ها و معماری هادوپ اسپارک 01-Introduction to Hadoop, Spark EcoSystems and Architectures

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • ثبت نام DataBricks DataBricks SignUp

  • نوت بوک DataBricks را ایجاد کنید Create DataBricks Notebook

  • دانلود Spark and Dependencies Download Spark and Dependencies

  • راه اندازی جاوا در پنجره Java Setup on Window

  • راه اندازی پایتون در پنجره Python Setup on Window

  • راه اندازی جرقه در پنجره Spark Setup on Window

  • دانلود جاوا در مک Java Download on MAC

  • نصب پایتون در مک Installing Python on MAC

  • راه اندازی Spark در MAC Setup Spark on MAC

RDD های جرقه ای Spark RDDs

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • RDD های جرقه ای Spark RDDs

  • ایجاد Spark RDD Creating Spark RDD

  • ایجاد Spark RDD Creating Spark RDD

  • اجرای Spark Code به صورت محلی Running Spark Code Locally

  • RDD مخفف: RDD stands for:

  • RDD مخفف: RDD stands for:

  • RDD با استفاده از موارد زیر ایجاد می شود: RDD is created by using:

  • RDD با استفاده از موارد زیر ایجاد می شود: RDD is created by using:

  • نقشه RDD (لامبدا) RDD Map (Lambda)

  • نقشه RDD (عملکرد ساده) RDD Map (Simple Function)

  • مسابقه (نقشه) Quiz (Map)

  • مسابقه (نقشه) Quiz (Map)

  • راه حل 1 (نقشه) Solution 1 (Map)

  • راه حل 2 (نقشه) Solution 2 (Map)

  • راه حل 2 (نقشه) Solution 2 (Map)

  • RDD FlatMap RDD FlatMap

  • فیلتر RDD RDD Filter

  • امتحان (فیلتر) Quiz (Filter)

  • امتحان (فیلتر) Quiz (Filter)

  • راه حل (فیلتر) Solution (Filter)

  • راه حل (فیلتر) Solution (Filter)

  • RDD متمایز RDD Distinct

  • RDD متمایز RDD Distinct

  • RDD GroupByKey RDD GroupByKey

  • RDD GroupByKey RDD GroupByKey

  • RDD ReduceByKey RDD ReduceByKey

  • RDD ReduceByKey RDD ReduceByKey

  • آزمون (شمارش کلمات) Quiz (Word Count)

  • راه حل (شمارش کلمات) Solution (Word Count)

  • راه حل (شمارش کلمات) Solution (Word Count)

  • RDD (Count and CountByValue) RDD (Count and CountByValue)

  • RDD (saveAsTextFile) RDD (saveAsTextFile)

  • RDD (saveAsTextFile) RDD (saveAsTextFile)

  • RDD (پارتیشن) RDD (Partition)

  • یافتن میانگین-1 Finding Average-1

  • یافتن میانگین-2 Finding Average-2

  • یافتن میانگین-2 Finding Average-2

  • آزمون (متوسط) Quiz (Average)

  • آزمون (متوسط) Quiz (Average)

  • راه حل (متوسط) Solution (Average)

  • یافتن حداقل و حداکثر Finding Min and Max

  • یافتن حداقل و حداکثر Finding Min and Max

  • آزمون (حداقل و حداکثر) Quiz (Min and Max)

  • راه حل (حداقل و حداکثر) Solution (Min and Max)

  • راه حل (حداقل و حداکثر) Solution (Min and Max)

  • بررسی اجمالی پروژه Project Overview

  • کل دانش آموزان Total Students

  • مجموع نمرات دانش آموز دختر و پسر Total Marks by Male and Female Student

  • مجموع نمرات دانش آموز دختر و پسر Total Marks by Male and Female Student

  • کل دانش آموزان قبول شده و رد شده Total Passed and Failed Students

  • کل ثبت نام در هر دوره Total Enrollments per Course

  • کل ثبت نام در هر دوره Total Enrollments per Course

  • مجموع امتیازات در هر دوره Total Marks per Course

  • مجموع امتیازات در هر دوره Total Marks per Course

  • میانگین نمره در هر دوره Average marks per Course

  • میانگین نمره در هر دوره Average marks per Course

  • پیدا کردن حداقل و حداکثر نمره Finding Minimum and Maximum marks

  • میانگین سنی دانش آموزان دختر و پسر Average Age of Male and Female Students

  • میانگین سنی دانش آموزان دختر و پسر Average Age of Male and Female Students

RDD های جرقه ای Spark RDDs

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • RDD های جرقه ای Spark RDDs

  • اجرای Spark Code به صورت محلی Running Spark Code Locally

  • نقشه RDD (لامبدا) RDD Map (Lambda)

  • نقشه RDD (عملکرد ساده) RDD Map (Simple Function)

  • راه حل 1 (نقشه) Solution 1 (Map)

  • RDD FlatMap RDD FlatMap

  • فیلتر RDD RDD Filter

  • راه حل (شمارش کلمات) Solution (Word Count)

  • RDD (Count and CountByValue) RDD (Count and CountByValue)

  • RDD (پارتیشن) RDD (Partition)

  • یافتن میانگین-1 Finding Average-1

  • راه حل (متوسط) Solution (Average)

  • آزمون (حداقل و حداکثر) Quiz (Min and Max)

  • بررسی اجمالی پروژه Project Overview

  • کل دانش آموزان Total Students

  • کل دانش آموزان قبول شده و رد شده Total Passed and Failed Students

  • پیدا کردن حداقل و حداکثر نمره Finding Minimum and Maximum marks

اسپارک دی اف ها Spark DFs

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • مقدمه ای بر Spark DFs Introduction to Spark DFs

  • مقدمه ای بر Spark DFs Introduction to Spark DFs

  • ایجاد Spark DF Creating Spark DFs

  • DF مخفف: DF stands for:

  • DF مخفف: DF stands for:

  • DF با استفاده از موارد زیر ایجاد می شود: DF is created by using:

  • طرحواره استنتاج جرقه Spark Infer Schema

  • طرحواره ارائه جرقه Spark Provide Schema

  • ایجاد DF از Rdd Create DF from Rdd

  • ایجاد DF از Rdd Create DF from Rdd

  • اصلاح خطا Rectifying the Error

  • اصلاح خطا Rectifying the Error

  • DF Colums را انتخاب کنید Select DF Colums

  • Spark DF withColumn Spark DF withColumn

  • Spark DF withColumnRenamed و Alias Spark DF withColumnRenamed and Alias

  • ردیف های فیلتر DF Spark Spark DF Filter rows

  • امتحان (انتخاب، با ستون، فیلتر) Quiz (select, withColumn, filter)

  • راه حل (انتخاب، با ستون، فیلتر) Solution (select, withColumn, filter)

  • Spark DF (تعداد، متمایز، تکراری) Spark DF (Count, Distinct, Duplicate)

  • Spark DF (تعداد، متمایز، تکراری) Spark DF (Count, Distinct, Duplicate)

  • آزمون (مشخص، تکراری) Quiz (Distinct, Duplicate)

  • راه حل (متمایز، تکراری) Solution (Distinct, Duplicate)

  • راه حل (متمایز، تکراری) Solution (Distinct, Duplicate)

  • Spark DF (مرتب سازی، ترتیب بر اساس) Spark DF (sort, orderBy)

  • امتحان (مرتب سازی، ترتیب بر اساس) Quiz (sort, orderBy)

  • امتحان (مرتب سازی، ترتیب بر اساس) Quiz (sort, orderBy)

  • راه حل (مرتب سازی، ترتیب بر اساس) Solution (sort, orderBy)

  • Spark DF (گروه بر اساس) Spark DF (Group By)

  • Spark DF (گروه بر اساس) Spark DF (Group By)

  • Spark DF (گروه بر اساس - چندین ستون و تجمع) Spark DF (Group By - Multiple Columns and Aggregations)

  • Spark DF (گروه با تجسم) Spark DF (Group By -Visualization)

  • Spark DF (گروه با تجسم) Spark DF (Group By -Visualization)

  • Spark DF (گروه بر اساس - فیلتر) Spark DF (Group By - Filtering)

  • Spark DF (گروه بر اساس - فیلتر) Spark DF (Group By - Filtering)

  • مسابقه (گروهی) Quiz (Group By)

  • راه حل (گروه بر اساس) Solution (Group By)

  • راه حل (گروه بر اساس) Solution (Group By)

  • آزمون (شمارش کلمات) Quiz (Word Count)

  • آزمون (شمارش کلمات) Quiz (Word Count)

  • راه حل (شمارش کلمات) Solution (Word Count)

  • راه حل (شمارش کلمات) Solution (Word Count)

  • Spark DF (UDF) Spark DF (UDFs)

  • آزمون (UDF) Quiz (UDFs)

  • راه حل (UDF) Solution (UDFs)

  • راه حل (Cache و Presist) Solution (Cache and Presist)

  • راه حل (Cache و Presist) Solution (Cache and Presist)

  • Spark DF (DF به RDD) Spark DF (DF to RDD)

  • Spark DF (DF به RDD) Spark DF (DF to RDD)

  • Spark DF (Spark SQL) Spark DF (Spark SQL)

  • Spark DF (Spark SQL) Spark DF (Spark SQL)

  • Spark DF (Write DF) Spark DF (Write DF)

  • بررسی اجمالی پروژه Project Overview

  • بررسی اجمالی پروژه Project Overview

  • پروژه (شمارش و انتخاب) Project (Count and Select)

  • پروژه (گروهی) Project (Group By)

  • پروژه (گروهی) Project (Group By)

  • پروژه (گروه بر اساس، تجمیع و سفارش بر اساس) Project (Group By, Aggregations and Order By)

  • پروژه (فیلتر کردن) Project (Filtering)

  • پروژه (UDF و WithColumn) Project (UDF and WithColumn)

  • پروژه (UDF و WithColumn) Project (UDF and WithColumn)

  • پروژه (نوشتن) Project (Write)

اسپارک دی اف ها Spark DFs

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • ایجاد Spark DF Creating Spark DFs

  • DF با استفاده از موارد زیر ایجاد می شود: DF is created by using:

  • طرحواره استنتاج جرقه Spark Infer Schema

  • طرحواره ارائه جرقه Spark Provide Schema

  • DF Colums را انتخاب کنید Select DF Colums

  • Spark DF withColumn Spark DF withColumn

  • Spark DF withColumnRenamed و Alias Spark DF withColumnRenamed and Alias

  • ردیف های فیلتر DF Spark Spark DF Filter rows

  • امتحان (انتخاب، با ستون، فیلتر) Quiz (select, withColumn, filter)

  • راه حل (انتخاب، با ستون، فیلتر) Solution (select, withColumn, filter)

  • آزمون (مشخص، تکراری) Quiz (Distinct, Duplicate)

  • Spark DF (مرتب سازی، ترتیب بر اساس) Spark DF (sort, orderBy)

  • راه حل (مرتب سازی، ترتیب بر اساس) Solution (sort, orderBy)

  • Spark DF (گروه بر اساس - چندین ستون و تجمع) Spark DF (Group By - Multiple Columns and Aggregations)

  • مسابقه (گروهی) Quiz (Group By)

  • آزمون (شمارش کلمات) Quiz (Word Count)

  • راه حل (شمارش کلمات) Solution (Word Count)

  • Spark DF (UDF) Spark DF (UDFs)

  • آزمون (UDF) Quiz (UDFs)

  • راه حل (UDF) Solution (UDFs)

  • Spark DF (Write DF) Spark DF (Write DF)

  • پروژه (شمارش و انتخاب) Project (Count and Select)

  • پروژه (گروه بر اساس، تجمیع و سفارش بر اساس) Project (Group By, Aggregations and Order By)

  • پروژه (فیلتر کردن) Project (Filtering)

  • پروژه (نوشتن) Project (Write)

فیلتر مشارکتی Collaborative filtering

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • فیلتر مشارکتی Collaborative filtering

  • ماتریس سودمند Utility Matrix

  • ماتریس سودمند Utility Matrix

  • رتبه بندی صریح و ضمنی Explicit and Implicit Ratings

  • نتایج مورد انتظار Expected Results

  • نتایج مورد انتظار Expected Results

  • مجموعه داده Dataset

  • پیوستن به Dataframes Joining Dataframes

  • پیوستن به Dataframes Joining Dataframes

  • داده های آموزش و آزمایش Train and Test Data

  • داده های آموزش و آزمایش Train and Test Data

  • مدل ALS ALS model

  • مدل ALS ALS model

  • تنظیم فراپارامتر و اعتبار سنجی متقاطع Hyperparameter tuning and cross validation

  • تنظیم فراپارامتر و اعتبار سنجی متقاطع Hyperparameter tuning and cross validation

  • بهترین مدل و ارزیابی پیش بینی ها Best model and evaluate predictions

  • بهترین مدل و ارزیابی پیش بینی ها Best model and evaluate predictions

  • توصیه ها Recommendations

فیلتر مشارکتی Collaborative filtering

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • فیلتر مشارکتی Collaborative filtering

  • رتبه بندی صریح و ضمنی Explicit and Implicit Ratings

  • مجموعه داده Dataset

  • توصیه ها Recommendations

جریان جرقه Spark Streaming

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

  • مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

  • جریان جرقه با RDD Spark Streaming with RDD

  • جریان جرقه با RDD Spark Streaming with RDD

  • جریان جرقه برای موارد زیر استفاده می شود: Spark streaming is used to:

  • جریان جرقه برای موارد زیر استفاده می شود: Spark streaming is used to:

  • زمینه جریان جرقه Spark Streaming Context

  • Spark Streaming Reading Data Spark Streaming Reading Data

  • Spark Streaming Cluster Restart مجدد Spark Streaming Cluster Restart

  • تبدیل جرقه جریان RDD Spark Streaming RDD Transformations

  • کدام عبارت در مورد SparkContext و StreamingContext درست است: Which statement is true about SparkContext and StreamingContext:

  • اسپارک استریم دی اف Spark Streaming DF

  • نمایش جریان جرقه Spark Streaming Display

  • نمایش جریان جرقه Spark Streaming Display

  • جرقه جریان DF تجمع Spark Streaming DF Aggregations

  • جرقه جریان DF تجمع Spark Streaming DF Aggregations

جریان جرقه Spark Streaming

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • زمینه جریان جرقه Spark Streaming Context

  • Spark Streaming Reading Data Spark Streaming Reading Data

  • Spark Streaming Cluster Restart مجدد Spark Streaming Cluster Restart

  • تبدیل جرقه جریان RDD Spark Streaming RDD Transformations

  • کدام عبارت در مورد SparkContext و StreamingContext درست است: Which statement is true about SparkContext and StreamingContext:

  • اسپارک استریم دی اف Spark Streaming DF

خط لوله ETL ETL Pipeline

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • مقدمه ای بر ETL Introduction to ETL

  • ما می توانیم ETL را با استفاده از PySpark انجام دهیم: We can perform ETL using PySpark:

  • ETL مخفف: ETL stands for:

  • جریان خط لوله ETL ETL pipeline Flow

  • مجموعه داده ها Data set

  • مجموعه داده ها Data set

  • استخراج داده ها Extracting Data

  • تبدیل داده ها Transforming Data

  • بارگیری داده ها (ایجاد RDS-I) Loading data (Creating RDS-I)

  • بارگذاری داده (ایجاد RDS-II) Load data (Creating RDS-II)

  • شبکه RDS RDS Networking

  • شبکه RDS RDS Networking

  • در حال دانلود Postgres Downloading Postgres

  • نصب Postgres Installing Postgres

  • نصب Postgres Installing Postgres

  • از طریق PgAdmin به RDS متصل شوید Connect to RDS thorugh PgAdmin

  • در حال بارگیری داده ها Loading Data

خط لوله ETL ETL Pipeline

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • مقدمه ای بر ETL Introduction to ETL

  • ما می توانیم ETL را با استفاده از PySpark انجام دهیم: We can perform ETL using PySpark:

  • ETL مخفف: ETL stands for:

  • جریان خط لوله ETL ETL pipeline Flow

  • استخراج داده ها Extracting Data

  • تبدیل داده ها Transforming Data

  • بارگیری داده ها (ایجاد RDS-I) Loading data (Creating RDS-I)

  • بارگذاری داده (ایجاد RDS-II) Load data (Creating RDS-II)

  • در حال دانلود Postgres Downloading Postgres

  • از طریق PgAdmin به RDS متصل شوید Connect to RDS thorugh PgAdmin

  • در حال بارگیری داده ها Loading Data

پروژه - تغییر ضبط داده/تکرار در حال انجام Project - Change Data Capture / Replication On Going

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • مقدمه ای بر پروژه Introduction to Project

  • معماری پروژه Project Architecture

  • معماری پروژه Project Architecture

  • در این پروژه قصد داریم اجرا کنیم: In this project we are going to implement:

  • در این پروژه قصد داریم اجرا کنیم: In this project we are going to implement:

  • سرویس ابری DMS برای موارد زیر استفاده خواهد شد: The cloud service DMS will be used to:

  • سرویس ابری DMS برای موارد زیر استفاده خواهد شد: The cloud service DMS will be used to:

  • ایجاد نمونه RDS MySql Creating RDS MySql instance

  • ایجاد نمونه RDS MySql Creating RDS MySql instance

  • ایجاد سطل S3 Creating S3 Bucket

  • ایجاد نقطه پایانی منبع DMS Creating DMS Source Endpoint

  • ایجاد نقطه پایانی منبع DMS Creating DMS Source Endpoint

  • ایجاد نقطه پایانی مقصد DMS Creating DMS Destination Endpoint

  • ایجاد نقطه پایانی مقصد DMS Creating DMS Destination Endpoint

  • ایجاد نمونه DMS Creating DMS Instance

  • MySql WorkBench MySql WorkBench

  • اتصال با RDS و Dumping Data Connecting with RDS and Dumping Data

  • اتصال با RDS و Dumping Data Connecting with RDS and Dumping Data

  • درخواست RDS Quering RDS

  • درخواست RDS Quering RDS

  • بارگذاری کامل DMS DMS Full Load

  • بارگذاری کامل DMS DMS Full Load

  • تکرار DMS در حال انجام است DMS Replication Ongoing

  • تکرار DMS در حال انجام است DMS Replication Ongoing

  • توقف نمونه ها Stoping Instances

  • کار چسب (بار کامل) Glue Job (Full Load)

  • کار چسب (تغییر عکس) Glue Job (Change Capture)

  • کار چسب (CDC) Glue Job (CDC)

  • ایجاد تابع Lambda و اضافه کردن Trigger Creating Lambda Function and Adding Trigger

  • بررسی ماشه Checking Trigger

  • بررسی ماشه Checking Trigger

  • دریافت نام فایل S3 در لامبدا Getting S3 file name in Lambda

  • ایجاد کار چسب Creating Glue Job

  • ایجاد کار چسب Creating Glue Job

  • افزودن Invoke برای Glue Job Adding Invoke for Glue Job

  • افزودن Invoke برای Glue Job Adding Invoke for Glue Job

  • فراخوانی آزمایشی Testing Invoke

  • فراخوانی آزمایشی Testing Invoke

  • نوشتن کار چسب چسب Writing Glue Shell Job

  • نوشتن کار چسب چسب Writing Glue Shell Job

  • خط لوله با بار کامل Full Load Pipeline

  • خط لوله ضبط داده را تغییر دهید Change Data Capture Pipeline

پروژه - تغییر ضبط داده/تکرار در حال انجام Project - Change Data Capture / Replication On Going

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • مقدمه ای بر پروژه Introduction to Project

  • ایجاد سطل S3 Creating S3 Bucket

  • ایجاد نمونه DMS Creating DMS Instance

  • MySql WorkBench MySql WorkBench

  • توقف نمونه ها Stoping Instances

  • کار چسب (بار کامل) Glue Job (Full Load)

  • کار چسب (تغییر عکس) Glue Job (Change Capture)

  • کار چسب (CDC) Glue Job (CDC)

  • ایجاد تابع Lambda و اضافه کردن Trigger Creating Lambda Function and Adding Trigger

  • دریافت نام فایل S3 در لامبدا Getting S3 file name in Lambda

  • خط لوله با بار کامل Full Load Pipeline

  • خط لوله ضبط داده را تغییر دهید Change Data Capture Pipeline

توسعه چت ربات با آمازون لکس Chatbots Development with Amazon Lex

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • معرفی Introduction

  • مبانی AWS برای چت بات ها: مرور کلی ماژول Fundamentals of AWS for Chatbots: Module Overview

  • اصول AWS برای چت بات ها: مروری بر AWS Fundamentals of AWS for Chatbots: Overview of AWS

  • اصول AWS برای چت بات ها: مروری بر AWS Fundamentals of AWS for Chatbots: Overview of AWS

  • اصول AWS برای Chatbots: خدمات AWS Fundamentals of AWS for Chatbots: Services of AWS

  • مبانی AWS برای چت بات ها: ویژگی های برجسته AWS Fundamentals of AWS for Chatbots: Salient Features of AWS

  • مبانی AWS برای چت بات ها: مرور اجمالی ربات Lex Fundamentals of AWS for Chatbots: Lex Bot Overview

  • مبانی AWS برای چت بات ها: مرور اجمالی ربات Lex Fundamentals of AWS for Chatbots: Lex Bot Overview

  • اصول AWS برای چت بات ها: مزایای آمازون لکس Fundamentals of AWS for Chatbots: Benifits of Amazon Lex

  • اصول AWS برای چت بات ها: چارچوب Lex Fundamentals of AWS for Chatbots: Framework of Lex

  • توسعه چت بات با AWS Lex و AWS Lambda: مرور کلی ماژول Chatbot Development with AWS Lex and AWS Lambda: Module Overview

  • توسعه چت بات با AWS Lex و AWS Lambda: مراحل Chatbot Chatbot Development with AWS Lex and AWS Lambda: Chatbot Steps

  • توسعه چت بات با AWS Lex و AWS Lambda: مراحل Chatbot Chatbot Development with AWS Lex and AWS Lambda: Chatbot Steps

  • توسعه چت بات با AWS Lex و AWS Lambda: مراحل AWS Lambda Chatbot Development with AWS Lex and AWS Lambda: AWS Lambda Steps

  • توسعه چت بات با AWS Lex و AWS Lambda: مراحل AWS Lambda Chatbot Development with AWS Lex and AWS Lambda: AWS Lambda Steps

  • توسعه چت بات با AWS Lex و AWS Lambda: Twilio و وب سایت Chatbot Development with AWS Lex and AWS Lambda: Twilio and Website

  • توسعه چت بات با AWS Lex و AWS Lambda: کارت‌های پاسخ Chatbot Development with AWS Lex and AWS Lambda: Response Cards

  • توسعه Chatbot با AWS Lex و AWS Lambda: شروع به توسعه Chatbot کنید Chatbot Development with AWS Lex and AWS Lambda: Start Developing Chatbot

  • توسعه چت بات با AWS Lex و AWS Lambda: Intent Utterance و Slot Chatbot Development with AWS Lex and AWS Lambda: Intent Utterance and Slot

  • توسعه چت بات با AWS Lex و AWS Lambda: Intent Utterance و Slot Chatbot Development with AWS Lex and AWS Lambda: Intent Utterance and Slot

  • توسعه چت بات با AWS Lex و AWS Lambda: ساختن سخنان Chatbot Development with AWS Lex and AWS Lambda: Making Utterances

  • توسعه چت بات با AWS Lex و AWS Lambda: بیان عمومی با اسلات Chatbot Development with AWS Lex and AWS Lambda: Generic Utterance with Slots

  • توسعه چت بات با AWS Lex و AWS Lambda: افزودن اسلات های سفارشی Chatbot Development with AWS Lex and AWS Lambda: Adding Custom Slots

  • توسعه چت بات با AWS Lex و AWS Lambda: افزودن اسلات های سفارشی Chatbot Development with AWS Lex and AWS Lambda: Adding Custom Slots

  • توسعه چت بات با AWS Lex و AWS Lambda: ساخت و تست Chatbot Development with AWS Lex and AWS Lambda: Build and Test

  • توسعه چت بات با AWS Lex و AWS Lambda: ساخت و تست Chatbot Development with AWS Lex and AWS Lambda: Build and Test

  • توسعه چت بات با AWS Lex و AWS Lambda: Visual Builder Chatbot Development with AWS Lex and AWS Lambda: Visual Builder

  • توسعه چت بات با AWS Lex و AWS Lambda: معرفی Lambda Chatbot Development with AWS Lex and AWS Lambda: Lambda Introduction

  • توسعه چت بات با AWS Lex و AWS Lambda: اتصال Chatbot Development with AWS Lex and AWS Lambda: Interconnection

  • توسعه چت بات با AWS Lex و AWS Lambda: اتصال Chatbot Development with AWS Lex and AWS Lambda: Interconnection

  • توسعه چت بات با AWS Lex و AWS Lambda: شروع کد Lambda Chatbot Development with AWS Lex and AWS Lambda: Starting Lambda Code

  • توسعه چت بات با AWS Lex و AWS Lambda: شروع کد Lambda Chatbot Development with AWS Lex and AWS Lambda: Starting Lambda Code

  • توسعه ربات چت با AWS Lex و AWS Lambda: حالت جلسه Dialog Hook و Dialog Action Chatbot Development with AWS Lex and AWS Lambda: Session state Dialog Hook and Dialog Action

  • توسعه ربات چت با AWS Lex و AWS Lambda: حالت جلسه Dialog Hook و Dialog Action Chatbot Development with AWS Lex and AWS Lambda: Session state Dialog Hook and Dialog Action

  • توسعه چت بات با AWS Lex و AWS Lambda: تکمیل عملکرد Lambda Chatbot Development with AWS Lex and AWS Lambda: Completing Lambda Function

  • توسعه چت بات با AWS Lex و AWS Lambda: تکمیل عملکرد Lambda Chatbot Development with AWS Lex and AWS Lambda: Completing Lambda Function

  • توسعه چت بات با AWS Lex و AWS Lambda: آزمایش چت بات ما Chatbot Development with AWS Lex and AWS Lambda: Testing our Chatbot

  • توسعه چت بات با AWS Lex و AWS Lambda: استقرار ربات چت در Whatsapp با Twilio Chatbot Development with AWS Lex and AWS Lambda: Chatbot Deployment on Whatsapp with Twilio

  • توسعه چت بات با AWS Lex و AWS Lambda: استقرار ربات چت در Whatsapp با Twilio Chatbot Development with AWS Lex and AWS Lambda: Chatbot Deployment on Whatsapp with Twilio

  • توسعه چت بات با AWS Lex و AWS Lambda: ادغام با Boto Chatbot Development with AWS Lex and AWS Lambda: Integration with Boto

  • توسعه چت بات با AWS Lex و AWS Lambda: پاسخ با Boto Chatbot Development with AWS Lex and AWS Lambda: Responses with Boto

  • توسعه چت بات با AWS Lex و AWS Lambda: پاسخ با Boto Chatbot Development with AWS Lex and AWS Lambda: Responses with Boto

  • توسعه Chatbot با AWS Lex و AWS Lambda: Chatbot در وب سایت Chatbot Development with AWS Lex and AWS Lambda: Chatbot on Website

  • توسعه Chatbot با AWS Lex و AWS Lambda: Chatbot در وب سایت Chatbot Development with AWS Lex and AWS Lambda: Chatbot on Website

  • توسعه چت بات با AWS Lex و AWS Lambda: کارت های پاسخ برای تجربه کاربر Chatbot Development with AWS Lex and AWS Lambda: Response Cards for User Experience

  • توسعه چت بات با AWS Lex و AWS Lambda: کارت های پاسخ برای تجربه کاربر Chatbot Development with AWS Lex and AWS Lambda: Response Cards for User Experience

  • توسعه چت بات با AWS Lex و AWS Lambda: چت بات کامل با کارت های پاسخ Chatbot Development with AWS Lex and AWS Lambda: Complete Chatbot with Response Cards

  • توسعه چت بات با AWS Lex و AWS Lambda: چت بات کامل با کارت های پاسخ Chatbot Development with AWS Lex and AWS Lambda: Complete Chatbot with Response Cards

توسعه چت ربات با آمازون لکس Chatbots Development with Amazon Lex

  • پیوندهایی برای مواد و کدهای دوره Links for the Course's Materials and Codes

  • معرفی Introduction

  • مبانی AWS برای چت بات ها: مرور کلی ماژول Fundamentals of AWS for Chatbots: Module Overview

  • اصول AWS برای Chatbots: خدمات AWS Fundamentals of AWS for Chatbots: Services of AWS

  • مبانی AWS برای چت بات ها: ویژگی های برجسته AWS Fundamentals of AWS for Chatbots: Salient Features of AWS

  • اصول AWS برای چت بات ها: مزایای آمازون لکس Fundamentals of AWS for Chatbots: Benifits of Amazon Lex

  • اصول AWS برای چت بات ها: چارچوب Lex Fundamentals of AWS for Chatbots: Framework of Lex

  • توسعه چت بات با AWS Lex و AWS Lambda: مرور کلی ماژول Chatbot Development with AWS Lex and AWS Lambda: Module Overview

  • توسعه چت بات با AWS Lex و AWS Lambda: Twilio و وب سایت Chatbot Development with AWS Lex and AWS Lambda: Twilio and Website

  • توسعه چت بات با AWS Lex و AWS Lambda: کارت‌های پاسخ Chatbot Development with AWS Lex and AWS Lambda: Response Cards

  • توسعه Chatbot با AWS Lex و AWS Lambda: شروع به توسعه Chatbot کنید Chatbot Development with AWS Lex and AWS Lambda: Start Developing Chatbot

  • توسعه چت بات با AWS Lex و AWS Lambda: ساختن سخنان Chatbot Development with AWS Lex and AWS Lambda: Making Utterances

  • توسعه چت بات با AWS Lex و AWS Lambda: بیان عمومی با اسلات Chatbot Development with AWS Lex and AWS Lambda: Generic Utterance with Slots

  • توسعه چت بات با AWS Lex و AWS Lambda: Visual Builder Chatbot Development with AWS Lex and AWS Lambda: Visual Builder

  • توسعه چت بات با AWS Lex و AWS Lambda: معرفی Lambda Chatbot Development with AWS Lex and AWS Lambda: Lambda Introduction

  • توسعه چت بات با AWS Lex و AWS Lambda: آزمایش چت بات ما Chatbot Development with AWS Lex and AWS Lambda: Testing our Chatbot

  • توسعه چت بات با AWS Lex و AWS Lambda: ادغام با Boto Chatbot Development with AWS Lex and AWS Lambda: Integration with Boto

نمایش نظرات

نظری ارسال نشده است.

آموزش PySpark و AWS: تسلط بر داده های بزرگ با PySpark و AWS
خرید اشتراک و دانلود خرید تکی و دانلود | 320,000 تومان (5 روز مهلت دانلود) در صورت خرید اشتراک، این آموزش بدلیل حجم بالا معادل 2 دوره است و 2 دوره از اشتراک شما کم می شود. زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
19.5 hours
197
Udemy (یودمی) udemy-small
26 اسفند 1401 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
10,069
4.3 از 5
دارد
دارد
دارد

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

AI Sciences AI Sciences

کارشناسان هوش مصنوعی و دانشمندان داده | رتبه ۴+ | 168+ کشور

AI Sciences AI Sciences

کارشناسان هوش مصنوعی و دانشمندان داده | رتبه ۴+ | 168+ کشور

AI Sciences Team AI Sciences Team

پشتیبانی از تیم علوم هوش مصنوعی

AI Sciences Team AI Sciences Team

پشتیبانی از تیم علوم هوش مصنوعی

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.