Scala & Spark-Master Big Data با Scala و Spark [ویدئو]

سرفصل ها و درس ها

معرفی Introduction

• چرا اسکالا Why Scala

• برنامه های کاربردی اسکالا Scala Applications

• درباره مربی About the Instructor

• مقدمه دوره Introduction to Course

• بررسی اجمالی پروژه ها Projects Overview

بررسی اجمالی Overview

• اسکالا چیست؟ What is Scala

• Scala Setup (ماشین محلی) Scala Setup (Local Machine)

• سلام دنیا Hello World

• Scala Setup (آنلاین) Scala Setup (Online)

• متغیرها در اسکالا Variables in Scala

• عملیات حسابی روی متغیرها-1 Arithmetic Operations on Variables-1

• عملیات حسابی روی متغیرها-2 Arithmetic Operations on Variables-2

• آزمون (عملیات حسابی) Quiz (Arithmetic Operations)

• راه حل (عملیات حسابی) Solution (Arithmetic Operations)

• مسابقه (رشته) Quiz (Strings)

• راه حل (رشته ها) Solution (Strings)

• Casting را تایپ کنید Type Casting

• گرفتن ورودی از کاربر Taking Input from User

• آزمون (ورودی کاربر و ارسال نوع ارسال) Quiz (User Input and Type Casting)

• راه حل (ورودی کاربر و ارسال نوع) Solution (User Input and Type Casting)

کنترل جریان Flow Control

• مروری بر بیانیه های کنترل Overview of Control Statements

• اگر غیر از اظهارات If else statements

• شرایط در If Conditions in If

• آزمون (اگر بیانیه) Quiz (if statement)

• راه حل (اگر بیانیه) Solution (if statement)

• تودرتو اگر دیگری Nested If Else

• امتحان (در صورت دیگری تو در تو) Quiz (Nested If Else)

• راه حل (در صورت دیگری تودرتو) Solution (nested if else)

• عملگرهای منطقی Logical Operators

• آزمون (اپراتورهای منطقی) Quiz (Logical Operators)

• راه حل (اپراتورهای منطقی) Solution (Logical Operators)

• اگر دیگر اگر If Else If

• امتحان (اگر غیر از این بود) Quiz (If Else If)

• راه حل (اگر غیر از این بود) Solution (If Else If)

• مروری بر حلقه ها Overview of Loops

• بررسی اجمالی حلقه while Overview of While Loop

• در حالی که حلقه While Loop

• آزمون (در حالی که حلقه) Quiz (While Loop)

• راه حل 1 (حلقه زمانی) Solution 1 (While Loop)

• راه حل 2 (حلقه زمانی) Solution 2 (While Loop)

• حلقه را انجام دهید Do While Loop

• برای حلقه For Loop

• مسابقه (برای حلقه) Quiz (For Loop)

• راه حل (برای حلقه) Solution (For Loop)

• مسابقه (برای حلقه) Quiz(For Loop)

• راه حل (برای حلقه) Solution(For Loop)

• زنگ تفريح Break

• تعمیر شکست Break Fix

• بررسی اجمالی پروژه Project Overview

• طراحی راه حل پروژه Project Solution Design

• کد راه حل پروژه 1 Project Solution Code 1

• کد راه حل پروژه 2 Project Solution Code 2

• کد راه حل پروژه 3 Project Solution Code 3

• کد راه حل پروژه 4 Project Solution Code 4

کارکرد Functions

• بررسی اجمالی توابع Overview of Functions

• تابع افزودن نوشتن Writing Addition Function

• امتحان (توابع اساسی) Quiz (Basic Functions)

• راه حل (توابع اساسی) Solution (Basic Functions)

• توابع مسائل مشترک Functions Common Issues

• آرگومان های نامگذاری شده Named Arguments

• آزمون (عملکرد الحاق رشته) Quiz (String Concatenation Function)

• راه حل (تابع الحاق رشته) Solution (String Concatenation Function)

• آزمون (تقسیم کد در توابع) Quiz (Dividing Code in Functions)

• راه حل (تقسیم کد در توابع) Solution (Dividing Code in Functions)

• آرگومان های پیش فرض Default Arguments

• امتحان (استدلال‌های پیش‌فرض) Quiz (Default Arguments)

• راه حل (استدلال های پیش فرض) Solution (Default Arguments)

• توابع ناشناس Anonymous Functions

• آزمون (توابع ناشناس) Quiz (Anonymous Functions)

• راه حل (توابع ناشناس) Solution (Anonymous Functions)

• محدوده ها Scopes

• بررسی اجمالی پروژه Project Overview

• بررسی اعتبار Checking Credentials

• درخواست منو Prompting the Menu

• توابع اساسی Basic Functions

• شکستن کد در توابع بیشتر Breaking Code in More Functions

• اجرای نهایی Final Run

کلاس ها Classes

• مقدمه ای بر کلاس ها Introduction to Classes

• ایجاد کلاس Creating Class

• سازنده کلاس Class Constructor

• توابع و کلاس ها Functions and Classes

• بررسی اجمالی پروژه Project Overview

• ساختار پایه Basic Structure

• اجرای نهایی Final Run

ساختارهای داده Data Structures

• معرفی ساختارهای داده Introduction of Data Structures

• معرفی لیست ها Lists introduction

• لیست های ایجاد و حذف عناصر Lists Create and Delete Elements

• لیست ها را بگیرید Lists Take

• ListBuffer مقدمه ListBuffer Introduction

• داده ها را در ListBuffer اضافه کنید Add Data in ListBuffer

• داده ها را از ListBuffer حذف کنید Remove Data from ListBuffer

• داده ها را از ListBuffer بگیرید Take Data from ListBuffer

• بررسی اجمالی پروژه Project Overview

• بحث معماری پروژه Project Architecture Discussion

• اجرای معماری پروژه Project Architecture Implementation

• ورودی کاربر برای اشیاء User Input for Objects

• پیاده سازی جریان کنترل Implementing the Control Flow

• ایجاد توابع مورد نیاز در داخل کلاس Creating Required Functions Inside Class

• نمای کلی نقشه ها Overview of Maps

• ایجاد نقشه ها Creating Maps

• کلید در نقشه را بررسی کنید Check Key in Map

• به روز رسانی مقدار در نقشه Update Value in Map

• افزودن و حذف موارد از Maps Add and Remove Items from Maps

• تکرار در Maps Iterating in Maps

• بررسی اجمالی پروژه Project Overview

• معماری پروژه Project Architecture

• کد ساختار پروژه Project Structure Code

• استفاده از Maps برای تعداد کلمات Using Maps for Word Count

• اجرای نهایی Final Run

• نمای کلی مجموعه ها Sets Overview

• افزودن و حذف آیتم از مجموعه Add and Remove Item from the Set

• تنظیم عملیات Set Operations

• نمای کلی Stack Overview of Stack

• Push and Pop in Stack Push and Pop in Stack

• صفات پشته Stack Attributes

• بررسی اجمالی پروژه Project Overview

• معماری پروژه Project Architecture

• مورد استفاده از براکت بسته شدن اضافی Extra Closing Bracket Use Case

• مورد استفاده از براکت شروع اضافی Extra Starting Bracket Use Case

پروژه Project

• معرفی پروژه Project Introduction

• چرا اسپارک Why Spark

• اکوسیستم هادوپ Hadoop Ecosystem

• معماری جرقه Spark Architecture

• اکوسیستم اسپارک Spark Ecosystem

• حساب DataBricks DataBricks Account

• راه اندازی DataBricks Cluster Setting Up DataBricks Cluster

• Spark Local Setup Spark Local Setup

• راه اندازی Spark Hadoop Spark Hadoop Setup

• RDD های جرقه ای Spark RDDs

• Spark RDD (تست فایل، جمع آوری) Spark RDDs (textFile, collect)

• اسپارک ران محلی Spark Local Run

• درک نقشه Understanding Map

• درک نقشه مسطح Understanding Flat Map

• درک کاهش با کلید Understanding Reduce by Key

• مثال تعداد کلمات Word Count Example

• اسپارک دی اف ها Spark DFs

• Spark DF Read Data Spark DF Read Data

• طرحواره چاپ جرقه، انتخاب کنید Spark Print Schema, Select

• Spark Group By Spark Group By

• اسپارک دی اف رایت Spark DF Write

• ایجاد سطل S3 Creating S3 Bucket

• ایجاد پایگاه داده در RDS Creating Database in RDS

• انجام ETL Performing ETL