PySpark - چارچوب برنامه نویسی و آزمایش Python Spark Hadoop

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• Big Data Spark چیست؟ What is Big Data Spark?

راه اندازی محیط توسعه Hadoop Spark Setting up Hadoop Spark development environment

• مراحل تنظیم محیط Environment setup steps

• نصب پایتون Installing Python

• در حال نصب PyCharm Installing PyCharm

• ایجاد پروژه در محیط اصلی پایتون Creating a project in the main Python environment

• نصب JDK Installing JDK

• نصب Spark 3 & Hadoop Installing Spark 3 & Hadoop

• اجرای PySpark در کنسول Running PySpark in the Console

• PyCharm PySpark Hello DataFrame PyCharm PySpark Hello DataFrame

• برنامه نویسی PyCharm Hadoop Spark PyCharm Hadoop Spark programming

• دستورالعمل های ویژه برای کاربران مک Special instructions for Mac users

• نکات سریع - مجوز winutils Quick tips - winutils permission

• اصول اولیه پایتون Python basics

ایجاد یک چارچوب کدنویسی PySpark Creating a PySpark coding framework

• ساختار کد با کلاس ها و متدها Structuring code with classes and methods

• اسپارک چگونه کار می کند؟ How Spark works?

• ایجاد و استفاده مجدد از SparkSession Creating and reusing SparkSession

• Spark DataFrame Spark DataFrame

• جدا کردن کد بلع، تبدیل و ماندگاری Separating out Ingestion, Transformation and Persistence code

ورود به سیستم و مدیریت خطا Logging and Error Handling

• ثبت پایتون Python Logging

• مدیریت سطح گزارش از طریق یک فایل پیکربندی Managing log level through a configuration file

• داشتن لاگر سفارشی برای هر کلاس پایتون Having custom logger for each Python class

• رسیدگی به خطا با تلاش به جز و افزایش Error Handling with try except and raise

• ثبت با استفاده از بسته های log4p و log4python Logging using log4p and log4python packages

ایجاد خط لوله داده با Hadoop Spark و PostgreSQL Creating a Data Pipeline with Hadoop Spark and PostgreSQL

• بلع داده ها از Hive Ingesting data from Hive

• تبدیل داده های دریافت شده Transforming ingested data

• نصب PostgreSQL Installing PostgreSQL

• تعامل Spark PostgreSQL با آداپتور Psycopg2 Spark PostgreSQL interaction with Psycopg2 adapter

• تعامل Spark PostgreSQL با درایور JDBC Spark PostgreSQL interaction with JDBC driver

• داده های تبدیل شده پایدار در PostgreSQL Persisting transformed data in PostgreSQL

خواندن پیکربندی از فایل خواص Reading configuration from properties file

• کد سازماندهی بیشتر Organizing code further

• خواندن پیکربندی از یک فایل ویژگی Reading configuration from a property file

تست واحد برنامه PySpark Unit testing PySpark application

• چارچوب واحد تست پایتون Python unittest framework

• واحد تست منطق تبدیل PySpark Unit testing PySpark transformation logic

• یک خطا در تست واحد Unit testing an error

جرقه-تسلیم spark-submit

• PySpark spark-submit PySpark spark-submit

• فریم ورک اسپارک اسکالا Spark Scala Framework

• تبریک و تشکر Congratulations & Thank You

ضمیمه - PySpark در Colab و DataFrame عمیق شیرجه Appendix - PySpark on Colab and DataFrame deep dive

• اجرای Python Spark 3 در Google Colab Running Python Spark 3 on Google Colab

• SparkSDL و Dataframe در Colab غواصی عمیق می کنند SparkSDL and Dataframe deep dive on Colab

ضمیمه - Big Data Hadoop Hive برای مبتدیان Appendix - Big Data Hadoop Hive for beginners

• مفاهیم کلان داده Big Data concepts

• مفاهیم هدوپ Hadoop concepts

• سیستم فایل توزیع شده Hadoop (HDFS) Hadoop Distributed File System (HDFS)

• آشنایی با Google Cloud (GCP) Dataproc Understanding Google Cloud (GCP) Dataproc

• ثبت نام برای استفاده آزمایشی رایگان Google Cloud Signing up for a Google Cloud free trial

• ذخیره فایل در HDFS Storing a file in HDFS

• MapReduce و YARN MapReduce and YARN

• کندو Hive

• جستجوی داده های HDFS با استفاده از Hive Querying HDFS data using Hive

• حذف خوشه Deleting the Cluster

• تجزیه و تحلیل یک میلیارد رکورد با Hive Analyzing a billion records with Hive