آموزش توابع AWS Lambda برای مهندسان داده با استفاده از پایتون

Master AWS Lambda Functions for Data Engineers using Python

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
توضیحات دوره: ساخت توابع Lambda با استفاده از Python، Lambda Triggers، استقرار با استفاده از لایه‌ها و Docker، اعتبارسنجی با استفاده از Glue و ابزارهای مورد نیاز راه‌اندازی Athena در ویندوز برای توسعه کد خطوط داده ETL با استفاده از Python و AWS Services Setup Project یا Development Environment برای توسعه برنامه‌ها با استفاده از Python و AWS. شروع خدمات با AWS با ایجاد حساب کاربری در AWS و همچنین پیکربندی AWS CLI و همچنین مرور مجموعه داده‌های مورد استفاده برای پروژه توسعه منطق هسته برای دریافت داده‌ها از منبع به AWS s3 با استفاده از Python boto3 شروع با توابع AWS Lambda با استفاده از Python 3 Run- Time Environment برنامه را اصلاح کنید، فایل فشرده بسازید تا به عنوان تابع AWS Lambda اجرا شود، عملکرد AWS Lambda را با استفاده از فایل Zip ایجاد کنید و مشکلات مربوط به عملکردهای AWS Lambda را با استفاده از AWS Cloudwatch بررسی کنید، تصویر داکر سفارشی برای برنامه بسازید و به AWS ECR ایجاد Function Lambda را فشار دهید. با استفاده از تصویر داکر سفارشی در AWS ECR توسعه برنامه‌ها با استفاده از توابع AWS Lambda با افزودن Python M odules به عنوان لایه ها پیش نیازها: مدرک علوم کامپیوتر یا IT یا 1 یا 2 سال تجربه فناوری اطلاعات پایه مهارت های لینوکس با توانایی اجرای دستورات با استفاده از مهارت های برنامه نویسی ترمینال با استفاده از Python لازم است حساب AWS معتبر برای استفاده از خدمات AWS برای یادگیری نحوه ساخت داده ها خطوط لوله با استفاده از توابع AWS Lambda

آیا می خواهید توابع AWS Lambda را با ایجاد یک خط لوله داده سرتاسر با استفاده از Python به عنوان زبان برنامه نویسی و سایر خدمات کلیدی AWS مانند Boto3، S3، Dynamodb، ECR، Cloudwatch، Glue Catalog، Athena و غیره یاد بگیرید؟ در اینجا یک دوره وجود دارد که با استفاده از آن، با اجرای یک خط لوله انتها به انتها با استفاده از تمام خدمات ذکر شده، توابع AWS Lambda را یاد خواهید گرفت.

به عنوان بخشی از این دوره آموزشی، نحوه توسعه و استقرار توابع لامبدا را با استفاده از فایل های فشرده، تصاویر داکر سفارشی و همچنین لایه ها یاد خواهید گرفت. همچنین، نحوه راه‌اندازی عملکردهای لامبدا از Eventsbridge و همچنین توابع مرحله را خواهید فهمید.

  • ابزارهای مورد نیاز را در ویندوز برای توسعه کد خطوط لوله داده ETL با استفاده از سرویس‌های Python و AWS تنظیم کنید. شما مراقب راه اندازی اوبونتو با استفاده از wsl، Docker Desktop و Visual Studio Code به همراه کیت افزونه توسعه از راه دور خواهید بود تا بتوانید برنامه های مبتنی بر پایتون را با استفاده از خدمات AWS توسعه دهید.

  • راه‌اندازی پروژه یا محیط توسعه برای توسعه برنامه‌ها با استفاده از سرویس‌های Python و AWS در Windows و Mac.

  • شروع به کار با AWS با ایجاد یک حساب کاربری در AWS و همچنین پیکربندی AWS CLI و همچنین بررسی مجموعه داده‌های مورد استفاده برای پروژه

  • منطق اصلی را توسعه دهید تا داده ها را از منبع به AWS s3 با استفاده از Python boto3 وارد کنید. این برنامه با استفاده از Boto3 برای تعامل با سرویس‌های AWS، پانداها برای محاسبه تاریخ و درخواست‌ها برای دریافت فایل‌ها از منبع از طریق REST API ساخته می‌شود.

  • شروع به کار با توابع AWS Lambda با استفاده از Python 3.9 Run-time Environment

  • برنامه را اصلاح کنید و یک فایل فشرده بسازید تا به عنوان تابع AWS Lambda اجرا شود. منطق برنامه شامل گرفتن نشانک ها و همچنین جزئیات Job Run در Dynamodb است. همچنین یک نمای کلی از Dynamodb و نحوه تعامل با Dynamodb برای مدیریت Bookmark و همچنین جزئیات Job Run دریافت خواهید کرد.

  • عملکرد AWS Lambda را با استفاده از یک فایل Zip ایجاد کنید، با استفاده از کنسول AWS مستقر کنید و اعتبارسنجی کنید.

  • عیب‌یابی مشکلات مربوط به عملکردهای AWS Lambda با استفاده از AWS Cloudwatch

  • یک تصویر داکر سفارشی برای برنامه بسازید و آن را به AWS ECR

    فشار دهید
  • عملکرد AWS Lambda را با استفاده از تصویر داکر سفارشی در AWS ECR ایجاد کنید و سپس اعتبار سنجی کنید.

  • درکی از اعلان‌های رویداد AWS s3 یا محرک‌های مبتنی بر s3 در عملکرد Lambda داشته باشید.

  • برنامه پایتون دیگری برای تبدیل داده ها و همچنین نوشتن داده ها به شکل پارکت در s3 ایجاد کنید. این برنامه با استفاده از پانداها با تبدیل 10000 رکورد در یک زمان به پارکت ساخته خواهد شد.

  • با استفاده از اعلان‌های رویداد AWS s3 بین دو تابع لامبدا، خط لوله هماهنگ‌شده بسازید.

  • اولین تابع لامبدا را با استفاده از AWS EventsBridge برنامه ریزی کنید و سپس اعتبار سنجی کنید.

  • در نهایت، یک جدول AWS Glue Catalog در محل s3 که فایل‌های پارکت دارد ایجاد کنید و با اجرای SQL Queries با استفاده از AWS Athena اعتبار سنجی کنید.

  • پس از گذراندن چرخه زندگی کامل از استقرار و زمان‌بندی عملکرد Lambda و همچنین اعتبارسنجی داده‌ها با استفاده از Glue Catalog و AWS Athena، نحوه استفاده از لایه‌ها برای عملکرد Lambda را نیز خواهید فهمید.

در اینجا نکات کلیدی این آموزش آمده است:

  • برنامه‌های پایتون را با استفاده از بسته‌ای مبتنی بر Zip و همچنین یک تصویر داکر سفارشی، توسعه دهید و به‌عنوان توابع Lambda اجرا کنید.

  • با مراجعه به گزارش‌های Cloudwatch، مشکلات را کنترل و عیب‌یابی کنید.

  • کل کد برنامه مورد استفاده برای نسخه نمایشی همراه با نوت بوک مورد استفاده برای ارائه منطق اصلی.

  • قابلیت ساخت راه حل با استفاده از چندین سرویس AWS مانند Boto3، S3، Dynamodb، ECR، Cloudwatch، Glue Catalog، Athena و غیره


سرفصل ها و درس ها

مقدمه ای بر تسلط بر توابع AWS Lambda برای مهندسان داده Introduction to Mastering AWS Lambda Functions for Data Engineers

  • مقدمه ای بر تسلط بر توابع AWS Lambda برای مهندسان داده Introduction to Mastering AWS Lambda Functions for Data Engineers

  • منابع مورد استفاده برای تسلط بر توابع AWS Lambda برای مهندسان داده Resources used for Mastering AWS Lambda Functions for Data Engineers

شروع به کار در ویندوز با ابزارهای مورد نیاز Getting Started on Windows with Required Tools

  • مقدمه ای بر شروع ویندوز با ابزارهای مورد نیاز Introduction to Getting Started on Windows with Required Tools

  • نمای کلی Powershell در ویندوز 10 یا ویندوز 11 Overview of Powershell on Windows 10 or Windows 11

  • راه اندازی Ubuntu VM در ویندوز 10 یا 11 با استفاده از wsl Setup Ubuntu VM on Windows 10 or 11 using wsl

  • راه اندازی Ubuntu VM در ویندوز 10 یا 11 با استفاده از wsl Setup Ubuntu VM on Windows 10 or 11 using wsl

  • راه اندازی Ubuntu VM در ویندوز 10 یا 11 با استفاده از wsl Setup Ubuntu VM on Windows 10 or 11 using wsl

  • راه اندازی Docker Desktop در ویندوز Setup Docker Desktop on Windows

  • اعتبار Docker را در ویندوز با استفاده از Command Line Leveraging Power Shell انجام دهید Validate Docker on Windows using Command Line leveraging Power Shell

  • اعتبار Docker را در ویندوز با استفاده از Command Line Leveraging Power Shell انجام دهید Validate Docker on Windows using Command Line leveraging Power Shell

  • تنظیمات منابع دسکتاپ Docker را مرور کنید Review Docker Desktop Resource Configurations

  • کد ویژوال استودیو را روی ویندوز نصب کنید Install Visual Studio Code on Windows

  • کیت برنامه افزودنی Remote Development را برای کد ویژوال استودیو نصب کنید Install Remote Development Extension Kit for Visual Studio Code

  • Python 3.9 و Distutils را با استفاده از wsl اوبونتو روی ویندوز نصب کنید Install Python 3.9 and Distutils on Windows using wsl Ubuntu

  • بررسی ابزارهای نصب شده برای توسعه برنامه با استفاده از پایتون و سرویس AWS Review Tools Installed for Application Development using Python and AWS Service

  • نمای کلی Powershell در ویندوز 10 یا ویندوز 11 Overview of Powershell on Windows 10 or Windows 11

  • راه اندازی Ubuntu VM در ویندوز 10 یا 11 با استفاده از wsl Setup Ubuntu VM on Windows 10 or 11 using wsl

  • راه اندازی Docker Desktop در ویندوز Setup Docker Desktop on Windows

  • تنظیمات منابع دسکتاپ Docker را مرور کنید Review Docker Desktop Resource Configurations

  • کد ویژوال استودیو را روی ویندوز نصب کنید Install Visual Studio Code on Windows

  • کیت برنامه افزودنی Remote Development را برای کد ویژوال استودیو نصب کنید Install Remote Development Extension Kit for Visual Studio Code

راه اندازی محیط توسعه برای ساخت خطوط لوله داده با استفاده از AWS Setup Development Environment to build Data Pipelines using AWS

  • با استفاده از کد ویژوال استودیو، پوشه پروژه را راه اندازی کنید Setup Project Folder using Visual Studio Code

  • از Python 3.9 برای پروژه اطمینان حاصل کنید Ensure Python 3.9 for the Project

  • ایجاد محیط مجازی پایتون با استفاده از پایتون 3 Create Python Virtual Environment using Python 3

  • با استفاده از سرویس‌های AWS، وابستگی‌های مورد نیاز پروژه را نصب کنید Install Required Dependencies for the Project using AWS Services

  • اطمینان حاصل کنید که AWS CLI با استفاده از دستورات AWS CLI با خدمات AWS تعامل دارد Ensure AWS CLI to interact with AWS Services using AWS CLI Commands

  • توصیه برای استفاده از حساب شخصی AWS برای دوره Recommendation to use Personal AWS Account for the course

شروع به کار با AWS و بررسی مجموعه داده ها Getting Started with AWS and Review Data Sets

  • راه اندازی و وارد حساب AWS شوید Setup and Login into AWS Account

  • کاربر AWS IAM را با مجوزهای مدیر راه اندازی کنید Setup AWS IAM User with Administrator Permissions

  • AWS CLI را پیکربندی و اعتبار سنجی کنید Configure and Validate AWS CLI

  • AWS CLI را با نمایه سفارشی به عنوان پیش فرض پیکربندی کنید Configure AWS CLI with custom profile as default

  • خلاصه حساب تاریخ با استفاده از پایتون Recap of Date Arithmetic using Python

  • خلاصه حساب تاریخ با استفاده از پایتون Recap of Date Arithmetic using Python

  • اعتبار Python boto3 را برای تعامل با خدمات AWS تأیید کنید Validate Python boto3 to interact with AWS Services

  • تنظیم و اعتبارسنجی محیط تعاملی مبتنی بر Jupyter Setup and Validate Jupyter based Interactive Environment

  • جزئیات داده های GHActivity را مرور کنید Review GHActivity Data Details

  • داده های GHActivity را با استفاده از درخواست ها دانلود کنید Download GHActivity Data using requests

  • داده های GHActivity را با استفاده از پانداها مرور کنید Review GHActivity Data using Pandas

Core Logic برای دریافت داده ها از وب سرویس به AWS s3 Core Logic to Ingest Data from Web Service to AWS s3

  • مدیریت s3 با استفاده از Python boto3 Managing s3 using Python boto3

  • مروری بر AWS Dynamodb Overview of AWS Dynamodb

  • جدول DynamoDB را برای جزئیات شغل ایجاد کنید Create DynamoDB Table for Job Details

  • جدول DynamoDB را برای جزئیات اجرای کار ایجاد کنید Create DynamoDB Table for Job Run Details

  • برای کپی کردن داده های GHActivity در AWS s3، جزئیات اجرای اول را دریافت کنید Get First Run Details to Copy GHActivity Data to AWS s3

  • منطق بارگذاری افزایشی را برای فایل بعدی دریافت کنید Get Incremental Load Logic for next file

  • مفاهیم AWS s3 مانند سطل ها و اشیاء را درک کنید Understand AWS s3 concepts such as buckets and objects

  • کپی یا آپلود فایل ها در AWS s3 به عنوان اشیا با استفاده از Python boto3 Copying or Uploading Files to AWS s3 as objects using Python boto3

  • نوشتن اشیاء یا داده های پایتون به عنوان اشیاء AWS s3 با استفاده از boto3 Writing Python Objects or Data as AWS s3 Objects using boto3

  • داده های GHActivity را در AWS s3 ذخیره کنید Save GHActivity Data to AWS s3

  • تبدیل تاریخ زمان به دوره یونیکس صحیح با استفاده از پایتون Convert Date Time to Integer Unix Epoch using Python

  • جزئیات اجرای کار را در جدول DynamoDB ذخیره کنید Save Job Run Details to DynamoDB Table

  • اعتبار سنجی داده های کپی شده در AWS s3 و جزئیات اجرای کار Validate Data Copied to AWS s3 and job run details

  • فرآیند پایان به پایان را اجرا و اعتبار سنجی کنید Run and Validate End to End Process

شروع کار با توابع AWS Lambda Getting Started with AWS Lambda Functions

  • مقدمه ای بر شروع کار با توابع AWS Lambda Introduction to Getting Started with AWS Lambda Functions

  • مروری بر AWS Lambda و شروع به کار با پایتون 3 Overview of AWS Lambda and Getting Started using Python 3

  • انتقال آرگومان ها به AWS Lambda و پردازش با استفاده از پایتون Passing Arguments to AWS Lambda and Processing using Python

  • استفاده از هندلرهای سفارشی برای توابع AWS Lambda با استفاده از پایتون 3 Using Custom Handlers for AWS Lambda Functions using Python 3

  • استفاده از خدمات AWS مانند s3 در توابع AWS Lambda Using AWS Services such as s3 in AWS Lambda Functions

  • خلاصه ای از مدیریت مجوزها با استفاده از نقش ها و گروه های کاربر AWS IAM Recap of handling permissions using AWS IAM Roles and User Groups

  • برای فهرست کردن اشیاء از سطل AWS S3، تابع AWS Lambda را توسعه دهید Develop AWS Lambda Function to list objects from AWS S3 Bucket

  • انتقال متغیرهای محیطی به توابع AWS Lambda Passing Environment Variables to AWS Lambda Functions

  • سفارشی کردن منابعی مانند حافظه مورد استفاده برای عملکرد AWS Lambda Customizing Resources such as memory used for AWS Lambda Function

  • تنظیم محیط توسعه محلی برای توابع AWS Lambda Setup Local Development Environment for AWS Lambda Functions

  • با استفاده از بسته های خارجی، منطق AWS Lambda Function را توسعه دهید Develop logic for AWS Lambda Function using external packages

  • فایل Zip را برای استقرار به عنوان تابع AWS Lambda بسازید Build Zip file to deploy as AWS Lambda Function

  • استقرار برنامه با وابستگی های خارجی به عنوان تابع AWS Lambda Deploy Application with External Dependencies as AWS Lambda Function

  • بیان مشکل برای برنامه پایتون برای AWS را درک کنید Understand Problem Statement for Python Application for AWS

  • راه اندازی پروژه پایتون برای AWS Lambda با استفاده از کد ویژوال استودیو Setup Python Project for AWS Lambda using Visual Studio Code

  • Core Logic برای آپلود فایل ها در AWS S3 با استفاده از Python boto3 Core Logic to upload files to AWS S3 using Python boto3

  • برنامه پایتون را برای آپلود فایل ها در AWS s3 با استفاده از Python boto3 توسعه دهید Develop Python Application to upload files to AWS s3 using Python boto3

  • فایل Zip را برای برنامه پایتون بسازید تا به عنوان تابع AWS Lambda اجرا شود Build Zip File for Python Application to deploy as AWS Lambda Function

  • برنامه Python را به عنوان تابع AWS Lambda با استفاده از فایل Zip اجرا کنید Deploy Python Application as AWS Lambda Function using Zip File

  • نتیجه گیری و درخواست امتیاز و بازخورد Conclusion and request for rating and feedback

با استفاده از فایل Zip تابع AWS Lambda را بسازید و اجرا کنید Build and Deploy AWS Lambda Function using Zip File

  • مقدمه ای بر ساخت و استقرار تابع AWS Lambda با استفاده از فایل Zip Introduction to Build and Deploy AWS Lambda Function using Zip File

  • کد برنامه را با منطق اصلی برای ورود به روز کنید Update Application Code with Core logic for Ingestion

  • بررسی اجمالی اعتبارسنجی توابع تعریف شده توسط کاربر با استفاده از Python CLI Overview of Validating User Defined Functions using Python CLI

  • اعتبار برنامه را با استفاده از Core Logic برای دریافت داده ها تأیید کنید Validate Application using Core Logic to ingest data

  • Lambda Handler را برای دریافت داده‌ها به AWS s3 اضافه کنید Add Lambda Handler to ingest data to AWS s3

  • فایل Zip را برای برنامه پایتون بسازید تا به عنوان تابع AWS Lambda اجرا شود Build Zip File for Python Application to deploy as AWS Lambda Function

  • فایل Zip را برای برنامه پایتون بسازید تا به عنوان تابع AWS Lambda اجرا شود Build Zip File for Python Application to deploy as AWS Lambda Function

  • فایل Zip برنامه پایتون را در s3 آپلود کنید و به عنوان تابع AWS Lambda اجرا کنید Upload Python Application Zip File to s3 and deploy as AWS Lambda Function

  • تنظیم کننده سفارشی و متغیرهای محیطی مورد نیاز برای عملکرد AWS Lambda Set Custom Handler and required Environment Variables for AWS Lambda Function

  • اعطای مجوز به AWS s3 و Dynamodb به عملکرد AWS Lambda از طریق Role Granting Permissions on AWS s3 and Dynamodb to AWS Lambda Function via Role

  • حافظه و Timeout را برای عملکرد و تست AWS Lambda تغییر دهید Change Memory and Timeout for AWS Lambda Function and Test

  • خلاصه و نمای کلی از نظارت بر عملکردهای لامبدا با استفاده از Cloudwatch Recap and Overview of Monitoring Lambda Functions using Cloudwatch

  • محدودیت های استقرار عملکرد AWS Lambda با استفاده از فایل Zip Limitations of Deploying AWS Lambda Function using Zip file

  • ساخت عملکرد AWS Lambda را با استفاده از اسکریپت های شل به صورت خودکار انجام دهید Automate Build of AWS Lambda Function using Shell Scripts

با استفاده از Custom Docker Image عملکرد AWS Lambda را بسازید و اجرا کنید Build and Deploy AWS Lambda Function using Custom Docker Image

  • مقدمه ای بر ساخت و استقرار عملکرد AWS Lambda با استفاده از Custom Docker Imag Introduction to Build and Deploy AWS Lambda Function using Custom Docker Imag

  • ایجاد Dockerfile برای تصویر Docker سفارشی برای عملکرد AWS Lambda Create Dockerfile for Custom Docker Image for AWS Lambda Function

  • ایجاد تصویر Docker سفارشی برای عملکرد AWS Lambda با استفاده از Python 3 Run-time Create Custom Docker Image for AWS Lambda Function using Python 3 Run-time

  • با ایجاد Docker Container، تصویر سفارشی Docker را اعتبارسنجی کنید Validate Custom Docker Image by creating Docker Container

  • برنامه را با استفاده از Python CLI در Docker Container اجرا کنید Run the application using Python CLI in the Docker Container

  • Docker Container را با متغیرهای اعتبار و محیط اجرا کنید Run the Docker Container with the Credentials and Environment Variables

  • با استفاده از Docker و Curl، عملکرد AWS Lambda را به صورت محلی تأیید کنید Validate AWS Lambda Function Locally using Docker and Curl

  • برای تصویر Docker سفارشی مخزن AWS ECR ایجاد کنید Create AWS ECR Repository for Custom Docker Image

  • تصویر Docker سفارشی را برای عملکرد AWS Lambda به AWS ECR فشار دهید Push Custom Docker Image for AWS Lambda Function to AWS ECR

  • عملکرد AWS Lambda را با استفاده از Custom Docker Image در AWS ECR ایجاد کنید Create AWS Lambda Function using Custom Docker Image in AWS ECR

  • اجرای و اعتبارسنجی عملکرد AWS Lambda ایجاد شده با استفاده از Custom Docker Image Run and Validate AWS Lambda Function created using Custom Docker Image

  • Shell Script را برای ساخت ایجاد کنید و تصویر Docker را به AWS ECR فشار دهید Create Shell Script to Build and Push Docker Image to AWS ECR

  • برای ایجاد اسکریپت برای پیکربندی مجدد عملکرد AWS Lambda به آخرین داکر، دستور اضافه کنید Add Command to build script to reconfigure AWS Lambda Function to latest docker

مروری بر اعلان‌های رویداد AWS s3 با Lambda یا s3 Triggers در Lambda Overview of AWS s3 Event Notifications with Lambda or s3 Triggers on Lambda

  • مقدمه ای بر AWS s3 Event Notifications با Lambda یا s3 Triggers در Lamb Introduction to AWS s3 Event Notifications with Lambda or s3 Triggers on Lamb

  • جابه‌جایی به نمایه‌های مختلف برای نمایش‌های نمایشی در AWS s3 Event Notifications Switching to Different Profile for the demos on AWS s3 Event Notifications

  • راه اندازی پروژه برای بررسی AWS Lambda Triggers یا s3 Event Notifications Setup Project to explore AWS Lambda Triggers or s3 Event Notifications

  • تنظیم مجموعه داده های مورد نیاز برای AWS Lambda Triggers یا s3 Event Triggers Setup Required Datasets for AWS Lambda Triggers or s3 Event Triggers

  • فهرست کردن سطل ها و اشیاء AWS s3 با استفاده از Python Boto3 Listing AWS s3 Buckets and Objects using Python Boto3

  • فهرست کردن اشیاء AWS s3 بر اساس پیشوند با استفاده از Python boto3 Listing AWS s3 Objects based on Prefix using Python boto3

  • مروری بر رویدادهای AWS s3 و اعلان رویداد Overview of AWS s3 Events and Event Notification

  • عملکرد ساده AWS Lambda را برای اعلان‌ها یا محرک‌های رویداد s3 ایجاد کنید Create Simple AWS Lambda Function for s3 Event Notifications or Triggers

  • ایجاد Trigger برای AWS Lambda Function برای s3 Put Event Create Trigger for AWS Lambda Function for s3 Put Event

  • جزئیات شی AWS s3 را از AWS Lambda Arguments دریافت کنید Get AWS s3 Object Details from AWS Lambda Arguments

  • Read Logic را برای خواندن از s3 توسعه دهید Develop Read Logic to read from s3

  • با استفاده از تابع AWS Lambda، CSV را به رشته های JSON تبدیل کنید Convert CSV to JSON Strings using AWS Lambda Function

  • منطق را برای آپلود فایل JSON در s3 اضافه کنید و AWS Lambda Trigger را تأیید کنید Add Logic to Upload JSON File to s3 and Validate AWS Lambda Trigger

  • AWS Lambda را به عنوان اعلان رویداد AWS s3 پیکربندی کنید Configure AWS Lambda as AWS s3 Event Notification

توسعه و استقرار تابع AWS Lambda برای تبدیل داده ها Develop and Deploy AWS Lambda Function to transform the data

  • مقدمه ای بر توسعه و استقرار AWS Lambda برای تبدیل داده ها Introduction to Develop and Deploy AWS Lambda to transform the data

  • رویکرد اساسی برای تبدیل JSON به پارکت با استفاده از پایتون پاندا Basic Approach to convert JSON to Parquet using Python Pandas

  • تبدیل فایل های JSON به پارکت با استفاده از Pandas in Chunks Convert JSON Files to Parquet using Pandas in Chunks

  • Job Metadata را برای JSON به Parket تنظیم کنید Setup Job Metadata for JSON to Parquet

  • برای تبدیل داده ها به کد برنامه، Core Logic را اضافه کنید Add Core Logic to transform data to the Application Code

  • Wrapper را توسعه دهید تا داده ها را از JSON به Parquet تبدیل کنید Develop Wrapper to transform the data from JSON to Parquet

  • اعتبار سنجی تابع برای تبدیل JSON به پارکت Validate Function to Convert JSON to Parquet

  • Lambda Handler را برای تبدیل فایل‌های JSON به پارکت توسعه دهید Develop Lambda Handler to transform JSON Files to Parquet

  • برای تبدیل داده ها به صورت محلی با استفاده از curl، لامبدا را تأیید اعتبار کنید Validate Lambda Handler to transform the data locally using curl

  • تصویر Docker را به ECR فشار دهید و عملکرد Lambda موجود را به‌روزرسانی کنید Push Docker Image to ECR and Update Existing Lambda Function

  • استقرار و اجرای ترانسفورماتور به عنوان عملکرد AWS Lambda Deploy and Run Transformer as AWS Lambda Function

  • برای تبدیل داده ها، اعتبار سنجی عملکرد AWS Lambda را انجام دهید Perform Validations of AWS Lambda Function to Transform the data

خط لوله را با استفاده از AWS Lambda Trigger و EventsBridge بسازید و برنامه ریزی کنید Build and Schedule the Pipeline using AWS Lambda Trigger and EventsBridge

  • مقدمه ای بر ساخت و برنامه ریزی خط لوله داده با استفاده از AWS Lambda Trigger و Introduction to Build and Schedule Data Pipeline using AWS Lambda Trigger and

  • AWS Lambda Trigger را مرور کنید و آرگومان ها را درک کنید Review AWS Lambda Trigger and understand arguments

  • اضافه کردن سفارشی لامبدا Handler برای s3 Trigger Add Custom Lambda Handler for s3 Trigger

  • افزودن Trigger به AWS Lambda Function که برای تبدیل داده ها به کار گرفته شده است Add Trigger to AWS Lambda Function deployed to transform the data

  • s3 Lambda Trigger را با فراخوانی ingestor تأیید کنید Validate s3 Lambda Trigger by invoking ingestor

  • با توابع داخلی AWS Lambda آشنا شوید Understand Internals of AWS Lambda Functions

  • مروری بر قوانین AWS EventBridge Overview of AWS EventBridge Rules

  • مروری بر قانون AWS EventBridge برای زمانبندی Overview of AWS EventBridge Rule for Schedule

  • خط لوله داده را با استفاده از قانون AWS EventBridge برنامه ریزی کنید Schedule Data Pipeline using AWS EventBridge Rule

  • اعتبار خط لوله داده اجرا شده توسط AWS EventBridge Schedule Validate Data Pipeline Run by AWS EventBridge Schedule

  • اعتبار خط لوله را پس از چند اجرای برنامه ریزی شده تأیید کنید Validate the pipeline after few Scheduled Runs

  • بازنشانی خط لوله داده که با استفاده از خدمات AWS ساخته شده است Reset Data Pipeline built using AWS Services

  • با استفاده از درخواست ها، فایلی را که در منبع یافت نشد تعیین کنید Determine File Not Found in the source using requests

  • عیب یابی باگ در Data Pipeline Troubleshoot the bug in the Data Pipeline

تجزیه و تحلیل Adhoc داده ها را با استفاده از جداول کاتالوگ چسب و پرس و جوهای Athena انجام دهید Perform Adhoc Analysis of Data using Glue Catalog Tables and Athena Queries

  • مقدمه ای بر تحلیل Adhoc داده ها با استفاده از جداول کاتالوگ چسب و Athena Quer Introduction to Adhoc Analysis of Data using Glue Catalog Tables and Athena Quer

  • نمای کلی چسب AWS برای ایجاد جداول کاتالوگ Overview of AWS Glue to create Catalog Tables

  • ایجاد AWS Glue Crawler برای داده های GHActivity Creating AWS Glue Crawler for GHActivity Data

  • با استفاده از Glue Crawler جدول کاتالوگ چسب AWS ایجاد کنید Create AWS Glue Catalog Table using Glue Crawler

  • شروع کار با Amazon Athena برای اجرای SQL Queries در s3 و تب Catalog Glue Getting Started with Amazon Athena to run SQL Queries on s3 and Glue Catalog Tab

  • چند رکورد اول را پیش‌نمایش کنید و با استفاده از AWS Athena Queries شمارش را دریافت کنید Preview first few records and get count using AWS Athena Queries

  • با استفاده از پرس و جوهای AWS Athena SQL، شمارش بر اساس تاریخ را دریافت کنید Get Count By Date using AWS Athena SQL Queries

  • نمایه AWS را برای پروژه VSCode تنظیم کنید و Pyathena را نصب کنید Setup AWS Profile for the VSCode Project and Install Pyathena

  • شروع کار با پیاتنا و پانداها Getting Started with Pyathena and Pandas

  • درخواست‌های اضافی Athena برای تجزیه و تحلیل adhoc با استفاده از جداول کاتالوگ چسب در s3Dat Additional Athena Queries for adhoc Analysis using Glue Catalog Tables on s3Dat

استقرار توابع AWS Lambda با استفاده از Python Runtime with Layers Deploy AWS Lambda Functions using Python Runtime with Layers

  • مقدمه ای بر استقرار توابع AWS Lambda با استفاده از Python Runtime با لایه ها Introduction to Deploying AWS Lambda Functions using Python Runtime with Layers

  • برای کاوش لایه ها، تابع Lambda را ایجاد کنید Create Lambda Function to explore layers

  • لیستی از کتابخانه های پایتون نصب شده در AWS Lambda Runtime را دریافت کنید Get list of Python Libraries installed in AWS Lambda Runtime

  • لایه AWS موجود را با استفاده از زمان اجرا پایتون به تابع Lambda اضافه کنید Add Existing AWS Layer to Lambda Function using Python runtime

  • مراحل افزودن و پیکربندی لایه های سفارشی به توابع AWS Lambda Steps to Add and Configure Custom Layers to AWS Lambda Functions

  • برای ایجاد لایه سفارشی، محیط محلی را با استفاده از AWS Cloud Shell راه اندازی کنید Setup Local Environment using AWS Cloud Shell to Create Custom Layer

  • وابستگی های مورد نیاز برای لایه لامبدا را برای اجرای پایتون نصب کنید Install Required Dependencies for Lambda Layer for Python Runtime

  • ایجاد فایل Zip و آپلود در s3 با وابستگی های پایتون برای لایه AWS Lambda Create Zip File and Upload to s3 with Python dependencies for AWS Lambda Layer

  • ایجاد لایه Lambda با استفاده از AWS Lambda Console با استفاده از فایل zip در AWS s3 Create Lambda Layer using AWS Lambda Console using zip file in AWS s3

  • عملکرد Lambda را با لایه سفارشی برای پانداها و درخواست ها پیکربندی کنید Configure Lambda Function with Custom Layer for Pandas and Requests

  • عیب یابی و رفع مشکلات مربوط به لایه های Lambda برای AWS Lambda Functio Troubleshoot and Fix the issues related to Lambda Layers for AWS Lambda Functio

  • فایل Zip را با Python boto3 در s3 برای لایه AWS Lambda بارگذاری کنید Upload Zip File with Python boto3 to s3 for AWS Lambda Layer

  • لایه Lambda را با آخرین نسخه Python boto3 برای عملکرد AWS Lambda ایجاد کنید Create Lambda Layer with latest version of Python boto3 for AWS Lambda Function

  • برنامه نمونه تابع AWS Lambda را با لایه ها اجرا کنید Deploy AWS Lambda Function Sample Application with Layers

نمایش نظرات

نظری ارسال نشده است.

آموزش توابع AWS Lambda برای مهندسان داده با استفاده از پایتون
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
13 hours
153
Udemy (یودمی) udemy-small
18 مرداد 1401 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
4,213
4.5 از 5
ندارد
دارد
دارد

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Durga Viswanatha Raju Gadiraju Durga Viswanatha Raju Gadiraju

مشاور فناوری و Evangelist 13 سال تجربه در اجرای پروژه های پیچیده با استفاده از مجموعه گسترده ای از فناوری ها از جمله Big Data و Cloud. Iversity، llc - یک شرکت مستقر در ایالات متحده برای ارائه آموزش با کیفیت برای متخصصان فناوری اطلاعات و کارکنان و همچنین راه حل های مشاوره ای برای مشتریان سازمانی ، پیدا کردم. من هزاران نفر از متخصصان فناوری اطلاعات را در زمینه فن آوری های زیادی از جمله Big Data و Cloud آموزش داده ام. ایجاد حرفه ای فناوری اطلاعات برای افراد و ارائه خدمات با کیفیت به مشتریان از اهمیت بالاتری در سازمان ما برخوردار است. به عنوان یک استراتژی ورود ، ارائه آموزش با کیفیت در زمینه های ABCD خواهد بود * توسعه برنامه * داده های بزرگ و هوش تجاری * ابر * پایگاه داده ، پایگاه داده

Asasri Manthena Asasri Manthena

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.