آیا می خواهید توابع AWS Lambda را با ایجاد یک خط لوله داده سرتاسر با استفاده از Python به عنوان زبان برنامه نویسی و سایر خدمات کلیدی AWS مانند Boto3، S3، Dynamodb، ECR، Cloudwatch، Glue Catalog، Athena و غیره یاد بگیرید؟ در اینجا یک دوره وجود دارد که با استفاده از آن، با اجرای یک خط لوله انتها به انتها با استفاده از تمام خدمات ذکر شده، توابع AWS Lambda را یاد خواهید گرفت.
به عنوان بخشی از این دوره آموزشی، نحوه توسعه و استقرار توابع لامبدا را با استفاده از فایل های فشرده، تصاویر داکر سفارشی و همچنین لایه ها یاد خواهید گرفت. همچنین، نحوه راهاندازی عملکردهای لامبدا از Eventsbridge و همچنین توابع مرحله را خواهید فهمید.
ابزارهای مورد نیاز را در ویندوز برای توسعه کد خطوط لوله داده ETL با استفاده از سرویسهای Python و AWS تنظیم کنید. شما مراقب راه اندازی اوبونتو با استفاده از wsl، Docker Desktop و Visual Studio Code به همراه کیت افزونه توسعه از راه دور خواهید بود تا بتوانید برنامه های مبتنی بر پایتون را با استفاده از خدمات AWS توسعه دهید.
راهاندازی پروژه یا محیط توسعه برای توسعه برنامهها با استفاده از سرویسهای Python و AWS در Windows و Mac.
شروع به کار با AWS با ایجاد یک حساب کاربری در AWS و همچنین پیکربندی AWS CLI و همچنین بررسی مجموعه دادههای مورد استفاده برای پروژه
منطق اصلی را توسعه دهید تا داده ها را از منبع به AWS s3 با استفاده از Python boto3 وارد کنید. این برنامه با استفاده از Boto3 برای تعامل با سرویسهای AWS، پانداها برای محاسبه تاریخ و درخواستها برای دریافت فایلها از منبع از طریق REST API ساخته میشود.
شروع به کار با توابع AWS Lambda با استفاده از Python 3.9 Run-time Environment
برنامه را اصلاح کنید و یک فایل فشرده بسازید تا به عنوان تابع AWS Lambda اجرا شود. منطق برنامه شامل گرفتن نشانک ها و همچنین جزئیات Job Run در Dynamodb است. همچنین یک نمای کلی از Dynamodb و نحوه تعامل با Dynamodb برای مدیریت Bookmark و همچنین جزئیات Job Run دریافت خواهید کرد.
عملکرد AWS Lambda را با استفاده از یک فایل Zip ایجاد کنید، با استفاده از کنسول AWS مستقر کنید و اعتبارسنجی کنید.
عیبیابی مشکلات مربوط به عملکردهای AWS Lambda با استفاده از AWS Cloudwatch
یک تصویر داکر سفارشی برای برنامه بسازید و آن را به AWS ECR
فشار دهیدعملکرد AWS Lambda را با استفاده از تصویر داکر سفارشی در AWS ECR ایجاد کنید و سپس اعتبار سنجی کنید.
درکی از اعلانهای رویداد AWS s3 یا محرکهای مبتنی بر s3 در عملکرد Lambda داشته باشید.
برنامه پایتون دیگری برای تبدیل داده ها و همچنین نوشتن داده ها به شکل پارکت در s3 ایجاد کنید. این برنامه با استفاده از پانداها با تبدیل 10000 رکورد در یک زمان به پارکت ساخته خواهد شد.
با استفاده از اعلانهای رویداد AWS s3 بین دو تابع لامبدا، خط لوله هماهنگشده بسازید.
اولین تابع لامبدا را با استفاده از AWS EventsBridge برنامه ریزی کنید و سپس اعتبار سنجی کنید.
در نهایت، یک جدول AWS Glue Catalog در محل s3 که فایلهای پارکت دارد ایجاد کنید و با اجرای SQL Queries با استفاده از AWS Athena اعتبار سنجی کنید.
پس از گذراندن چرخه زندگی کامل از استقرار و زمانبندی عملکرد Lambda و همچنین اعتبارسنجی دادهها با استفاده از Glue Catalog و AWS Athena، نحوه استفاده از لایهها برای عملکرد Lambda را نیز خواهید فهمید.
در اینجا نکات کلیدی این آموزش آمده است:
برنامههای پایتون را با استفاده از بستهای مبتنی بر Zip و همچنین یک تصویر داکر سفارشی، توسعه دهید و بهعنوان توابع Lambda اجرا کنید.
با مراجعه به گزارشهای Cloudwatch، مشکلات را کنترل و عیبیابی کنید.
کل کد برنامه مورد استفاده برای نسخه نمایشی همراه با نوت بوک مورد استفاده برای ارائه منطق اصلی.
قابلیت ساخت راه حل با استفاده از چندین سرویس AWS مانند Boto3، S3، Dynamodb، ECR، Cloudwatch، Glue Catalog، Athena و غیره
مشاور فناوری و Evangelist 13 سال تجربه در اجرای پروژه های پیچیده با استفاده از مجموعه گسترده ای از فناوری ها از جمله Big Data و Cloud. Iversity، llc - یک شرکت مستقر در ایالات متحده برای ارائه آموزش با کیفیت برای متخصصان فناوری اطلاعات و کارکنان و همچنین راه حل های مشاوره ای برای مشتریان سازمانی ، پیدا کردم. من هزاران نفر از متخصصان فناوری اطلاعات را در زمینه فن آوری های زیادی از جمله Big Data و Cloud آموزش داده ام. ایجاد حرفه ای فناوری اطلاعات برای افراد و ارائه خدمات با کیفیت به مشتریان از اهمیت بالاتری در سازمان ما برخوردار است. به عنوان یک استراتژی ورود ، ارائه آموزش با کیفیت در زمینه های ABCD خواهد بود * توسعه برنامه * داده های بزرگ و هوش تجاری * ابر * پایگاه داده ، پایگاه داده
Asasri Manthena
نمایش نظرات