سلام! به دوره آموزشی AWS Data Architect Bootcamp خوش آمدید، تنها دوره ای که برای یادگیری همه چیز در مورد معماری داده در AWS و ایفای نقش یک معمار داده سازمانی به آن نیاز دارید. این جامع ترین دوره آموزشی AWS مربوط به معماری داده AWS در بازار است. در اینجا دلیل است:
این تنها دوره آنلاینی است که توسط یک معمار ابر سازمانی تدریس میشود، که تیمهای بزرگی از معماران جوان را در دنیای واقعی رهبری میکند، که تجربهای نزدیک به دو دهه در صنعت فناوری اطلاعات دارد، نویسندهای منتشر شده است، و معماری فناوری پروژه های XXX میلیون دلاری را در ابر برای مشتریان چند ملیتی هدایت می کند. معماران داده به طور متوسط دستمزدی بین 150 تا 250 هزار دلار دریافت میکنند. این دوره شما را برای آن شغل آموزش می دهد! این دهمین دوره من در Udemy، سومین دوره در مورد موضوعات AWS است (2 دوره قبلی پرفروشترین هستند).
آموزشهای کلاس درس AWS معمولی در مورد معماری داده که شامل کسری از موضوعات تحت پوشش این دوره است، 3000 تا 5000 دلار هزینه دارد. و این دوره 5 تا 7 برابر بیشتر از آموزش AWS (سرویسهای AWS 40) در کسری از هزینه به شما موضوعاتی را آموزش میدهد.
همه مواردی که در این دوره پوشش داده میشوند، بهروزرسانی میشوند. خدماتی که در نسخه بتا هستند و در Re-invent (نوامبر گذشته) راهاندازی شدهاند، قبلاً در این دوره پوشش داده شدهاند. AWS خیلی سریع نوآوری میکند و ویژگیهایی را به پشته خود اضافه میکند، و من دوره آموزشی خود را دائماً با این تغییرات بهروز نگه میدارم. این دوره را به عنوان یک اشتراک بهروزرسانیهای معماری در نظر بگیرید.
توسعهدهندگان سؤالاتی دارند، معماران سؤالاتی دارند، مشتریان سؤالاتی دارند - همه ذهنهای کنجکاو فنی سؤالاتی دارند. و این دوره همچنین دارای بیش از 500 سؤال و پاسخ (سؤالات متداول) است که از سؤالات متداول AWS تهیه شده است تا شما را با همان تعداد پاسخ آماده برای استفاده در نقش معمار خود مجهز کند.
کل دوره از بیش از 40 سرویس تشکیل شده است. هر سرویس از بخشهای فهرستشده در زیر، با نسبت آنها در هر بخش/سرویس تشکیل شده است.
معماری (12%) - نمودارها، ادغام، اصطلاحات
موارد استفاده (6%) – اینکه آیا و چه زمانی از سرویس AWS استفاده شود
قیمتگذاری (2%) – روشهای برآورد هزینه برای ارزیابی هزینه راهحل کلی
آزمایشگاهها (75%) – آزمایشگاههای پیشرفته برای درک معماری که تمامی ویژگیهای اصلی و مهم را پوشش میدهند
سؤالات متداول (5٪) - سؤال منتخب از سؤالات متداول AWS به طور مختصر توضیح داده شده است. (در مجموع 500+)
بهجز سرویسهای AWS، ما از تعدادی ابزار مشتری برای کار بر روی سرویسهای AWS، پایگاههای داده و سایر پشتههای فناوری استفاده خواهیم کرد. در اینجا لیستی از ابزارهایی است که ما استفاده خواهیم کرد:
1. EC2 2. Putty 3. Cloud9، 4. HeidiSQL 5. MySQL Workbench 6. Pgadmin . MS
8. Oracle SQL Developer 9. Aginity Workbench برای Redshift 10. SQL Workbench/J
11. WinSCP 12. AWS CLI 13. FoxyProxy 14. Oracle Virtualbox 15. Linux
16. FastGlacier 17. Rstudio 18. Redis Client 19. Telnet 3 321. نوت بوک Juypter
در زیر شرح مفصلی از برنامه درسی بهعنوان سرویسهای AWS ارائه شده است که یاد میگیریم چگونه در معماری کلی دادههای ابری در AWS قرار میگیرند و موارد استفاده مختلف را بررسی میکنیم. اگر سوالی دارید، لطفا با من تماس بگیرید.
انتقال AWS برای SFTP (انتشار نوامبر 2018) - ما سفر خود را در این دوره با این سرویس آغاز خواهیم کرد و یاد میگیریم که چگونه فایلها را به صورت سلفسرویس با استفاده از سرور sFTP در AWS و ابزارهای sFTP در محل برای دریافت فایل وارد کنیم. داده های مبتنی بر AWS.
AWS Snowball - حجم دادههای بزرگ که صدها TB را در بر میگیرد، برای جذب از طریق شبکه ایدهآل نیستند. با استفاده از این سرویس، یاد میگیریم که چگونه دادههای حجم بزرگ را با استفاده از مکانیسم انتقال داده آفلاین مبتنی بر دستگاه به AWS ابر دریافت کنیم.
AWS Kinesis Data Firehose - یکی از مکانیسمهای جذب داده، پخش جریانی است. ما یاد خواهیم گرفت که چگونه با استفاده از این سرویس، دادههای جاریسازی شده را از Kinesis Data Streams به AWS Data Storage Analytics Repositories مانند S3، Redshift، ElasticSearch و موارد دیگر هدایت کنیم.
AWS Kinesis Data Streams - مشتریان میتوانند زیرساخت پخش جریانی یا حتی دستگاههایی (IoT) داشته باشند که ممکن است دادهها را بهطور مداوم پخش کنند. با استفاده از این سرویس، نحوه جمعآوری دادههای جریان و ذخیره آنها در AWS را یاد خواهیم گرفت.
AWS Managed Streaming for Kafka (MSK) ( انتشار در نوامبر 2018) - AWS به تازگی کافکا را به پشته فناوری خود اضافه کرده است که شباهت های زیادی با Kinesis دارد. ویژگیهای مقایسهای و همچنین روش ایستادن خوشه کافکا در AWS را برای پذیرش جریان دادهها در AWS بیاموزید.
ابزار تبدیل طرحواره AWS - انتقال پایگاه داده فرآیندی پیچیده است و میتواند همگن (مثلاً SQL Server on-premise به SQL Server در AWS) یا ناهمگن (مثلاً MySQL به PostgreSQL) باشد. ما از این ابزار آفلاین برای آشنایی با ارزیابی پیچیدگیهای مهاجرت، تولید گزارشهای ارزیابی مهاجرت و حتی انجام مهاجرت طرحی استفاده خواهیم کرد.
سرویس مهاجرت پایگاه داده AWS (DMS) - انتقال/تکرار پایگاه داده یک نیاز بسیار رایج برای هر راه حل داده فدرال است. ما از این سرویس برای یادگیری نحوه انتقال و/یا تکثیر دادههای داخلی از پایگاههای داده به پایگاههای داده رابطهای میزبان AWS در AWS RDS استفاده خواهیم کرد.
AWS Data Sync (انتشار نوامبر 2018) - همگامسازی مداوم دادهها از فضای داخلی به مخازن داده میزبانی شده در فضای ابری به یک نیاز کلیدی در محیطهایی تبدیل میشود که دادهها تولید میشوند یا خیلی سریع تغییر میکنند. ما از سرویس استفاده می کنیم تا یاد بگیریم چگونه می تواند این نیاز را حل کند.
AWS Storage Gateway - این سرویس شباهت قابل توجهی با AWS Data Sync دارد و یکی از گزینههای جایگزین برای حجمهای حافظه پنهان و حجمهای ذخیرهشده در AWS برای ایجاد پلی بین ذخیرهسازی دادههای داخلی و AWS است. به طور خلاصه شباهتهای بین AWS Data Sync و AWS Storage Gateway را یاد خواهیم گرفت.
AWS ElastiCache (Memcached) - پس از پوشش بیشتر مکانیسمهای انتقال داده، قبل از انتقال به پایگاههای داده، تمرکز خود را روی ذخیرهسازی دادهها تغییر میدهیم. ما شروع به یادگیری در مورد حافظه پنهان با طعم Memcached این سرویس خواهیم کرد که قابلیت ذخیره سازی قدرتمندی را برای انواع داده های ساده تر ارائه می دهد.
AWS ElastiCache ( Redis ) - تفاوت مقایسه ای بین Memcached و Redis برای ذخیره سازی حافظه پنهان و نحوه استفاده از طعم Redis در حافظه پنهان را که می تواند خوشه های کش بسازد و انواع داده های پیچیده را میزبانی کند، یاد خواهیم گرفت.
AWS S3 (پیشرفته) - AWS S3 اساس ذخیرهسازی داده و دریاچه داده در AWS است. ما تاکتیکهای پیشرفتهای مانند قفل کردن دادهها برای انطباق قانونی، تکرار جهانی بین منطقهای، جستجوی دادهها با ویژگی S3 Select، مدیریت چرخه عمر برای انتقال دادهها به ذخیرهسازی سرد و غیره را یاد خواهیم گرفت.
AWS Glacier - دادهها در فضای ابری انباشته میشوند و میتوانند هزینههای ذخیرهسازی را بهطور چشمگیری افزایش دهند. داده هایی که به ندرت استفاده می شوند برای ذخیره سازی سرد مناسب هستند، جایی که این سرویس وارد عمل می شود. با استفاده از این سرویس، آرشیو، بازیابی بایگانی و پرس و جو بایگانی را یاد خواهیم گرفت.
سرویس پایگاه داده رابطهای AWS (MariaDB) - ما به شدت روی سرویس AWS تمرکز خواهیم کرد که از 6 نوع مختلف پایگاه داده تشکیل شده است. ما مفاهیم اولیه AWS RDS با استفاده از MariaDB را یاد میگیریم، یک نمونه را آماده میکنیم و آن را با ابزار مشتری جستجو میکنیم.
سرویس پایگاه داده رابطهای AWS (SQL Server) - دادهها باید بین مراکز داده و نمونههای پایگاه داده میزبان ابری وارد و صادر شوند. ما چنین تاکتیکهایی را برای مقابله با پشتیبانگیری و بازیابی در فضای ابری با استفاده از پایگاه داده SQL Server روی RDS با ابزار مشتری یاد خواهیم گرفت.
سرویس پایگاه داده رابطهای AWS (Oracle) - مدتی را صرف یادگیری نحوه ایستادن Oracle در AWS RDS میکنیم، مخصوصاً برای حرفهایهای Oracle.
سرویس پایگاه داده رابطهای AWS (MySQL) - پس از صرف زمان برای تمرین مفاهیم اساسی، با پایگاه داده MySQL در AWS RDS، شروع به تمرین مفاهیم پیشرفته برای دسترسی بالا و عملکرد، مانند Read Replicas و ویژگیهای Performance Insights خواهیم کرد.
>سرویس پایگاه داده رابطهای AWS (PostgreSQL) - موارد استفاده ممکن است نیاز به تبدیل یک پایگاه داده به دیگری در فضای ابری وجود داشته باشد، برای مثال PostgreSQL به MySQL تبدیل شود. ما در مورد برخی از ویژگیهای سازگاری یاد میگیریم که در آنها میتوانیم یک نسخه خواندنی MySQL از یک نمونه PostgreSQL ایجاد کنیم و یک نسخه خواندنی به عنوان یک پایگاه داده مستقل ایجاد کنیم.
سرویس پایگاه داده رابطهای AWS (Aurora) - Aurora در AWS RDS یک سرویس پایگاه داده بومی از AWS است. این در دو نوع ارائه می شود - میزبان خوشه ای و بدون سرور، که برای موارد مختلف مناسب است. همچنین معماری ذخیره سازی Aurora توسط سرویس های مختلف AWS مانند AWS Neptune و DocumentDB به اشتراک گذاشته شده است. ما این سرویس را به طور عمیق یاد خواهیم گرفت.
AWS Neptune - پایگاههای داده رابطهای تنها یکی از انواع پایگاههای داده در صنعت و همچنین در AWS است. نمودار یک مورد استفاده ویژه برای داده های بسیار متراکم است که در آن ارزش روابط بسیار بالاتر از حد معمول است. ما تئوری گراف RDF در مقابل نمودار دارایی را یاد میگیریم و یاد میگیریم که چگونه نپتون در این تصویر قرار میگیرد، سرور نپتون و همچنین کلاینت را نصب میکند و با زبانهای پرس و جو مانند Gremlin (Tinkerpop) و SPARQL کار میکند.
AWS DocumentDB (انتشار نوامبر ۲۰۱۸) - MongoDB یکی از پیشروهای صنعت در پایگاههای داده اسناد NoSQL است. AWS اخیراً این سرویس جدید را معرفی کرده است که یک پیادهسازی بومی AWS است تا پایگاه دادهای معادل با سازگاری MongoDB ارائه کند. ما جزئیات همان را یاد خواهیم گرفت.
AWS DynamoDB - پایگاههای داده کلید-مقدار برای نگهداری دادههای حجیم معمولاً گزارشها، نشانهها و غیره مهم هستند. ما پیادهسازی پایگاه داده سند را با ویژگیهای پیشرفته مانند پخش جریانی، ذخیرهسازی، انقضای داده و موارد دیگر به طور عمیق یاد خواهیم گرفت.
AWS API Gateway - REST API مکانیسم استاندارد امروزی برای انتقال داده است. با استفاده از این سرویس با AWS DynamoDB، نحوه ایجاد انتقال داده و دسترسی به خط لوله با APIها را یاد خواهیم گرفت.
AWS Lambda - میکروسرویسها اغلب با APIها مرتبط هستند و سنگ بنای هر ادغام برنامهای با سرویسهای AWS، معمولاً خدمات هوش مصنوعی و یادگیری ماشینی AWS هستند. ما توسعه توابع Lambda
را یاد خواهیم گرفتAWS CloudWatch - گزارشگیری سیستم در مرکز همه اجرای منطق برنامهنویسی است، و ارتباط بسیار نزدیکی با میکروسرویسها و ثبت معیارها برای انواع سرویسهای AWS دارد. نحوه دسترسی و ثبت دادههای میکروسرویسها در گزارشهای CloudWatch را یاد خواهیم گرفت.
AWS اینترنت اشیا (IoT) - امروزه اینترنت اشیا یکی از سریعترین حوزههای در حال رشد است و از منظر داده، یکی از ارزشمندترین منابع داده است. اولین مرحله چالش سازمانی مکانیسم دریافت داده ها از دستگاه ها و سپس پردازش آن است. با تمرکز اصلی روی مصرف، یاد میگیریم که چگونه با استفاده از یک مثال عملی سرتاسر که دادهها را از دستگاه میخواند و پیامهای متنی را روی تلفن همراه شما میفرستد، این مشکل را حل کنیم.
خط لوله داده AWS - با توجه به اینکه دریاچههای داده از قبل مملو از دادهها هستند، انتقال دادهها در مخازن ابری و از محل به AWS به یک موتور هماهنگسازی نیاز دارد که میتواند دادهها را با مقداری پردازش جابهجا کند. ما یاد خواهیم گرفت که چگونه این مورد استفاده را با این سرویس حل کنیم.
Amazon Redshift و Redshift Spectrum - تمام داده های ذخیره شده در قالب رابطه ای یا غیر رابطه ای باید تجزیه و تحلیل و انبار شوند. ما یاد خواهیم گرفت که چگونه با استفاده از این سرویس، نیاز به مقیاس پتا بایت، انبار داده بسیار موازی را برآورده کنیم.
AWS ElasticSearch - ElasticSearch یکی از رهبران بازار در چارچوب جستجو به همراه Apache Solr جایگزین آن است. AWS پیادهسازی مدیریت شده ElasticSearch را ارائه میکند که میتواند به عنوان یکی از گزینههای جستجوی دادهها از مخازن مختلف استفاده شود. ما یاد خواهیم گرفت که چگونه از این سرویس برای رسیدگی به موارد استفاده جستجو استفاده کنیم و خواهیم فهمید که چگونه ابزارهایی مانند Logtash و Kibana در راه حل کلی قرار می گیرند.
AWS CloudSearch - ایستادن یک AWS ElasticSearch به درک خاصی از ElasticSearch نیاز دارد. برای موارد استفاده که نیاز به راه حل مدیریت شده تری دارند، AWS یک راه حل بسته بندی جایگزین برای جستجو بر اساس Apache Solr ارائه می دهد. ما یاد خواهیم گرفت که چگونه از این سرویس استفاده کنیم و از راهحلهای جستجوی ایستاده به صورت اکسپرس استفاده کنیم.
AWS Elastic MapReduce (EMR) - پس از صرف زمان کافی برای جذب، مهاجرت، ذخیرهسازی، پایگاههای داده، جستجو و پردازش، اکنون وارد دنیای تجزیه و تحلیل دادههای بزرگ میشویم که در آن زمان قابل توجهی را صرف یادگیری نحوه ایستادن خواهیم کرد. دادههای پردازش و خوشه مبتنی بر Hadoop با چارچوبهایی مانند Spark، Hive، Oozie، EMRFS، Tez، Jupyter Notebooks، EMR Notebooks، Dynamic Port Forwarding، RStudio در EMR، خواندن و پردازش دادههای S3 در EMR، ادغام چسب با Hive، ادغام DynamoDB with کندو و موارد دیگر.
پشتیبانگیری AWS (نسخه نوامبر ۲۰۱۸) - ایجاد روالهای پشتیبان از مخازن دادههای مختلف، یک روش عملیاتی استاندارد محیطهای تولید است. AWS با این سرویس کاملاً جدید این کار را برای تیم پشتیبانی آسانتر کرد. با جزئیات این سرویس آشنا خواهیم شد.
چسب AWS - AWS دارای فهرستنویسی متمرکز داده و ETL برای هر مخزن داده در AWS با این سرویس است. ما یاد خواهیم گرفت که چگونه از ویژگیهایی مانند خزندهها، کاتالوگ دادهها، serde (کتابخانههای سریالزدایی سریالسازی)، وظایف Extract-Transform-Load (ETL) و بسیاری ویژگیهای دیگر استفاده کنیم که به انواع موارد استفاده با این سرویس رسیدگی میکند.
AWS Athena - دریاچه داده بدون سرور با استفاده از چهار سرویس اصلی تشکیل شده است: S3، Glue، Redshift، Athena و QuickSight. این سرویس در انتهای فرآیند قرار دارد و مانند یک موتور جستجو برای دریاچه داده عمل می کند. ما یاد خواهیم گرفت که چگونه به این هدف عمل می کند و تصویر را کامل می کند.
AWS QuickSight - AWS در سال 2017 با راهاندازی این سرویس، شکاف یک سرویس گزارشدهی بومی ابری را پر کرد. ما یاد خواهیم گرفت که چگونه در تصویر دریاچه داده بدون سرور قرار می گیرد و به ایجاد گزارش ها و داشبورد اجازه می دهد.
شناسایی AWS - ما سفر خود را به دنیای خدمات شناختی که توسط هوش مصنوعی ارائه شده است با این سرویس آغاز خواهیم کرد. تصاویر و ویدئو منبع حیاتی داده ها هستند و استخراج اطلاعات از این منابع داده و پردازش آن داده ها به صورت برنامه ای کاربردهای مختلفی دارد. ما یاد خواهیم گرفت که چگونه این ادغام را با Rekognition انجام دهیم.
متن AWS (انتشار در نوامبر 2018) - به عنوان مثال، تشخیص نویسه نوری یکی دیگر از منابع حیاتی داده است. ما بسیار به اسکن بارکدها، فرمهای مالیاتی، کتابهای الکترونیکی و غیره عادت کردهایم. یاد میگیریم که چگونه با استفاده از این فرم خدمات کاملاً جدید مبتنی بر هوش مصنوعی AWS، متن را از اسناد استخراج کنیم.
AWS Comprehend - پردازش زبان طبیعی (NLP) یک حوزه عملی بسیار بزرگ از تجزیه و تحلیل داده است که معمولاً با استفاده از زبانهای علم داده مانند R و Python انجام میشود. AWS کار NLP را با بستهبندی یک سرویس NLP با هوش مصنوعی آسانتر میکند. ما استفاده از این سرویس را یاد خواهیم گرفت و خواهیم فهمید که چگونه خدماتی مانند Text و Rekognition را تکمیل می کند.
AWS ترانویسی - یکی از منابع اصلی دادهها که تاکنون به آن دست نزدهایم، گفتار به متن است. ما یاد خواهیم گرفت که چگونه از این سرویس مجهز به AP برای استخراج متن از گفتار استفاده کنیم، و چگونه می توان از آن به طور موثر برای تعدادی از موارد استفاده کرد.
AWS Polly - ما میتوانستیم موارد استفاده زیادی را برای پردازش دادههای متنی از شکلی به فرم دیگر پوشش دهیم، اما پردازش متن به گفتار، که دقیقاً عملکرد مخالف رونویسی است، با این سرویس مجهز به هوش مصنوعی یاد میگیریم که این کار را انجام دهیم. از AWS همچنین استفاده از زبان ترکیبی گفتار را برای کنترل جزئیات گفتاری که تولید میشود، یاد خواهیم گرفت.
AWS SageMaker - پس از استفاده راحت از سرویس مبتنی بر هوش مصنوعی، که پیچیدگی مدلهای یادگیری ماشین را از کاربران نهایی انتزاعی میکند، اکنون با این سرویس وارد دنیای یادگیری ماشینی خواهیم شد. ما یک مدل یادگیری ماشین را سرتاسر اجرا خواهیم کرد و نحوه دسترسی به داده ها از S3، ایجاد یک مدل، ایجاد نوت بوک برای اجرای کد برای کاوش و پردازش داده ها، آموزش - ساخت - استقرار مدل یادگیری ماشین، تنظیم پارامترهای فوق، و در نهایت دسترسی به آن از یک زیرساخت متعادل بار با استفاده از نقاط پایانی API.
AWS Personalize - Recommendation Engines نیازمند ایجاد یک شبکه عصبی یادگیری عمیق تقویت شده است. آمازون از دههها قبل در کسب و کار توصیه محصولات به مشتریان بوده است. آنها روش پیشنهادی خود را به عنوان یک محصول بسته بندی کرده اند و آن را به عنوان یک سرویس راه اندازی کرده اند که در قالب Personalize در حال عرضه است. برای درک نحوه استفاده از این سرویس برای ایجاد توصیهها، تمرینی سرتاسر انجام خواهیم داد.
AWS Lake Formation (انتشار نوامبر ۲۰۱۸) - از آنجایی که تشکیل دریاچههای داده فرآیندی خستهکننده است، AWS مجموعهای از مراحل ارکستراسیون را در قالب خدمات برای تسریع در تولید دریاچههای داده معرفی کرده است. از آنجایی که این سرویس در مرحله پیشنمایش اولیه (بتا) است و ممکن است تغییر کند، پیشنمایش رابط کاربری گرافیکی این سرویس را قبل از پایان برنامه درسی این دوره بررسی خواهیم کرد.
اگر مطمئن نیستید که آیا این دوره برای شما مناسب است یا خیر، در صورت تمایل برای من پیام ارسال کنید و من خوشحال خواهم شد به سؤال شما در رابطه با مناسب بودن این دوره برای شما پاسخ دهم. امیدوارم در دوره ثبت نام کنید. امیدوارم به زودی شما را در کلاس ببینم!
Enterprise Cloud Architect، نویسنده منتشر شده، Cloud Geek
نمایش نظرات