🔔 با توجه به بهبود نسبی اینترنت، آمادهسازی دورهها آغاز شده است. به دلیل تداوم برخی اختلالات، بارگذاری دورهها ممکن است با کمی تأخیر انجام شود. مدت اشتراکهای تهیهشده محفوظ است.
لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش فناوریهای Azure Data Engineer برای مبتدیان [بسته]
- آخرین آپدیت
دانلود Azure Data Engineer Technologies for Beginners [Bundle]
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
چرا مهندس داده مایکروسافت Azure؟
مهندسی داده مایکروسافت Azure یکی از سریعترین مشاغل در حال رشد و پرتقاضا در میان متخصصان علم داده است.
طبق گزارش Dice در سال 2019، رشد سالانه آگهیهای شغلی برای مهندسان داده 88% بوده که بالاترین نرخ رشد در میان تمام مشاغل فناوری بوده است.
اگر به این حوزه علاقهمند هستید، هیچ زمان بهتری برای شروع یادگیری این فناوریهای راهحل داده مایکروسافت Azure وجود ندارد.
نتایج مورد انتظار
پس از این دوره:
Microsoft Azure SQL Server: شما قادر خواهید بود گزینه استقرار مناسب Azure SQL Server، مدل خرید و سطح سرویس را بر اساس نیازمندیها شناسایی کرده و آن را در فضای ابری مستقر کنید. همچنین میتوانید پیکربندی امنیتی را برای محافظت از پایگاه داده خود تنظیم کنید.
Microsoft Azure SQL Data Warehouse: شما قادر خواهید بود Azure Synapse Analytics (که قبلاً با نام Azure SQL Data Warehouse شناخته میشد) را در محیط ابری Azure مستقر کنید. درک خوبی از معماری داخلی MPP خواهید داشت و میتوانید انبار داده محلی خود را تجزیه و تحلیل کرده و دادهها را به Azure Data Warehouse منتقل کنید.
Microsoft Azure Data Lake: شما قادر خواهید بود حساب ذخیرهسازی Azure Data Lake را ایجاد کرده، آن را با دادهها پر کنید و با استفاده از Databricks و HDInsight آن را تجزیه و تحلیل کنید.
Microsoft Azure Data Factory: شما اجزای کلیدی و مزایای Azure Data Factory را درک خواهید کرد. قادر خواهید بود پایپلاینهای ساده ایجاد، زمانبندی و نظارت کنید.
مبانی Hadoop: درک اساسی از اکوسیستم Hadoop و 3 بلوک اصلی آن خواهید آموخت. این ماژول شما را برای شروع یادگیری Big Data در Azure Cloud با استفاده از HDInsight آماده میکند.
Microsoft Azure HDInsight: متوجه خواهید شد که چگونه HDInsight کار با Hadoop را آسان میکند و یک دمو ساده را مشاهده خواهید کرد که در آن دادهها را از Data Lake دریافت میکنیم، از طریق Hive پردازش میکنیم و سپس دادهها را در SQL Server ذخیره میکنیم.
Cosmos DB: تمام مفاهیم اساسی Cosmos DB را درک خواهید کرد و قادر به ایجاد پایگاه داده، کانتینر، اسناد جدید، انتخاب کلید پارتیشن مناسب، پیکربندی توزیع جهانی و استفاده از سایر ویژگیهای مهم خواهید بود.
سرویس استریم: جزئیات به زودی اضافه خواهد شد.
Databricks: درسهای ویدیویی اضافه شدهاند، جزئیات به زودی در اینجا اضافه خواهد شد.
سرویس ذخیرهسازی: درسهای ویدیویی اضافه شدهاند، جزئیات به زودی در اینجا اضافه خواهد شد.
مخاطبان هدف
مبتدیان در پلتفرم مایکروسافت Azure
مهندسان داده مایکروسافت Azure
دانشمندان داده مایکروسافت Azure
توسعهدهندگان پایگاه داده و BI
مدیران پایگاه داده
تحلیلگران داده یا مشاغل مشابه
مشاغل مرتبط با پایگاه داده محلی که میخواهند نحوه پیادهسازی این فناوریها را در Azure Cloud بیاموزند.
هر کسی که به دنبال شروع شغل خود به عنوان یک مهندس داده Azure است.
سطح دوره
مبتدی (100)
"اگر در حال حاضر تجربه دارید و روی این فناوریها کار میکنید، این ممکن است بهترین دوره برای شما نباشد."
من چند دوره فشرده (رایگان) برای مبتدیان مطلق دارم، میتوانید لینکها را در وب سایت من پیدا کنید.
پیشنیازها
مفاهیم پایه T-SQL و پایگاه داده
اشتراک آزمایشی رایگان مایکروسافت Azure
زبان دوره
انگلیسی
اگر با زبان انگلیسی راحت نیستید، لطفاً در دوره شرکت نکنید، زیرا زیرنویسها برای درک دوره کافی نیستند.
محتوای دوره
درسهای ویدیویی، PPTs، منابع دمو، آزمون، تکالیف و سایر لینکهای مهم
دسترسی کامل مادامالعمر با تمام بهروزرسانیهای آینده
گواهی اتمام دوره
ضمانت بازگشت وجه 30 روزه
بهروزرسانیهای دوره
من به طور مداوم محتوای جدیدی را در قالب سخنرانیها و دموها اضافه میکنم. لطفاً گزارشهای زیر را برای تغییرات گذشته و آینده پیدا کنید.
بهروزرسانیهای قبلی:
ژانویه 2021 - ماژول Synapse با تمام تغییرات جدید بازنگری شد.
آگوست 2020 - درسهای مربوط به رمزگذاری دادهها اضافه شد.
جولای 2020 - نظارت و بهینهسازی خدمات.
جولای 2020 - AMS (Azure Monitoring Service).
جولای 2020 - Azure Data Factory با تمام بهروزرسانیهای جدید مجدداً ضبط شد.
جولای 2020 - ماژول Azure Streaming Analytics اضافه شد.
ژوئن 2020 - ماژول Azure Cosmos DB اضافه شد.
مه 2020 - دوره کامل در مورد Data Lake.
آوریل 2020 - ماژولهایی در مورد مبانی رایانش ابری Azure و پروفایل مهندس داده اضافه شد.
آوریل 2020 - دوره فشرده در مورد رایانش ابری و انبار داده اضافه شد.
مارس 2020 - Azure Synapse Analytics اضافه شد.
فوریه 2020 - Azure SQL Database اضافه شد.
اکتبر 2019 - Azure HDInsight اضافه شد.
سپتامبر 2019 - Azure Data Factory اضافه شد.
آگوست 2019 - دوره در مورد Azure Data Lake ایجاد شد.
جزئیات دوره
در پایان این دوره:
Microsoft Azure SQL Server:
مزایای Azure Database نسبت به پایگاه داده محلی را خواهید دانست.
قادر خواهید بود هر سه نوع استقرار PaaS Azure Database (تک، Elastic Pool، Managed Instance) را راهاندازی کنید.
مدلهای مختلف خرید و سطوح سرویس و نحوه پیکربندی آنها را بر اساس نیازمندیها خواهید آموخت.
قادر خواهید بود Azure Database را در ماشین مجازی (IaaS) راهاندازی کنید.
قادر خواهید بود پایگاه داده Elastic Pool را مستقر کرده و پایگاههای داده بیشتری را به Pool اضافه/حذف کنید.
قادر خواهید بود پایگاه داده Managed Instance را مستقر کرده، آن را پیکربندی کرده و با SQL Server Management Studio خود متصل کنید.
Microsoft Azure Synapse Analytics Service:
خواهید آموخت که چرا باید راهحلهای انبار داده را در فضای ابری در نظر بگیریم.
درباره سرویس جدید Azure Synapse Analytics مایکروسافت و چگونگی ترکیب انبار داده سازمانی و تجزیه و تحلیل Big Data و ارائه یک تجربه یکپارچه برای دریافت، آمادهسازی، مدیریت و سرویسدهی دادهها برای نیازهای فوری BI و یادگیری ماشین خواهید آموخت.
تفاوت بین معماری سنتی، مدرن و Synapse را خواهید آموخت.
معماری معروف MPP (Massive Parallel Processing) Azure را خواهید آموخت.
همچنین مفاهیم داخلی بسیاری مانند توزیع دادهها، Sharding و پارتیشنبندی را خواهید آموخت.
روشهای مختلف مهاجرت و بهترین شیوهها را خواهید آموخت.
پیکربندی PolyBase (بهترین روش بارگذاری) را خواهید آموخت.
با استفاده از SSIS، Data Factory و PolyBase، دموهای زیادی را برای مهاجرت دادهها به Azure SQL Data Warehouse انجام خواهید داد.
Microsoft Azure Data Lake Gen1:
محدودیتهای سیستمهای پایگاه داده سنتی در مدیریت انقلاب Big Data را خواهید آموخت.
تفاوت بین Azure Data Lake، SSIS، Hadoop و Data Warehouse را خواهید آموخت.
قادر خواهید بود حساب ذخیرهسازی Azure Data Lake Gen1 را ایجاد کرده، آن را با دادهها پر کنید و با استفاده از زبان U-SQL آن را تجزیه و تحلیل کنید.
Microsoft Azure Data Factory:
اجزای کلیدی و مزایای Azure Data Factory را درک خواهید کرد.
قادر خواهید بود پایپلاینهای ساده ایجاد، زمانبندی و نظارت کنید.
مبانی Hadoop:
درک اساسی از اکوسیستم Hadoop و 3 بلوک اصلی آن خواهید آموخت.
این ماژول شما را برای شروع یادگیری Big Data در Azure Cloud با استفاده از HDInsight آماده میکند.
Microsoft HDInsight:
خواهید آموخت که چالشهای Hadoop چیست و چگونه HDInsight این چالشها را حل میکند.
همچنین انواع کلاستر، معماری HDInsight و سایر جنبههای مهم Azure HDInsight را خواهید آموخت.
همچنین یک دمو را مشاهده خواهید کرد که در آن دادهها را از Data Lake دریافت میکنیم، از طریق Hive پردازش میکنیم و سپس دادهها را در SQL Server ذخیره میکنیم.
نظرات برخی از دانشجویان
"یکی از شگفتانگیزترین دورههایی که تا به حال در Udemy گذراندهام. لطفاً در شرکت در این دوره تردید نکنید. مدرس واقعاً حرفهای است و تجربه زیادی در مورد موضوع دوره دارد. - Khadija Badary
اکثر مفاهیم به خوبی توضیح داده شدهاند. این یک دوره ضروری برای مبتدیان است - Manoranjan Swain
من از توضیح دقیق همه چیز برای یک مبتدی در این دوره قدردانی میکنم. این به من کمک خواهد کرد تا بر چالشهای محل کارم غلبه کنم - Benjamin Curtis
دوره خوبی برای مبتدیان. لابراتوارها برای درک مفاهیم بسیار مفید هستند. متشکرم - Sapna
سرفصل ها و درس ها
مرور دوره و تعیین انتظارات
Course Overview and Set Expectations
مرور دوره و تعیین انتظارات
Course Overview and Set Expectations
دورههای مشابه؟ کدام را باید بگذرانم؟
Similar courses? which one should I take?
سوالات متداول مربوط به دوره - نکته مهم
QAs related to course - Imp Note
چگونه پس از ۱۲ ماه از Azure Portal به صورت رایگان استفاده کنم؟
How to keep using Azure Portal for FREE after 12 months?
چگونه اعتبار رایگان برای Azure Portal دریافت کنم؟
How to get FREE credits for Azure Portal
قبل از شروع...
Before you start...
مقدمهای بر Azure Cloud Computing
Introduction to Azure Cloud Computing
دانلود PPT این ماژول
Download PPT of this Module
مقدمه
Introduction
ایجاد اشتراک رایگان Azure
Create Azure free subscription
مرور کلی Azure Portal
Azure Portal overview
مرور کلی خدمات Azure
Azure Services Overview
خدمات مدیریت شده و غیر مدیریت شده
Managed and Unmanaged Service
گروه مدیریت منابع و اشتراک
Resource Management group and Subscription
گروههای منابع
Resource Groups
ارائهدهنده منابع
Resource Provider
برچسبگذاری
Tagging
کنترل دسترسی
Access Control
دمو - ایجاد سرویس Azure SQL Database
Demo - Create Azure SQL Database service
حذف منابع و تعیین بودجه
Delete resources and set budget
نتیجهگیری
Conclusion
مقدمهای بر پروفایل مهندس داده
Introduction to Data Engineer Profile
دانلود PPT این ماژول
Download PPT of this Module
مقدمه
Introduction
نقش و مسئولیت مهندس داده
Data Engineer role and responsibility
مقدمهای بر فناوریهای مهندس داده
Introduction to Data Engineer technologies
****** Azure Data Lake
****** Azure Data Lake ******
منابع PPT و دمو Data Lake
Data Lake - PPT and Demo Resources
مقدمه
Introduction
بیان مسئله
Problem statement
Data Lake چیست؟ و چگونه این مشکل را حل میکند؟
What is Data Lake? and how it can solve this problem?
Data Lake در مقابل Hadoop
Data Lake vs Hadoop
Data Lake Gen2 چگونه تکامل یافته است؟
How Data Lake Gen2 evolved?
Blob Storage در مقابل Data Lake
Blob Storage vs Data Lake
فضای نام سلسله مراتبی
Hierarchical namespace
دمو - ایجاد حساب Azure Data Lake Gen2
Demo - Create Azure Data Lake Gen2 Account
دمو - مرور کلی حساب Data Lake Gen2
Demo - Data Lake Gen2 account overview
سایر ویژگیهای Data Lake Gen2
Data Lake Gen2 other features
**** بخش **** - دریافت داده به Data Lake از طریق ابزارهای مختلف
**** SECTION **** - Data Lake Ingestion through diff tools
کاوش ابزارهای مختلف برای دریافت داده در Azure Data Lake Gen2
Explore different tools to Ingest Data in Azure Data Lake Gen2
دمو - انتقال از محیط داخلی به Data Lake Gen2 با استفاده از پورتال و Storage Explorer
Demo - On-Premises to Data Lake Gen2 using portal and storage explorer
دمو - انتقال از محیط داخلی به Data Lake Gen2 با استفاده از azcopy
Demo - On-Premises to Data Lake Gen2 using azcopy
دمو - انتقال از Azure Blob به Data Lake Gen 2 با استفاده از Data Factory
Demo - Azure Blob to Data Lake Gen 2 using Data Factory
دمو - انتقال از Azure SQL Database به Data Lake Gen2 با استفاده از Data Factory
Demo - Azure SQL Database to Data Lake Gen2 using Data Factory
دمو - انتقال از Amazon S3 به Data Lake Gen2 با استفاده از Data Factory
Demo - Amazon S3 to Data Lake Gen2 using Data Factory
**** بخش **** - جریان داده حول Data Lake
**** SECTION **** - Data flow around Data Lake
جریان داده حول Data Lake
Data flow around Data Lake
Data Lake و خوشههای گذرا
Data Lake and Transient clusters
پردازش داده با HDInsight
Data Processing using HDInsight
**** بخش **** - پردازش Data Lake از طریق Databricks
**** SECTION **** - Data Lake Processing through Databricks
نکته مهم در مورد این دمو
Imp Note about this Demo
مرور کلی دمو
Demo overview
تأمین Databricks، خوشهها و دفترچه یادداشت
Provision Databricks, Clusters and workbook
اتصال Data Lake به DBFS دیتابریکس
Mount Data Lake to Databricks DBFS
کاوش، تجزیه و تحلیل، پاکسازی، تبدیل دادهها
Explore, Analyze, Clean, Transform
**** بخش **** - لایههای امنیتی Data Lake
**** SECTION **** - Data Lake Security Layers
مقدمه
Introduction
کلیدهای دسترسی ذخیرهسازی
Storage Access Keys
SAS - امضای دسترسی مشترک
SAS - Shared Access Signature
Azure Active Directory
Azure Active Directory
کنترل دسترسی مبتنی بر نقش (RBAC)
Role Based Access Control (RBAC)
لیست کنترل دسترسی (ACL)
Access Control list (ACL)
فایروالها و شبکههای مجازی
Firewalls and Virtual Networks
رمزگذاری در حال انتقال
Encryption in Transit
رمزگذاری در حالت سکون
Encryption at Rest
حفاظت پیشرفته از تهدید
Advanced threat protection
**** بخش **** - نظارت و بهینهسازی Data Lake
**** SECTION **** - Data Lake Monitoring and Optimization
گزارش فعالیت
Activity Log
دمو: گزارشهای فعالیت
Demo: Activity Logs
متریکها
Metrics
دمو: متریکها
Demo: Metrics
دمو: بینشها
Demo: Insights
دمو: هشدارها
Demo: Alerts
تنظیمات تشخیصی
Diagnostic settings
دمو: تنظیمات تشخیصی
Demo: Diagnostic settings
بهینهسازی
Optimization
****** پایگاههای داده NoSQL در Microsoft Azure
****** NoSQL Databases in Microsoft Azure ******
منابع PPT و دمو
PPT and Demo Resources
مقدمهای بر NoSQL
Introduction to NoSQL
SQL در مقابل NoSQL
SQL vs NoSQL
۴ نوع پایگاه داده NoSQL
4 types of NoSQL Databases
پیشنهادات NoSQL توسط Microsoft Azure
NoSQL Offerings by Microsoft Azure
مقدمهای بر Azure Storage
Azure Storage Introduction
دمو: قسمت ۱ تأمین حساب Azure Storage
Demo: Part 1 Provision Azure Storage Account
قسمت ۲ دمو: تکثیر Azure Storage
Demo Part 2: Azure Storage Replication
دمو: قسمت ۳ ادامه تأمین حساب Azure Storage
Demo: Part 3 Continue Provisioning Azure Storage account
Azure Blob Storage
Azure Blob Storage
مدیریت چرخه حیات داده
Managing the Data LifeCycle
Azure Storage - گزینههای HA و DR
Azure Storage - HA and DR Options
****** Azure Cosmos DB
****** Azure Cosmos DB ******
منابع PPT و دمو Cosmos DB
Cosmos DB - PPT and Demo Resources
بیان مسئله چگونه Cosmos DB تکامل یافته است
Problem Statement How Cosmos DB Evolved
ویژگیهای Cosmos DB
Cosmos DB Features
Cosmos DB - ۵ API چند مدلی
Cosmos DB - Multi Model 5 APIs
Azure Table Storage در مقابل Cosmos DB Table API
Azure Table Storage vs Cosmos DB Table API
تأمین حساب Cosmos DB
Provision Cosmos DB Account
Cosmos DB - پایگاه داده، کانتینرها و موارد
Cosmos DB - Database , Containers and items
Cosmos DB - توان عملیاتی و واحدهای درخواست
Cosmos DB - Throughput and Request units
Cosmos DB - مقیاسپذیری افقی
Cosmos DB - Horizontally Scalable
Cosmos DB - پارتیشن و کلید پارتیشنبندی
Cosmos DB - Partition and Partitioning key
Cosmos DB - توان عملیاتی اختصاصی در مقابل اشتراکی
Cosmos DB - Dedicated vs Shared throughput
Cosmos DB - اجتناب از پارتیشنهای داغ
Cosmos DB - Avoiding hot partitions
Cosmos DB - پارتیشن تکی در مقابل پارتیشن متقابل
Cosmos DB - Single partition vs Cross partition
Cosmos DB - کلید ترکیبی
Cosmos DB - Composite Key
Cosmos DB - بهترین شیوهها برای کلید پارتیشن
Cosmos DB - Partition key best practice
Cosmos DB - نمایهسازی خودکار
Cosmos DB - Automatic Indexing
دمو درج و پرسوجو داده در Cosmos DB شما
Demo Insert and query data in your cosmos DB
Cosmos DB - ویژگی زمان تا پایان عمر (Time to Live)
Cosmos DB - Time to Live feature
Cosmos DB - ویژگی توزیع جهانی
Cosmos DB - Globally Distribution feature
Cosmos DB - ویژگی چند استاد (Multi Master)
Cosmos DB - Multi Master feature
Cosmos DB - انتقال دستی در مقابل خودکار خرابی
Cosmos DB - Manual vs Automatics Failover
Cosmos DB - ۵ سطح سازگاری
Cosmos DB - 5 consistent levels
Cosmos DB - Azure CLI
Cosmos DB - Azure CLI
Cosmos DB - قیمتگذاری
Cosmos DB - Pricing
Cosmos DB - نظارت از طریق AMS (سرویس نظارت Azure)
Cosmos DB - Monitoring through AMS (Azure Monitor Service)
Cosmos DB - نظارت از طریق پورتال Cosmos DB
Cosmos DB - Monitoring through Cosmos DB Portal
Cosmos DB - امنیت
Cosmos DB - Security
Cosmos DB - گزینه دسترسی بالا و بازیابی فاجعه
Cosmos DB - High Availability and Disaster Recovery Option
مربی | LearnCloud.info | AWS | Azure13 سال تجربه حرفه ای گسترده با تخصص در مایکروسافت پایگاه داده و راه حل های اطلاعات کسب و کار، تجزیه و تحلیل پیشرفته، گزارشات و فن آوری های محاسبات ابری Azure گواهینامه ها - DP-200: پیاده سازی یک راه حل داده Azure - DP-201: طراحی یک راه حل داده Azure - متخصص فن آوری گواهینامه مایکروسافت (MCTS) - توسعه پایگاه داده SQL Server - کتابخانه زیرساخت فناوری اطلاعات (ITIL v3) گواهی شده است تخصص Azure: دریاچه داده، کارخانه داده ها، Synapse Analytics (DW)، Polybase، Stream Analytics & Storage Tech Data Big: HDInsgiht، Databricks، Cosmosdb، Hadoop، Spark، Pyspark، Hive، Sqoop
نمایش نظرات