آموزش تسلط بر دریاچه داده ها: کلید مهندسی داده های بزرگ و داده ها

Data Lake Mastery: The Key to Big Data & Data Engineering

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: تسلط بر داده‌ها با استفاده از AWS: میانبری برای موفقیت در داده‌های بزرگ، مهندسی داده‌های ابری و معماری داده تسلط بر اجرای کامل راه‌حل‌های دریاچه داده در مقیاس ابری استفاده از مفاهیم دریاچه داده به طور حرفه‌ای در مهندسی داده‌های ابری ایجاد یک استراتژی امنیتی چند لایه برای حفاظت از دریاچه داده طراحی و پیاده‌سازی استراتژی‌های جذب داده‌های کارآمد در AWS Master Data Lake Architecture برای پیاده‌سازی‌های موثر ابری Master Data Lake Governance & Security اصول رهبری و استراتژی اصلی برای دریاچه‌های داده موفق بیاموزید استراتژی‌های کنترل دسترسی جامع در Data Lakes درک و اجرای نظارت قوی و امنیت در Data Lakes چشم انداز شغلی خود را با مهارت ها و دانش پیشرفته Data Lake افزایش دهید پیش نیازها: به هیچ تجربه قبلی نیاز نیست اگر می خواهید به اجرای عملی بپیوندید، ما یک حساب AWS با استفاده از ابزارهای عمدتا رایگان و با هزینه های کلی ایجاد می کنیم. زیر 5 دلار باقی بماند

طرح اولیه برای تسلط بر دریاچه داده: آزادسازی قدرت مهندسی داده های ابری

آیا آماده هستید به دنیای دریاچه های داده شیرجه بزنید و مهارت های خود را در مهندسی ابر داده تغییر دهید؟

این مهارت در مهندسی داده ها بازی را تغییر می دهد و شما با فرو رفتن در آن حرکت عاقلانه ای انجام می دهید.

این تنها دوره‌ای است که برای تسلط بر معماری و اجرای یک دریاچه داده‌های پیشرفته به آن نیاز دارید!


این دوره جامع، سفر نهایی را از مفاهیم اولیه تا تسلط بر معماری‌ها و استراتژی‌های دریاچه داده پیچیده به شما ارائه می‌دهد.


چرا این دوره را انتخاب کنید؟

  • راهنمای کامل Data Lake: از راه‌اندازی حساب‌های AWS تا تسلط بر هماهنگ‌سازی گردش کار، این دوره هر زاویه‌ای از Data Lakes را پوشش می‌دهد.

  • استاد گام به گام: چه از ابتدا شروع کنید یا به دنبال تعمیق تخصص خود باشید، این دوره یک سفر ساختاریافته و گام به گام از مبانی مبتدی تا تسلط پیشرفته در مهندسی دریاچه داده را ارائه می دهد.

    >
  • تخصص پیشرفته: با تمرکز بر جدیدترین ابزارها و روش‌ها، در لبه فناوری‌ها و بهترین شیوه‌های Data Lake بمانید.

  • عملی عملی: با سناریوهای واقعی و کارهای عملی AWS درگیر شوید تا درک خود را تقویت کنید.

  • درک جامع: فراتر از مهارت‌های عملی، درک جامعی از تمام مفاهیم مهم، نظریه‌ها و بهترین شیوه‌ها در دریاچه‌های داده به دست آورید، و تضمین می‌کند که نه تنها "چگونه" بلکه "چرا" را در پشت هر جنبه نیز می‌دانید.

    >


چه چیزی یاد خواهید گرفت؟

در طول این دوره، ما تمام مفاهیم مرتبط را یاد می‌گیریم و همه چیز را در AWS، پرکاربردترین پلت‌فرم ابری، پیاده‌سازی می‌کنیم، و از تجربه عملی و عملی با استاندارد صنعت اطمینان می‌دهیم.

با این حال، دانش و مهارت‌هایی که به دست می‌آورید به گونه‌ای طراحی شده‌اند که به‌طور جهانی قابل اجرا باشند، و شما را به تخصص برای کار با اطمینان در هر محیط ابری مجهز می‌کنند.


  • مفاهیم بنیادی: دریاچه داده ها، مزایای آنها و تفاوت آنها با انبارهای داده سنتی چیست.

  • تسلط بر معماری: در معماری دریاچه داده عمیقاً غوطه ور شوید، مناطق مختلف، ابزارها و قالب‌های داده را درک کنید.

  • تکنیک‌های بلع داده‌ها: بر روش‌های مختلف جذب داده، از جمله بلع دسته‌ای و رویداد محور، تسلط داشته باشید، و یاد بگیرید که از چسب AWS و Kinesis استفاده کنید.

  • مدیریت ذخیره‌سازی: مفاهیم کلیدی مدیریت ذخیره‌سازی داده در دریاچه‌های داده، مانند پارتیشن‌بندی، مدیریت چرخه حیات، و نسخه‌سازی را کاوش کنید.

  • پردازش و تبدیل: درباره Hadoop، Spark و نحوه بهینه‌سازی پردازش و تبدیل داده در دریاچه‌های داده بیاموزید.

  • هماهنگ‌سازی گردش کار: با استفاده از سناریوهای داده‌های خرده‌فروشی برای بینش‌های عملی، نحوه خودکارسازی گردش‌های کاری داده‌ها را در محیط Data Lake درک کنید.

  • تجزیه و تحلیل پیشرفته: با ابزارهایی مانند Power BI، QuickSight، و Jupyter Notebook قدرت تجزیه و تحلیل را در Data Lakes باز کنید.

  • نظارت و امنیت: اصول نظارت بر دریاچه‌های داده و اجرای اقدامات امنیتی قوی را بیاموزید.


این دوره برای چه کسانی است؟


خواه شما ...

باشید


  • یک مبتدی که آرزو دارد مهندس داده/معمار داده یا

    شود
  • یک حرفه ای با تجربه که به دنبال تخصص در دریاچه های داده و کسب مهارت های فوق العاده ارزشمند است،

  • یا فقط می خواهید برخی از با ارزش ترین مهارت ها را بیاموزید

... این دوره برای شما مناسب است!


مسیر شما برای تبدیل شدن به یک متخصص دریاچه داده:

این دوره برای مهندسین داده مشتاق، متخصصان فناوری اطلاعات و هر کسی که علاقه مند به تسلط بر Data Lakes است، طراحی شده است. شما با اعتماد به نفس و مهارت های طراحی، پیاده سازی و مدیریت Data Lakes ظاهر خواهید شد و جایگاه حرفه ای خود را در دنیای مهندسی داده ابری ارتقا می دهید.


مزایای ثبت نام:

  • راهنمای کامل: از مفاهیم اولیه تا استراتژی‌های پیشرفته، این دوره راه‌حلی برای تخصص Data Lake شماست.

  • مهارت‌های دنیای واقعی: خود را به مهارت‌های عملی مجهز کنید که فوراً در تنظیمات حرفه‌ای قابل اجرا هستند.

  • دسترسی مادام العمر : به همه مطالب دوره بپیوندید و مادام العمر دسترسی پیدا کنید.

  • انجمن و پشتیبانی: به انجمنی از فراگیران بپیوندید و در طول سفر آموزشی خود از پشتیبانی اختصاصی برخوردار شوید.


همین امروز ثبت نام کنید!

اکنون بپیوندید و از مزیت تقریباً ناعادلانه ای در حوزه مهندسی داده های ابری با Data Lakes برخوردار شوید. این دوره میانبر شما برای تبدیل شدن به یک متخصص دریاچه داده است و طرح اولیه موفقیت در این زمینه به سرعت در حال تحول را به شما ارائه می دهد.

دسترسی فوری و مادام‌العمر با پشتیبانی 30 روزه ضمانت بازگشت پول بدون سؤال. شما را در داخل دوره می بینیم!


سرفصل ها و درس ها

معرفی Introduction

  • خوش آمدید و درباره این دوره Welcome & About This Course

  • همه اسلایدها و فایل ها All slides & files

  • دریاچه داده چیست؟ What is a Data Lake?

  • دریاچه داده چیست؟ What is a Data Lake?

  • مزایای دریاچه داده Benefits of a Data Lake

  • درک دریاچه های داده: مزایا و چالش ها Understanding Data Lakes: Benefits and Challenges

  • اصطلاحات و مفاهیم کلیدی Key Terms & Concepts

  • طراحی دریاچه داده: معماری و اجزاء Designing a Data Lake: Architecture and Components

  • Data Lake در مقابل Data Warehouse در مقابل Lakehouse Data Lake vs. Data Warehouse vs. Lakehouse

  • مقایسه دریاچه‌های داده، انبارها و دریاچه‌ها Comparing Data Lakes, Warehouses, and Lakehouses

  • درک سطوح مختلف در AWS Understanding the different Tiers in AWS

  • راه اندازی حساب AWS AWS Account Setup

  • تنظیم بودجه Setting a budget

  • ایجاد سطل های S3 Creating S3 buckets

  • راه اندازی اولیه برای Retail Insights Inc.'s Data Lake Initial Setup for Retail Insights Inc.'s Data Lake

معماری و اجزای دریاچه داده Data Lake Architecture & Components

  • عناصر ضروری یک دریاچه داده Essential Elements of a Data Lake

  • بررسی اجمالی سطح بالا از جریان داده High Level Overview of Data Flow

  • درک معماری دریاچه داده و گردش کار Understanding Data Lake Architecture and Workflow

  • مناطق مختلف در دریاچه داده Different Zones in Data Lake

  • طراحی مناطق دریاچه داده Designing Data Lake Zones

  • ابزار برای مناطق مختلف Tools for the different zones

  • فرمت های داده مورد استفاده در دریاچه داده Data Formats used In a Data Lake

  • فرمت های داده در دریاچه های داده Data Formats in Data Lakes

بلع داده ها Data Ingestion

  • روش های مصرف داده ها Data Ingestion Methods

  • اصول مصرف دسته ای Basics of Batch Ingestion

  • درک بلع دسته ای در دریاچه های داده Understanding Batch Ingestion in Data Lakes

  • کاتالوگ و پروفایل داده Data Catalog & Profiling

  • سناریوی پروژه Project Scenario

  • توجه: هزینه اجرای کار چسب Note: Cost of running Glue Jobs

  • عملی: کاتالوگ داده و خزنده ها Hands-on: Data Catalog & Crawlers

  • بلع دسته ای با چسب AWS Batch Ingestion with AWS Glue

  • پیاده سازی مصرف داده ها در منطقه خام Implementing Data Ingestion into the Raw Zone

  • الگوهای بلع Ingestion Patterns

  • بلع رویداد محور Event-Driven Ingestion

  • بلع رویداد محور Event-Driven Ingestion

  • بلع رویداد محور با AWS Lambda Event-Driven Ingestion with AWS Lambda

  • پروفایل داده ها Data Profiling

  • پرس و جو در محل In-Place Querying

  • پرس و جو در محل آتنا Athena In-Place Querying

  • فهرست نویسی داده ها با خزنده ها و پرس و جو در آتنا Data Cataloging with Crawlers and Querying in Athena

  • جریان داده را درک کنید Understand Data Streaming

  • جریان داده را درک کنید Understand Data Streaming

  • AWS Kinesis Streaming AWS Kinesis Streaming

  • مانیتورینگ و عیب یابی Monitoring and Troubleshooting

  • عملی: نظارت و عیب یابی Hands-on: Monitoring & Troubleshooting

مدیریت ذخیره سازی داده ها Data Storage Management

  • مفاهیم کلیدی برای مدیریت ذخیره سازی داده ها Key Concepts for Data Storage Management

  • بررسی اجمالی محیط Environment Overview

  • پارتیشن بندی Partitioning

  • ساختار پوشه Folder Structure

  • مدیریت ذخیره سازی داده ها در دریاچه های داده Data Storage Management in Data Lakes

  • ایجاد پارتیشن خودکار Automatic Partition Creation

  • به روز رسانی دستی کاتالوگ داده ها Manually Updating the Data Catalog

  • تغییرات طرحواره Schema Changes

  • مدیریت چرخه عمر داده Data Lifecycle Management

  • مدیریت چرخه عمر داده Data Lifecycle Management

  • عملی: کلاس های ذخیره سازی Hands-on: Storage Classes

  • عملی: قوانین چرخه زندگی Hands-on: Lifecycle Rules

  • طبقه بندی هوشمند Intelligent Tiering

  • بهینه‌سازی ذخیره‌سازی استراتژیک برای Retail Insights Inc.'s Data Lake Strategic Storage Optimization for Retail Insights Inc.'s Data Lake

  • نسخه سازی در دریاچه های داده Versioning in Data Lakes

  • عملی: نسخه سازی در S3 Hands-on: Versioning in S3

  • همانند سازی Replication

  • تکرار منطقه ای Cross-Region Replication

  • پشتیبان گیری و بازیابی Backups & Recovery

  • عملی: پشتیبان گیری و بازیابی Hands-on: Backup & Recover

  • عملی: طرح پشتیبان Hands-on: Backup Plan

پردازش و تبدیل Processing and Transformation

  • درک پردازش داده در دریاچه های داده Understanding Data Processing in Data Lakes

  • درک پردازش داده در دریاچه های داده Understanding Data Processing in Data Lakes

  • هادوپ Hadoop

  • جرقه Spark

  • ادغام داده ها با چسب AWS Data Integration with AWS Glue

  • عملی: تبدیل داده ها Hands-on: Data Transformations

  • بارهای افزایشی Incremental Loads

  • بارهای افزایشی Incremental Loads

  • پردازش یک جریان Processing a Stream

  • بهینه سازی هزینه در دریاچه های داده Cost optimization in Data Lakes

  • بارگذاری افزایشی Incremental Loading

ارکستراسیون گردش کار Workflow Orchestration

  • ارکستراسیون گردش کار را درک کنید Understand Workflow Orchestration

  • ارکستراسیون گردش کار را درک کنید Understand Workflow Orchestration

  • سناریو اتوماسیون خرده فروش داده لیک Scenario Automating Retailer Data Lake

  • ایجاد وظایف فردی Creating the individual tasks

  • ایجاد منطق گردش کار Create Workflow Logic

  • منطق شرطی Conditional Logic

تجزیه و تحلیل در دریاچه داده Analytics in a Data Lake

  • درک تجزیه و تحلیل در دریاچه داده Understanding Analytics in a Data Lake

  • درک تجزیه و تحلیل در دریاچه داده Understanding Analytics in a Data Lake

  • کاوش داده ها و پرس و جوهای جانبی Data Exploration & adhoc Queries

  • اتصال ابزار BI (Power BI) Connecting BI Tool (Power BI)

  • تجزیه و تحلیل کسب و کار با QuickSight Business Analytics with QuickSight

  • ایجاد نوت بوک Jupyter Creating Jupyter Notebooks

  • کاوش داده ها با استفاده از نوت بوک Data Exploration using Notebooks

  • اتصال Retail Insights Inc.'s Data Lake به Power BI Connecting Retail Insights Inc.'s Data Lake to Power BI

نظارت بر Monitoring

  • نیاز به نظارت در دریاچه داده The Need for Monitoring in Data Lake

  • نیاز به نظارت در دریاچه داده The Need for Monitoring in Data Lake

  • مجموعه ابزار برای نظارت Toolset for Monitoring

  • نظارت با استفاده از متریک Monitoring Using Metrics

  • راه اندازی داشبوردها Setting up Dashboards

  • راه اندازی آلارم Setting up alarms

  • استفاده از لاگ ها Using Logs

  • نظارت بر استفاده از منابع چسب AWS Monitoring AWS Glue Resource Utilization

کنترل دسترسی Access Control

  • کنترل دسترسی در دریاچه های داده Access Control in Data Lakes

  • اصل کمترین امتیاز (PoLP) Principle of Least Privilege (PoLP)

  • کنترل دسترسی مبتنی بر نقش (RBAC) Role-Based Access Control (RBAC)

  • درک کنترل دسترسی Understanding Access Control

  • پیاده سازی RBAC Implementation of RBAC

  • تست RBAC Testing RBAC

  • سیاست های سفارشی Custom policies

  • پیاده سازی RBAC در دریاچه داده Implementing RBAC in Data Lake

امنیت و حکمرانی اضافی Security & Additional Governance

  • استراتژی امنیتی چند لایه Multi-Layered Security Strategy

  • استراتژی امنیتی چند لایه Multi-Layered Security Strategy

  • مسیر ابری Cloud Trail

  • رمزگذاری Encryption

  • عملی: رمزگذاری Hands-on: Encryption

  • استفاده از برچسب ها Using Tags

  • عملی: تنظیم برچسب ها Hands-on: Setting up Tags

  • مدیریت هزینه و چرخه عمر با برچسب ها Cost & Lifecycle Management with Tags

استراتژی و رهبری دریاچه داده Data Lake Strategy & Leadership

  • استراتژی و رهبری دریاچه داده Data Lake Strategy & Leadership

  • چشم انداز و نیازسنجی در دریاچه داده Vision & Assessment of Needs in Data Lake

  • شناسایی و مشارکت دادن سهامداران کلیدی Identifying and Involving Key Stakeholders

  • چارچوب و تیم حاکمیت داده Data Governance Framework & Team

  • تعریف استانداردهای حکمرانی Defining Governance Standards

  • راه اندازی تیم دریاچه داده Setting up Data Lake Team

  • توسعه نقشه راه Roadmap Development

جایزه Bonus

  • جایزه Bonus

نمایش نظرات

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.

آموزش تسلط بر دریاچه داده ها: کلید مهندسی داده های بزرگ و داده ها
جزییات دوره
10 hours
95
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
402
4.9 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Nikolai Schuler Nikolai Schuler

دانشمند داده و مشاور BI