آموزش مدیریت Microsoft Azure Databricks - گردش کار ETL - آخرین آپدیت

سرفصل ها و درس ها

شروع کار با Azure Databricks Getting Started with Azure Databricks

• بررسی اجمالی دوره Course Overview

• معماری Azure Databricks Azure Databricks Architecture

• مقدمه ای بر دوره Introduction to the Course

• مقدمه ای بر محیط کار Azure Databricks Introduction to Azure Databricks Workspace.

• خوشه های Databricks Databricks Clusters

• استخرهای Databricks Databricks Pools

• نوت بوک های Databricks و دستورات جادویی Databricks Notebooks and magic commands

• مدیریت CLI و DBFS در Databricks Databricks CLI and DBFS management

• مدیریت خوشه از طریق Terraform Administrating Cluster via Terraform

• شروع کار با Azure Databricks Getting Started with Azure Databricks

امنیت خوشه و مدیریت اسرار Cluster Security & Secret Management

• اتصال فضای ذخیره سازی Azure blob برای بارگیری و ذخیره داده ها Mount Azure blob storage to load and save data

• اعمال try و catch در برنامه Scala Apply try and catch on Scala application

• اتوماتیک کردن اتصال blob از طریق terraform Automate blob mount via terraform

• تبدیل داده ها با استفاده از Scala Transform data using scala

• اعمال فیلترها با استفاده از SQL Apply filters using SQL

• ارسال داده های تبدیل شده به فضای ذخیره سازی Blob Push transformed data into Blob storage

• شمای داده ایستگاه آتش نشانی NYC NYC FireStation Data Schema

• جداول Databricks و سیستم فایل Databricks tables and file system.

• توابع aggregate, where, filter, orderby, count aggregate, where, filter, orderby,count functions

• استفاده از توابع ()Min(), max(), columnrenamed use of Min(),max(),columnrenamed() functions

• جریان ساخت یافته Structured Streaming

• امنیت خوشه و مدیریت اسرار Cluster Security & Secret Management

مدیریت اسرار Secret Management

• دستور کار مدیریت اسرار Secret Management Agenda

• مدیریت اسرار از طریق key vault Managing secrets via key vault

• اتوماتیک کردن مدیریت اسرار با استفاده از Terraform Automate secret management using Terraform

• مدیریت اسرار Secret Management

پیکربندی گزارش گیری با استفاده از کتابخانه تجزیه و تحلیل گزارش spark Configure Logging using spark log analytics library

• تجزیه و تحلیل گزارش ها با استفاده از Log4j Analyse logs using Log4j

• پیکربندی تجزیه و تحلیل گزارش فضای کاری Azure Configure Azure workspace log analytics

• استفاده از listeners و JARS تجزیه و تحلیل گزارش برای پیکربندی گزارش گیری Use listeners and log analytics JARS to configure logging.

• اعمال اسکریپت INIT روی خوشه ها و جریان گزارش ها Apply the INIT script on clusters and stream logs

• اتوماتیک کردن تجزیه و تحلیل فضای کاری و گزارش گیری از طریق Terraform Automate workspace analytics and logging via Terraform

• پیکربندی گزارش گیری با استفاده از کتابخانه تجزیه و تحلیل گزارش spark Configure Logging using spark log analytics library

Databricks Notebook CI CD از طریق Azure DevOps Databricks Notebook CI CD via Azure DevOps

• ادغام نوت بوک databricks با ارائه دهندگان Git مانند Github Integrate databricks notebook with Git providers like Github.

• پیکربندی یکپارچه سازی مداوم - مصنوعات برای استقرار در خوشه ها Configure Continuous Integration - Artefacts to deployed in clusters.

• پیکربندی تحویل مداوم با استفاده از قالب های datathirst Configure Continuous delivery using datathirst templates.

• اجرای نوت بوک در Azure Databricks از طریق Jobs Run notebook on Azure Databricks via Jobs.

• ایمن سازی خوشه از طریق خط مشی و مجوز خوشه Secure cluster via cluster policy and permission

• LinkedServices DataFactory DataFactory LinkedServices

• ارکستراسیون نوت بوک از طریق DataFactory Orchestrate notebook via DataFactory

• Databricks Notebook CI CD از طریق Azure DevOps Databricks Notebook CI CD via Azure DevOps