لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش تسلط بر Databricks Azure برای مهندسان داده [ویدئو]
Mastering Azure Databricks for Data Engineers [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
با این دوره آموزشی ماهرانه، سفری متحول کننده را از طریق پلتفرم Azure Databricks آغاز کنید. ما با ایجاد یک پایه محکم، راهنمایی شما از طریق پیش نیازهای دوره و آشنایی شما با منابعی که در اختیار دارید شروع می کنیم. بخش مقدمه ما ملزومات مهندسی داده و نحوه ادغام Apache Spark با Databricks را پوشش میدهد و زمینه را برای یک فرو رفتن عمیق در پلتفرم فراهم میکند.
همانطور که پیشرفت می کنید، یک حساب ابری Azure و فضای کاری Databricks ایجاد می کنید و اطلاعاتی در مورد معماری پلتفرم به دست می آورید. جلسات عملی شما را قادر می سازد تا کلاسترهای Spark ایجاد کنید، با نوت بوک های Databricks کار کنید و از دستورات و ابزارهای جادویی به طور موثر استفاده کنید. سپس به سیستم فایل Databricks (DBFS) می پردازیم و به شما یاد می دهیم که چگونه ذخیره سازی داده ها را به طور موثر مدیریت و نصب کنید.
این دوره بیشتر به بررسی Unity Catalog برای مدیریت امن داده ها، Delta Lake برای پردازش قوی داده، و ابزارهای جذب افزایشی برای مدیریت داده ها در زمان واقعی می پردازد. همچنین به Databricks Delta Live Tables (DLT) تسلط خواهید داشت و مهارت های خود را در ساخت خطوط لوله داده مقیاس پذیر افزایش می دهید. بخشهای نهایی ما ویژگیهای اتوماسیون، از جمله کار با Databricks Repos، Workflows، REST API، و CLI را پوشش میدهد و اطمینان میدهد که میتوانید پروژههای داده خود را خودکار و ساده کنید. فضاهای کاری Databricks و کلاسترهای Spark را ایجاد و مدیریت کنید
از نوت بوک های Databricks و دستورات جادویی برای پردازش کارآمد داده ها استفاده کنید
مدیریت امن داده ها را با Unity Catalog پیاده سازی کنید
انجام عملیات داده های پیشرفته با Delta Lake و Delta Tables
گردش کار داده ها را با استفاده از Databricks Repos، Workflows، REST API و CLI خودکار کنید
اجرای یک پروژه جامع مهندسی داده از ابتدا تا انتها این دوره برای مهندسان داده، دانشمندان داده و متخصصان فناوری اطلاعات طراحی شده است که به دنبال افزایش مهارت های خود در پردازش و مدیریت داده با استفاده از Azure Databricks هستند. پیش نیازها شامل دانش اولیه رایانش ابری، مفاهیم مهندسی داده و آشنایی با Python یا SQL است. راهنمای گام به گام راه اندازی و پیمایش پلت فرم Azure Databricks * درس های مفصل در مورد کار با Spark cluster ها، نوت بوک ها و DBFS * پروژه Capstone در دنیای واقعی برای به کارگیری مهارت های خود در یک سناریو عملی
سرفصل ها و درس ها
قبل از اینکه تو شروع کنی
Before you start
پیش نیازهای دوره
Course Prerequisites
درباره دوره
About the Course
نحوه دسترسی به مواد و منابع دوره
How to access Course Material and Resources
یادداشت برای دانش آموزان - قبل از شروع
Note for Students - Before Start
معرفی
Introduction
مقدمه ای بر مهندسی داده
Introduction to Data Engineering
Apache Spark به پلتفرم مهندسی داده
Apache Spark to Data Engineering Platform
مقدمه ای بر پلتفرم Databricks
Introduction to Databricks Platform
شروع شدن
Getting Started
در این بخش چه چیزی یاد خواهید گرفت
What will you learn in this section
ایجاد حساب ابری Azure
Creating Azure Cloud Account
مروری بر پورتال لاجورد
Azure Portal Overview
ایجاد سرویس فضای کاری Databricks
Creating Databricks Workspace Service
مقدمه ای بر Databricks Workspace
Introduction to Databricks Workspace
به داخل جدول دلتا نگاه کنید
Look Inside Delta Table
برنامه های کاربردی و بهینه سازی جدول دلتا
Delta Table Utilities and Optimization
کار با Databricks Incremental Ingestion Tools
Working with Databricks Incremental Ingestion Tools
در این بخش چه چیزی یاد خواهید گرفت
What will you learn in this section
معماری و نیاز به مصرف تدریجی
Architecture and Need for Incremental Ingestion
استفاده از Copy Into با Manual Schema Evolution
Using Copy Into with Manual Schema Evolution
استفاده از Copy Into با خودکار تکامل طرحواره
Using Copy Into with Automatic Schema Evolution
انتقال جریانی با تکامل طرحواره دستی
Streaming Ingestion with Manual Schema Evolution
انتقال جریانی با تکامل طرحواره خودکار
Streaming Ingestion with Automatic Schema Evolution
مقدمه ای بر Databricks Autoloader
Introduction to Databricks Autoloader
بارگذاری خودکار با تکامل طرحواره خودکار
Autoloader with Automatic Schema Evolution
کار با Databricks Delta Live Tables (DLT)
Working with Databricks Delta Live Tables (DLT)
در این بخش چه چیزی یاد خواهید گرفت
What will you learn in this section
مقدمه ای بر Databricks DLT
Introduction to Databricks DLT
سناریوی موردی استفاده از DLT را درک کنید
Understand DLT Use Case Scenario
مجموعه داده سناریو DLT را تنظیم کنید
Setup DLT Scenario Dataset
ایجاد بار کاری DLT در SQL
Creating DLT Workload in SQL
ایجاد خط لوله DLT برای حجم کاری شما
Creating DLT Pipeline for your Workload
ایجاد بار کاری DLT در پایتون
Creating DLT Workload in Python
پروژه Databricks و ویژگی های اتوماسیون
Databricks Project and Automation Features
در این بخش چه چیزی یاد خواهید گرفت
What will you learn in this section
کار با Databricks Repos
Working with Databricks Repos
کار با Databricks Workflows
Working with Databricks Workflows
کار با Databricks Rest API
Working with Databricks Rest API
کار با Databricks CLI
Working with Databricks CLI
پروژه Capstone
Capstone Project
محدوده و پیشینه پروژه
Project Scope and Background
برداشتن نیاز عملیاتی
Taking out the operational requirement
طراحی ذخیره سازی
Storage Design
پیاده سازی امنیت داده ها
Implement Data Security
اجرای سیاست های منابع
Implement Resource Policies
جداسازی دادهها
Decouple Data Ingestion
طراحی لایه برنز
Design Bronze Layer
طرح لایه نقره و طلا
Design Silver and Gold Layer
محیط خود را تنظیم کنید
Setup your environment
یک فضای کاری ایجاد کنید
Create a workspace
ایجاد و ذخیره سازی لایه
Create and Storage Layer
راه اندازی کاتالوگ Unity
Setup Unity Catalog
ایجاد کاتالوگ فراداده و مکان های خارجی
Create Metadata Catalog and External Locations
کنترل منبع خود را تنظیم کنید
Setup your source control
کد نویسی را شروع کنید
Start Coding
کد خود را تست کنید
Test your code
بارگذاری داده های تاریخی
Load historical data
داخل لایه برنز بخورید
Ingest into bronze layer
لایه نقره را پردازش کنید
Process the silver layer
مدیریت به روز رسانی های متعدد
Handling multiple updates
پیاده سازی لایه طلا
Implementing Gold Layer
ایجاد یک اسکریپت اجرا
Creating a run script
آماده شدن برای تست یکپارچه سازی
Preparing for Integration testing
ایجاد تولید کننده داده های آزمایشی
Creating Test Data Producer
ایجاد تست یکپارچه سازی برای حالت دسته ای
Creating Integration Test for Batch mode
ایجاد تست یکپارچه سازی برای حالت جریان
Creating Integration Test for Stream mode
اجرای خط لوله CI CD
Implementing CI CD Pipeline
توسعه خط لوله
Develop Build Pipeline
توسعه خط لوله انتشار
Develop Release Pipeline
ایجاد اسکریپت Databricks CLI
Creating Databricks CLI Script
کلمه پایانی
Final Word
تبریک می گویم
Congratulations
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
ScholarNest یک تیم کوچک از افرادی است که با پر کردن شکاف بین مهارتهای موجود و مورد نیازشان، علاقه زیادی به کمک به دیگران برای یادگیری و رشد در حرفهشان دارند. آنها با هم بیش از 40 سال تجربه در فناوری اطلاعات به عنوان توسعه دهنده، معمار، مشاور، مربی و مربی دارند. آنها با سازمان های خدمات نرم افزاری بین المللی در پروژه های مختلف داده محور و کلان داده کار کرده اند. این تیمی متشکل از اعتقاد راسخ به یادگیری مستمر مادام العمر و توسعه مهارت است. برای محبوب کردن اهمیت یادگیری مداوم، آنها شروع به انتشار فیلم های آموزشی رایگان در کانال یوتیوب خود کردند. آنها مفهوم یادگیری مستمر را مفهومسازی کردند و مجلهای از یادگیری ما را تحت عنوان مجله یادگیری ایجاد کردند.
نمایش نظرات