آموزش Azure Spark Databricks

مقدمه Introduction

• خطوط لوله داده را بهینه کنید Optimize data pipelines

• آنچه باید بدانید What you should know

• درباره استفاده از خدمات ابری About using cloud services

1. داده های بزرگ در مورد داده های لاجورد 1. Big Data on Azure Databricks

• با خوشه های Data Spark Apache Spark ملاقات کنید Meet Databricks Apache Spark clusters

• سناریوهای تجاری Spark Business scenarios for Spark

• اجزای کلیدی Spark را درک کنید Understand Spark key components

• مفاهیم Azure Databricks Azure Databricks concepts

• شروع سریع: از یک دفترچه استفاده کنید Quick start: Use a notebook

2. بارهای کاری هسته محور آزور 2. Core Azure Databricks Workloads

• بررسی مجموعه های خوشه ای Databricks Azure Review Databricks Azure cluster setup

• از یک نوت بوک پایتون با داشبورد استفاده کنید Use a Python notebook with dashboards

• از یک نوت بوک R استفاده کنید Use an R notebook

• برای تجسم از نوت بوک Scala استفاده کنید Use a Scala notebook for visualization

• از نوت بوک با scikit-Learn استفاده کنید Use a notebook with scikit-learn

• از یک نوت بوک Spark Streaming استفاده کنید Use a Spark Streaming notebook

• از یک کتابخانه خارجی Scala استفاده کنید: variant-spark Use an external Scala library: variant-spark

3. مقیاس گذاری بارهای کاری آزمایشی لاجورد 3. Scaling Azure Databricks Workloads

• مراحل بار مهندسی داده را درک کنید Understand data engineering workload steps

• پیکربندی های خوشه را درک کنید Understand cluster configurations

• از اجرای سرباز جرقه سربار بفهمید Understand Spark job execution overhead

• هواپیماهای کنترل بهینه سازی را کاوش کنید Explore optimization control planes

• یک خوشه و شغل را بهینه کنید Optimize a cluster and job

• یک کار با اندازه تولید را اجرا کنید Run a production-size job

4- خطوط لوله داده با داده های لاجورد 4. Data Pipelines with Azure Databricks

• از مشاغل Databricks و کنترل مبتنی بر نقش استفاده کنید Use Databricks jobs and role-based control

• از Databricks Runtime ML استفاده کنید Use Databricks Runtime ML

• API خط لوله ML را درک کنید Understand ML Pipelines API

• از API خط لوله ML استفاده کنید Use ML Pipelines API

• از آموزش ML توزیع شده استفاده کنید Use distributed ML training

• دلتا Databricks را درک کنید Understand Databricks Delta

• از Delta Databricks استفاده کنید Use Databricks Delta

• از فضای ذخیره سازی لاجورد استفاده کنید Use Azure Blob storage

• MLflow را درک کنید Understand MLflow

5- معماری های یادگیری ماشین 5. Machine Learning Architectures

• ملاحظات خط لوله Azure Databricks Azure Databricks pipeline considerations

• داده های لاجورد برای ذخیره سازی داده ها Azure Databricks for data warehousing

• داده های لاجورد و یادگیری ماشین Azure Databricks and machine learning

• داده های لاجورد برای تجزیه و تحلیل چرن Azure Databricks for churn analysis

• دیتابریک لاجورد برای تشخیص نفوذ Azure Databricks for intrusion detection

نتیجه Conclusion

• مراحل بعدی Next steps