لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش ساخت سیستمهای استریمینگ تابآور در GCP (گوگل کلاود)
- آخرین آپدیت
دانلود Building Resilient Streaming Systems on GCP em Português Brasileiro
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
این دوره کوتاه آموزشی On-Demand با مدت زمان یک هفته، بر اساس مبانی دادههای حجیم (Big Data) و یادگیری ماشین در Google Cloud Platform طراحی شده است. شرکتکنندگان از طریق ویدئوهای آموزشی، دموها و آزمایشگاههای عملی، نحوه ایجاد خط لولههای داده (Data Pipelines) استریمینگ را با استفاده از Google Cloud Pub/Sub و Dataflow برای تصمیمگیریهای آنی و در لحظه خواهند آموخت. همچنین یاد میگیرید چگونه داشبوردهایی برای نمایش پاسخهای سفارشی برای انواع مختلف ذینفعان ایجاد کنید.
پیشنیازها:
• مفاهیم پایه Big Data و یادگیری ماشین در Google Cloud Platform (یا تجربه معادل)
• آشنایی با زبان برنامهنویسی Java
اهداف دوره:
• درک موارد استفاده از تحلیلهای استریمینگ در لحظه (Real-time)
• استفاده از سرویس پیامرسانی غیرهمزمان Google Cloud Pub/Sub برای مدیریت رویدادهای داده
• ایجاد خط لولههای استریمینگ و اجرای تغییرات (Transformations)
• شناخت دو سوی یک خط لوله استریمینگ: تولیدکننده (Production) و مصرفکننده (Consumption)
• یکپارچهسازی Dataflow، BigQuery و Cloud Pub/Sub برای استریمینگ و تحلیلهای آنی
سرفصل ها و درس ها
ماژول ۱: معماری کانالهای تحلیل استریمینگ
Módulo 1: Arquitetura de canais de análise de streaming
استریمینگ چیست؟
O que é streaming?
چالش شماره ۱: حجمهای متغیر نیازمند جذب مقیاسپذیر و مقاوم در برابر خطا هستند
Desafio nº 1: volumes variáveis exigem que a ingestão seja escalonável e tolerante a falhas
چالش شماره ۲: مدیریت تأخیرهای مورد انتظار
Desafio nº 2: a latência já é esperada
چالش شماره ۳: نیاز به بینشهای آنی و لحظهای
Desafio nº 3: necessidade de insights instantâneos
بررسی موارد کاربردی استریمینگ
Discuta alguns casos de streaming
ماژول ۲: جذب دادهها با حجمهای متغیر
Módulo 2: Ingestão de volumes variáveis
سرویس Pub/Sub چیست؟
O que é o Pub/Sub?
نحوه عملکرد: موضوعات (Topics) و اشتراکها (Subscriptions)
Como funciona: tópicos e assinaturas
مرور کلی آزمایشگاه عملی
Visão geral do laboratório
دمو و جمعبندی آزمایشگاه
Demonstração e recapitulação do laboratório
ماژول ۳: پیادهسازی کانالهای استریمینگ
Módulo 3: Implementação de canais de streaming
استریمینگ در Dataflow
Dataflow Streaming
چالشهای پردازش استریمینگ
Desafios no processamento de streaming
ایجاد کانال پردازش استریمینگ برای دادههای ترافیکی در لحظه
Criar um canal de processamento de streaming para dados de tráfego em tempo real
پردازش دادههای تأخیری: واترمارکها، تریگرها و انباشت
Processamento de dados atrasados: marcas-d'água, acionadores, acumulação
مرور کلی آزمایشگاه عملی
Visão geral do laboratório
دمو و جمعبندی آزمایشگاه
Demonstração e recapitulação do laboratório
ماژول ۴: داشبوردها و تحلیلهای استریمینگ
Módulo 4: Painéis e análises de streaming
تحلیلها و داشبوردهای استریمینگ
Análise e painéis de streaming
مرور کلی آزمایشگاه عملی
Visão geral do laboratório
دمو و جمعبندی آزمایشگاه
Demonstração e recapitulação do laboratório
ماژول ۵: مدیریت الزامات ظرفیت و تأخیر (Latency)
Módulo 5: Como lidar com os requisitos de capacidade e latência
ظرفیت و تأخیر (Latency)
Capacidade e latência
Bigtable: دیتابیس NoSQL با ظرفیت بالا، سرعت و مقیاسپذیری خودکار
Bigtable: NoSQL com grande capacidade, rapidez e escalonamento automático
نحوه وارد کردن دادهها در Bigtable
Como ingerir dados no Bigtable
نحوه توسعه برای Bigtable
Como desenvolver para o Bigtable
نحوه اجرای استریمینگ در Bigtable
Como fazer streaming no Bigtable
دمو و جمعبندی آزمایشگاه
Demonstração e recapitulação do laboratório
ملاحظات مربوط به عملکرد (Performance)
Considerações sobre desempenho
جمعبندی مهندسی داده در تخصص GCP
Resumo da engenharia de dados na especialização no GCP
نمایش نظرات