آموزش پروژه مهندسی داده: ساخت خط لوله‌های انتقال داده استریم برای Snowflake با AWS - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• پیش‌نیازها Prerequisites

• آنچه باید بدانید What you should know

• ساخت خط لوله‌های داده استریم Building streaming data pipelines

1. آشنایی با استریمینگ داده‌ها، AWS و Snowflake 1. Introduction to Data Streaming, AWS, and Snowflake

• چرا AWS و Snowflake؟ Why AWS and Snowflake?

• مقدمه‌ای بر خط لوله‌های انتقال داده استریم Introduction to streaming ingestion pipelines

• بررسی عمیق‌تر خط لوله‌های داده استریم Streaming data pipelines: A deeper dive

• مروری بر پروژه خط لوله استریم Overview of streaming pipeline project

2. ساخت یک خط لوله استریم 2. Building a Streaming Pipeline

• تنظیمات اتصال به سرویس MSK و ایجاد Topic Set up config for provider-MSK connection and create topic

• نصب کانکتور Snowpipe Kafka Installing Snowpipe Kafka connector

• تنظیمات پیکربندی Snowpipe Kafka Connect Setting up your Snowpipe Kafka connect config

• ملاحظات نهایی Final considerations

• آماده‌سازی محیط Snowflake Preparing your Snowflake environment

• ارسال داده‌ها به Snowflake Sending data to Snowflake

• تنظیم کلیدهای دسترسی Setting up your keys

• راه‌اندازی کلاستر MSK و نمونه EC2 Setting up your MSK cluster and EC2 instance

• Snowpipe چیست؟ What is Snowpipe?

جمع‌بندی Conclusion

• مرور دوره و گام‌های بعدی Course review and next steps