آموزش مهندسی داده در گوگل کلاد (Google Cloud) - جامع و کاربردی - آخرین آپدیت

مقدمه دوره 과정 소개

• مقدمه دوره 과정 소개

مبانی و معماری مهندسی داده 데이터 엔지니어링 작업 및 구성요소

• مقدمه 모듈 소개

• نقش مهندسی داده 데이터 엔지니어의 역할

• منبع داده و مخزن داده 데이터 소스와 데이터 싱크

• پردازش داده‌ها 데이터 형식

• سرویس‌های ذخیره‌سازی گوگل کلاد Google Cloud의 스토리지 솔루션 옵션

• سرویس‌های مدیریت داده گوگل کلاد Google Cloud의 메타데이터 관리 옵션

• تمرین عملی: بارگذاری داده در BigQuery 실습 소개: BigQuery에 데이터 로드하기

• سرویس‌های مدیریت داده گوگل کلاد Google Cloud의 메타데이터 관리 옵션

• اتصال Coursera به Google Cloud و Qwiklabs Coursera: Google Cloud 및 Qwiklabs 시작하기

وارد کردن داده‌ها و مدیریت متادیتا 데이터 복제 및 마이그레이션

• مقدمه 모듈 소개

• مفهوم وارد کردن داده و متادیتا 복제 및 마이그레이션 아키텍처

• راهنمای دستورات gcloud gcloud 명령줄 도구

• مجموعه داده‌ها 데이터 세트 이동

• سرویس Datastream Datastream

• تمرین عملی: وارد کردن داده از PostgreSQL به BigQuery با Datastream 실습 소개: Datastream: BigQuery로 PostgreSQL 복제하기

خط‌لوله‌های استخراج و بارگذاری داده (Extract & Load) 추출 및 로드 데이터 파이프라인 패턴

• مقدمه 모듈 소개

• مفهوم استخراج و بارگذاری 추출 및 로드 아키텍처

• راهنمای دستورات bq bq 명령줄 도구

• سرویس انتقال داده BigQuery BigQuery Data Transfer Service

• سرویس BigLake BigLake

• تمرین عملی: شروع سریع با BigLake 실습 소개: BigLake: Qwik Start

خط‌لوله‌های استخراج، بارگذاری و تبدیل داده (ELT) 추출, 로드, 변환 데이터 파이프라인 패턴

• مقدمه 모듈 소개

• مفهوم ELT (استخراج، بارگذاری، تبدیل) ELT(추출, 로드, 변환) 아키텍처

• اسکریپت‌ها و دستورات SQL با استفاده از BigQuery BigQuery를 사용한 SQL 스크립팅 및 예약

• ابزار Dataform Dataform

• تمرین عملی: ایجاد جداول SQL در Dataform 실습 소개: Dataform에서 SQL 워크플로를 만들고 실행하기

خط‌لوله‌های استخراج، تبدیل و بارگذاری داده (ETL) 추출, 변환, 로드 데이터 파이프라인 패턴

• مقدمه 모듈 소개

• مفهوم ETL (استخراج، تبدیل، بارگذاری) ETL(추출, 변환, 로드) 아키텍처

• راهنمای رابط کاربری گوگل کلاد برای خط‌لوله‌های ETL ETL 데이터 파이프라인을 위한 Google Cloud GUI 도구

• پردازش دسته‌ای داده‌ها با Dataproc Dataproc을 사용한 일괄 데이터 처리

• تمرین عملی: بارگذاری در BigQuery با استفاده از Spark و Dataproc Serverless 실습 소개: Spark용 Dataproc Serverless를 사용하여 BigQuery 로드하기

• سرویس پردازش داده‌های استریمینگ 스트리밍 데이터 처리 옵션

• سرویس Bigtable و خط‌لوله‌های داده Bigtable과 데이터 파이프라인

• تمرین عملی: ایجاد خط‌لوله استریمینگ داده‌های لحظه‌ای با Dataflow 실습 소개: Dataflow로 실시간 대시보드를 위한 스트리밍 데이터 파이프라인 만들기

خودکارسازی خط‌لوله‌ها 자동화 기법

• مقدمه 모듈 소개

• روش‌های خودکارسازی خط‌لوله‌های داده 파이프라인을 위한 자동화 패턴과 옵션

• سرویس‌های Cloud Scheduler و Workflows Cloud Scheduler 및 Workflows

• سرویس Cloud Composer Cloud Composer

• سرویس Cloud Run Functions Cloud Run Functions

• سرویس Eventarc Eventarc

• تمرین عملی: بارگذاری داده در BigQuery با Cloud Run Functions 실습 소개: Cloud Run Functions를 사용하여 BigQuery 로드하기

جمع‌بندی دوره 과정 요약

• جمع‌بندی دوره 과정 요약