آموزش مهندسی داده در دنیای واقعی: پروژههای استریمینگ و کلاد - آخرین آپدیت
دانلود Real-World Data Engineering: Streaming & Cloud Projects
مهندسی داده یکی از پرتقاضاترین مهارتها در دنیای دادهمحور امروز است و بهترین راه برای تسلط بر آن، کار روی پروژههای واقعی است. این دوره برای یادگیرندگانی طراحی شده است که مهارتهای مقدماتی Python و SQL را دارند و آمادهاند تا وارد گردش کارهای مهندسی داده سطح متوسط شوند.
در طول این دوره، شما روی پروژههای عملی و جامع (End-to-End) مهندسی داده کار خواهید کرد که طیف گستردهای از ابزارها و پلتفرمهای مدرن را پوشش میدهند. شما تجربه کار با تکنولوژیهای استریمینگ مانند Apache Kafka، Spark و Flink، ابزارهای ارکستراسیون مانند Apache Airflow و NiFi و سیستمهای ذخیرهسازی شامل PostgreSQL، HDFS و AWS S3 را کسب خواهید کرد. این پروژهها بر ساخت خطوط لوله داده مقیاسپذیر، جریانهای کاری ETL، تحلیلهای بلادرنگ و راهکارهای داده مبتنی بر کلاد تمرکز دارند؛ مهارتهایی که برای مهندسان داده حرفهای بسیار حیاتی هستند.
تمرکز این دوره بر یادگیری کاربردی است. به جای بحث صرف درباره مفاهیم، خواهید دید که چگونه آنها را در گردشهای کاری واقعی ترکیب کنید تا اعتماد به نفس لازم برای مدیریت چالشهای دادههای حجیم (Big Data) در محیطهای عملیاتی (Production) را به دست آورید. چه جذب دادههای استریمینگ با حجم بالا باشد، چه مدیریت Jobها، انجام محاسبات توزیعشده یا بهرهگیری از سرویسهای AWS برای تحلیلهای ابری، شما مهارتهای عملی مورد نیاز برای فعالیت در اکوسیستم مهندسی داده امروز را توسعه خواهید داد.
در پایان این دوره، شما چندین پروژه آماده برای پورتفولیو ساختهاید که توانایی شما در طراحی، پیادهسازی و مدیریت خطوط لوله داده، سیستمهای استریمینگ و راهکارهای تحلیلی را به نمایش میگذارد. این پروژهها نه تنها دانش فنی شما را تقویت میکنند، بلکه به کارفرمایان ثابت میکند که میتوانید مهارتهای مهندسی داده را در عمل به کار ببرید.
این دوره برای یادگیرندگانی که تجربه اولیهای در برنامهنویسی و پایگاه داده دارند و مشتاقاند به نقشهای مهندسی داده سطح متوسط یا پیشرفته ارتقا یابند، بسیار مناسب است. اگر به دنبال تقویت مهارتها و کسب تجربه واقعی و قابل نمایش هستید، این دوره گامی درست در مسیر شماست.
پروژه ۱: تحلیل MarketFlow - خط لوله داده بلادرنگ با Kafka و Spark Project 1: MarketFlow Analytics - Real-Time Data Pipeline with Kafka & Spark
-
معرفی پروژه Intro to the project
-
دانلود و نصب Kafka Kafka Download
-
آپاچی اسپارک (Apache Spark) - بخش اول Apache Spark - Part 1
-
آپاچی اسپارک (Apache Spark) - بخش دوم Apache Spark - Part 2
-
بررسی تسکهای JIRA JIRA Tasks
-
تحقیق و تصمیمگیریها Research and Decisions
-
جذب دادهها به Kafka - مدل Python DAG Ingest data to Kafka - Python DAG
-
جذب دادهها به Kafka - اجرای کد Ingest data to Kafka - Running The Code
-
جذب دادهها به Kafka - تنظیمات VS Code Ingest data to Kafka - VS Code Set Up
-
مصرفکننده کافکا (Kafka Consumer) - بخش اول Kafka Consumer - Part 1
-
مصرفکننده کافکا (Kafka Consumer) - بخش دوم Kafka Consumer - Part 2
-
تحلیل کریپتو - بخش اول Crypto Analytics - Part 1
-
تحلیل کریپتو - بخش دوم Crypto Analytics - Part 2
-
تحلیل کریپتو - بخش سوم Crypto Analytics - Part 3
-
پستگرس (PostgreSQL) - مرحله نهایی سفر داده - بخش اول PostgreSQL - The Final Mile of the Data Journey - Part 1
-
پستگرس (PostgreSQL) - مرحله نهایی سفر داده - بخش دوم PostgreSQL - The Final Mile of the Data Journey - Part 2
-
پستگرس (PostgreSQL) - مرحله نهایی سفر داده - بخش سوم PostgreSQL - The Final Mile of the Data Journey - Part 3
-
فایلهای قابل دانلود پروژه Downloadable Project Files
پروژه ۲: تشخیص تأخیر (Delay Detect) - خط لوله استریمینگ برای مانیتورینگ متریکها با Spark Project 2: Delay Detect - Streaming Pipeline for Metrics Monitoring with Spark
-
معرفی خط لوله تشخیص تأخیر Intro to Delay Detection Pipeline
-
وابستگیها و تنظیمات VSC - بخش اول VSC dependencies and setup part -1
-
وابستگیها و تنظیمات VSC - بخش دوم VSC dependencies and setup part -2
-
تولیدکننده کافکا (Kafka Producer) Kafka Producer
-
درک متریکها Understanding The Metrics
-
نوشتن کد اسپارک (Spark) - بخش اول Writing the Spark code part -1
-
نوشتن کد اسپارک (Spark) - بخش دوم Writing the Spark code part -2
-
نوشتن کد اسپارک (Spark) - بخش سوم Writing the Spark code part -3
-
اجرای خط لوله (Pipeline) Running the Pipeline
-
فایلهای قابل دانلود پروژه Downloadable Project Files
پروژه ۳: FlinkGuard - پردازش استریم مقیاسپذیر با Apache Flink Project 3: FlinkGuard - Scalable Stream Processing with Apache Flink
-
معرفی FlinkGuard Intro to FlinkGuard
-
آپاچی فلینک (Apache Flink) Apache Flink
-
راهاندازی محیط - بخش اول Setting up the Environment Part - 1
-
راهاندازی محیط - بخش دوم Setting up the Environment Part - 2
-
راهاندازی محیط - بخش سوم Setting up the Environment Part - 3
-
تولیدکننده و وابستگیها - بخش اول Producer And Dependencies Part - 1
-
تولیدکننده و وابستگیها - بخش دوم Producer And Dependencies Part - 2
-
اسکریپت فلینک (Flink) - بخش اول Flink Script Part - 1
-
اسکریپت فلینک (Flink) - بخش دوم Flink Script Part - 2
-
اسکریپت فلینک (Flink) - بخش سوم Flink Script Part - 3
-
اجرای خط لوله (Pipeline) Running the Pipeline
-
فایلهای قابل دانلود پروژه Downloadable Project Files
پروژه ۴: ShelfSync - ارکستراسیون گردش کار با Airflow، NiFi، Spark و HDFS Project 4: ShelfSync - Workflow Orchestration with Airflow, NiFi, Spark & HDFS
-
معرفی ShelfSync ShelfSync Intro
-
تسکهای Jira Jira Tasks
-
معرفی Apache Airflow Apache Airflow intro
-
تنظیمات Airflow Airflow setup
-
آپاچی نایفای (Apache NiFi) - بخش اول Apache NiFi Part 1
-
آپاچی نایفای (Apache NiFi) - بخش دوم Apache NiFi Part 2
-
سیستم HDFS - بخش اول HDFS Part 1
-
سیستم HDFS - بخش دوم HDFS Part 2
-
تنظیمات Airflow DAG - بخش اول Airflow DAG setup Part 1
-
تنظیمات Airflow DAG - بخش دوم Airflow DAG setup Part 2
-
تنظیمات Airflow DAG - بخش سوم Airflow DAG setup Part 3
-
جذب داده با NiFi به HDFS - بخش اول NiFi ingest to HDFS Part 1
-
جذب داده با NiFi به HDFS - بخش دوم NiFi ingest to HDFS Part 2
-
محاسبات اسپارک (Spark) - بخش اول Spark Computation Part 1
-
محاسبات اسپارک (Spark) - بخش دوم Spark Computation Part 2
-
محاسبات اسپارک (Spark) - بخش سوم Spark Computation Part 3
-
انتقال داده از HDFS به لوکال با NiFi NiFi HDFS to Local
-
اجرای خط لوله - بخش اول Running the Pipeline Part 1
-
اجرای خط لوله - بخش دوم Running the Pipeline Part 2
-
اجرای خط لوله - بخش سوم Running the Pipeline Part 3
-
فایلهای قابل دانلود پروژه Downloadable Project Files
پروژه ۵: RULS3nse - تحلیلهای پیشبینانه با استفاده از AWS S3، Athena و مدلهای RUL Project 5: RULS3nse - Predictive Analytics using AWS S3, Athena & RUL Models
-
معرفی RULS3nse Intro to RULS3nse
-
آمازون AWS Amazon AWS
-
تنظیمات AWS AWS Setup
-
دیتاست CMAPS CMAPS Dataset
-
آمازون S3 - بخش اول Amazon S3 Part 1
-
آمازون S3 - بخش دوم Amazon S3 Part 2
-
آمازون Athena - بخش اول Amazon Athena Part 1
-
آمازون Athena - بخش دوم Amazon Athena Part 2
-
مدل RUL و خروجیها - بخش اول RUL and Output Part 1
-
مدل RUL و خروجیها - بخش دوم RUL and Output Part 2
-
فایلهای قابل دانلود پروژه Downloadable Project Files
https://donyad.com/d/2aeeec
Pianalytix .
Pianalytix Edutech Pvt Ltd از فناوری پیشرفته هوش مصنوعی و طراحی محصول خلاقانه استفاده می کند تا به کاربران کمک کند یادگیری ماشین را به طور م learnثرتری بیاموزند و یادگیری ماشین را در دنیای واقعی پیاده سازی کنند. Pianalytix همچنین از قدرت پیشرفته هوش مصنوعی برای توانمندسازی مشاغل برای به دست آوردن سود هنگفت با بهینه سازی فرایندها ، به حداکثر رساندن کارایی و افزایش سودآوری استفاده می کند.
نمایش نظرات