آموزش مهندسی داده: خط لوله داده (Pipelines)، ETL و هادوپ (Hadoop) - آخرین آپدیت

دانلود Data Engineering: Pipelines, ETL, Hadoop

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.

نمونه ویدیوها: (صرفا برای مشاهده نمونه ویدیو، ممکن هست نیاز به شکن داشته باشید.)

توضیحات دوره: این دوره یک راهنمای جامع برای تسلط بر مهندسی داده است که در آن یاد می‌گیرید چگونه خط لوله‌های داده (Data Pipelines) مستحکم بسازید، در فرآیندهای ETL (استخراج، تبدیل و بارگذاری) تعمق کنید و مجموعه‌ داده‌های بزرگ را با استفاده از Hadoop مدیریت نمایید. شما در استخراج داده‌ها از منابع مختلف، تبدیل آن‌ها به فرمت‌های قابل استفاده و بارگذاری در انبار داده‌ها (Data Warehouses) یا پلتفرم‌های Big Data تخصص کسب خواهید کرد. با تجربه عملی در Hadoop، که استاندارد صنعتی برای مدیریت داده‌های حجیم است، یاد می‌گیرید چگونه این داده‌ها را به طور بهینه پردازش و مدیریت کنید. چه مبتدی باشید و چه یک متخصص با تجربه، این دوره شما را با مهارت‌های لازم برای طراحی، پیاده‌سازی و مدیریت خط لوله‌های داده مجهز می‌کند و شما را به سرمایه‌ای ارزشمند برای هر سازمان داده‌محور تبدیل می‌سازد. این دوره برای کسانی که مشتاق تبدیل شدن به مهندس داده هستند، توسعه‌دهندگان نرم‌افزار علاقه‌مند به پردازش داده و متخصصان IT که به دنبال گسترش تخصص خود در حوزه مهندسی داده هستند، ایده‌آل است. همچنین برای تحلیلگران کسب‌وکار و سایر متخصصانی که به دنبال درک بنیادی از فناوری‌های مدیریت داده برای بهبود قدرت تصمیم‌گیری و ارتقای نقش خود در محیط‌های داده‌محور هستند، مناسب است. چه در ابتدای مسیر مهندسی داده باشید و چه به دنبال تقویت مهارت‌های فعلی خود، این دوره دانش و ابزارهای لازم برای موفقیت شما را فراهم می‌کند. برای بهره‌برداری حداکثری از این دوره، باید درک اولیه‌ای از مفاهیم برنامه‌نویسی و آشنایی با سیستم‌های پایگاه داده داشته باشید. دانش پایه در برنامه‌نویسی پایتون (Python) و SQL و همچنین درک سیستم‌های پایگاه داده رابطه‌ای بسیار مفید خواهد بود. هیچ تجربه قبلی در مورد Hadoop مورد نیاز نیست، اما علاقه شدید به داده‌های بزرگ (Big Data) و تحلیل داده‌ها، تجربه یادگیری شما را به شدت افزایش می‌دهد. در پایان این دوره، شما قادر خواهید بود معماری و اجزای خط لوله‌های داده را تحلیل کرده و تاثیر آن‌ها را بر جریان داده و کارایی پردازش درک کنید. شما یاد می‌گیرید چگونه فرآیندهای ETL مقیاس‌پذیر و قابل نگهداری را پیاده‌سازی کنید و برای مقابله با چالش‌های داده‌های بزرگ با استفاده از ابزارهای اکوسیستم Hadoop مانند HDFS، MapReduce، Hive، Pig و Spark مجهز خواهید شد. این دوره شما را آماده می‌کند تا راهکارهای داده‌ای را طراحی و مدیریت کنید که منجر به استخراج بینش‌های معنادار و حمایت از تصمیم‌گیری‌های استراتژیک در هر سازمانی شود.

سرفصل ها و درس ها

مهندسی داده: خط لوله داده، ETL و هادوپ Data Engineering: Pipelines, ETL, Hadoop

مقدمه و خوش‌آمدگویی Introduction and Welcome
تبیین نقش مهندسی داده Explaining The Role of Data Engineering
تحلیل خط لوله‌های داده (Data Pipelines) Analyzing Data Pipelines
شناسایی ابزارها و فناوری‌های خط لوله داده Identifying Tools and Technologies for Data Pipelines
بررسی فرآیندهای ETL Examining the ETL processes
تحلیل چالش‌ها و راهکارهای داده‌های بزرگ (Big Data) Analysing Big Data Challenges and Solutions
کالبدشکافی اکوسیستم هادوپ (Hadoop) Decoding Hadoop Ecosystem
به‌کارگیری هادوپ برای پردازش داده‌ها Applying Hadoop for Processing Data Processing Data with Hadoop
طراحی پروژه راهکار داده Designing a Data Solution Project
اجرای فرآیندهای ETL Executing ETL Processes
تحلیل بینش‌های حاصل از داده‌ها Analyzing Data Insights
تبریک و مسیر یادگیری مستمر Congratulations and Continuous Learning Journey