نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره:
این دوره به شما می آموزد که چگونه با استفاده از GraphFrames در Apache Spark، داده های گراف را ایجاد و نمایش دهید و الگوریتم های نمودار مانند Shortest Path و PageRank را در Azure Databricks پیاده سازی کنید. موتور تجزیه و تحلیل یکپارچه Spark یکی از محبوب ترین چارچوب ها برای تجزیه و تحلیل و پردازش کلان داده است. بسته GraphFrames در Apache Spark به شما امکان می دهد نمودارها را با استفاده از API مبتنی بر DataFrame نشان دهید. GraphFrames همچنین از تعدادی الگوریتم نمودار مانند Shortest Path، Page Rank، Breadth-first Search و اجزای متصل پشتیبانی می کند. در این دوره آموزشی، اجرای الگوریتمهای گراف با GraphFrames در Databricks، نحوه استفاده از نمودارها را برای مدلسازی موجودیتها و روابط در دنیای واقعی بررسی خواهید کرد. ابتدا با انواع مختلف نمودارها مانند نمودارهای جهت دار و غیر جهت دار، نمودارهای وزن دار و بدون وزن آشنا می شوید. سپس، متوجه خواهید شد که چگونه نمودارها را می توان با استفاده از GraphFrames API در Apache Spark نشان داد و چگونه می توانید ویژگی های یک گراف مانند درجه و درجه یک راس را محاسبه کنید و عملیات فیلتر کردن راس ها و لبه ها را انجام دهید. در مرحله بعد، خواهید دید که چگونه می توانید جستجوی موتیف را با استفاده از GraphFrames به منظور شناسایی الگوهای ساختاری در نمودار انجام دهید. پس از آن، یاد خواهید گرفت که چگونه از یک زبان دامنه خاص برای یافتن موتیف استفاده کنید و پرس و جوهای بدون حالت و حالت را بر روی نمودارهای ساده و همچنین پیچیده دنیای واقعی اجرا کنید. در نهایت، انواع الگوریتمهای گراف پشتیبانی شده توسط GraphFrames API از جمله جستجوی عرض، کوتاهترین مسیر، تعداد مثلث، مؤلفههای متصل و قویاً متصل و رتبه صفحه را بررسی خواهید کرد. پس از اتمام این دوره، مهارت ها و دانش الگوریتم های گراف در Spark مورد نیاز برای پیاده سازی الگوریتم های نمودار با استفاده از GraphFrames API ارائه شده توسط Spark را خواهید داشت.
سرفصل ها و درس ها
بررسی اجمالی دوره
Course Overview
-
بررسی اجمالی دوره
Course Overview
شروع کار با الگوریتم های گراف در Spark
Getting Started with Graph Algorithms in Spark
-
بررسی نسخه
Version Check
-
پیش نیازها و رئوس مطالب دوره
Prerequisites and Course Outline
-
نمودارها به روابط مدل
Graphs to Model Relationships
-
گراف های جهت دار و بدون جهت
Directed and Undirected Graphs
-
گره های مجاور، مسیرها، درجه یک گره
Adjacent Nodes, Paths, Degree of a Node
-
GraphFrames در Databricks
GraphFrames on Databricks
-
نسخه ی نمایشی: نصب GraphFrames و NetworkX
Demo: Installing GraphFrames and NetworkX
-
نسخه ی نمایشی: ایجاد GraphFrames
Demo: Creating GraphFrames
-
نسخه ی نمایشی: درجه و درجه بالاتر
Demo: Indegree and Outdegree
-
نسخه ی نمایشی: فیلتر کردن رئوس و لبه ها
Demo: Filtering Vertices and Edges
پرس و جوها و موتیف های Stateful
Stateful Queries and Motifs
-
موتیف یابی
Motif Finding
-
زبان دامنه خاص برای یافتن موتیف
Domain-specific Language for Motif Finding
-
نسخه ی نمایشی: یافتن موتیف
Demo: Motif Finding
-
نسخه ی نمایشی: لبه های ناشناس، رئوس ناشناس، و شرایط نفی شده
Demo: Anonymous Edges, Anonymous Vertices, and Negated Terms
-
نسخه ی نمایشی: یافتن موتیف در مجموعه داده های دنیای واقعی
Demo: Motif Finding in a Real-world Dataset
-
نسخه ی نمایشی: یافتن موتیف با الگوهای پیچیده
Demo: Motif Finding with Complex Patterns
-
نسخه ی نمایشی: عبارت Stateful Queries
Demo: Stateful Queries
-
نسخه ی نمایشی: نمودارهای فرعی
Demo: Sub Graphs
پیاده سازی الگوریتم های نمودار
Implementing Graph Algorithms
-
عرض اول و عمق اول پیمایش
Breadth-first and Depth-first Traversal
-
نسخه ی نمایشی: جستجوی اول
Demo: Breadth-first Search
-
کوتاه ترین مسیر
Shortest Path
-
نسخه ی نمایشی: کوتاه ترین مسیر
Demo: Shortest Path
-
نسخه ی نمایشی: تعداد مثلث
Demo: Triangle Count
-
کامپوننت های متصل و کامپوننت های به هم پیوسته قوی
Connected Components and Strongly Connected Components
-
نسخه ی نمایشی: مؤلفه های متصل و مؤلفه های با اتصال قوی
Demo: Connected Components and Strongly Connected Components
-
رتبه صفحه
PageRank
-
نسخه ی نمایشی: PageRank
Demo: PageRank
-
خلاصه و مطالعه بیشتر
Summary and Further Study
نمایش نظرات