آموزش Web Scraping و اصول API در پایتون

Web Scraping and API Fundamentals in Python

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: آموزش خراش دادن وب با سوپ زیبا و درخواست ها-html. هر زمان که در دسترس است از API ها استفاده کنید. جمع آوری داده ها به صورت خودکار اصول Web Scraping را بیاموزید API ها را در برنامه های خود پیاده کنید استاد کار با Beautiful Soup شروع به استفاده از درخواست ها-html ایجاد خراش های کارآمد خراش دادن جاوا اسکریپت با HTML آشنا شوید انتخابگرهای CSS را بشناسید درخواست های HTTP را درک کنید کوکی های وب سایت را کاوش کنید محتوای خراشیده شده در پشت یک گزارش قفل شده است. در سیستم محدود کردن میزان درخواست ها پیش نیازها:پایتون 3 و توزیع آناکوندا دانش پایه پایتون کنجکاوی و اشتیاق به یادگیری و تمرین

آیا از کپی و چسباندن دستی مقادیر در یک صفحه گسترده خسته شده اید؟

آیا می خواهید یاد بگیرید که چگونه با یک اسکریپت ساده، اطلاعات جالب، هم زمان و حتی کمیاب را از اینترنت به دست آورید؟

آیا مشتاق به دست آوردن یک مهارت ارزشمند هستید تا در این دنیای داده محور از رقبا پیشی بگیرید؟

اگر پاسخ مثبت است، در زمان مناسب به مکان مناسب آمده اید!

به Web Scraping و API Fundamentals در پایتون خوش آمدید!

دوره نهایی جمع آوری داده ها!

Web Scraping تکنیکی برای به دست آوردن اطلاعات از صفحات وب یا سایر منابع داده مانند API ها از طریق استفاده از برنامه های خودکار هوشمند است. Web Scraping به ما امکان می دهد تا داده ها را از صدها یا هزاران صفحه با چند خط کد جمع آوری کنیم.

از گزارش گیری تا علم داده، استخراج خودکار داده ها از وب از انجام کارهای تکراری جلوگیری می کند. به عنوان مثال، اگر در یک سازمان جدی کار کرده اید، مطمئناً می دانید که گزارش یک موضوع تکراری است. گزارش های روزانه، هفتگی، ماهانه، فصلی و سالانه وجود دارد. خواه هدف آنها سازماندهی داده‌های وب‌سایت، داده‌های تراکنش، داده‌های مشتری، یا حتی اطلاعات آسان‌تر مانند پیش‌بینی آب‌وهوا باشد - گزارش‌ها در دنیای کنونی ضروری هستند. و در حالی که گاهی مراقبت از آن وظیفه کارآموز است، تعداد کمی از وظایف نسبت به اتوماسیون گزارش ها صرفه جویی در هزینه دارند.

وقتی نوبت به علم داده می‌رسد – داده‌های بیشتری از منابع خارجی مانند صفحات وب، فایل‌های قابل دانلود و APIها به دست می‌آیند. دانستن چگونگی استخراج و ساختار سریع آن داده ها یک مهارت ضروری است که شما را در بازار کار متمایز می کند.

بله، وقت آن است که بازی خود را ارتقا دهید و یاد بگیرید که چگونه می توانید استفاده از API ها و استخراج اطلاعات مفید از وب سایت ها را خودکار کنید.

در قسمت اول دوره، با API ها شروع می کنیم. API ها به طور خاص برای ارائه داده به توسعه دهندگان طراحی شده اند، بنابراین آنها اولین مکانی هستند که هنگام جستجوی داده ها بررسی می شوند. ما در مورد درخواست های GET، درخواست های POST و فرمت JSON خواهیم آموخت.

این مفاهیم همه از طریق مثال‌های جالب و به صورت مستقیم بررسی می‌شوند.

با این حال، گاهی اوقات ممکن است اطلاعات از طریق استفاده از یک API در دسترس نباشد، اما در یک صفحه وب موجود است. در این سناریو چه کاری می توانیم انجام دهیم؟ از صفحه دیدن کنید و داده ها را به صورت دستی یادداشت کنید؟

لطفاً هرگز این کار را نکنید!

ما یاد خواهیم گرفت که چگونه از کتابخانه‌های قدرتمندی مانند «سوپ زیبا» و «HTML درخواست‌ها» برای خراش دادن هر وب‌سایتی، صرف نظر از ترکیبی از زبان‌ها - HTML، جاوا اسکریپت و CSS استفاده کنیم.

مطمئناً، برای خراش دادن، باید یک یا دو چیز در مورد توسعه وب بدانید. به همین دلیل است که ما یک بخش اختیاری را نیز گنجانده ایم که اصول اولیه HTML را پوشش می دهد. در نظر بگیرید که یک جایزه برای تمام دانشی که کسب خواهید کرد!

ما همچنین چندین پروژه خراش دادن را بررسی خواهیم کرد. ما داده‌های مربوط به فیلم‌ها را از فهرست رتبه‌بندی «Rotten Tomatoes» به دست می‌آوریم و ساختار می‌دهیم و هر مرحله از این فرآیند را به طور دقیق بررسی می‌کنیم. این به شما کمک می کند تا احساس کنید که خراشیدن در دنیای واقعی چگونه است.

ما همچنین به نحوه پاک کردن داده ها از بسیاری از صفحات وب به طور همزمان خواهیم پرداخت، که در استخراج داده ها یک نیاز کاملاً معمول است.

و سپس نوبت شما خواهد بود که آنچه را که آموخته اید با چندین پروژه که برای شما تنظیم خواهیم کرد، تمرین کنید.

اما موارد بیشتری نیز وجود دارد!

Web Scraping ممکن است همیشه طبق برنامه پیش نرود (به همین دلیل است که شما این دوره را می گذرانید). وب سایت های مختلف به روش های مختلفی ساخته می شوند و اغلب ربات های ما ممکن است مسدود شوند. به همین دلیل، ما تلاش بیشتری برای کشف موانع رایجی که ممکن است در حین خراشیدن با آنها مواجه شوید را بررسی کرده و راه هایی برای دور زدن یا مقابله با آن مشکلات به شما ارائه خواهیم کرد. اینها شامل سرصفحه‌ها و کوکی‌های درخواست، سیستم‌های ورود به سیستم و محتوای تولید شده جاوا اسکریپت است.

اگر با چند مورد یا هیچ یک از این اصطلاحات آشنا نیستید نگران نباشید... ما از اصول اولیه شروع خواهیم کرد و راه خود را به سمت مهارت خواهیم ساخت. علاوه بر این، ما معتقدیم که تمرین باعث کامل‌تر شدن می‌شود، بنابراین این دوره چندان در جنبه تئوری چیزها نیست، زیرا بیشتر یک رویکرد عملی را اتخاذ می‌کند. علاوه بر این، شامل تمرین‌های مشق شب فراوان، فایل‌ها و دفترچه‌های قابل دانلود، و همچنین سوالات مسابقه و یادداشت‌های دوره است.

ما، تیم 365 Data Science متعهد هستیم که فقط محتوای با بالاترین کیفیت را برای شما - دانشجویان خود ارائه دهیم. و در حالی که ما عاشق تولید محتوای خود در داخل هستیم، این بار تصمیم گرفتیم با یک متخصص واقعی صنعت - اندرو تردوی همکاری کنیم. اندرو یک دانشمند ارشد داده در شرکت بیمه زندگی نیویورک است. او دارای مدرک کارشناسی ارشد در علوم کامپیوتر با یادگیری ماشین از موسسه فناوری جورجیا است و یک متخصص برجسته با بیش از ۷ سال تجربه در برنامه نویسی پایتون مرتبط با داده است. او همچنین نویسنده بسته "yahoo_fin" است که به طور گسترده برای جمع آوری داده های تاریخی قیمت سهام از یاهو استفاده می شود.

همانند همه دوره‌های ما، اگر در مقطعی تصمیم بگیرید که آموزش برای شما مناسب نیست، 30 روز ضمانت بازگشت وجه دارید. بنابراین... شما چیزی برای از دست دادن ندارید - و همه چیز برای به دست آوردن؟

پس منتظر چه چیزی هستید؟

روی دکمه "اکنون خرید" کلیک کنید و بیایید با هم شروع به جمع آوری داده ها کنیم!


سرفصل ها و درس ها

معرفی دوره Introduction to the course

  • دوره شامل چه مواردی می شود؟ What does the course cover?

  • Web Scraping چیست؟ What is Web Scraping?

  • Web Scraping چیست؟ What is Web Scraping?

  • اخلاق خراشیدن Ethics of Scraping

  • اخلاق خراشیدن Ethics of Scraping

  • دانلود تمامی منابع Download All Resources

راه اندازی محیط Setting up the environment

  • راه اندازی محیط - لطفا از دست ندهید! Setting up the environment - Do not skip, please!

  • چرا پایتون و چرا ژوپیتر؟ Why Python and why Jupyter?

  • نصب آناکوندا Installing Anaconda

  • داشبورد Jupyter - قسمت 1 Jupyter Dashboard - Part 1

  • داشبورد Jupyter - قسمت 2 Jupyter Dashboard - Part 2

  • نصب پکیج ها Installing the packages

کار با API ها Working with APIs

  • نمای کلی API API overview

  • نمای کلی API API overview

  • درخواست های HTTP: درخواست های GET و POST HTTP requests: GET and POST requests

  • درخواست های HTTP: درخواست های GET و POST HTTP requests: GET and POST requests

  • JSON: فرمت تبادل داده ترجیحی برای APIها JSON: preferred data exchange format for APIs

  • JSON: فرمت تبادل داده ترجیحی برای APIها JSON: preferred data exchange format for APIs

  • API نرخ ارز: دریافت پاسخ JSON Exchange rates API: GETting a JSON reply

  • API نرخ ارز: دریافت پاسخ JSON Exchange rates API: GETting a JSON reply

  • گنجاندن پارامترها در یک درخواست GET Incorporating parameters in a GET request

  • گنجاندن پارامترها در یک درخواست GET Incorporating parameters in a GET request

  • عملکردهای API اضافی Additional API functionalities

  • عملکردهای API اضافی Additional API functionalities

  • ایجاد یک مبدل ارز ساده Creating a simple currency converter

  • iTunes API iTunes API

  • iTunes API iTunes API

  • iTunes API: ورزش iTunes API: Exercise

  • iTunes API: ساختار و صادرات داده ها iTunes API: Structuring and exporting the data

  • iTunes API: ساختار و صادرات داده ها iTunes API: Structuring and exporting the data

  • API ها: ورزش APIs: Exercise

  • GitHub API: صفحه بندی GitHub API: Pagination

  • GitHub API: صفحه بندی GitHub API: Pagination

  • EDAMAM API: راه اندازی و ثبت اولیه EDAMAM API: Initial setup and registration

  • EDAMAM API: راه اندازی و ثبت اولیه EDAMAM API: Initial setup and registration

  • EDAMAM API: ارسال درخواست POST EDAMAM API: Sending a POST request

  • EDAMAM API: ارسال درخواست POST EDAMAM API: Sending a POST request

  • دانلود فایل های درخواستی Downloading files with requests

نمای کلی HTML HTML overview

  • HTML چیست؟ What is HTML?

  • HTML چیست؟ What is HTML?

  • ساختار HTML Structure of HTML

  • ساختار HTML Structure of HTML

  • نحو HTML. برچسب ها Syntax of HTML. Tags

  • نحو HTML. برچسب ها Syntax of HTML. Tags

  • ویژگی های برچسب Tag attributes

  • ویژگی های برچسب Tag attributes

  • برچسب های محبوب Popular tags

  • برچسب های محبوب Popular tags

  • CSS و جاوا اسکریپت CSS and JavaScript

  • CSS و جاوا اسکریپت CSS and JavaScript

  • رمزگذاری کاراکتر Character encoding

  • رمزگذاری کاراکتر Character encoding

  • XHTML و سبک کد XHTML and code style

  • XHTML و سبک کد XHTML and code style

خراش دادن وب با سوپ زیبا Web Scraping with Beautiful Soup

  • آشنایی با بسته بندی سوپ زیبا Introduction to the Beautiful Soup package

  • گردش کار Web Scraping Workflow of Web Scraping

  • گردش کار Web Scraping Workflow of Web Scraping

  • راه اندازی اولین اسکراپر خود Setting up your first scraper

  • جستجو و پیمایش درخت HTML Searching and navigating the HTML tree

  • جستجو و پیمایش درخت HTML Searching and navigating the HTML tree

  • جستجوی درخت HTML بر اساس ویژگی ها Searching the HTML tree by attributes

  • جستجوی درخت HTML بر اساس ویژگی ها Searching the HTML tree by attributes

  • استخراج داده ها از درخت HTML Extracting data from the HTML tree

  • استخراج متن از یک تگ HTML Extracting text from an HTML tag

  • استخراج متن از یک تگ HTML Extracting text from an HTML tag

  • مثال عملی: برخورد با پیوندها Practical example: dealing with links

  • مثال عملی: ورزش کنید Practical example: Exercise

  • استخراج داده ها از تگ های HTML تو در تو Extracting data from nested HTML tags

  • خراش دادن چندین صفحه به صورت خودکار Scraping multiple pages automatically

پروژه عملی: خراشیدن گوجه فرنگی پوسیده Practical project: Scraping Rotten Tomatoes

  • راه اندازی اسکراپر خود Setting up your scraper

  • استخراج عنوان و سال هر فیلم Extracting the title and year of each movie

  • استخراج امتیاز هر فیلم: تمرین Extracting the score of each movie: Exercise

  • استخراج بقیه اطلاعات Extracting the rest of the information

  • برخورد با بازیگران فیلم ها Dealing with the cast of the movies

  • استخراج بقیه اطلاعات: ورزش Extracting the rest of the information: Exercise

  • ذخیره و صادرات داده ها به شکل ساختار یافته Storing and exporting the data in a structured form

خراش دادن جداول HTML Scraping HTML tables

  • خراش دادن جداول HTML با کمک پانداها Scraping HTML tables with the help of Pandas

پروژه های عملی Practical projects

  • خراش دادن بخار Scraping Steam

  • خراش دادن یوتیوب Scraping YouTube

موانع رایج در هنگام تراشیدن Common roadblocks when scraping

  • موانع متداول هنگام Web Scraping. Common roadblocks when Web Scraping.

  • موانع متداول هنگام Web Scraping Common roadblocks when Web Scraping

بسته درخواست ها-html The requests-html package

  • مقدمه ای بر پکیج requests-html Introduction to the requests-html package

  • بررسی قابلیت‌های requests-html برای Web Scraping Exploring the capabilities of requests-html for Web Scraping

  • جستجوی متن Searching for text

  • انتخابگرهای CSS CSS selectors

  • انتخابگرهای CSS CSS selectors

  • خراش دادن جاوا اسکریپت Scraping JavaScript

  • Scraping JavaScript: تمرین Scraping JavaScript: Exercise

  • تکمیل 100% Completing 100%

نمایش نظرات

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.

آموزش Web Scraping و اصول API در پایتون
جزییات دوره
4 hours
62
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
8,814
4.1 از 5
دارد
دارد
دارد
365 Careers
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

365 Careers 365 Careers

ایجاد فرصت برای دانشجویان علوم داده و مالی