آموزش تراشیدن وب با پایتون

سرفصل ها و درس ها

مقدمه Introduction

• چگونه یاد بگیریم که دیگر نگران نباشیم و ربات را دوست داشته باشیم How to learn to stop worrying and love the bot

• آنچه شما باید بدانید What you should know

1. وب تراش اساسی 1. Basic Web Scraping

• وب تراش چیست؟ What is web scraping?

• اینترنت چگونه کار می کند: یک خلاصه مختصر How the internet works: A brief summary

• سلام دنیا با اسکرپی Hello world with Scrapy

• چالش: تراشیدن تمام داده های یک صفحه Challenge: Scraping all data on a page

• راه حل: تراشیدن تمام داده های یک صفحه Solution: Scraping all data on a page

2. یادگیری خزیدن 2. Learning to Crawl

• خزیدن یک وب سایت Crawling a website

• ضبط داده ها Recording data

• پرونده تنظیمات اسکرایپ Scrapy settings file

• ساختارهای تراشکاری کننده خود را برای قابلیت گسترش/قابلیت استفاده مجدد Structuring your scrapers for extensibility/reusability

• چالش: خراش دادن سایت های خبری Challenge: Scraping news sites

• راه حل: خراش دادن سایت های خبری Solution: Scraping news sites

3. تکنیک های پیشرفته 3. Advanced Techniques

• ارسال فرم Submitting a form

• پیدا کردن و استفاده از API های مخفی Finding and using hidden APIs

• نقشه های سایت و robots.txt Site maps and robots.txt

• چالش: استفاده از نقشه سایت CNN Challenge: Using CNN's sitemap

• راه حل: استفاده از نقشه سایت CNN Solution: Using CNN's sitemap

4- بازیگری انسان 4. Acting Human

• ورود به سیستم در Logging in

• اتوماسیون مرورگر با سلنیوم Browser automation with Selenium

• تعامل با یک صفحه Interacting with a page

نتیجه Conclusion

• مراحل بعدی Next steps