آموزش استخراج اطلاعات از وب در Nodejs و جاوا اسکریپت - آخرین آپدیت

سرفصل ها و درس ها

نرم‌افزار مورد نیاز Required Software

نرم افزار مورد نیاز Required Software

• نرم‌افزار برای وب اسکرپینگ در جاوا اسکریپت Software to web scrape in JavaScript

• (اختیاری) نکاتی در مورد منسوخ شدن Request/Request-Promise (optional) Note about deprecation of Request/Request-Promise

قبل از نوشتن وب اسکرپر باید همیشه چه چیزهایی را بررسی کنید! What you should ALWAYS check before even writing a web scraper!

چیزی که همیشه باید قبل از نوشتن یک وب اسکریپر بررسی کنید! What you should ALWAYS check before even writing a web scraper!

• این می‌تواند زمان و تلاش زیادی را برای شما ذخیره کند! This could save you A LOT of time and effort!

مقدمه ای بر انتخابگرهای CSS و ابزارهایی که برای اسکرپینگ استفاده می‌کنیم Intro to CSS selectors and tools we use for scraping

مقدمه ای بر انتخابگرهای CSS و ابزارهایی که برای خراش دادن استفاده می کنیم Intro to CSS selectors and tools we use for scraping

• مقدمه ای بر بخش Intro to section

• استفاده از ابزارهای توسعه دهنده کروم Using Chrome Developer Tools

• انتخاب المان ما Selecting our element

• ساخت اولین اسکرپر ما! Building our first scraper!

• انتخاب المان‌های چندگانه Selecting multiple elements

• انتخاب با استفاده از CSS ID Selecting using CSS ID

• انتخاب با استفاده از کلاس‌های CSS Selecting using CSS classes

• انتخاب با استفاده از ویژگی‌های HTML Selecting using HTML attributes

• شما در مسیر تبدیل شدن به یک نینجای اسکرپینگ هستید! You're on your way to become a scraping ninja!

اسکرپینگ جداول HTML با Request/Cheerio Scraping HTML tables with Request/Cheerio

خراش دادن جداول HTML با Request/Cheerio Scraping HTML tables with Request/Cheerio

• مقدمه ای بر بخش Intro to section

• ساختار جدول HTML Structure of a HTML table

• ساختار داده در جاوا اسکریپت Data Structure in JavaScript

• ایجاد انتخابگر در ابزارهای کروم Creating selector in Chrome Tools

• اسکرپینگ تمام سلول‌های جدول در ابزارهای کروم Scraping all table cells in Chrome Tools

• اسکرپینگ داده در Nodejs با Cheerio/Request Scraping data in Nodejs with Cheerio/Request

• اسکرپینگ نام شرکت‌ها در Nodejs Scraping Company Names in Nodejs

• اسکرپینگ تمام ستون‌های جدول Scraping all table columns

• پاداش - سرصفحه‌های جدول پویا هنگام اسکرپینگ جداول BONUS - dynamic table headers when scraping tables

اسکرپینگ سایتی شبیه Craigslist با صفحه بندی با استفاده از axios و nodejs Scraping a Craigslist-like site with Pagination using axios & nodejs

• معرفی پروژه Project Intro

• مقداردهی اولیه پروژه و وارد کردن پکیج‌ها Project Initializing & Package Import

• درخواست HTML با استفاده از کتابخانه Axios Requesting HTML using Axios library

• انتخابگرهای CSS + تزریق jQuery CSS Selectors + jQuery Injection

• اسکرپینگ عناوین شغلی در Nodejs Scraping Job Titles in Nodejs

• انتخابگر CSS برای URLهای شغلی CSS Selector for Job URLs

• استخراج در اشیاء داده در Nodejs Extracting into Data Object in Nodejs

• اسکرپینگ تمام صفحات Scraping All Pages

• اسکرپینگ توضیحات شغلی Scraping Job Descriptions

• قرار دادن توضیحات شغلی در اشیاء داده Putting Job Descriptions Into Data Objects

• جلوگیری از مسدود شدن با درخواست‌های متوالی Avoid Getting Banned with Sequential Requests

• ترفند دیگری برای جلوگیری از مسدود شدن Another Trick to Avoid Getting Banned

خراش دادن کارهای نرم افزاری در Craigslist با استفاده از Puppeteer Scraping software jobs on Craigslist using Puppeteer

خراش دادن کارهای نرم افزاری در Craigslist با استفاده از Puppeteer Scraping software jobs on Craigslist using Puppeteer

• مقدمه پروژه Intro to project

• چرا به جای Nodejs Request از Puppeteer استفاده می کنیم؟ Why are we using Puppeteer instead of Nodejs Request?

• شروع پروژه Initialising project

• باز کردن URL با Puppeteer Opening a URL with Puppeteer

• چه داده هایی را می خراشیم؟ What data are we scraping?

• ساختار داده ها Data Structure

• انتخاب عنوان شغلی Css Job Title Css Selector

• خراش دادن عنوان شغلی با استفاده از Cheerio Scraping job title using Cheerio

• خراش دادن URL توضیحات Scraping description url

• ایجاد آرایه ای از اشیاء خراش دهنده Creating array of scraping objects

• خراش دادن تاریخ ارسال کار Scraping job post date

• خراش دادن داده های محله Scraping Neighborhood data

• خراش دادن فهرست صفحات با Puppeteer Scraping List of Pages with Puppeteer

• محدود کردن درخواست‌های خراشیدن در ثانیه Limiting Scraping Requests per Second

• خراش دادن شرح شغل از صفحات مختلف Scraping job descriptions from different pages

• حذف غرامت از لیست مشاغل Scraping compensation from job listings

• mLab اکنون MongoDB Atlas است mLab is now MongoDB Atlas

• راه اندازی پایگاه داده MongoDB با Mlab Setting up MongoDB database with MLab

• اتصال به پایگاه داده MongoDB با Mongoose Connecting to MongoDB database with Mongoose

• ایجاد طرحواره فهرست مانگوس Creating Listing mongoose schema

• ذخیره داده های فهرست در MongoDB Saving listing data to MongoDB

اسکرپینگ مشاغل نرم‌افزاری در Craigslist با استفاده از Puppeteer Scraping software jobs on Craigslist using Puppeteer

• مقدمه پروژه Intro to project

• چرا به جای Nodejs Request از Puppeteer استفاده می‌کنیم؟ Why are we using Puppeteer instead of Nodejs Request?

• مقداردهی اولیه پروژه Initialising project

• باز کردن URL با Puppeteer Opening a URL with Puppeteer

• چه داده‌هایی را اسکرپ می‌کنیم؟ What data are we scraping?

• ساختار داده Data Structure

• انتخابگر CSS عنوان شغلی Job Title Css Selector

• اسکرپینگ عنوان شغلی با استفاده از Cheerio Scraping job title using Cheerio

• اسکرپینگ URL توضیحات Scraping description url

• ایجاد آرایه ای از اشیاء اسکرپینگ Creating array of scraping objects

• اسکرپینگ تاریخ پست شغلی Scraping job post date

• اسکرپینگ داده‌های محله Scraping Neighborhood data

• اسکرپینگ لیست صفحات با Puppeteer Scraping List of Pages with Puppeteer

• محدود کردن درخواست‌های اسکرپینگ در ثانیه Limiting Scraping Requests per Second

• اسکرپینگ توضیحات شغلی از صفحات مختلف Scraping job descriptions from different pages

• اسکرپینگ جبران خسارت از لیست مشاغل Scraping compensation from job listings

• mLab اکنون MongoDB Atlas است mLab is now MongoDB Atlas

• راه‌اندازی پایگاه داده MongoDB با MLab Setting up MongoDB database with MLab

• اتصال به پایگاه داده MongoDB با Mongoose Connecting to MongoDB database with Mongoose

• ایجاد طرحواره Mongoose برای لیستینگ Creating Listing mongoose schema

• ذخیره داده‌های لیستینگ در MongoDB Saving listing data to MongoDB

Web Scraping Craigslist Jobs با استفاده از Nodejs Request Web Scraping Craigslist Jobs using Nodejs Request

Web Scraping Craigslist Jobs با استفاده از Nodejs Request Web Scraping Craigslist Jobs using Nodejs Request

• معرفی Introduction

• راه اندازی پروژه Project Setup

• دریافت Html از وب سایت Getting Html from website

• ایجاد نمونه ای از داده ها برای جمع آوری Creating sample of data to collect

• عنوان/URL از Jobs Title/URL From Jobs

• زمان خراش دادن کار ارسال شد Scraping Time Job Was Posted

• محله شغل Job Neighborhood

• شرح وظایف خراش دادن Scraping Job Descriptions

• پایان شرح و جبران Finish Description and Compensation

• خروجی Outtro

در صورت مسدود شدن چه کاری انجام دهیم؟ What to do if you're blocked?

در صورت مسدود شدن چه باید کرد؟ What to do if you're blocked?

• کمک! من مسدود شده ام! Help! I'm blocked!

• در صورت مسدود شدن چه کاری می‌توانید انجام دهید؟ What can you do if you're blocked?

• اسکرپینگ API ها Scraping API's

• استفاده از پراکسی در Request Using a proxy in Request

ساخت یک وب اسکرپر با روش TDD Building a web scraper the TDD way

ساخت یک اسکراپر وب به روش TDD Building a web scraper the TDD way

• مقداردهی اولیه پروژه و افزودن بسته‌ها Initializing project and adding packages

• ایجاد پوشه تست و راه‌اندازی اسکریپت تست Creating tests folder and setting up test script

• نوشتن اولین تست ساده ما Writing our first simple test

• قبول کردن اولین تست ساده ما! Making our first simple test pass!

• دریافت HTML از وب سایت برای تست‌های ما Getting HTML from the website for our tests

• خواندن فایل HTML برای تست‌های ما Reading HTML file for our tests

• نوشتن تست‌های ما Writing out our tests

• قبول کردن تست عنوان Getting title test to pass

• قبول کردن تست URL! Making URL test pass!

• قبول کردن تست hood! Making hood test pass!

• قبول کردن تست نهایی برای datePosted! Making the final test for datePosted pass!

• نکات پایانی + بازسازی کد End notes + refactoring

خروجی گرفتن از نتایج وب اسکرپینگ به CSV Exporting web scraping results to CSV

صادرات نتایج اسکراپی وب به CSV Exporting web scraping results to CSV

• خروجی گرفتن از نتایج وب اسکرپینگ به CSV Exporting web scraping results to CSV

مدیریت مشکلات شبکه Handling Network Problems

رسیدگی به مشکلات شبکه Handling Network Problems

• مدیریت مشکلات شبکه در اسکرپر Craigslist ما Handling Network Problems in our Craigslist scraper

تجزیه Robots.txt Robots.txt parsing

تجزیه Robots.txt Robots.txt parsing

• robots.txt چیست؟ What is robots.txt?

• مقداردهی اولیه پروژه Initialising project

• نمونه استفاده از robots-parser Example of usage robots-parser

• تجزیه robots.txt از یک سایت واقعی Parsing robots.txt from a real site

اسکرپینگ سایت‌ها با صفحه بندی Scraping Sites with Pagination

خراش دادن سایت ها با صفحه بندی Scraping Sites with Pagination

• اسکرپر صفحه بندی ساده در ۱۰ دقیقه! Simple Pagination Scraper in 10 mins!

اسکرپینگ سایت‌ها با احراز هویت Scraping Sites with Authentication

خراش دادن سایت ها با احراز هویت Scraping Sites with Authentication

• مقدمه پروژه اسکرپینگ احراز هویت Intro to authentication scraping project

• بررسی درخواست ورود Looking at Login request

• بازسازی ورود در Postman Recreating login in Postman

• ایجاد درخواست ورود ما در Nodejs Creating our login request in Nodejs

• استفاده از Puppeteer به جای Request Using Puppeteer instead of Request

اسکرپینگ یک وب سایت با احراز هویت کوکی/نشست و توکن‌های CSRF Scraping a website with Cookie/Session authentication and CSRF tokens

خراش دادن یک وب سایت با احراز هویت کوکی/جلسه و توکن های CSRF Scraping a website with Cookie/Session authentication and CSRF tokens

• مقدمه پروژه Intro to project

• بازسازی درخواست ورود در Postman - دیدن نحوه مورد نیاز بودن کوکی‌ها Replicating login request inside Postman - seeing how cookies are required

• ساخت درخواست ما در Node.js و فعال کردن cookieJar Building out our request inside Node.js and enabling cookieJar

• دریافت توکن CSRF از کوکی‌های ذخیره شده و استفاده از آن در درخواست ورود POST ما Getting CSRF token from saved cookies and using it in our POST login request

Scraping Nordstrom.com - چگونه یک API مخفی پیدا کنید و از ساختن اسکراپر اجتناب کنید! Scraping Nordstrom.com - how to find a secret API and avoid building a scraper!

• مقدمه پروژه Nordstrom.com Intro To Nordstrom.com project

• به‌روزرسانی درباره API مخفی پشت Nordstrom Update about secret API behind Nordstrom

• به‌روزرسانی دیگر درباره Nordstrom - اکنون با استفاده از Gzip Another update about Nordstrom - now using Gzip

• یافتن API مخفی پشت Nordstrom.com Finding the secret API behind Nordstrom.com

• انجام درخواست API در Postman Making a API request inside Postman

• ایجاد یک REST API در Nodejs Express Creating a REST API in Nodejs Express

• ارسال پارامترهای کوئری به REST API خودمان Passing Query Parameters to our own REST API

• شروع پروژه React با create-react-app Starting React project with create-react-app

• انجام درخواست API در برنامه React Making a API Request inside the React app

• یک چیزی Something

• افزودن فرم به برنامه React Adding a form to React app

• افزودن کوئری جستجو به فرم Adding search query to form

اسکرپینگ Nordstrom.com - یافتن یک API مخفی و اجتناب از ساخت اسکرپر! Scraping Nordstrom.com - how to find a secret API and avoid building a scraper!

اسکرپینگ Imdb با NightmareJs Scraping Imdb using NightmareJs

خراش دادن Imdb با استفاده از NightmareJs Scraping Imdb using NightmareJs

• مقدمه پروژه Intro to Project

• راه اندازی پروژه Project Setup

• پس دقیقاً چه چیزی را اسکرپ می‌کنیم؟ So What Are We Scraping?

• اسکرپینگ ۱۰ کتاب برتر فیلم Scraping Top 100 Movie Titles

• بیایید رتبه‌های خوبی بگیریم! Let's Get Some Good Ratings!

• رتبه آسان و URL توضیحات Easy Peasy Rank and Description Url

• انتخابگر CSS برای URL پوستر Css Selector For The Poster Url

• اسکرپینگ URL پوستر Scraping The Poster URL

• چرا Request نمی‌تواند این صفحه را اسکرپ کند - چرا اکنون از NightmareJs استفاده می‌کنیم Why Request Can't Scrape This Page - Why We're Using NightmareJs Now

• وارد کردن NightmareJs و دریافت انتخابگر CSS پوستر ما Importing NightmareJs and Getting Our Poster Image Css Selector

• اسکرپینگ URL تصویر پوستر با NightmareJs Scraping the Poster Image URL with NightmareJs

• ذخیره تصویر پوستر در دیسک! Saving the Poster Image to Disk!

اسکرپینگ AirBnb با Puppeteer Scraping AirBnb using Puppeteer

خراش دادن AirBnb با استفاده از Puppeteer Scraping AirBnb using Puppeteer

• مقدمه پروژه Intro to Project

• راه اندازی پروژه Project Setup

• دقیقاً چه چیزی را اسکرپ می‌کنیم؟ What are we scraping exactly?

• نمونه شیء + افست ایندکس Sample Object + Index Offset

• نگاهی به HTML صفحه ایندکس Looking at the HTML of the Index page

• باز کردن صفحه با Puppeteer Opening Page with Puppeteer

• دریافت URL های خانه‌ها از صفحه ایندکس Getting the URLS of the homes from the index page

• آماده شدن برای اسکرپینگ URL های توضیحات Getting ready to scrape description URLS

• باز کردن خانه‌ها در یک صفحه جداگانه Opening Homes in a separate page

• اسکرپینگ قیمت برای هر شب Scraping Price Per Night

• چرا اکنون از عبارات منظم استفاده می‌کنیم Why we are using Regular Expressions now

• اسکرپینگ تعداد مهمانان مجاز با استفاده از عبارات منظم Scraping number of guests allowed using regular expressions

• اسکرپینگ تخت‌ها، اتاق خواب‌ها، حمام‌ها Scraping the beds, bedrooms, baths

معماری برای وب اسکرپر با یک API Architecture for web scraper with an API

معماری برای اسکراپر وب با یک API Architecture for web scraper with an API

• مقدمه این بخش Intro to this section

• اسکرپینگ زمان‌بندی شده در مقابل APIهای اسکرپینگ درخواستی Timed scraping vs on-demand scraping API's

ذخیره داده‌های اسکرپینگ در MongoDB Saving scraping data to MongoDB

ذخیره داده های خراش دادن در MongoDB Saving scraping data to MongoDB

• ساخت یک اسکرپر بسیار ساده Reddit در ۵ دقیقه Build a super simple Reddit scraper in 5 minutes

• اتصال به پایگاه داده MongoDB Connecting to MongoDB database

• اتصال به پایگاه داده MongoDB با استفاده از Mongoose Connecting to MongoDB database using Mongoose

• ایجاد مدل MongoDB و ذخیره سازی Creating a MongoDB model and saving

استقرار یک اسکرپر دوره‌ای در محیط عملیاتی Deploying a periodic scraper to production

استقرار یک اسکراپر دوره ای برای تولید Deploying a periodic scraper to production

• مقدمه Intro

• مقدمه کد Intro to code

• استقرار در Heroku Deploying to Heroku

• استقرار در Google Cloud Platform / Google App Engine Deploying to Google Cloud Platform / Google App Engine

استقرار اسکرپر وب Puppeteer در Heroku Deploying Puppeteer web scraper to Heroku

استقرار وب اسکراپر Puppeteer در Heroku Deploying Puppeteer web scraper to Heroku

• استقرار اسکرپر وب Puppeteer در Heroku با استفاده از buildpacks Deploying Puppeteer web scraper to Heroku using buildpacks

پاداش: مقدمه‌ای بر GraphQL BONUS: GraphQL Introduction

جایزه: مقدمه GraphQL BONUS: GraphQL Introduction

• مقدمه ای بر GraphQL + ایجاد یک GraphQL API در ۱۰ دقیقه Introduction to GraphQL + Creating a GraphQL API in 10 minutes

اسکرپینگ یک صفحه با اسکرول بی نهایت (فیس بوک، اینستاگرام، پینترست و غیره) Scraping a infinite scrolling page (Facebook, Instagram, Pinterest etc.)

خراش دادن یک صفحه اسکرول بی نهایت (فیس بوک، اینستاگرام، پینترست و غیره) Scraping a infinite scrolling page (Facebook, Instagram, Pinterest etc.)

• مقدمه اسکرپینگ صفحات با اسکرول بی نهایت Intro to scraping infinite scrolling pages

• راه اندازی پروژه Project setup

• تابع استخراج آیتم‌ها Extracting items function

• اسکرول و اسکرپینگ آیتم‌ها Scrolling and Scraping items

درب پشتی مخفی برای اسکرپینگ فیس بوک بدون فعال بودن جاوا اسکریپت! SECRET BACKDOOR to Scraping Facebook without JavaScript enabled!

درپشتی مخفی برای خراشیدن فیس بوک بدون فعال کردن جاوا اسکریپت! SECRET BACKDOOR to Scraping Facebook without JavaScript enabled!

• چگونه بدون جاوا اسکریپت به سایت فیس بوک دسترسی پیدا کنیم How to get access to Facebook's site without JavaScript

• چگونه از Postman برای گرفتن دیوار فیس بوک استفاده کنیم How to use Postman to get Facebook's wall

• راه اندازی پروژه برای اسکرپر فیس بوک Project Setup for Facebook Scraper

• ایجاد درخواست POST ما در Nodejs Creating our POST request in Nodejs

• تقلبی سازی User-Agent ما و ورود به فیس بوک Faking our User-Agent and logging in to Facebook

• گرفتن دیوار فیس بوک ما! Getting our Facebook wall!

پرسش و پاسخ دانشجویی Student Q&A

پرسش و پاسخ دانشجو Student Q&A

• درخواست HTML با HTML کروم متفاوت است Request HTML is different from Chrome HTML

• چگونه یک جدول صفحه بندی شده را اسکرپ کنیم که URL آن تغییر نمی‌کند How to scrape a paginated table that doesn't change URL

اسکرپینگ مشاغل Craigslist با استفاده از Nodejs Request (منسوخ شده) Web Scraping Craigslist Jobs using Nodejs Request (Deprecated)

• هشدار Warning

• مقدمه Introduction

• راه اندازی پروژه Project Setup

• دریافت HTML از وب سایت Getting Html from website

• نمونه‌ای از داده‌های جمع‌آوری شده Creating sample of data to collect

• عنوان/URL مشاغل Title/URL From Jobs

• زمان اسکرپینگ شغل پست شده Scraping Time Job Was Posted

• محله شغل Job Neighborhood

• Scraping Job Descriptions

• Finish Description and Compensation

• Outtro

جایزه - دوره های دیگر Node.js من BONUS - My other Node.js courses

جایزه - دوره های دیگر Node.js من BONUS - My other Node.js courses

• آیا دوره را دوست داشتید؟ دوره های دیگر من را اینجا ببینید :) Did you like the course? Check out my other courses here :)

پاداش - سایر دوره‌های Node.js من BONUS - My other Node.js courses

• آیا از دوره لذت بردید؟ دوره‌های دیگر من را اینجا بررسی کنید :) Did you like the course? Check out my other courses here :)