دسترسی سریع:

مسیر:

صفحه اصلی

🔔 با توجه به بهبود نسبی اینترنت، آماده‌سازی دوره‌ها آغاز شده است. به دلیل تداوم برخی اختلالات، بارگذاری دوره‌ها ممکن است با کمی تأخیر انجام شود. مدت اشتراک‌های تهیه‌شده محفوظ است.

لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در کانال تلگرام عضو شوید.

آموزش تخصصی وب اسکرپینگ با پایتون ۲۰۲۳ - آخرین آپدیت

دانلود Web Scraping Mastery with Python 2023

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.

نمونه ویدیوها: (صرفا برای مشاهده نمونه ویدیو، ممکن هست نیاز به شکن داشته باشید.)

توضیحات دوره: حتماً، در ادامه ترجمه متن به فارسی با رعایت اصول سئو و در قالب HTML ارائه شده است.

متخصص وب اسکرپینگ، یافتن و مهندسی معکوس APIهای مخفی و دور زدن سیستم‌های ضد بات شوید

در این دوره جامع، به یک متخصص تمام‌عیار در زمینه استخراج داده از وب تبدیل شوید. تکنیک‌های پیشرفته‌ای برای پیدا کردن APIهای پنهان، مهندسی معکوس آن‌ها و عبور از پیچیده‌ترین سیستم‌های تشخیص بات و اتوماسیون وب را فرا بگیرید.

در این دوره چه چیزهایی یاد می‌گیرید؟

اصول و مبانی وب اسکرپینگ (Web Scraping)
۳ متد اصلی و برتر در استخراج داده از وب
تحلیل وب‌سایت‌ها و انتخاب بهینه‌ترین روش اسکرپینگ
پیدا کردن API های مخفی و روش‌های مهندسی معکوس آن‌ها
انجام اسکرپینگ مبتنی بر درخواست (Request-based) و شبیه‌سازی (Emulation-based)
پارس کردن (Parsing) داده‌های HTML و JSON
بهینه‌سازی درخواست‌ها و ساخت فینگرپرینت (Fingerprint) تمیز و غیرقابل ردیابی
دور زدن بسیاری از سیستم‌های ضد بات با شبیه‌سازی پیشرفته در سلنیوم (Selenium)
اتوماسیون وب (Web Automation) با استفاده از سلنیوم
استخراج داده از فروشگاه‌های اینترنتی و وب‌سایت‌های نقد و بررسی

پیش‌نیازهای دوره

دانش پایه زبان برنامه‌نویسی پایتون (Python)
دسترسی به اینترنت
سخت‌افزار با حداقل ۴ گیگابایت حافظه RAM

وب اسکرپینگ (Web Scraping) در دنیای آنلاین امروز به یک هنر تبدیل شده است. روز به روز وب‌سایت‌های بیشتری یاد می‌گیرند که چگونه ترافیک خودکار و بات‌ها را مسدود کنند یا داده‌های خود را به صورت داینامیک (پویا) تولید نمایند. این موضوع باعث شده تا تکنیک‌های رایج استخراج داده منسوخ و آموزش‌های موجود قدیمی شوند.

علاوه بر این، اولین چیزی که با جستجوی عبارت "وب اسکرپینگ" در گوگل با آن مواجه می‌شوید، شرکت‌های ارائه‌دهنده پروکسی یا خدمات اسکرپینگ هستند که از این راه درآمد هنگفتی کسب می‌کنند. این سرویس‌ها از ترفندهای خاصی برای استخراج داده از وب‌سایت‌های مهمی مانند آمازون، گوگل و غیره استفاده می‌کنند، اما هرگز این تکنیک‌ها را به اشتراک نمی‌گذارند (کاری که من در این دوره انجام می‌دهم). آن‌ها ادعا می‌کنند که از شبیه‌سازی یا روش‌های مشابه برای اسکرپینگ اهداف خود استفاده می‌کنند، اما در واقعیت، راه‌های بسیار ارزان‌تر و کارآمدتری برای به دست آوردن داده‌های مورد نظر وجود دارد.

در این دوره، شما در کمتر از یک ساعت با اصول وب اسکرپینگ آشنا می‌شوید و سپس به سراغ یادگیری همان ترفندهای مخفی می‌روید که شرکت‌های بزرگ استخراج داده از آن‌ها استفاده می‌کنند.

از این دوره چه انتظاری می‌توانید داشته باشید؟

ما نگاهی عمیق به مبانی وب اسکرپینگ خواهیم داشت و انتخاب بهترین راهکار برای استخراج داده را تمرین می‌کنیم.
پروژه‌های عملی می‌سازیم تا داده‌های نقد و بررسی را از وب‌سایت‌هایی مانند Trustpilot، آمازون، Google Places و موارد دیگر استخراج کنیم.
تمرین‌های واقعی و چالش‌های دنیای واقعی را حل خواهیم کرد.
شما به دانش پیشرفته‌ای در مورد سیستم‌های ضد بات و مکانیزم‌های امنیتی وب‌سایت‌ها دست خواهید یافت.
شما با اتوماسیون وب پیشرفته آشنا خواهید شد.
شما یاد می‌گیرید که چگونه فینگرپرینت (اثر انگشت دیجیتال) خود را سفارشی‌سازی کرده و سیستم‌های تشخیص اتوماسیون را دور بزنید.
شما مهندسی معکوس APIهای پیچیده را یاد گرفته و آن را با مثال‌های واقعی تمرین خواهید کرد.
و خیلی موارد دیگر...

سرفصل ها و درس ها

مبانی وب اسکرپینگ Web Scraping Fundamentals

فرآیند وب اسکرپینگ Web Scraping process
تحلیل وب‌سایت‌ها با ابزار توسعه‌دهنده کروم Using chrome dev tools to analyze websites
انتخاب روش مناسب اسکرپینگ Choosing the appropriate scraping method
پارس کردن HTML و JSON HTML & JSON parsing
هنر پارس کردن The Art of Parsing (New additional content)
کوییز تمرینی پارس کردن Parsing practice quizz

وب اسکرپینگ مبتنی بر درخواست Request based web scraping

توضیح وب ریکوئست Web Request explained
[پروژه] اسکرپینگ لیست محصولات با ریکوئست [Project] Request based web scraping product listings
[پروژه] وب اسکرپینگ پیشرفته مبتنی بر درخواست [Project] Advanced request based web scraping
چهار لایه امنیتی وب The 4 Layers of web security you will encounter
[پروژه] اسکرپینگ نظرات تراست‌پایلوت و عبور از لایه‌های امنیتی ۱ و ۲ [Project] Trustpilot review scraping bypassing security layer 1 & 2

وب اسکرپینگ مبتنی بر شبیه‌سازی و اتوماسیون وب Emulation based web scraping & web automation

توضیح شبیه‌سازی وب Web emulation explained
اولین شبیه‌سازی با سلنیوم و کرومیوم First emulation with selenium & chromium
[پروژه] اتوماسیون وب با سلنیوم در google.com [Project] Web automation with selenium @ google.com
جعل هویت شبیه‌سازی و ساخت کلاس درایور با قابلیت استفاده مجدد Spoofing the emulation & creating a reuseable driver creation class
[پروژه] اسکرپینگ نظرات گوگل پلیسز با شبیه‌سازی و مهندسی معکوس API [Project] Scraping Google places reviews (Emulation + API Reversal -> Requests)