Adrian Horning (The Web Scraping Guy)
Я работал инженером-программистом в течение 4 лет, прежде чем уволился, чтобы начать собственный бизнес. Уже 2 года занимаюсь веб-скрейпингом, и мне это очень нравится.
Мастер-класс по веб-скрейпингу
The Ultimate Web Scraping Course
★5 (всего оценок - 23)
Продолжительность
10 ч 33 мин
Категория
JavaScriptКоличество уроков
53 Видео
Дата добавления
30 авг. 2024 г., 20:32
Язык
Английский
Дата обновления
29 апр. 2026 г., 21:12
Этот мастер-класс создан для разработчиков, которые хотят вывести навыки веб-скрейпинга на профессиональный уровень. Вы узнаете, как безопасно и эффективно извлекать данные с популярных платформ, автоматизировать процессы, находить клиентов и превращать свои навыки в стабильный доход. Курс основан на реальном опыте автора, заработавшего более $125,000 на веб-скрейпинге.
Что вы узнаете на мастер-классе
Курс охватывает не только техническую сторону веб-скрейпинга, но и бизнес-процессы, поиск клиентов и рост в социальных сетях. Контент подходит для тех, кто уже знаком с программированием и хочет перейти на новый уровень.
Практический разбор реальных сайтов
Вы получите готовый, рабочий код для скрейпинга крупных платформ и сервисов, а также разберёте архитектуру сайтов, API и механизмы защиты.
Список платформ для скрейпинга
- TikTok
- Zillow
- Google Search и Google Maps
- Amazon
- Indeed
- ESPN
- Angi List
- И многие другие
Коммерческая сторона веб-скрейпинга
Вы узнаете, как упаковывать свои услуги, выстраивать рабочие процессы с клиентами, формировать цены и продвигаться в соцсетях, чтобы привлекать стабильный поток заказов.
Что входит в программу
Мастер-класс включает последовательные видеоуроки и практические модули, которые помогут вам уверенно применять знания в реальных проектах.
Основные модули курса
- 9 часов подробных видеоматериалов
- Юридические основы веб-скрейпинга
- Разница между честным скрейпингом и хакерством
- Обзор инструментов: прокси, серверы, базы данных, языки и библиотеки
- Как работают API и где сайты хранят свои данные
- Полный процесс скрейпинга любого сайта от А до Я
- Методы поиска источников данных
- Техники обхода блокировок и анти-бот систем
- Подробно о работе с прокси
- Скрейпинг сайтов на React, Next.js, ASP.NET, Java и других фреймворках
- Инженерия обратного проектирования для сложных сайтов
- Скрейпинг сайтов с курсорной навигацией (например, комментарии YouTube)
- Использование Chrome-расширений для извлечения email-адресов
- Техники скрейпинга мобильных приложений
- Поиск данных о людях: телефоны, email-адреса
- Запуск Puppeteer на AWS Lambda
- Перехват запросов и решение капч с Puppeteer
- Поиск клиентов и работа с ними
- Выставление счетов
- Идеи для собственных продуктов на базе веб-скрейпинга
Важные дисклеймеры
Автор курса делится реальным опытом и использует конкретные инструменты, которые важно учитывать перед покупкой.
- Код написан на JavaScript, работа ведётся на macOS в редакторе VS Code.
- Puppeteer рассматривается кратко — есть более эффективные подходы, которые детально разбираются в курсе.
- Веб-скрейпинг — легальная деятельность при соблюдении правил. Скрейпинг закрытых систем или личных данных без разрешения — это хакерство, а не скрейпинг.
Требования к студентам
Курс рассчитан на тех, кто уже владеет программированием и хочет специализироваться на веб-скрейпинге профессионально.
- Необходимы уверенные знания JavaScript или другого языка программирования.
- Курс не подходит для тех, кто никогда не программировал.
- Основы JavaScript в рамках курса не рассматриваются.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
- Урок 1. 00:05:27001 The Ultimate Web Scraping Course 2024 - Google Docs - 30 May 2024
- Урок 2. 00:08:37002 Legality of web scraping
- Урок 3. 00:04:35003 Scraping vs Hacking
- Урок 4. 00:04:36004 Services we'll be using in the course
- Урок 5. 00:02:44005 Services we'll be using in the course 2
- Урок 6. 00:07:58006 How websites get their data
- Урок 7. 00:04:16007 My process for Scraping Any Site
- Урок 8. 00:04:18008 How to find where the data is coming from
- Урок 9. 00:21:23009 Proxies
- Урок 10. 00:21:17010 Scraping Next.js sites (angi, imdb)
- Урок 11. 00:16:50011 ESPN - Scraping API's
- Урок 12. 00:10:36012 Amazon - Straight up HTML page
- Урок 13. 00:04:23013 Update on Overcoming CloudFlare Blocks
- Урок 14. 00:25:14014 Indeed - Straight Up HTML
- Урок 15. 00:46:08015 Sarpy - ASP.NET (long version)
- Урок 16. 00:16:15016 Sarpy - ASP.NET Cliff Notes
- Урок 17. 00:22:07017 Kitsap - Java Site
- Урок 18. 00:46:16018 Google Maps
- Урок 19. 00:08:55019 Linkedin
- Урок 20. 00:07:50020 How to scrape Shopify
- Урок 21. 00:01:52021 They can't hide anything from you....
- Урок 22. 00:27:52022 Reverse Engineering Realtor API
- Урок 23. 00:04:03023 Lynchburg exposing Auth Token
- Урок 24. 00:19:45024 Beacons.ai
- Урок 25. 00:18:29025 Twitter
- Урок 26. 00:07:38026 Instagram Scraping Update
- Урок 27. 00:03:42027 How to Scrape Instagram Profiles
- Урок 28. 00:32:37028 Instagram
- Урок 29. 00:16:44029 Arcgis
- Урок 30. 00:11:54030 Cursor Based Pagination
- Урок 31. 00:09:34031 Scraping Mobile Apps
- Урок 32. 00:11:33032 Scraping Zillow Data Tutorial
- Урок 33. 00:09:39033 Skip Tracing
- Урок 34. 00:15:39034 Getting Puppeteer Up and Running on AWS Lambda
- Урок 35. 00:08:01035 facbleag
- Урок 36. 00:05:15036 Getting Tiktok Videos with Puppeteer
- Урок 37. 00:09:44037 Solving CAPTCHAs with Puppeteer
- Урок 38. 00:10:29038 Sitemaps (crunchbase)
- Урок 39. 00:04:59039 Update 12312024 Use puppeteer to get company pages
- Урок 40. 00:03:49040 Google Tricks and Tips
- Урок 41. 00:02:49041 Decoding Imperva Security Measures
- Урок 42. 00:03:35042 Leveraging Google's Web Cache to get around Cloudflare and Datadome blocking
- Урок 43. 00:08:21043 Scraping Kick (got-scraping + use your resources)
- Урок 44. 00:07:15044 I found a way to scrape Ohio State Student Emails
- Урок 45. 00:04:35045 Tiktok API
- Урок 46. 00:02:48046 SC Courts, use undetected chrome driver
- Урок 47. 00:06:32047 Exploring Supabase for Efficient Database Management
- Урок 48. 00:04:11048 Where to host the scrapers_ Render.com
- Урок 49. 00:02:44049 Quick note on Concurrency in Web Scraping
- Урок 50. 00:08:48050 How to make money web scraping
- Урок 51. 00:35:52051 How to get web scraping clients
- Урок 52. 00:10:04052 What do you charge clients
- Урок 53. 00:12:42053 What should you scrape for
Автор - Adrian Horning (The Web Scraping Guy)
Комментарии
- New Lesson Released!
- 2025-02-21
- I found a way to scrape Google Search WITHOUT the need for a browser. Check it out!
- New Lesson Released!
- 2025-02-21
- Created a lesson on how to scrape Tiktok profile and video data.
Seems to be changes in `Sites that deserve their own sections` and `They can't hide anything from you...` sections.
Finally got around to recording some update videos for the web scraping course for:
- Cheap Residential IPs
- Scraping Zillow
- Scraping Crunchbase
Check it out