udemy
Udemy - одна из самых больших площадок в мире по доставке обучающего контента от разных авторов всего мира. Присутсвуют курсы практически на любую тему.
Поисковый робот с Nodejs (H&M, Amazon, LinkedIn, AliExpress)
Web Crawling with Nodejs (H&M, Amazon, LinkedIn, AliExpress)
★4.6 (всего оценок - 15)
Продолжительность
2 ч 33 мин
Категория
Node.jsКоличество уроков
37 Видео
Дата добавления
19 июн. 2020 г., 22:39
Язык
Английский
Дата выхода
15 апр. 2020 г., 00:00
Дата обновления
29 апр. 2026 г., 08:06
Хотите научиться создавать мощных и надёжных web‑crawler'ов на Node.js?Этот курс показывает практические методы парсинга и автоматизации на примере реальных сайтов — H&M, Amazon, LinkedIn и AliExpress, включая поиск скрытых API, работу с Puppeteer и тест‑драйв разработку.
Чему вы научитесь в этом курсе
Курс сфокусирован на создании современных поисковых роботов с использованием возможностей JavaScript и Node.js. Вы получите пошаговое руководство по работе с различными типами сайтов — от SPA‑приложений до сайтов со сложными макетами страниц.
- Работа с скрытыми API популярных сайтов.
- Скрапинг динамического контента с помощью Puppeteer.
- Создание устойчивых парсеров для сайтов с изменяемыми структурами страниц.
- Автоматизация процессов входа в систему и сбора данных.
- Подходы тест‑драйв разработки при создании робота для Amazon.
Скрапинг и API: как работать с H&M и AliExpress
Многие сайты имеют скрытые API, которые можно использовать вместо трудоёмкого HTML‑парсинга. В этой части курса вы научитесь находить такие API и использовать их корректно, что значительно повышает стабильность и скорость работы вашего робота.
Поиск скрытых API
Вы узнаете, как анализировать сетевые запросы, определять структуру данных и использовать эти знания для оптимизации процесса сбора информации.
Избежание избыточного скрапинга
Иногда API полностью заменяет необходимость создания crawler'а. Инструктор покажет, как распознавать такие ситуации и экономить часы работы.
Создание поискового робота для Amazon на основе тестирования
Страницы Amazon часто меняются, имеют множество макетов и вариаций. В курсе используется подход test‑driven development, который помогает создавать надёжный, стабильный scraper.
Тестирование разных шаблонов страниц
Вы научитесь писать тесты под различные варианты карточек товаров, чтобы защитить ваш скрипт от сбоев при обновлении интерфейса Amazon.
Разработка гибкой архитектуры робота
Правильная структура проекта обеспечит устойчивость crawler'а и упростит его расширение.
Автоматизация и Puppeteer: сбор данных из LinkedIn
LinkedIn активно защищён от ботов, поэтому для его парсинга важно использовать инструменты автоматизации браузера. Puppeteer помогает имитировать реальное поведение пользователя.
Автоматизация входа в систему
Вы увидите, как правильно реализовать авторизацию, не нарушая логики сайта и поддерживая безопасность.
Сбор профилей и контента
Инструктор показывает, как настраивать работу Puppeteer, взаимодействовать с DOM и эффективно извлекать нужные данные.
Почему этот курс стоит пройти
Этот курс — практическое руководство по созданию web crawler'ов для реальных, сложных сайтов. Вы научитесь не просто извлекать данные, но и делать это законно, эффективно и с точки зрения профессиональной разработки.
- Подходит для новичков и разработчиков среднего уровня.
- Основан на реальных кейсах и рабочих инструментах.
- Учит современным практикам JavaScript и Node.js.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
- Урок 1. 00:03:43What is the web crawling and web scraping and how is it different ?
- Урок 2. 00:04:57Legality of web scraping and web crawling
- Урок 3. 00:01:19Tools we will be using during development
- Урок 4. 00:02:33Methods of web crawling and web scraping
- Урок 5. 00:06:13Finding hidden API using Chrome Dev Tools
- Урок 6. 00:07:35Testing hidden API inside Postman, and finding other section API endpoints
- Урок 7. 00:01:46Initializing NPM + some info about Nodejs Request and Needle
- Урок 8. 00:02:21Creating our HTTP request with needle inside Nodejs
- Урок 9. 00:03:25Adding User-Agent header to get past denial in nodejs
- Урок 10. 00:04:06Creating MongoDB cluster for saving data
- Урок 11. 00:05:21Connecting to MongoDB cluster from Nodejs
- Урок 12. 00:04:54Saving data to MongoDB
- Урок 13. 00:07:36Getting all products in MongoDB using a loop with offset variable and pagesize
- Урок 14. 00:05:25Finding hidden API using Chrome Dev Tools
- Урок 15. 00:04:26Making API request from Postman with correct headers
- Урок 16. 00:05:50Making API request from Nodejs using Fetch API
- Урок 17. 00:04:59Getting many items using a for loop and sleep function
- Урок 18. 00:03:04Saving AliExpress products to MongoDB
- Урок 19. 00:01:09Intro to project
- Урок 20. 00:04:13Why are we using HTTP requests and not Puppeteer?
- Урок 21. 00:01:27Initializing NPM + installing jest, cheerio and needle npm packages
- Урок 22. 00:02:40Writing our reuseable httpRequest module for our testing and crawling
- Урок 23. 00:05:12Creating our test HTML file (check resources for URL)
- Урок 24. 00:03:27Setting up testing and intro to testing
- Урок 25. 00:04:17Writing our first test for our HTML parser
- Урок 26. 00:05:38Getting title from product page and making our test pass
- Урок 27. 00:02:51Getting the price from product page
- Урок 28. 00:06:41Making our second test and getting product links from page
- Урок 29. 00:08:39Writing out our actual webcrawling in 6 minutes!
- Урок 30. 00:03:08Setup so we only crawl only unique product ID's
- Урок 31. 00:05:22Adding a new test case for different layout + outtro
- Урок 32. 00:00:32Intro to project
- Урок 33. 00:00:34Initializing project with puppeteer and cheerio packages
- Урок 34. 00:02:44Opening Puppeteer browser and navigating to URL
- Урок 35. 00:06:05Login to Linkedin using Puppeteer
- Урок 36. 00:04:48Getting profile links on a LinkedIn profile
- Урок 37. 00:04:33Building web crawler loop for Puppeteer
Автор - udemy
Комментарии