udemy
Udemy - одна из самых больших площадок в мире по доставке обучающего контента от разных авторов всего мира. Присутсвуют курсы практически на любую тему.
Поисковый робот с Nodejs (H&M, Amazon, LinkedIn, AliExpress)
Web Crawling with Nodejs (H&M, Amazon, LinkedIn, AliExpress)
★4.6 (всего оценок - 15)
Продолжительность
2 ч 33 мин
Категория
Node.jsКоличество уроков
37 Видео
Дата добавления
19 июн. 2020 г., 22:39
Язык
Английский
Дата выхода
15 апр. 2020 г., 00:00
Узнайте, как создать web crawler с помощью различных методов на популярных сайтах, таких как H & M, Amazon, LinkedIn, AliExpress!
Вы хотите создать web crawler (Поисковый робот) в Nodejs?
В этом курсе вы узнаете, как создать поисковый робот с использованием новейшего синтаксиса JavaScript для популярных сайтов, таких как H & M, Amazon, LinkedIn и AliExpress!
Вы узнаете, как найти скрытые API-интерфейсы на сайтах, таких как H & M и AliExpress, и узнаете, как вообще избежать создания поискового робота, таким образом вы сэкономите много времени!
Затем я покажу, как создать искатель для Amazon на основе тестирования, создав тесты для различных макетов страниц продуктов, которые есть на Amazon.
После этого мы рассмотрим, как автоматизировать вход в систему и очистку профилей из LinkedIn, используя Puppeteer, автоматизированный браузер Chromium!
Посмотреть больше
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
- Урок 1. 00:03:43What is the web crawling and web scraping and how is it different ?
- Урок 2. 00:04:57Legality of web scraping and web crawling
- Урок 3. 00:01:19Tools we will be using during development
- Урок 4. 00:02:33Methods of web crawling and web scraping
- Урок 5. 00:06:13Finding hidden API using Chrome Dev Tools
- Урок 6. 00:07:35Testing hidden API inside Postman, and finding other section API endpoints
- Урок 7. 00:01:46Initializing NPM + some info about Nodejs Request and Needle
- Урок 8. 00:02:21Creating our HTTP request with needle inside Nodejs
- Урок 9. 00:03:25Adding User-Agent header to get past denial in nodejs
- Урок 10. 00:04:06Creating MongoDB cluster for saving data
- Урок 11. 00:05:21Connecting to MongoDB cluster from Nodejs
- Урок 12. 00:04:54Saving data to MongoDB
- Урок 13. 00:07:36Getting all products in MongoDB using a loop with offset variable and pagesize
- Урок 14. 00:05:25Finding hidden API using Chrome Dev Tools
- Урок 15. 00:04:26Making API request from Postman with correct headers
- Урок 16. 00:05:50Making API request from Nodejs using Fetch API
- Урок 17. 00:04:59Getting many items using a for loop and sleep function
- Урок 18. 00:03:04Saving AliExpress products to MongoDB
- Урок 19. 00:01:09Intro to project
- Урок 20. 00:04:13Why are we using HTTP requests and not Puppeteer?
- Урок 21. 00:01:27Initializing NPM + installing jest, cheerio and needle npm packages
- Урок 22. 00:02:40Writing our reuseable httpRequest module for our testing and crawling
- Урок 23. 00:05:12Creating our test HTML file (check resources for URL)
- Урок 24. 00:03:27Setting up testing and intro to testing
- Урок 25. 00:04:17Writing our first test for our HTML parser
- Урок 26. 00:05:38Getting title from product page and making our test pass
- Урок 27. 00:02:51Getting the price from product page
- Урок 28. 00:06:41Making our second test and getting product links from page
- Урок 29. 00:08:39Writing out our actual webcrawling in 6 minutes!
- Урок 30. 00:03:08Setup so we only crawl only unique product ID's
- Урок 31. 00:05:22Adding a new test case for different layout + outtro
- Урок 32. 00:00:32Intro to project
- Урок 33. 00:00:34Initializing project with puppeteer and cheerio packages
- Урок 34. 00:02:44Opening Puppeteer browser and navigating to URL
- Урок 35. 00:06:05Login to Linkedin using Puppeteer
- Урок 36. 00:04:48Getting profile links on a LinkedIn profile
- Урок 37. 00:04:33Building web crawler loop for Puppeteer
Автор - udemy
Другие материалы в этой категории
Комментарии