udemy
Udemy - одна из самых больших площадок в мире по доставке обучающего контента от разных авторов всего мира. Присутсвуют курсы практически на любую тему.
Веб-скрапинг используя PhantomJS и CasperJS
Scrape Websites using PhantomJS and CasperJS
★4.1 (всего оценок - 6)
Продолжительность
2 ч 14 мин
Категория
ДругоеКоличество уроков
32 Видео
Дата добавления
15 сент. 2018 г., 08:44
Язык
Английский
Дата выхода
15 сент. 2017 г., 11:33
Дата обновления
15 сент. 2018 г., 08:44
Станьте лучшим разработчиком JavaScript и изучите Front-End тестирование. Мы будем использовать javascript, lodash и jquery для скрапинга. В этом курсе вы узнаете, как собирать данные с веб-страниц с помощью CasperJS. Этот курс состоит из 5 проектов, которые помогут вам в полной мере понять возможности браузера с использованием API CasperJS. Вы получите полное понимание передовых концепций веб-скрапинга, а также получите представление о том, как использовать CasperJS для тестирования DOM-манипуляций и взаимодействия с пользовательским интерфейсом.
Что ожидать
Мы начнем с обзора того, как работают PhantomJS и CasperJS вместе с тем, как установить эти фреймворки. Затем мы обсудим, как будет выглядеть наш рабочий процесс, и параметры, которые мы можем передать в объект Casper.
Затем мы погрузимся в мясо этого курса, проведя 5 проектов.
Проекты будут охватывать
- Как скрапить веб-сайты, которые отображаются с помощью JavaScript вместо стандартного HTML
- Как подождать, пока загруженные данные AJAX появятся чтобы их потом вытащить
- Как отправлять формы как для авторизации, так и при выполнении поисковых запросов
- Как определить шаги навигации - например, вход в сайт, нажатие кнопки и следующих ссылок
- Как записывать и сохранять указанные данные в таблицах, а затем выводить их как .html-файл или как JSON.
- И как делать скриншоты как полных веб-страниц, так и конкретных контейнеров
Что такое PhantomJS?
Phantom дает нам возможность выполнять много интересных действий на веб-странице, таких как: обработка страниц, имитация взаимодействия с пользователем и возможность динамического захвата и сохранения данных веб-сайта.
Что такое CasperJS?
CasperJS - это автономный фреймворк, созданный на основе Phantom и совместимый с большинством операционных систем. Основное внимание в этом курсе будет уделяться API Casper, и мы будем использовать этот API для написания всех наших скриптов для скрапинга веб-страниц.
Что вы должны знать
Вы уже должны знать основы JavaScript. Включая функции обратного вызова. Это поможет, если вы знаете какой-то jQuery. Мы используем lodash в наших примерах, но только в качестве замены встроенного метода Map, который является частью собственного Javascript API.
Посмотреть больше
- Урок 1.00:02:05Intro and Projects Overview
- Урок 2.00:00:28Disclaimer
- Урок 3.00:02:54What is PhantomJS
- Урок 4.00:04:15What is CasperJS
- Урок 5.00:00:58Install Python
- Урок 6.00:05:06Installing PhantomJS
- Урок 7.00:04:49Installing CasperJS
- Урок 8.00:06:27Setting Up a Project
- Урок 9.00:05:00Options and Workflow
- Урок 10.00:00:36Introduction to Project
- Урок 11.00:03:06Get Results from Bing.com
- Урок 12.00:06:51Get Results from Bing.com - Part 2
- Урок 13.00:00:43Introduction to Project
- Урок 14.00:05:50Scraping JS-Rendered - Part 1
- Урок 15.00:06:39Scraping JS-Rendered - Part 2
- Урок 16.00:06:31Scraping JS-Rendered - Part 3
- Урок 17.00:03:11Scraping JS-Rendered - Part 4
- Урок 18.00:00:49Introduction to Project
- Урок 19.00:04:57Project Setup
- Урок 20.00:05:49Get Names and Prices - Part 1
- Урок 21.00:05:59Get Names and Prices - Part 2
- Урок 22.00:00:37Introduction to Project
- Урок 23.00:05:26Project Setup
- Урок 24.00:06:24Scrape Product Reviews - Part 1
- Урок 25.00:08:25Scrape Product Reviews - Part 2
- Урок 26.00:09:31Scrape Product Reviews - Part 3
- Урок 27.00:03:59Scrape Product Reviews - Part 4
- Урок 28.00:00:26Introduction to Project
- Урок 29.00:06:06Twitter Log In & Search
- Урок 30.00:05:51Twitter Log In & Search - Part 2
- Урок 31.00:04:22Extras and Tips
- Урок 32.00:00:41Thank You
Автор - udemy
Комментарии