Продолжительность
2 ч 14 мин 51 сек
Количество уроков
32 Видео
Дата добавления
15.09.2018
Дата обновления
15.09.2018
Станьте лучшим разработчиком JavaScript и изучите Front-End тестирование. Мы будем использовать javascript, lodash и jquery для скрапинга. В этом курсе вы узнаете, как собирать данные с веб-страниц с помощью CasperJS. Этот курс состоит из 5 проектов, которые помогут вам в полной мере понять возможности браузера с использованием API CasperJS. Вы получите полное понимание передовых концепций веб-скрапинга, а также получите представление о том, как использовать CasperJS для тестирования DOM-манипуляций и взаимодействия с пользовательским интерфейсом.
Что ожидать
Мы начнем с обзора того, как работают PhantomJS и CasperJS вместе с тем, как установить эти фреймворки. Затем мы обсудим, как будет выглядеть наш рабочий процесс, и параметры, которые мы можем передать в объект Casper.
Затем мы погрузимся в мясо этого курса, проведя 5 проектов.
Проекты будут охватывать
- Как скрапить веб-сайты, которые отображаются с помощью JavaScript вместо стандартного HTML
- Как подождать, пока загруженные данные AJAX появятся чтобы их потом вытащить
- Как отправлять формы как для авторизации, так и при выполнении поисковых запросов
- Как определить шаги навигации - например, вход в сайт, нажатие кнопки и следующих ссылок
- Как записывать и сохранять указанные данные в таблицах, а затем выводить их как .html-файл или как JSON.
- И как делать скриншоты как полных веб-страниц, так и конкретных контейнеров
Что такое PhantomJS?
Phantom дает нам возможность выполнять много интересных действий на веб-странице, таких как: обработка страниц, имитация взаимодействия с пользователем и возможность динамического захвата и сохранения данных веб-сайта.
Что такое CasperJS?
CasperJS - это автономный фреймворк, созданный на основе Phantom и совместимый с большинством операционных систем. Основное внимание в этом курсе будет уделяться API Casper, и мы будем использовать этот API для написания всех наших скриптов для скрапинга веб-страниц.
Что вы должны знать
Вы уже должны знать основы JavaScript. Включая функции обратного вызова. Это поможет, если вы знаете какой-то jQuery. Мы используем lodash в наших примерах, но только в качестве замены встроенного метода Map, который является частью собственного Javascript API.