udemy
Udemy - одна из самых больших площадок в мире по доставке обучающего контента от разных авторов всего мира. Присутсвуют курсы практически на любую тему.
Веб-скрапинг используя PhantomJS и CasperJS
Scrape Websites using PhantomJS and CasperJS
★4.1 (всего оценок - 6)
Продолжительность
2 ч 14 мин
Категория
ДругоеКоличество уроков
32 Видео
Дата добавления
15 сент. 2018 г., 08:44
Язык
Английский
Дата выхода
15 сент. 2017 г., 11:33
Дата обновления
29 апр. 2026 г., 01:11
Освойте практический веб-скрапинг на PhantomJS и CasperJS и научитесь автоматически собирать данные с динамических веб‑страниц, работать с DOM, управлять браузером и тестировать интерфейсы. Этот курс подходит разработчикам, которые хотят углубить навыки JavaScript и освоить эффективные инструменты автоматизации.
О курсе
Курс сфокусирован на реальном применении PhantomJS и CasperJS. Вы шаг за шагом научитесь запускать headless‑браузер, автоматизировать взаимодействие с элементами страницы и собирать нужные данные. Практическая часть базируется на пяти проектах, каждый из которых раскрывает ключевые техники веб‑скрапинга.
Что вы изучите
- Установку и настройку PhantomJS и CasperJS.
- Создание рабочего процесса и передачу параметров в объект Casper.
- Обработку динамических страниц, создаваемых с помощью JavaScript.
- Ожидание AJAX‑данных и их корректное извлечение.
- Автоматизацию форм для логина, регистрации и поиска.
- Шаги навигации — переходы, клики, последовательные действия.
- Сохранение данных в HTML, JSON и таблицы.
- Создание скриншотов страниц и отдельных элементов.
Проекты, которые вы выполните
Практическая часть курса построена вокруг пяти проектов, которые помогут закрепить навыки и построить собственный набор инструментов для скрапинга.
Проект 1: Базовый скрапинг динамической страницы
Научитесь загружать страницы с динамическим контентом и правильно извлекать отображаемые данные.
Проект 2: Работа с AJAX
Освоите технику ожиданий, пока данные подгружаются, и обработку элементов, появляющихся после рендеринга.
Проект 3: Автоматизация форм
Узнаете, как отправлять формы и собирать данные после авторизации или выполнения запросов.
Проект 4: Навигация и взаимодействие
Научитесь задавать цепочки шагов: вход, клики, переходы по ссылкам, работа с UI‑элементами.
Проект 5: Экспорт данных и скриншотинг
Сделаете структурированный экспорт данных и научитесь сохранять полные и частичные скриншоты страниц.
Ключевые инструменты курса
PhantomJS
PhantomJS — это headless‑браузер, который позволяет:
- рендерить страницы и взаимодействовать с DOM;
- эмулировать действия пользователя;
- динамически загружать, собирать и сохранять данные.
CasperJS
CasperJS — это фреймворк на основе PhantomJS, предоставляющий удобный API для скриптов автоматизации. Он используется для навигации, обработки событий, тестирования интерфейсов и веб‑скрапинга. Все скрипты курса основаны на CasperJS.
Требования к студентам
Чтобы комфортно проходить курс, рекомендуется знать:
- основы JavaScript и работу с функциями обратного вызова;
- базовые принципы DOM‑манипуляций;
- jQuery (желательно, но не обязательно);
- lodash используется в примерах как удобная альтернатива встроенному map.
Для кого этот курс
- Разработчиков, желающих автоматизировать сбор данных.
- Специалистов по тестированию UI.
- Frontend‑разработчиков, изучающих headless‑инструменты.
- Всех, кто хочет создавать собственные скраперы и автоматизировать рутинные задачи.
Пройдя курс, вы сможете создавать мощные веб‑скраперы, работать с динамическими данными и использовать CasperJS как эффективный инструмент для тестирования и автоматизации.
- Урок 1.00:02:05Intro and Projects Overview
- Урок 2.00:00:28Disclaimer
- Урок 3.00:02:54What is PhantomJS
- Урок 4.00:04:15What is CasperJS
- Урок 5.00:00:58Install Python
- Урок 6.00:05:06Installing PhantomJS
- Урок 7.00:04:49Installing CasperJS
- Урок 8.00:06:27Setting Up a Project
- Урок 9.00:05:00Options and Workflow
- Урок 10.00:00:36Introduction to Project
- Урок 11.00:03:06Get Results from Bing.com
- Урок 12.00:06:51Get Results from Bing.com - Part 2
- Урок 13.00:00:43Introduction to Project
- Урок 14.00:05:50Scraping JS-Rendered - Part 1
- Урок 15.00:06:39Scraping JS-Rendered - Part 2
- Урок 16.00:06:31Scraping JS-Rendered - Part 3
- Урок 17.00:03:11Scraping JS-Rendered - Part 4
- Урок 18.00:00:49Introduction to Project
- Урок 19.00:04:57Project Setup
- Урок 20.00:05:49Get Names and Prices - Part 1
- Урок 21.00:05:59Get Names and Prices - Part 2
- Урок 22.00:00:37Introduction to Project
- Урок 23.00:05:26Project Setup
- Урок 24.00:06:24Scrape Product Reviews - Part 1
- Урок 25.00:08:25Scrape Product Reviews - Part 2
- Урок 26.00:09:31Scrape Product Reviews - Part 3
- Урок 27.00:03:59Scrape Product Reviews - Part 4
- Урок 28.00:00:26Introduction to Project
- Урок 29.00:06:06Twitter Log In & Search
- Урок 30.00:05:51Twitter Log In & Search - Part 2
- Урок 31.00:04:22Extras and Tips
- Урок 32.00:00:41Thank You
Автор - udemy
Комментарии