Главная страницаКатегория pythonБуткемп по веб-скрапингу с использованием Python

Буткемп по веб-скрапингу с использованием Python

Name: Буткемп по веб-скрапингу с использованием Python
Price: 12.5 USD
Rating: 4.7 (21 reviews)

The Ultimate Web Scraping With Python Bootcamp 2023

udemy

★4.7 (всего оценок - 21)

Продолжительность

17 ч 31 мин

Категория

Python

Количество уроков

157 Видео

Дата добавления

12 окт. 2023 г., 20:33

Язык

Английский

Дата выхода

1 сент. 2023 г., 01:00

Дата обновления

29 апр. 2026 г., 19:00

Этот интенсивный буткемп по веб-скрапингу на Python создан для тех, кто хочет быстро и структурировано освоить навыки извлечения данных из веба. Курс подходит как новичкам, так и разработчикам, стремящимся углубить компетенции в автоматизации и анализе данных.

Что такое веб-скрапинг и почему он важен?

Веб-скрапинг — это программный сбор данных с веб‑страниц. Специальные скрейперы отправляют запросы на сайты, извлекают HTML, динамический контент или данные из скрытых API, а затем структурируют эти данные в удобном виде.

Навык веб-скрапинга востребован в аналитике, исследованиях, e‑commerce, мониторинге цен, автоматизации отчетности и многих других сферах. В рамках курса вы освоите полный цикл создания скрейперов — от простых до продвинутых, включая работу с JavaScript, динамическими страницами и профессиональными фреймворками.

Структура курса

Программа курса разделена на три логически выстроенные части. Каждая часть повышает ваш уровень владения Python и инструментами веб-скрапинга, обеспечивая плавный и последовательный рост навыков.

Часть I — Основы

На этом этапе вы заложите фундамент: разберете принципы работы интернета, получите представление об устройстве веб‑страниц и научитесь извлекать данные из HTML. Вы создадите свои первые полноценные скрейперы и освоите ключевые инструменты Python.

Цикл запрос–ответ: что происходит «под капотом»
HTTP-глаголы, заголовки, коды статусов и юзер‑агенты
Использование кастомных заголовков и работа с ограничениями
Мастерство библиотеки requests
Сессии, куки и принципы stateless-взаимодействия
Прокси-серверы и их применение в скрапинге
Разбор HTML с помощью BeautifulSoup

Часть II — Продвинутые техники

Здесь вы научитесь извлекать данные с динамических сайтов, понимая, как работает взаимодействие фронтенда и бэкенда. Вы освоите анализ сетевых запросов, работу с API и создание быстрых и гибких скрейперов.

Поиск и использование скрытых API
Эмуляция заголовков, cookies и тел запросов
Автоматическая генерация Python-кода из перехваченных запросов
Высокопроизводительный парсинг HTML с selectolax
Точное использование CSS-селекторов
Работа с Microsoft Playwright для headless-автоматизации

Часть III — Профессиональный уровень

Финальная часть посвящена Scrapy — одному из самых мощных фреймворков для веб‑скрапинга на Python. Вы научитесь строить масштабируемые, устойчивые и быстрые скрейперы, использовать Playwright внутри Scrapy и выполнять JavaScript-код для сложных сайтов.

Установка и структура проекта Scrapy
Использование Scrapy Shell для анализа ответов
Создание item-схем и загрузчиков данных
Интеграция Playwright в Scrapy
Методы работы браузера в headless-режиме
Пайплайны данных и кастомная обработка результатов

Почему стоит выбрать этот курс?

Каждый шаг обучения сопровождается практическими примерами, проектами и разбором типичных ошибок. Вы получите необходимые навыки для самостоятельной разработки скрейперов любой сложности — от простых HTML‑страниц до динамических сайтов с защитой и API.

По завершении курса вы будете уверенно создавать профессиональные инструменты для автоматизации сбора данных.

Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум

Урок 1. 00:01:20
Prerequisites
Урок 2. 00:03:40
A Useful Mental Model
Урок 3. 00:02:47
What Is HTTP?
Урок 4. 00:03:29
The Request-Response Cycle
Урок 5. 00:05:21
Extra: But, This Website Remembers Me
Урок 6. 00:03:17
User-Agents
Урок 7. 00:02:39
HTTP Verbs
Урок 8. 00:06:14
Status Codes
Урок 9. 00:03:36
Headers
Урок 10. 00:05:11
Extra: Headers Do Lie
Урок 11. 00:05:46
Proxies
Урок 12. 00:05:41
The Ingredients
Урок 13. 00:08:33
Markup
Урок 14. 00:06:01
Attributes
Урок 15. 00:04:43
Presentation
Урок 16. 00:04:44
Some More Rules
Урок 17. 00:08:04
Behaviour
Урок 18. 00:04:29
More JavaScript
Урок 19. 00:07:22
JavaScript In Web Scraping
Урок 20. 00:04:40
Comments
Урок 21. 00:05:16
Embedded
Урок 22. 00:05:37
Urllib
Урок 23. 00:05:37
Requests
Урок 24. 00:07:42
Setting Headers
Урок 25. 00:11:14
Query Parameters
Урок 26. 00:07:06
Authentication And Authorization
Урок 27. 00:04:22
Aside From GET
Урок 28. 00:06:40
POSTing Data
Урок 29. 00:07:55
BeautifulSoup
Урок 30. 00:05:51
Tags
Урок 31. 00:08:14
Parents, Children, And Descendants
Урок 32. 00:02:26
Siblings
Урок 33. 00:06:36
Extracting Text
Урок 34. 00:03:20
All Strings
Урок 35. 00:11:16
Search
Урок 36. 00:01:31
Challenge
Урок 37. 00:09:33
Solution
Урок 38. 00:12:05
Solution Refinement
Урок 39. 00:11:13
An Extra: pandas
Урок 40. 00:08:24
Functional Search Patterns
Урок 41. 00:08:59
Text Search
Урок 42. 00:07:22
Searching By CSS
Урок 43. 00:03:10
Just One Tag
Урок 44. 00:03:05
Scope Statement
Урок 45. 00:04:32
An Extra: Some Finance Concepts
Урок 46. 00:12:41
Parsing Price
Урок 47. 00:08:45
Non-USD Prices
Урок 48. 00:09:03
Adding Structure With Dataclasses
Урок 49. 00:09:01
Position And Portfolio
Урок 50. 00:12:16
Tabular Display
Урок 51. 00:05:39
Befriend The Network Tab
Урок 52. 00:08:34
Case Study: Coffee Shop Locations
Урок 53. 00:07:03
The Advantages Of APIs
Урок 54. 00:06:02
Full Header Emulation
Урок 55. 00:03:54
An Extra: Postman
Урок 56. 00:06:39
Code Generation
Урок 57. 00:03:14
Challenge
Урок 58. 00:06:49
Solution: Interacting With The API
Урок 59. 00:06:44
Solution: Processing The Data
Урок 60. 00:09:57
Solution: Adding Geocode
Урок 61. 00:01:37
Introduction
Урок 62. 00:09:11
What Is selectolax?
Урок 63. 00:08:47
CSS Combinators
Урок 64. 00:07:38
Sibling Combinators
Урок 65. 00:08:04
Selector Types
Урок 66. 00:03:35
Scope Statement
Урок 67. 00:07:48
Prospecting
Урок 68. 00:07:35
Scraping HTML
Урок 69. 00:09:18
Filtering Relevant URLs
Урок 70. 00:11:21
Extracting High-Res Image URLs
Урок 71. 00:06:55
Saving The Images
Урок 72. 00:08:41
Stepping It Up With Logging
Урок 73. 00:05:55
Back To The API
Урок 74. 00:07:34
Filtered Canonical URLs
Урок 75. 00:04:30
Pagination Prospecting
Урок 76. 00:12:42
Wrapping Up
Урок 77. 00:09:54
What You See vs. What You Get
Урок 78. 00:05:24
Rendering JavaScript
Урок 79. 00:04:54
PlayWright Over Selenium
Урок 80. 00:10:40
Case Study: Show Me The Money
Урок 81. 00:06:42
Scope Statement
Урок 82. 00:05:26
Initial Setup
Урок 83. 00:04:24
Fully Loaded Site
Урок 84. 00:07:01
Selecting Game Containers
Урок 85. 00:02:40
More Robust Render Thresholds
Урок 86. 00:05:46
Extracting Title And Thumbnail
Урок 87. 00:04:32
Game Category Tags
Урок 88. 00:05:44
Release Date And Reviews
Урок 89. 00:05:52
Original And Discount Price
Урок 90. 00:05:20
Refactoring
Урок 91. 00:06:23
Introducing Config
Урок 92. 00:06:59
Configuration Integrated
Урок 93. 00:12:04
Parsing Pipeline
Урок 94. 00:10:13
Parameterized Extraction
Урок 95. 00:11:29
Functional Post-Processing
Урок 96. 00:09:19
Date Formatting
Урок 97. 00:11:03
Regular Expressions
Урок 98. 00:07:01
Saving To Disk
Урок 99. 00:07:47
Integrating HTMLParser With The Generic Parser
Урок 100. 00:05:23
Finishing Touches
Урок 101. 00:02:03
Introduction
Урок 102. 00:06:22
Virtual Environments And Scrapy
Урок 103. 00:04:41
First Project And Spider
Урок 104. 00:09:05
Scraping Elements
Урок 105. 00:08:30
Extracting Specific Attributes
Урок 106. 00:04:25
An Extra: Scrapy Shell
Урок 107. 00:10:29
Rewriting Using XPath Selectors
Урок 108. 00:06:36
Outputting Data
Урок 109. 00:06:41
Defining Scrapy Items
Урок 110. 00:10:19
Introducing Itemloaders
Урок 111. 00:10:08
Fine-Tuned Post-Processing
Урок 112. 00:08:31
Pipelined Data Validation
Урок 113. 00:12:03
Saving To Databases
Урок 114. 00:03:55
Challenge
Урок 115. 00:07:14
Solution: Defining NoDuplicateCountryPipeline
Урок 116. 00:09:45
The JavaScript Wrench In The Works
Урок 117. 00:07:31
Integrating scrapy-playwright
Урок 118. 00:03:52
PageMethods
Урок 119. 00:03:51
Pagination And Infinite Scroll
Урок 120. 00:08:47
Playwright, Do This
Урок 121. 00:07:26
Improved Snippet As PageMethod
Урок 122. 00:04:34
Scraping Location, Department, And Posted Date
Урок 123. 00:04:01
Scope Statement
Урок 124. 00:04:05
New Project And Spider
Урок 125. 00:12:32
Item And Itemloading
Урок 126. 00:09:01
Pipelining To Database
Урок 127. 00:02:29
Quick Fix
Урок 128. 00:09:43
Grouped Elements JSON Export
Урок 129. 00:02:58
Try To Respect robots.txt
Урок 130. 00:00:29
Thank You
Урок 131. 00:02:36
Data Types
Урок 132. 00:08:28
Variables
Урок 133. 00:07:17
Arithmetic And Augmented Assignment Operators
Урок 134. 00:08:55
Ints And Floats
Урок 135. 00:05:13
Booleans And Comparison Operators
Урок 136. 00:07:53
Strings
Урок 137. 00:06:30
Methods
Урок 138. 00:06:09
Containers I - Lists
Урок 139. 00:06:54
Lists vs. Strings
Урок 140. 00:07:55
List Methods And Functions
Урок 141. 00:04:44
Containers II - Tuples
Урок 142. 00:10:33
Containers III - Sets
Урок 143. 00:05:16
Containers IV - Dictionaries
Урок 144. 00:08:15
Dictionary Keys And Values
Урок 145. 00:04:29
Membership Operators
Урок 146. 00:08:22
Controlling Flow With if, else, And elif
Урок 147. 00:03:29
Truth Value Of Non-Booleans
Урок 148. 00:05:06
For Loops
Урок 149. 00:05:11
The range() Immutable Sequence
Урок 150. 00:05:56
While Loops
Урок 151. 00:04:16
Break And Continue
Урок 152. 00:03:40
Zipping Iterables
Урок 153. 00:07:48
List Comprehensions
Урок 154. 00:10:19
Defining Functions
Урок 155. 00:06:55
Function Arguments: Positional vs Keyword
Урок 156. 00:05:29
Lambdas
Урок 157. 00:05:39
Importing Modules

Автор - udemy

udemy

Udemy - одна из самых больших площадок в мире по доставке обучающего контента от разных авторов всего мира. Присутсвуют курсы практически на любую тему.

+198

Комментарии