
skillfactory
Онлайн-школа Skillfactory предоставляет своим студентам практические знания и опыт, который может быть применен на практике. Это делает выпускников школы привлекательными кандидатами для найма.
Научитесь строить пайплайны данных в реальном времени.
В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или модели прогнозирования. Data Engineer - это специалист, который собирает данные из разных источников, очищает их и передает в удобном виде аналитикам для принятия бизнес-решений.
Аналитикам данных нужно знать, как работает хранилище данных, в каком виде там хранятся данные, как они обрабатываются и как их можно получить для анализа.
Курс ориентирован на практику и основные инструменты, подходит для тех, кто имеет базовые знания языка Python. За два месяца вы освоите все важные этапы Data Engineering.
Программа курса
Кто такой Data Engineer и зачем ему Linux?
Разнообразие баз данных и их особенности
Что такое Hadoop, что он умеет и как им пользоваться
Файлы как источники данных, JDBC - структурированные данные, SQL для выгрузки данных
Зачем нужен Apache Spark и как с ним работать
Особенности и нюансы hdfs
Настройка data pipelines
Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure
Онлайн-школа Skillfactory предоставляет своим студентам практические знания и опыт, который может быть применен на практике. Это делает выпускников школы привлекательными кандидатами для найма.
SmartData 2021 - конференция для Data-инженеров. 4 дня. Спикеры со всего мира. Несколько десятков технических докладов о хранилищах данных, стриминге, data governance и многом другом.
Компании всех размеров имеют доступ к огромным объемам данных, но проблема в том, что данные часто неструктурированы. Для того чтобы отвечать на важные бизнес-вопросы, принимать решения и обучать модели ИИ и машинного обучения, эти данные необходимо очищать, обрабатывать и управлять ими. В этом базовом курсе вы узнаете, как это делается, и познакомитесь с инструментами, которые используют инженеры данных в реальном мире.
Этот вводный курс поможет вам лучше понять, что такое инженерия данных и какую роль в области Data Science играет инженер по данным. Для начала вы узнаете немного обо мне - вашем инструкторе на этом пути. Я расскажу о своём профессиональном опыте и о том, как пришёл в сферу Data Engineering.
Если вы хотите вывести свои навыки в Data Engineering на новый уровень - вы по адресу. Python стал основным языком для анализа данных и машинного обучения, а в рамках этого курса вы научитесь эффективно использовать его для создания надёжных дата-пайплайнов и обработки данных.