Этот вводный курс поможет вам лучше понять, что такое инженерия данных и какую роль в области Data Science играет инженер по данным. Для начала вы узнаете немного обо мне - вашем инструкторе на этом пути. Я расскажу о своём профессиональном опыте и о том, как пришёл в сферу Data Engineering.
Роли в проектах Data Science
Вы узнаете, какие профессии существуют в области Data Science: Data Scientist, Data Analyst, Machine Learning Engineer и другие. Мы рассмотрим их навыки, повседневные задачи и взаимосвязь между этими ролями.
Профессия и навыки Data Engineer
Главное - вы поймёте, кто такие Data Engineers, чем они занимаются и для кого работают. Я покажу, какие навыки и инструменты им необходимы, как устроены их рабочие процессы и какие зарплаты ожидаются в профессии. Также мы вместе разберём архитектуру Data-платформы и то, какие инструменты применяются на разных этапах построения дата-пайплайна.
Машинное обучение для инженеров
Вы получите обзор стандартного процесса машинного обучения, разделённого на этапы обучения модели и вывода её в продакшн. Я покажу, где именно подключается инженер по данным, а также расскажу о работе с данными и управлении моделями.
Проекты в Data Science и Data Engineering
Наконец, мы разберём бизнес-контекст проектов в сфере Data Science & Engineering: кто ставит цели, каковы фазы проекта (включая этап MVP - минимально жизнеспособного продукта), и как строятся процессы аналитики.
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
zerotomastery.io
Компании всех размеров имеют доступ к огромным объемам данных, но проблема в том, что данные часто неструктурированы. Для того чтобы отвечать на важные бизнес-вопросы, принимать решения и обучать модели ИИ и машинного обучения, эти данные необходимо очищать, обрабатывать и управлять ими. В этом базовом курсе вы узнаете, как это делается, и познакомитесь с инструментами, которые используют инженеры данных в реальном мире.
skillfactory
Научитесь строить пайплайны данных в реальном времени.В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или модели прогнозирования. Data Engineer - это специалист, который собирает данные из разных источников, очищает их и передает в удобном виде аналитикам для принятия бизнес-решений.Аналитикам данных нужно знать, как работает хранилище данных, в каком виде там хра
Andreas Kretz
Если вы хотите вывести свои навыки в Data Engineering на новый уровень - вы по адресу. Python стал основным языком для анализа данных и машинного обучения, а в рамках этого курса вы научитесь эффективно использовать его для создания надёжных дата-пайплайнов и обработки данных.
