Дата инженер отвечает за то, чтобы данные вовремя попадали из разных систем в хранилища, отчёты и сервисы. Когда компании нужно навести порядок в потоках данных, дата инженер настраивает загрузку, обработку, хранение и проверки так, чтобы аналитики и продуктовые команды могли работать без ручной сверки таблиц.
Чем занимается дата инженер
Дата инженер строит путь данных от источника до пользователя. Источником может быть система управления взаимоотношениями с клиентами (CRM), сайт, мобильное приложение, платёжная система, рекламный кабинет или внешний файл. Пользователем чаще всего становится аналитик, менеджер продукта, команда машинного обучения или внутренний сервис.
В ежедневной работе дата инженер:
- подключает источники данных и описывает, что именно нужно забирать;
- проектирует таблицы, витрины и связи между ними;
- настраивает запуск загрузок и обработок по расписанию;
- проверяет данные на дубли, пропуски, ошибки форматов и резкие отклонения;
- следит за сбоями, задержками и расходами на хранение.
Обычно работу начинают с небольшого контура: один источник, понятная схема, простые проверки и ясное расписание обновления. Так проще найти ошибки и не собрать слишком сложную систему раньше времени.
Какие навыки нужны
Первый навык для дата инженера — язык структурированных запросов (SQL). Он нужен, чтобы доставать данные, объединять таблицы, считать агрегаты и проверять результат.
После SQL стоит изучить язык программирования Python. На нём удобно писать скрипты для загрузки файлов, обработки данных и автоматизации повторяющихся задач. Затем можно переходить к системе оркестрации рабочих процессов Apache Airflow: она запускает процессы по расписанию и показывает, где произошёл сбой.
Для старта достаточно освоить:
- SQL для запросов, соединений, группировок и проверок.
- Python для обработки данных и автоматизации.
- Одну базу данных, например систему управления базами данных PostgreSQL или колоночную систему управления базами данных ClickHouse.
- Один оркестратор задач, например Apache Airflow.
- Базовые проверки качества данных: дубли, пропуски, диапазоны, связи между таблицами.
- Простую документацию, чтобы другой человек мог понять и запустить проект.
Из дополнительных тем пригодятся моделирование данных, партиционирование, индексы, мониторинг, бэкфиллы и работа с облачными сервисами. Но всё это лучше добавлять постепенно, после базового проекта.
Чем дата инженер отличается от аналитика
Аналитик работает с готовыми данными: считает показатели, строит отчёты и ищет причины изменений. Дата инженер отвечает за то, чтобы эти данные появились в нужном месте и не ломались при обновлении.
Например, аналитик хочет посмотреть продажи за вчера. Для этого данные должны прийти из CRM, кассовой системы и рекламных кабинетов, связаться между собой, обновиться утром и пройти проверки. Этим занимается дата инженер.
В небольших компаниях роли могут пересекаться. Но чем больше источников и отчётов, тем важнее отдельный специалист по инженерии данных.
Как собрать портфолио
Для первого портфолио достаточно одного понятного проекта. Возьмите открытый набор данных, загрузите его в базу, очистите, соберите витрину и настройте регулярный запуск.
В проекте стоит показать:
|
Что добавить |
Зачем |
|
Источник данных |
Понятно, откуда берутся данные. |
|
Схему таблиц |
Видно, как устроено хранение. |
|
Автоматический запуск |
Процесс не зависит от ручной работы. |
|
Проверки качества |
Можно найти дубли, пропуски и ошибки. |
|
Инструкцию по запуску |
Проект можно проверить и повторить. |
Отдельно опишите, что будет при повторном запуске. Хороший конвейер не должен создавать дубли или портить уже загруженные данные.
Что спрашивают на собеседовании
На собеседовании могут попросить написать SQL-запрос, объяснить схему таблиц, выбрать способ обновления витрины или рассказать, как вы будете искать ошибку в загрузке.
Часто спрашивают про первичные ключи, индексы, партиционирование, дубли, расписание задач, бэкфиллы и восстановление после сбоя. Лучше отвечать через пример: откуда берём данные, куда кладём, как проверяем и что делаем, если процесс упал.
Как начать карьеру дата инженера
Начните с SQL и простых задач на нескольких связанных таблицах. Затем добавьте Python: загрузите файл, очистите данные и сохраните результат в базу. После этого соберите небольшой конвейер с расписанием и проверками.
Дата инженер — это профессия для тех, кому нравится строить надёжные системы вокруг данных. Первый проект может быть небольшим, но он должен запускаться, проходить проверки и быть понятным другому человеку.
