Резюме

Опыт работы — 2 года 9 месяцев
 
Работодатель 1
Москва
Финансовый сектор
• Банк
 
Data Engineer
- Организовала миграцию данных из S3 в кластер YTsaurus, настроила регулярное поступление новых данных в кластер с помощью Airflow
- Оптимизировала витрины данных, переведя их с ежесуточного обновления на инкрементальное обновление каждые полчаса
- Разрабатывала и поддерживала новые и существующие DAG для обработки петабайт данных в рамках единой сессии Apache Spark
- Настроила мониторинг и алертинг DAG-ов с отслеживанием пропущенных данных и перезапуском упавших задач с помощью алертов, сенсоров и триггеров
- Участвовала в сборе требований и разработке нового архитектурного решения для хранения данных при переезде с DataVault (Hive) на DataLake (Iceberg)
- Занималась ad-hoc аналитикой, построением аналитических дашбордов
 
Работодатель 2
Москва
Электроника, приборостроение, бытовая техника, компьютеры и оргтехника
• Промышленное, бытовое электрооборудование и электротехника (производство)
Товары народного потребления (непищевые)
• Посуда, свет, товары для дома (продвижение, оптовая торговля)
• Посуда, свет, товары для дома (производство)
 
Data Engineer
- Автоматизировала ETL-процессы с помощью Airflow, перенеся задания с crontab
- Разработала и внедрила систему прогнозирования продаж с использованием ML (Gradient Boosting), что повысило точность прогнозов на ~20%
- Создала витрины данных для BI-аналитиков и отдела продаж, наладила мониторинг качества данных и выявление аномалий
- Менторила стажеров

Опыт работы — 3 года 10 месяцев
 
Работодатель 3
Москва
 
Data Engineer
 
Ключевые обязанности:
- разработка и поддержка ETL/ELT-пайплайнов с использованием Python, dbt, Apache Airflow, MS SQL, ClickHouse
- интеграция данных из API рекламных платформ (Google Analytics, Яндекс.Метрика, VK, Ozon и т.д.), S3, FTP, Яндекс Диска, Google Sheets
- проектирование и развитие DWH на MS SQL Server, S3, ClickHouse
- взаимодействие с аналитиками и бизнес-заказчиками для формирования требований и построения витрин для различного вида отчетности
 
Ключевые достижения:
- автоматизировал процессы формирования отчетности по рекламным кампаниям, снизив долю ручного труда
- участвовал в миграции архитектуры ETL/DWH: MS SQL + Prefect + dbt -> Greenplum + Airflow + dbt + ClickHouse (переписал 50+ скриптов, dbt моделей)
- реализовал более 10 витрин для дашбордов в Tableau
- разработал 15+ скриптов для интеграции с внешними API (Wildberries, Ozon, Admitad, Яндекс Трекер и т.д.), что расширило источники данных для аналитики
- оптимизировал SQL-запросы и ETL-процессы, повысив производительность загрузки данных
- внедрил схему «звезда» для 5+ площадок, что сократило время формирования отчетов на 50%
 
Английский язык — уровень B2 (средне-продвинутый)
 
Технологический стек:
Базы данных и хранилища: MS SQL Server, PostgreSQL, Greenplum, ClickHouse, S3
Языки программирования: SQL, Python 3
Инструменты и фреймворки: Apache Airflow, Prefect, dbt (Data Build Tool), SSIS, Docker, Spark
Системы управления задачами: Jira, Yandex Tracker, Git

Опыт работы — 3 года 2 месяца
 
Работодатель 4
 
Data Engineer
 
Проект: OMNI Platform — единая омниканальная платформа данных для ритейла
Команда: 2 архитектора, 8 Data Engineers, техлид, аналитики, инфраструктурные инженеры, PM
 
Результат (impact):
- сократил время сборки ключевой витрины продаж с 3 часов до 40 минут за счет внедрения PIT-таблиц и устранения data skew
- завершил миграцию домена «Продажи и Лояльность» на Data Vault 2.0, обеспечив единый источник правды для аналитических и продуктовых команд
- повысил стабильность DWH, внедрив блокирующие DQ-проверки, предотвращающие загрузку неконсистентных данных в продакшн
 
Задачи и технологии (tech):
- реализовал Raw Data Vault (Hubs, Links, Satellites) для доменов «Продажи» и «Акции»
- внедрил hash-based CDC для идемпотентной загрузки и корректного ведения истории
- построил отказоустойчивые пайплайны загрузки из S3 (Parquet) в Greenplum через External Tables с автоматической фильтрацией битых записей без остановки DAG-ов
- мигрировал dbt-процессы с Bash на KubernetesPodOperator, обеспечив изоляцию окружений и гибкое управление параметрами (включая бэкфиллы)
- оптимизировал модель хранения и джойны: задал единый distribution key и разработал PIT-таблицы в Business Data Vault
 
Стек: Greenplum 6.x, Airflow, dbt Core 1.6+, ClickHouse, S3, Kubernetes, Docker, Python, Data Vault 2.0

Работодатель 5
Москва
Информационные технологии, системная интеграция, интернет
• Интернет-сервис (поисковики, платежные системы, соцсети, информационно-познавательные и развлекательные ресурсы, продвижение сайтов и прочее)
 
Data Engineer
Работаю в большой команде из дата-инженеров. Мигрируем из Snowflake на Greenplum-ClickHouse.
Вся инфраструктура на базе Yandex Cloud.
 
Ключевые достижения:
- оптимизировал загрузку данных в Scala Spark из S3 в Greenplum, устранив ошибки OOM и disk spill за счет динамической пакетной обработки файлов, что обеспечило эффективную загрузку крупных таблиц
- настроил раздельное хранение для таблиц >1 TB в Greenplum с помощью плагина Yezzey, что снизило нагрузку и увеличило скорость чтения на 50%, а также позволило реализовать быстрые инкрементальные обновления и историческую аналитику
- разработал API на Python для загрузки данных в S3 с объектно-ориентированным подходом, используя PostgreSQL для хранения метаданных о структуре и правилах хранения данных, а также Pandas для трансформации данных, обеспечив надежную и эффективную передачу
- разработал коннектор для резервного копирования Kafka в S3, расширив хранение данных более чем на 2 дня и обеспечив надежное восстановление и повторную обработку при сбоях или задержках в Spark
- реализовал CI/CD-пайплайн на GitHub Actions для отслеживания PL/SQL-функций, используя Alembic для детектирования изменений, их валидации и генерации таблицы с модификациями и ошибками в GitHub Summary
 
Технологический стек:
Python, Spark, Spark Streaming, ClickHouse, Greenplum, S3, Kafka, Debezium, API, Pandas, Argo Workflow, dbt, Docker, Scala

Опыт работы — 3 года 10 месяцев
Май 2025 — настоящее время (7 месяцев)
 
Работодатель 6
Санкт-Петербург
Розничная торговля
• Розничная сеть (продуктовая)
 
Дата Инженер
Работаю в команде с дата аналитиками. Airflow, Spark на K8S. S3 в YandexCloud.
 
- Разработал несколько пайплайнов загрузки данных из внешних API в ClickHouse, реализовав контроль качества данных, автоматические ретраи и логирование ошибок в отдельную витрину ClickHouse, что повысило надежность и прозрачность процессов.
- Оптимизировал Spark-джобы, существенно снизив затраты на вычисления за счет корректировки Spark-конфигураций (уменьшение количества executors, числа ядер и выделяемой памяти), без потери производительности в YandexCloud DataProc.
- Создал с нуля основную часть проекта: модульную OOP-архитектуру, включающую компоненты для загрузки данных в Spark, S3 и ClickHouse, а также модуль для интеграции с ClickHouse Connect на Python, обеспечив масштабируемость и удобство сопровождения кода.
- Реализовал кастомный сенсор в Apache Airflow для загрузки ретро-данных, использующий метаданные для выборки нужных файлов. Дополнительно внедрил механизм дедупликации на базе ReplacingMergeTree, что обеспечило корректность исторических данных.
- Развернул и настроил полную инфраструктуру для разработки и тестирования (Airflow, ClickHouse, PostgreSQL, Spark, JupyterLab, S3) в Docker, а также реализовал CI/CD-деплой из GitHub, что ускорило командную разработку и упростило доставку изменений.
 
Технологический стек:
Python, Spark, ClickHouse, PostgreSQL, S3, API, Pandas, Airflow, Docker, K8S, YandexCloud

Data Engineer
Работаю в команде дата-инженеров, которая создает инфраструктуру для маркетинговых аналитиков.
Строим сквозную аналитику по розничным и корпоративным продуктам для оценки эффективности рекламных кампаний.
 
Реализованные задачи:
♦ Автоматизировал ETL-процесс сборки витрин данных по розничным и корпоративным продуктам на PySpark (Airflow + Python + Spark). Благодаря обновлению исторических витрин увеличил количество успешных сделок по продуктам.
♦ Оптимизировал тяжелые SQL-запросы в ClickHouse, внедрил dbt. Сократил время выполнения запроса и уменьшил объем SQL-кода в 10 раз.
♦ Настроил проверку качества данных в Apache Airflow (построение DAG) с помощью dbt-моделей. Ежедневно приходят отчеты об отклонениях и задержках в загрузке данных.
♦ Увеличил скорость принятия решений и взаимодействия между командами: подготовил документацию и UML-схемы по витринам данных в Confluence.
♦ Разработал скрипт ежедневного контроля ключевых метрик рекламных кампаний с выводом в дашборд Apache Superset.
♦ Снизил нагрузку на Hadoop (HDFS) за счет оптимизации хранения мелких файлов.
 
Рабочий процесс:
1. Работа по спринтам (Scrum)
2. Документация в Confluence
3. Постановка и трекинг задач в Jira
4. Хранение данных в Hadoop
 
Стек:
Spark, Python, Airflow, Docker, Pandas, Superset, ClickHouse, dbt, Hadoop, YARN, Hive, Jupyter Notebook, PyCharm, HUE, VSCode, DBeaver, Data Vault, Anchor, нормализация, оконные функции, модели данных, индексы в БД, draw.io