Инструменты DE

Data Engineer постоянно работает не только с языками и базами данных, но и с инструментами вокруг них. На старте важно привыкнуть хотя бы к базовому набору: редактор кода, ноутбуки и клиент для баз данных.

Ниже три инструмента, которые часто встречаются в учебных проектах, на работе и на собеседованиях.

VS Code

VS Code — это редактор кода, в котором удобно писать Python, SQL, YAML, Dockerfile, DAG-и Airflow, dbt-модели и конфиги проекта.

Для дата-инженера VS Code полезен тем, что в одном месте можно:

• открыть весь проект целиком;
• работать с Git;
• писать Python-код;
• редактировать SQL-запросы;
• запускать терминал;
• подключать расширения для Docker, Python, SQL, YAML, Markdown и dbt;
• быстро искать по проекту файлы, функции, таблицы и переменные.

На практике VS Code часто становится главным рабочим окном: здесь лежит код пайплайна, DAG-и, SQL-скрипты, docker-compose.yml, .env, README и вся логика проекта.

Jupyter Notebook / JupyterLab

Jupyter — это среда для интерактивной работы с кодом. В ней удобно запускать код по ячейкам, сразу смотреть результат и быстро проверять гипотезы.

Data Engineer использует Jupyter, когда нужно:

• быстро посмотреть данные;
• проверить API-запрос;
• протестировать Python-функцию;
• прочитать CSV, Parquet или данные из S3;
• попробовать pandas / PySpark-код до переноса в нормальный пайплайн;
• разобраться, почему данные выглядят не так, как ожидалось.

Важно понимать: Jupyter удобен для исследования и черновиков, но не должен оставаться единственным местом, где живёт продакшен-логика. Если код стал важным для пайплайна, его лучше перенести в .py-файлы, DAG, dbt-модель или отдельный модуль проекта.

DBeaver

DBeaver — это универсальный клиент для работы с базами данных. Через него можно подключаться к PostgreSQL, ClickHouse, Greenplum, MySQL, Oracle и другим СУБД.

Для дата-инженера DBeaver нужен, чтобы:

• подключаться к базам данных;
• смотреть схемы, таблицы и колонки;
• писать и запускать SQL-запросы;
• проверять, загрузились ли данные;
• сравнивать результат пайплайна с ожиданием;
• смотреть DDL таблиц;
• быстро исследовать данные перед написанием ETL/ELT-логики.

На практике DBeaver часто используют как "окно в базу": Airflow, Spark или Python что-то загрузили, а в DBeaver можно быстро открыть таблицу и проверить результат обычным SQL-запросом.

Как это выглядит в рабочем процессе

Обычно эти инструменты используются вместе:

1. В VS Code пишем код проекта: Python, SQL, Airflow DAG-и, dbt, Docker-конфиги.
2. В Jupyter быстро проверяем куски логики и смотрим данные интерактивно.
3. В DBeaver подключаемся к базе и проверяем таблицы SQL-запросами.

Например, типичный поток такой:

• написал Python-скрипт или DAG в VS Code;
• проверил чтение данных в Jupyter;
• загрузил результат в PostgreSQL / ClickHouse / Greenplum;
• открыл DBeaver и убедился, что таблица появилась и данные выглядят нормально.

Эти инструменты не заменяют друг друга. Они закрывают разные задачи и вместе дают удобную базу для ежедневной работы дата-инженера.