Data Engineer Middle+/Senior

Основные задачи Разработка и поддержка пайплайнов · Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse. · Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных. · Построение слоёв данных с использованием dbt. · Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий. Оптимизация хранилища и производительности · Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест. · Оптимизация SQL-запросов для снижения нагрузки на БД. · Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O. · Контроль стоимости хранения. Администрирование и надёжность · Обеспечение отказоустойчивости: настройка репликации и бэкапов. · Мониторинг состояния пайплайнов и баз данных. · Оперативное реагирование на инциденты. Требования Глубокое знание ClickHouse · Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения . · Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции. · Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний. Инструменты ETL/ELT и Оркестрация · Оркестрация: Управление сбором данных через Apache Airflow. · Трансформация: Опыт работы с dbt для построения слоев данных. Языки и Инфраструктура · Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API. · SQL: Владение на уровне эксперта (аналитические запросы, оптимизация). · Инфраструктура: Docker (для развертывания ClickHouse), Git. Условия · Удаленная работа из любой точки мира. · Конкурентная зарплата + performance премия 2 раза в год. · Гибкий график и фокус на результат. · Оплата обучения, курсов и конференций. · Возможность реально влиять на продукт и команду.