Data Engineer

Медиалогия Data Engineer (Hadoop, Scala) Опыт работы: 3–6 лет Полная занятость График: 5/2 Формат работы: удалённо или гибрид ☑️ Чем предстоит заниматься -разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных -настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase) -оптимизация распределенных вычислений и запросов -работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ) -участие в проектировании и масштабировании архитектуры данных -автоматизация процессов с использованием DevOps-практик (Docker, CI/CD) ☑️ Наши пожелания к кандидатам -высшее (неоконченное высшее) образование -опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop) -глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet) -опыт оптимизации производительности распределенных систем -работа с потоковой обработкой (Kafka, Spark Streaming) -навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB) -Будет плюсом: -опыт с PySpark, Flink, Airflow -знание Elasticsearch, ClickHouse, Vertica -навыки настройки кластеров и инфраструктуры