Data Engineer
Freedom Media
- Алматы
- Постоянная работа
- Полная занятость
- Разработка и поддержка ETL/ELT-процессов с использованием Apache Spark (PySpark) и Airflow.
- Оптимизация производительности Spark jobs (конфигурации, партиционирование, масштабируемость).
- Очистка, агрегирование и пакетная обработка больших объемов данных.
- Проектирование моделей данных и выбор оптимальных решений для построения DWH.
- Создание и поддержка схем, объектов БД, настройка миграций с помощью Liquibase.
- Работа с различными источниками данных и интеграция через Kafka, RabbitMQ.
- Обеспечение надежности и автоматизации конвейеров данных.
- Опыт работы на позиции Data Engineer / ETL Engineer от 3 лет.
- Уверенные знания в проектировании архитектуры DWH.
- Глубокое понимание принципов работы Spark и Airflow.
- Навыки оптимизации ETL-процессов и обработки больших объемов данных.
- Опыт работы с распределенными файловыми системами (HDFS, S3).
- Понимание CI/CD-практик и работы с GitLab.
- Языки и базы данных: Python, SQL, Greenplum, Oracle.
- Big Data / хранилища: HDFS, S3.
- Фреймворки и инструменты: Apache Airflow, Apache Spark, PySpark.
- Брокеры сообщений: Kafka, RabbitMQ.
- Системы контроля версий и миграций: GitLab, Liquibase.
- Ты будешь работать с инновационной платформой, которая меняет правила игры в индустрии развлечений Казахстана.
- Станешь частью амбициозной и креативной команды, готовой покорять вершины.
- Возможность профессионального роста и развития в динамичной и быстрорастущей отрасли.
HeadHunter