Middle Data Engineer (Lakehouse / Big Data)

Magnum Cash&Carry

  • Нур-Султан Алматы
  • Постоянная работа
  • Полная занятость
  • 13 ч. назад
Мы в Magnum развиваем Lakehouse-подход и ищем Middle Data Engineer, который хочет работать на стыке DWH + Data Lake + Analytics и влиять на то, как устроены данные в компании. Мы не просто поддерживаем старое, мы строим новую платформу: внедряем S3-хранилища (MinIO), переходим на Spark и быстрые OLAP-движки (StarRocks/Trino).В нашей команде вам предстоит:
  • Развитие архитектуры: Участие в миграции и построении Modern Data Stack (переход к Lakehouse).
  • Работа с Big Data: Проектирование слоев данных в объектном хранилище (MinIO S3) и их обработка через Spark/Trino/Impala.
  • Построение витрин: Создание быстрых витрин данных на StarRocks и ClickHouse для бизнеса.
  • ETL/ELT: Написание и оптимизация пайплайнов (Airflow + Python/SQL).
  • Взаимодействие: Работа с аналитиками и участие в проектировании моделей данных (ODS / DWH / MART).
  • Наш технологический стек:
  • Storage: MinIO (S3 compatible) — строим Data Lake здесь.
  • Compute & Query Federation: Trino, Apache Impala, Apache Spark — для обработки и запросов поверх озера.
  • DWH & OLAP: Greenplum (Core DWH), StarRocks, ClickHouse (быстрые витрины), PostgreSQL.
  • Orchestration & Code: Apache Airflow, Python, SQL (Expert level).
Важно, чтобы у вас были:
  • Опыт работы Data Engineer от 2–3 лет.
  • Уверенное владение SQL (оконные функции, оптимизация планов запросов).
  • Понимание принципов работы S3-хранилищ и колоночных баз данных.
  • Опыт или большое желание работать с экосистемой Hadoop/Spark и MPP-системами.
  • Самостоятельность: умение разобраться в чужом коде и сложной бизнес-логике (Retail: транзакции, логистика, ассортимент).
Почему Magnum — это круто:Современный стек: Мы не застряли в прошлом. Вы будете работать с StarRocks, Trino и Spark — технологиями, которые сейчас в топе рынка.Масштаб: Миллионы транзакций, реальный Highload и настоящие Big Data.Влияние: Мы строим Lakehouse, а не просто "пилим отчеты". Ваши решения будут влиять на архитектуру данных всей компании.Команда: Сильная data-команда и задачи, результат которых сразу виден бизнесу.Magnum - это ретейл №1 в Казахстане!Мы создаем магазины, продукты и проекты, которые нравятся нам самим, которыми можно гордиться и которые приносят пользу людям. Международная команда экспертов, настоящий драйв – у нас не просто работа, а постоянное развитие и получение новых полезных навыков.На сегодняшний день Magnum это:
  • ‎ 200+ магазинов разных форматов в 14 городах Казахстана
  • ‎ 13 000+ сотрудников в нашей команде
  • ‎ 15 лет на рынке
  • ‎ 1000+ повышений сотрудников в год
Мы делаем всё, чтобы работа развивала ваши личные и профессиональные качества, обучение было полезным, а люди вокруг наполняли вас позитивом и энергией. Выбирайте команду — и вперед навстречу достижениям!Могу в Магнум гордиться своей работой!

HeadHunter