Инженер данных / Data Engineer

БИЛАБС

  • Алматы
  • 500 000 тнг в месяц
  • Постоянная работа
  • Полная занятость
  • 15 д. назад
О нас:Мы помогаем партнерам принимать взвешенные решения на основе данных. Работаем по принципу remote-first: процессы выстроены так, чтобы удобно работать онлайн и в распределённых командах с клиентами в разных странах, при этом у нас есть офис в Алматы. Дальше всё зависит от задач: часть работы можно делать из офиса, часть — удалённо, но мы всегда сохраняем единые правила прозрачности, документирования и командного взаимодействия.О проекте:Мы строим надежное и эффективное аналитическое хранилище данных на современном стеке Microsoft Fabric. Наша цель — предоставить бизнесу быстрый и удобный доступ к качественным данным для построения отчетов и анализа.Мы ищем:Data Engineer, который будет отвечать за построение end-to-end пайплайнов данных: от первичной загрузки сырых данных до формирования готовых витрин для BI-отчетности.Чем предстоит заниматься:
  • Проектирование и реализация ETL/ELT процессов в среде Microsoft Fabric.
  • Загрузка и обработка данных из разнородных источников (flat-файлы, таблицы БД) в слои Bronze и Silver.
  • Проектирование и наполнение витрин данных (Gold-layer) в формате звездообразной схемы (star schema) для эффективной работы BI-инструментов.
  • Оптимизация производительности: работа с Delta-форматом, настройка партиционирования, управление жизненным циклом данных.
  • Тесное взаимодействие с BI-аналитиками и дата-инженерами для согласования требований к семантическому слою и качеству данных.
  • Написание технической документации по реализованным процессам.
Ключевые требования:
  • Опыт работы Data Engineer / ETL-разработчиком от 2-х лет.
  • Опыт работы с Microsoft Fabric или глубокое понимание его компонентов (OneLake, Data Factory, Spark, Data Warehouse) будет приветствоваться
  • Практический опыт построения многозвенной архитектуры данных (международный стандарт Medallion Architecture: Bronze → Silver → Gold).
  • Уверенное владение SQL и опыт проектирования витрин данных, включая звездообразные и снежинобразные схемы.
  • Опыт работы с Spark (PySpark / Spark SQL) для обработки больших объемов данных.
  • Понимание принципов работы с Delta Lake (transactional logs, OPTIMIZE, VACUUM).
  • Опыт оптимизации больших таблиц: партиционирование, кластеризация (Z-order), настройка производительности запросов.
  • Желателен опыт интеграции с Power BI для публикации datasets.
Мы предлагаем:
  • Работу с одним из самых современных cloud-стеков Microsoft.
  • Интересные и сложные задачи от идеи до реализации в production.
  • Формат работы: удаленка/гибрид (Офис - г.Алматы, бц Нурлы тау)
  • Конкурентную заработную плату, обсуждение на собеседовании
  • Гибкое начало дня
  • Оформление по ТК РК с первого дня
  • Профессиональный и дружный коллектив
InsightOn (insighton.co) специализируется на предоставлении услуг в области бизнес-аналитики. Мы предлагаем комплексные решения для анализа данных, помогая предприятиям принимать обоснованные стратегические решения. Наши эксперты используют передовые технологии и методы обработки данных для создания интеллектуальных отчетов и дашбордов, что позволяет клиентам максимально эффективно управлять своим бизнесом.

HeadHunter