Инженер данных

Eurasian Resources Group

  • Нур-Султан
  • Постоянная работа
  • Полная занятость
  • 1 д. назад
Eurasian Resources Group (ERG) в Казахстане представляет треть металлургической и горнодобывающей промышленности страны. Благодаря активам в Казахстане, ERG является крупнейшим в мире производителем высокоуглеродистого феррохрома с высоким содержанием хрома, это единственный производитель алюминия в стране.
В Казахстане ERG объединяет более 20 компаний в сфере добычи и переработки природных ресурсов, производства электроэнергии, логистики.ТОО «Business & Technology Services» (BTS) – быстроразвивающаяся, профессиональная ИТ-команда, которая входит в состав ERG – одной из ведущих в мире и наиболее диверсифицированных компаний в сфере добычи и переработки природных ресурсов.ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
  • Проектировать и разрабатывать DWH и процессы ETL/ELT:
  • собирать данные, из различных источников, такие как: SAP, MES, АСУТП и т.д.;
  • Настраивать загрузку данных и их движение между инструментами, создавать пайплайны – процессы движения данных от источника к нужному месту;
  • Структурировать данные так, чтобы они стали пригодны для аналитики
  • Разрабатывать эффективные схемы хранения данных для повышения производительности запросов и минимизации избыточности информации
  • Подготавливать витрины данных и предоставлять доступ аналитикам.
  • Обеспечивать качество, стабильность и доступность данных
  • Очищать данные, убирать дубли и устранять ошибки
  • Обнаруживать и описывать происхождение данных
  • Реализовать методы аутентификации, авторизации и шифрования для гарантии, что доступ к данным имеют только уполномоченные пользователи
  • Следить за работой системы, мониторить нагрузку на инфраструктуру и предпринимать действия для предотвращения сбоев
  • Внедрять улучшения и оптимизацию для подготовки данных
  • Совершенствовать используемые инструменты и искать способы улучшения и автоматизации существующих процессов обработки данных для ускорения доступа к информации.
ДЛЯ НАС ВАЖНО:
  • Высшее техническое образование. Опыт работы в области построения корпоративного хранилища данных (DWH), инженерии данных не менее 3 лет.
  • Опыт в построении пайплайнов больших данных, в промышленной разработке DWH и процессов ETL/ELT.
  • Умение оптимизировать структуры данных и производительность запросов, подготавливать витрины данных и решать задачи в области обработки данных.
  • Умение выстраивать процессы валидации и безопасности данных.
Основной стек, с которым предстоит работать: * Greenplum, Clickhouse, S3, Polars
  • AirFlow, Informatica Power Center, NiFi, DBT
  • Open Metadata
  • Знание реляционных СУБД ( MS SQL, PostgreSQL) Знание SQL Знание и опыт работы с ETL инструментами Знание облачного хранилища s3 Знания Airflow и достаточный уровень Python
МЫ ПРЕДЛАГАЕМ:
  • Конкурентная заработная плата
  • Участие в уникальных IT-проектах, направленных на цифровизацию производства
  • Корпоративное обучение, участие в IT-форумах, конференциях
  • Открытая корпоративная культура: мероприятия, митапы, хакатоны
  • Современный офис в центре города с просторными open spaces и тихими зонами для фокусной работы
  • Скидки на абонементы в спортивные залы, в офисе: шахматы, настольный теннис, йога, бег
  • Поддержка в значимых жизненных событиях
  • Возможность удаленного или гибридного формата работы
  • Медицинское обеспечение
  • Корпоративная мобильная связь
  • Возможность использования кафетерия льгот на обучение, спорт и т.д.
  • Возможность участия в программе ERG Balance я (наличие психологической поддержки и семинаров по ментальному здоровью)
ТОО «Сервисный центр ERG» - единый центр обслуживания предприятий Eurasian Resources Group в Казахстане, входящий в состав компании.Команда Сервисного центра предоставляет услуги высокого качества обслуживания, обеспечивая всестороннюю поддержку и развитие ERG.Мы оказываем услуги правовой экспертизы, финансовых операций, технического надзора, HR администрирования, медиа и коммуникаций, управления инфраструктурой и закупками, проектных и методологических услуг, социальных и организационных услуг, а также коммерческого и информационного контроля.Сервисный центр является надежным партнёром для всех предприятий ERG в Казахстане уже свыше 5 лет!

HeadHunter