Data Engineer

Bright Technologies

  • Нур-Султан
  • Постоянная работа
  • Полная занятость
  • 19 ч. назад
Обязанности:
  • Разрабатывать и поддерживать процессы загрузки и обработки данных (ETL/ELT)
  • Интегрировать данные из различных источников (БД, API, файловые хранилища, стриминговые системы)
  • Проектировать и оптимизировать хранилища данных (Data Warehouse, Data Lake)
  • Настраивать потоковую и пакетную обработку данных (Kafka, Spark и др.)
  • Следить за качеством, надёжностью и доступностью данных
  • Работать совместно с аналитиками и Data Scientists, обеспечивая их необходимыми данными
  • Документировать процессы и поддерживать существующую инфраструктуру данных
Требования:
  • Опыт работы Data Engineer от 2 лет
  • Отличные знания SQL и опыт оптимизации запросов
  • Практический опыт работы с реляционными СУБД (PostgreSQL, MS SQL, MySQL и др.)
  • Опыт работы с системами потоковой обработки данных (Kafka, Spark Streaming, Flink и др.)
  • Опыт работы с Python (pandas, PySpark, Airflow и др.)
  • Понимание принципов построения DWH и Data Lake
  • Опыт работы с системами контроля версий (Git)
  • Навыки работы в Docker / CI/CD среде
⁠Компания занимается разработкой программного обеспечения, подбором квалифицированных разработчиков и предоставлением их услуг другим компаниям. Мы предлагаем полный цикл разработки IT-решений, а также аутсорсинг и аутстаффинг специалистов для реализации сложных проектов. Наш подход обеспечивает качественное выполнение задач и соответствие требованиям заказчика.

HeadHunter