Data инженер
Beeline, ТМ
- Алматы
- Постоянная работа
- Полная занятость
- Экспертный анализ предметной области с участием бизнес-заказчика
- Поиск и доступ к новым и существующим источникам данных
- Кластерный анализ данных из источников
- Инициализация загрузки данных из новых источников
- Подготовка данных, включая сбор, агрегацию и статистический анализ
- Поиск закономерностей и сбор признаков
- Масштабирование алгоритмов на больших объемах данных
- Презентация и защита витрин перед бизнес-заказчиком
- Подготовка сопроводительной документации и совместное проработка бизнес-требований.
- Опыт работы с SQL и NoSQL базами данных
- Знание SQL на уровне senior
- Опыт работы с технологиями Apache Hadoop, Apache Spark и другими платформами для работы с большими данными
- Навыки ETL процессов и опыт работы с соответствующими инструментами
- Программирование на Python
- Опыт построения и оптимизации "big data" pipelines и архитектур данных
- Знание систем потоковой обработки данных, таких как Kafka
- Опыт работы в Unix/Linux среде
- Навыки DevOps, включая CI/CD, Git, Jenkins и автоматизацию тестирования и деплоя
- Знание стандартов и принципов построения архитектуры данных.
HeadHunter