Data Engineer
Аврора Сервис
- Нур-Султан
- 100 000 тнг в месяц
- Постоянная работа
- Полная занятость
Компания Adata.kz занимается разработкой информационных сервисов.
- Проверка юридических лиц на благонадёжность и аффилированность.
- Проверка на наличие штрафов.
- Поиск и аналитика тендеров.
- Поиск вакансий и резюме.
- Аналитика по внешней экономической деятельности компаний (импортно-экспортные отношения).
- Автоматизация проверок комплаенс рисков.
Инженер данных, специализирующийся на построении эффективных пайплайнов для сбора, обработки, хранения и предоставления данных конечным пользователям.Обязанности:
- сбор данных из различных источников и предварительная обработка
- разработка и автоматизация ETL пайплайнов
- разработка микросервисов
- проектирование архитектуры базы данных
- написание запросов и формирование выгрузок
- уверенное владение Python
- уверенное владение SQL (желателен опыт с PostgreSQL)
- опыт работы с Git
- опыт работы с инструментами Postman/Insomnia
- знание C#, Go
- опыт проектирования Data Warehouse, Data Lake, Data Lakehouse
- опыт работы с ElasticSearch, Data Build Tool(DBT), ClickHouse
- опыт реализации ETL пайпланов с помощью инструмента Talend DI или его аналогов
- понимание микросервисной архитектуры и опыт работы с gRPC фреймворком
- опыт работы с Linux
- понимание контейнеризации и опыт работы с Docker и K8S
- опыт работы с очередями и брокерами сообщений (RabbitMQ, Kafka)
- опыт работы с Apache Airflow
- опыт работы с Big Data и оптимизацией запросов
- опыт работы и внедрения Debezium(CDC)
- опыт проектирования потоковой(стриминговой) обработки данных с помощью Apache Spark
- полностью офисный формат
- оформление по ТК РК
- график работы 5/2, с 09:00-18:00
- карьерный и профессиональный рост
- работа в сильной команде
HeadHunter