Data Engineer

Центр развития города Алматы, АО

Алматы
Постоянная работа
Полная занятость

1 д. назад

Компания: АО «Центр развития города Алматы»«Мы строим умный город, используя передовые технологии аналитики и визуализации данных»Мы расширяем свой департамент «Ситуационный центр г. Алматы» и ищем инженера данных, с опытом решения прикладных задач в области Smart City. Ситуационный центр отражает город в цифрах, с визуализацией и гео-пространственной аналитикой.Обязанности:

Разработка и поддержка инфраструктуры данных

Проектирование и настройка баз данных и хранилищ (PostgreSQL/PostGIS, ClickHouse).Оптимизация производительности и масштабируемости БД и хранилищ.Администрирование S3-совместимого хранилища MinIO, настройка политик хранения и доступа. * Сбор и интеграция данных в пайплайнеРазработка и поддержка процессов загрузки данных с веб-платформы.Организация хранения файлов в MinIO (S3 Storage).Создание и сопровождение DAG-ов в Apache Airflow для автоматизации обработки данных.Настройка взаимодействия с Apache Kafka для передачи сообщений между компонентами системы.Запись обработанных данных в OLAP-базу ClickHouse.Публикация аналитических данных в PostGIS для дальнейшей гео-аналитики. * Обработка и анализ данныхОчистка, нормализация и моделирование данных в рамках ETL-процессов.Разработка и оптимизация SQL-запросов для аналитики и выгрузок.Построение моделей данных, справочников и мастер-данных. * Автоматизация и мониторингАвтоматизация процессов сбора, обработки и визуализации данных.Настройка мониторинга всех компонентов пайплайна (MinIO, Airflow, Kafka, ClickHouse, PostGIS).Устранение сбоев и оптимизация времени обработки. * Документирование и взаимодействиеПодготовка технической документации по каждому компоненту пайплайна.Согласование архитектурных решений с командой разработчиков и аналитиков.Обучение и консультирование пользователей системы по работе с данными и пайплайном.Требования:

Образование и опыт

Высшее техническое образование.Опыт работы от 3 лет в области дата-инженерии, интеграции и обработки данных.Опыт построения и сопровождения сложных ETL-процессов. * Технологические навыкиУверенное знание SQL и Python.Опыт работы с PostgreSQL (включая PostGIS), ClickHouse.Навыки работы с S3-совместимыми хранилищами (MinIO или аналогами).Опыт разработки DAG-ов и администрирования Apache Airflow.Опыт настройки и использования Apache Kafka для обмена сообщениями.Понимание OLAP/OLTP-систем и оптимизации запросов.Навыки работы с форматами данных XML, JSON, CSV.Опыт интеграций через REST API. * Инфраструктура и DevOpsНавыки контейнеризации и оркестрации (Docker, Kubernetes).Опыт работы с системами управления версиями (Git).Знание Linux CLI и администрирования серверов.Опыт настройки мониторинга и логирования (Prometheus, Grafana, ELK и др.). * Аналитика и визуализация

Опыт работы с BI-системами (Power BI) и подключением их к базам данных.
Понимание принципов гео-аналитики и работы с гео-пространственными данными.

Навыки построения аналитических моделей и дашбордов. * Методы анализа данныхЗнание основных методов статистики и анализа данных.Опыт работы с большими данными, включая потоковую обработку.Понимание принципов машинного обучения (ML) и их применения в аналитике (как преимущество). * Личные качестваЛогическое и аналитическое мышление.Организованность, внимательность к деталям.Умение эффективно взаимодействовать с разработчиками, аналитиками и заказчиками.Готовность работать в многозадачной среде и в команде.Будет преимуществом:

Опыт администрирования и оптимизации ClickHouse в высоконагруженных системах.
Знание и опыт работы с Apache Kafka для потоковой обработки данных в реальном времени.
Практический опыт работы с MinIO или другими S3-совместимыми хранилищами.
Участие в проектах по построению сложных ETL-процессов в Apache Airflow.
Опыт интеграции и автоматизации аналитических пайплайнов “end-to-end” (от Website до PostGIS).
Знание принципов и технологий Big Data (Spark, Hadoop, Flink).
Навыки разработки и поддержки API для обмена данными между системами.
Опыт применения методов машинного обучения (ML) и искусственного интеллекта (AI) для анализа данных.
Владение английским языком на уровне, достаточном для чтения технической документации.
Опыт работы с системами контейнеризации и оркестрации (Docker, Kubernetes).
Навыки работы с системами мониторинга и логирования (Prometheus, Grafana, ELK).

Гибкие навыки:

Опыт работы в команде над проектами с высокой степенью неопределённости.
Навыки коммуникации, ведения переговоров. Находить общий язык с заказчиками, умение вести конструктивную коммуникацию с коллегами.
Умение нестандартно мыслить. Критический анализ собственных идей и информации.
Ответственный подход к решению поставленных задач и доведению их до продакшена.
Логический и аналитический склад ума.
Точность и внимательность.
Желание развиваться и постоянно оптимизировать работу департамента.
Способность объяснять сложные вещи простыми словами.

Условия:Работа в современном офисе в центре Алматы.Карьерный рост и обучение за счёт компании.О Центре развития города АлматыАкционерное Общество «Центр развития города Алматы» создано на основании постановления Акимата города Алматы №2/331 от 30 мая 2008 года со 100% участием государства в уставном капитале.Цель: содействие социально-экономическому развитию города Алматы.Миссия: устойчивое развитие города Алматы опираясь на лучшие мировые практики и методы.

HeadHunter

Откликнуться