Data Engineer/Дата инженер (по работе с регуляторной отчетностью в банках)
Agile Soft
Алматы
Постоянная работа
Полная занятость
6 ч. назад
В IT компании открыта вакансия Data Engineer/Дата инженер.Опыт работы с разработкой отчета "кредитный регистр" будет существенным преимуществом.Обязанности:Опыт работы с регуляторной отчетностью (в банках), формирование отчетов, понимание разницы атрибутов;Построение потоков данных для хранилища;Оптимизация выгрузок данных из систем источников;Реализация трансформаций в целевые модели данных хранилища;Выгрузка данных в другие системы для дальнейшей обработки;Реализация сверочных отчетов.Требования:Опыт работы в области разработки хранилищ больших данных не менее 2 лет;Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных;Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем;Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT;Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc;Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Pyton;Опыт использования инструментом трансформации данных (DBT, Spark, Pyton);Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql);Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB);Опыт построения хранилищ для финансового сектора;Опыт работы с инструментами DataGovernance;Опыт в области проектирования схемы данных, баз данных и хранилищ;Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio);Опыт интергации с технологиями CDC (GoldenGate, Informatica, Debezium)Компания занимается разработкой IT решений, аутсорсингом IT услуг, аутстаффингом IT персонала