Team Lead Data Engineering
Исламский банк Заман Банк
- Нур-Султан
- Постоянная работа
- Полная занятость
Чем предстоит заниматься:Развивать компетенцию Data Engineering: формировать и развивать команду, проводить менторство, code review, организовывать обмен знаниями;Определять и внедрять инженерные стандарты и best practices (codestyle, DAGs, тестирование, документация);Проектировать и развивать архитектуру обработки данных на базе S3, Apache Iceberg, Spark/Flink/Trino, StarRocks/ClickHouse;Разрабатывать и оптимизировать ETL/ELT-пайплайны (Airflow, Airbyte, PySpark, Flink);Организовывать хранилища данных и витрины по подходам Kimball, Data Vault, Medallion;Развивать Data Quality-контроли при загрузке и публикации данных (целостность, полнота, актуальность);Участвовать в проектировании интеграций и API для безопасного и эффективного доступа к данным;Вовлекаться в ключевые продуктовые направления — Data Platform, AI Platform, Scoring, обеспечивая инженерное качество и совместимость решений. Что мы ищем в идеальном кандидате:
- 3+ лет опыта в Data Engineering (DWH, Data Lake, Data Lakehouse);
- Опыт лидерства и технического менторства (планирование/декомпозиция/оценка задач, развитие инженеров, code review);
- Отличное знание SQL (CTE, оконные функции, оптимизация запросов);
- Владение Python и PySpark (будет плюсом Scala/Java);
- Опыт работы с ClickHouse, PostgreSQL, S3-совместимыми хранилищами (MinIO, Ceph, Apache Ozone);
- Опыт использования Airflow, Airbyte и интеграции данных из различных источников;
- Опыт работы с CDC и near-realtime-потоками (Debezium, Kafka, Flink, Spark Streaming);
- Опыт работы Data Catalog (OpenMetadata, DataHub и др.);
- Понимание подходов моделирования данных (Kimball, Data Vault, Medallion);
- Знание и опыт работы с открытыми форматами таблиц (Apache Iceberg, Delta Lake, Apache Hudi);
- Понимание принципов Kubernetes, Docker, CI/CD;
- Опыт внедрения и эксплуатации платформенных решений в продакшене.
HeadHunter