Специалист по тестированию и контролю качества ИИ управления исследований и методологии ИИ

  • Нур-Султан
  • Постоянная работа
  • Полная занятость
  • 12 д. назад
Обязанности:
  • Разрабатывать и актуализировать тест-план, тест-кейсы, чек-листы и матрицу качества для LLM/чат-бот/голосового бота.
  • Проводить функциональное, сценарное, негативное и устойчивое тестирование, включая регрессию при изменениях промптов/БЗ/модели.
  • Оценивать качество ответов по метрикам и классам (correct/partial/error/опасный/нарушение политики), формировать golden set тестовых запросов.
  • Анализировать логи/трассировки/дашборды, фиксировать дефекты, контролировать исправления и выявлять причины деградаций качества.
  • Готовить заключения go/no-go о готовности к UAT/пилоту/масштабированию/прому с учетом требований ИБ/ПДн.
Требования:Высшее образование: техническое / ИТ / математическое / прикладная статистика / инженерное либо иное профильное. Базовое понимание: тестирование ПО, основы анализа данных, логика бизнес-процессов.Опыт работы в тестировании ИТ- или ИИ-решений от 1 года (QA, аналитик тестирования, тест-инженер, контроль качества сервисов).Практический опыт:
  • разработки тест-кейсов/чек-листов/матриц качества,
  • проведения функционального и сценарного тестирования,
  • фиксации дефектов, ведения баг-репортов, контроля исправлений.
Опыт анализа поведения системы по логам/трассировкам/дашбордам (поиск причин нестабильности, деградаций качества, аномалий). Опыт подготовки отчетов/заключений по готовности решения к пилоту/масштабированию/промышленной эксплуатации.Дополнительно: тестирование LLM/NLP и диалоговых систем (функциональное/сценарное/негативное/устойчивостное), метрики и классификация качества ответов, разработка тест-артефактов (test plan/cases/checklists, golden set), LLMOps (версии, мониторинг, дрейф, трассируемость), анализ логов/дашбордов и дефект-менеджмент, критерии приемки и go/no-go, основы ИБ/ПДн/банковской тайны, грамотная коммуникация и отчетность. * Умение работать с офисными инструментами Microsoft Office (Word/Excel/PowerPoint) и корпоративными системами учета задач (Jira/аналог
Условия:
  • Достойная оплата труда
  • Участие в проектах Банка
  • Премирование (от выполнения KPI)
  • Возможность профессионального развития
  • Обучение за счет работодателя
  • Медицинское страхование (узкие специалисты, лечение у стоматолога, получение медикаментов, УЗИ и т.д.)
  • Материальная помощь (заключение брака, рождение ребенка и т.д.)
  • Отпуск 30 календарных дней
  • Лечебное пособие на оздоровление
  • Скидка на абонемент в популярный спортивный зал города
  • Участие в корпоративной жизни Банка
  • Участие в спортивных мероприятиях Банка (шахматы, теннис, футбол и т.д.)
  • Карьерный рост
  • Дружная команда
АО "Жилищный строительный сберегательный банк "Отбасы банк" созданный в апреле 2003 года по решению Правительства Республики Казахстан со 100% участием государства в уставном капитале, является в настоящее время единственным в Казахстане жилищным строительным сберегательным банком. Представляя собой доступный механизм финансирования приобретения жилья, основанный на накоплении индивидуальных сбережений, система жилищных строительных сбережений является качественно новой системой кредитования мероприятий по улучшению жилищных условий населения в Казахстане. Основная привлекательность займов АО "Жилстройсбербанк Казахстана" - это гарантирование низкой ставки вознаграждения в течение всего срока, на который предоставляется заем.
Сотрудники АО "Жилстройсбербанк Казахстана", полностью разделяя и понимая общие цели корпоративного развития, образуют коллектив единомышленников - команду профессионалов, чей труд высоко ценится.

HeadHunter