Remote · вне РФ и РБ · разговорный английский__**

Мы — Aspirity Solution, студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру.

Сейчас мы ищем QA Engineer, который будет отвечать за качество, устойчивость и предсказуемость поведения AI-агентов и LLM-систем.

Чем предстоит заниматься:

-Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы).

-Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов.

-Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования.

-Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах.

-Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.

-Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды.

-Вести техническую документацию и описывать best practices.

Требования

-Опыт работы в QA (manual или automation) от 2 лет.

-Практический опыт тестирования AI-агентов или чат-ботов.

-Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.

-Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).

-Опыт автоматизированного тестирования (желательно — для AI-агентов).

-Уверенное владение Python на уровне написания тестов и утилитарных скритов.