ISO/IEC TR 29119-11-2020 Software and systems engineering — Software testing — Part 11: Guidelines on the testing of AI-based systems

Документ «ISO/IEC TR 29119-11-2020» посвящён вопросам тестирования программных и системных решений, в частности, систем, основанных на искусственном интеллекте. Основное назначение данного документа — предоставить рекомендации и руководящие принципы для обеспечения адекватного и эффективного тестирования AI-систем. Сфера его применения охватывает разнообразные области, включая разработку, оценку и внедрение решений с использованием искусственного интеллекта.

Ключевыми аспектами являются методы тестирования, параметры оценки, требования к документированию и процедуры, которые должны соблюдаться при тестировании таких систем. Документ описывает подходы к проектированию тестов, а также обращает внимание на необходимость учитывать особенности AI, такие как обучающие данные и обобщающая способность модели. Это может включать в себя оценку качества данных, используемых для обучения, и их влияние на результативность системы.

Важные технические детали охватывают условия проведения испытаний, необходимость проведения как функциональных, так и нефункциональных тестов, а также классификацию различных методов тестирования по уровням сложности и специфике применения. Измеряемые величины и критерии успеха тестирования также подробно рассматриваются, чтобы обеспечить всесторонний анализ работы AI-систем в разнообразных сценариях эксплуатации.

Целевая аудитория включает производителей программного обеспечения, лаборатории, исследовательские учреждения и контролирующие органы, заинтересованные в стандартах и методах тестирования, соответствующих современным требованиям. Документ служит важным инструментом для специалистов, занимающихся обеспечением качества и безопасности программных решений, основанных на искусственном интеллекте.

Практическое значение стандарта заключается в его влиянии на безопасность, качество, охрану труда и совместимость AI-систем с существующими стандартами. Обеспечение высоких стандартов тестирования способствует снижению рисков, связанных с внедрением и эксплуатацией AI-технологий, и обеспечивает более высокий уровень доверия пользователям. В документе учтены новейшие достижения в области AI и постулаты, что позволяет поддерживать актуальность его рекомендаций в условиях быстроменяющейся технологической среды.

Изменения и дополнения к предыдущим версиям документа касаются уточнения методических рекомендаций и методов тестирования, что отражает текущие тренды и вызовы, с которыми сталкиваются разработчики AI-систем. Эти уточнения стали результатом анализа практики и опыта, накопленных сообществом, что делает данный стандарт важным ресурсом для всех участников процесса тестирования и внедрения AI-технологий.