ГОСТ Р 59879-2021 Эргономика. Проектирование и применение испытаний речевых технологий. Методика определения показателей качества распознавания голосовых команд управления

ГОСТ Р 59879-2021

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Эргономика. Проектирование и применение испытаний речевых технологий

МЕТОДИКА ОПРЕДЕЛЕНИЯ ПОКАЗАТЕЛЕЙ КАЧЕСТВА РАСПОЗНАВАНИЯ ГОЛОСОВЫХ КОМАНД УПРАВЛЕНИЯ

Ergonomics. Design and application of speech technology tests. Methodology for determining quality indicators of recognition of voice control commands

ОКС 35.240.99

Дата введения 2022-03-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным унитарным предприятием "Научно-исследовательский институт "Квант" ("ФГУП "НИИ "Квант")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 25 ноября 2021 г. N 1582-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

1 Область применения

1.1 В настоящем стандарте установлены методика определения показателей качества распознавания голосовых команд, перечень основных параметров и методы их оценки для определения качества работы систем распознавания голосовых команд управления. Данная методика определяет виды испытаний и последовательность их проведения.

1.2 Настоящий стандарт распространяется на системы распознавания голосовых команд управления.

1.3 Оценки, установленные настоящим стандартом, могут быть получены в автоматизированном (программном) режиме и использованы для сравнения различных систем распознавания голосовых команд управления, а также для формирования рекомендаций по их совершенствованию.

2 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

2.1 голосовая команда: Речевое сообщение, которое может быть распознано в качестве команды для функционального устройства.

2.2 словарь (системы распознавания голосовых команд управления): Перечень всех неповторяющихся команд системы распознавания голосовых команд управления.

2.3 грамматика (системы распознавания голосовых команд управления): Набор правил, заданный в определенном формате, определяющий структуру возможных команд в виде линейного перечисления слов или словосочетаний с возможностью подстановки переменных значений.

2.4 результат распознавания: Ответ от системы распознавания команд голосового управления в виде текстового представления распознанной команды и при наличии соответствующего ему значения достоверности.

2.5 достоверность: Один из выходных параметров системы распознавания голосовых команд управления, который представляет собой число в диапазоне от 0 до 1, характеризующее апостериорную оценку соответствия голосовой команды ответу от системы распознавания.

2.6 ложный отказ: Тип ошибки, при которой результат распознавания голосовой команды из словаря содержит истинное значение голосовой команды при значении достоверности, не превышающем заданное пороговое значение, либо результат распознавания не содержит ни одной команды, приведенной в словаре.

Доступ к полной версии документа ограничен

Название документа

Номер документа

59879-2021

Вид документа

Нормативно-технический документ

Классификация ОКС

35 Информационные технологии 35.240 Применение информационных технологий

Статус

Скрыто

Дата принятия

Скрыто

Дата начала действия

Скрыто

Документ «ГОСТ Р 59879 2021» представляет собой стандарт, регулирующий процесс проектирования и применения испытаний речевых технологий, с акцентом на методику определения показателей качества распознавания голосовых команд управления. Он предназначен для использования в различных сферах, включая разработку программного обеспечения, системы автоматизации и устройства, использующие голосовые интерфейсы. Стандарт обеспечивает единые подходы к оценке эффективности речевых технологий, что способствует их более широкому внедрению и применению.

Ключевыми аспектами, регламентируемыми данным стандартом, являются методы испытаний, параметры оценки, а также требования к условиям, в которых проводятся испытания. В документе описаны процедуры, необходимые для получения достоверных и воспроизводимых результатов, а также указаны параметры, которые должны быть измерены, включая точность распознавания, скорость реакции и устойчивость к шумовым помехам. Эти аспекты критически важны для обеспечения качественного взаимодействия пользователя с системой.

Технические детали, указанные в стандарте, охватывают условия испытаний, включая требования к акустической среде, настройке оборудования и подготовке тестовых данных. Также предусмотрены классификации речевых команд, которые помогают определить уровень сложности и специфики команд для более точной оценки систем. Измеряемые величины включают не только количественные параметры, но и качественные характеристики, такие как субъективные оценки удобства использования интерфейса.

Целевая аудитория стандарта включает производителей речевых технологий, научные и исследовательские лаборатории, а также контролирующие органы, занимающиеся сертификацией и проверкой качества. Стандарт служит основой для разработки новых продуктов и улучшения существующих решений, обеспечивая соответствие современным требованиям рынка и потребителей. Это способствует повышению доверия к речевым технологиям и их более широкому принятию в различных отраслях.

Практическое значение стандарта заключается в его влиянии на безопасность, качество и совместимость речевых технологий. Применение стандартизированных методов оценки позволяет минимизировать риски, связанные с ошибками в распознавании команд, что, в свою очередь, повышает уровень безопасности пользователей. Кроме того, стандарт способствует улучшению качества взаимодействия между человеком и машиной, что является важным аспектом в области охраны труда и повышения эффективности работы.

В документе также могут быть указаны изменения или дополнения, касающиеся актуализации методов испытаний и параметров, что отражает динамичное развитие технологий. Эти изменения направлены на учет новых тенденций и требований, возникающих в процессе активного внедрения речевых интерфейсов в повседневную жизнь и профессиональную деятельность.

Описание документа носит справочный характер, достоверность этого материала не гарантируется.