ГОСТ Р 57700.36-2021 Высокопроизводительные вычислительные системы. Оценка производительности высокопроизводительных вычислительных систем на алгоритмах, использующих сверточные нейронные сети

ГОСТ Р 57700.36-2021

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ

Оценка производительности высокопроизводительных вычислительных систем на алгоритмах, использующих сверточные нейронные сети

High-performance computing systems. Performance evaluation of high-performance computing systems on algorithms using convolutional neural network

ОКС 35.240.50

Дата введения 2022-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным унитарным предприятием "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") и Федеральным государственным унитарным предприятием "Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт экспериментальной физики" (ФГУП "РФЯЦ-ВНИИЭФ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 700 "Математическое моделирование и высокопроизводительные вычислительные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 16 сентября 2021 N 980-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Развитие вычислительной техники делает возможным постоянное расширение числа прикладных задач, решаемых с помощью технологий искусственного интеллекта. В частности, повсеместное применение в задачах компьютерного зрения находят алгоритмы на основе сверточных нейронных сетей (СНС). Распространение СНС повлекло за собой создание различных специализированных архитектур вычислителей.

СНС обладают своей спецификой, не позволяющей объективно оценить реальную производительность вычислителя или вычислительной системы с помощью только общих технических характеристик. Возникла необходимость в специальной методике для оценки реальной производительности различных вычислительных систем в задачах, использующих алгоритмы на основе СНС.

В настоящем стандарте описана методика оценки производительности высокопроизводительных вычислительных систем (ВВС) и их частей на алгоритмах, использующих СНС. Методика была разработана с целью максимального упрощения задачи оценки производительности для лиц, не знакомых с СНС, сделать возможным оценку производительности без использования источников информации, отличных от настоящего стандарта, в то же время позволяя эффективно применять методику для оценки вычислительных систем любого типа и размера.

В качестве необходимых данных для создания эталонных реализаций тестов производительности в настоящем стандарте приведены описания типовых операций СНС и описания типовых нейронных сетей. Для создания высокопроизводительных реализаций СНС в настоящем стандарте приведена методика верификации реализации СНС. Высокопроизводительные реализации СНС используются в описанной в настоящем стандарте методике оценки производительности.

В настоящем стандарте также приведены рекомендуемые требования к программному обеспечению (ПО), используемому при тестировании производительности согласно приведенной методике, и вычислительным системам, применяемым для вычислений СНС. Несоблюдение требований к ПО может привести либо к невозможности выполнения оценки производительности, либо к получению значений реальной производительности в разы меньших по сравнению со значениями, которые могут быть практически получены на той же вычислительной технике. Несоблюдение требований к вычислительным системам может привести к применению для вычислений СНС ВВС, заведомо не способных продемонстрировать на них удовлетворительный уровень производительности.

Методику оценки производительности, описанную в настоящем стандарте, рекомендуется применять, в том числе, при составлении требований технического задания на ВВС и их части, при составлении требований на прикладное ПО, реализующее вычисления СНС на ВВС и их частях, при описании характеристик ВВС, которые предполагается применять для алгоритмов, использующих СНС.

1 Область применения

Настоящий стандарт устанавливает методику определения реальной производительности высокопроизводительных вычислительных систем (ВВС) в задачах, использующих алгоритмы на основе сверточных нейронных сетей (СНС), методику верификации реализаций СНС, а также рекомендательные требования к вычислительным системам и программному обеспечению (ПО).

Методика оценки производительности и требования к вычислительным системам и ПО, установленные настоящим стандартом, рекомендуются для использования при оценке производительности вычислительных систем, применяемых для решения задач, использующих алгоритмы на основе СНС. Методика верификации реализаций СНС рекомендуется для использования при реализации алгоритмов на основе СНС.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 57700.27 Высокопроизводительные вычислительные системы. Термины и определения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ Р 57700.27, а также следующие термины с соответствующими определениями:

3.1 искусственный интеллект (artificial intelligence): Комплекс технологических и программных решений, приводящих к результату, аналогичному или превосходящему результат интеллектуальной деятельности человека (включая способность к самообучению), и используемых для решения прикладных задач на основе данных, в том числе с помощью систем компьютерного зрения, систем обработки естественного языка, рекомендательных систем и интеллектуальных систем поддержки принятия решений и робототехники.

3.2 машинное обучение (machine learning): Процесс обучения алгоритмов искусственного интеллекта с использованием вычислительной техники.

3.3 обучение (training): Процесс создания или улучшения определенной функциональности алгоритмов искусственного интеллекта либо путем использования набора данных в качестве примеров для предполагаемого отношения вопрос/ответ, либо путем обеспечения положительной или отрицательной обратной связи с выходными данными, полученными для соответствующих входных данных.

3.4 нейронная сеть (neural network): Алгоритм из класса алгоритмов искусственного интеллекта, представляющий собой предопределенную последовательность действий с множеством регулируемых параметров, в котором значения выходных данных сложным образом зависят от значений входных данных.

3.5 алгоритм (algorithm): Точно установленное предписание о выполнении в определенном порядке некоторой последовательности операций, однозначно ведущих к решению той или иной конкретной задачи.

3.6 среда машинного обучения (machine learning framework): Программное обеспечение, упрощающее создание пользователем реализаций СНС, обучение СНС и применение СНС.

3.7 тест производительности (benchmark): Типовая тестовая программа, используемая при тестировании производительности вычислительной системы или ее части.

Название документа

ГОСТ Р 57700.36-2021 Высокопроизводительные вычислительные системы. Оценка производительности высокопроизводительных вычислительных систем на алгоритмах, использующих сверточные нейронные сети

Номер документа

57700.36-2021

Вид документа

Нормативно-технический документ

Принявший орган

Росстандарт

Классификация ОКС

35 Информационные технологии 35.240 Применение информационных технологий

Статус

Скрыто

Дата принятия

Скрыто

Дата начала действия

Скрыто

Документ «ГОСТ Р 57700 36 2021» устанавливает требования и методы оценки производительности высокопроизводительных вычислительных систем, применяющих алгоритмы, использующие сверточные нейронные сети. Стандарт предназначен для использования в области высокопроизводительных вычислений и может быть применён как в научных, так и в промышленных исследованиях, где требуется оценка эффективности вычислительных систем при решении задач машинного обучения и обработки данных.

Основные аспекты, регламентируемые данным стандартом, включают методы тестирования производительности, параметры, которые необходимо учитывать при проведении испытаний, а также требования к условиям, в которых должны проводиться измерения. Стандарт описывает процедуры, позволяющие получить объективные и воспроизводимые результаты при оценке работы систем, использующих сверточные нейронные сети, что является ключевым для обеспечения корректности и сопоставимости результатов.

Важные технические детали включают описание условий испытаний, таких как аппаратные требования, конфигурация системы и параметры тестовых наборов данных. Также документ определяет классификации измеряемых величин, таких как скорость обработки, точность выполнения задач и использование ресурсов системы. Эти параметры критически важны для анализа производительности и могут служить основой для дальнейших исследований и оптимизации систем.

Целевая аудитория стандарта включает производителей высокопроизводительных вычислительных систем, исследовательские лаборатории, а также контролирующие органы, занимающиеся сертификацией и аккредитацией данных систем. Стандарт предоставляет единые критерии, которые позволяют всем участникам процесса оценивать и сравнивать вычислительные системы, что способствует улучшению качества и безопасности разрабатываемых решений.

Практическое значение стандарта заключается в его влиянии на качество и безопасность высокопроизводительных вычислительных систем. Следование требованиям ГОСТ Р 57700 36 2021 позволяет обеспечить совместимость систем, а также повысить уровень доверия к результатам их работы. Кроме того, стандарт может способствовать улучшению условий труда, обеспечивая более эффективные и безопасные технологии обработки данных.

В документе не указаны значительные изменения или дополнения по сравнению с предыдущими версиями, однако его актуализация отражает современные тенденции и требования в области высокопроизводительных вычислений. Это делает стандарт важным инструментом для специалистов, работающих в данной области, и обеспечивает соответствие современным научным и техническим достижениям.

Описание документа носит справочный характер, достоверность этого материала не гарантируется.