«Яндекс» предложил национальный тест для проверки ИИ

В прошлом посте мы писали о будущей проверке ИИ на соответствие российским духовно-нравственным ценностям. И главный вопрос был простым: «как вообще измерить такие вещи?»

Теперь появился возможный ответ. «Яндекс» предложил создать национальный датасет – специальный набор вопросов и правильных ответов, по которому будут тестировать нейросети.

Но тут возникает новая проблема. С математикой всё понятно: дважды два – четыре. А какой ответ считать правильным, если речь идёт о патриотизме, справедливости, милосердии или семье?

Кто будет придумывать такие вопросы? Кто решит, какой ответ правильный, а какой нет?

Сейчас обсуждают вариант, при котором в создании теста будут участвовать государство, бизнес и эксперты. При этом ФСБ предлагает закрыть тест, чтобы разработчики не могли заранее подготовить свои модели. Бизнес, наоборот, выступает за открытый вариант.

И получается интересная ситуация... Мы уже пытаемся придумать, как проверять ИИ на ценности, но пока не до конца понятно, как сами эти ценности превратить в понятный тест.

И это, пожалуй, даже важнее самого теста.

ЦиК