Как проверять качество генеративного ИИ и на каких условиях применять его в работе органов власти?

Эти вопросы стали темой секции «Искусственный интеллект в государственном и муниципальном управлении: динамические бенчмарки и графы знаний — как понять генеративный ИИ?» на III Международной научно-практической конференции «Наука для государственного управления в России».

Модераторы — директор исследовательского центра ИИ Президентской академии Сергей Боловцов, замдиректора Центра проектирования, методического сопровождения и мониторинга качества образовательных программ Академии Игорь Москалёв и Робот Игорёк.

Ключевые моменты:

🎙️ Илья Макаров, ведущий научный сотрудник и руководитель группы «ИИ в промышленности» AIRI, представил систему AI Researcher, которая автоматизирует исследовательский цикл от анализа литературы и выдвижения гипотез до проведения экспериментов, подготовки и рецензирования научного текста:
📌 выводы должны быть связаны с конкретными экспериментами, кодом и источниками;
📌 именно человек задает направление исследования, проверяет результаты и несет ответственность за публикацию.

🎙️ Денис Турдаков, директор Исследовательского центра доверенного ИИ Института системного программирования имени В. П. Иванникова РАН, рассказал, почему оценивать необходимо решение целиком, включая языковую модель, инструменты и отраслевые рабочие процессы:
📌 представил подход к динамическим бенчмаркам, в которых часть заданий регулярно обновляется при сохранении структуры и критериев оценки.

🎙️ Пётр Отоцкий, замдиректора Центра «Цифровая школа госуправления» Президентской академии, представил исследование российских и зарубежных практик применения ИИ в органах публичной власти:
📌 рассмотрел сценарии от обработки документов и обращений граждан до поддержки нормотворчества и координации работы нескольких ведомств, а также условия тиражирования таких решений;
📌 доверие к ИИ не ограничивается технической надёжностью — необходимы понятные границы автоматизации, проверяемое качество каждого этапа, ответственность за решения, защита прав граждан и возможность обжалования.

@ranepa_official