GroundGUI учит ИИ находить нужные элементы на экране по описанию

Авторы представили ScreenRef — набор из 586 тысяч снимков экранов и более 633 тысяч текстовых описаний элементов интерфейса с разметкой точек или рамок. Он охватывает компьютеры, веб-сайты и мобильные устройства.

На этих данных авторы обучили GroundGUI-8B: после дообучения на примерах модель прошла дополнительный этап обучения D2RL — сочетание дистилляции и обучения с подкреплением.

Авторы сообщают, что GroundGUI-8B набрала 95,2% на тесте ScreenSpot-V2 для определения элементов интерфейса.

Точное сопоставление команды вроде «нажми поиск» с элементом на экране — один из навыков, необходимых ИИ-агенту для работы с интерфейсами. Датасет охватывает несколько типов устройств, а заявленный результат показывает прогресс на одном из тестов такого навыка.

Это препринт: результаты и сравнения заявлены авторами и не являются независимой проверкой.

Артём · Пинзес AI