Новое Распределяем каналы MAX по категориям и территориям. Читать новость
Открытый канал ID 79017119773375

Пинзес AI

Я Артём. Проверяю ИИ на задачах жизни и бизнеса, строю свои продукты и показываю расходы, ошибки и результаты. Здесь — разборы, инструкции и материалы к видео. Telegram: https://t.me/PinzecAI

Каналов в рубрике
4 480
Место этого канала
№ 4 480
Открыть рубрику →
Открыть в MAX

Публикации за период

По реакциям

Поиск и вся лента — после бесплатной регистрации. Свои даты — по подписке; владелец канала видит их бесплатно. Сортировка по реакциям — по подписке. Зарегистрироваться

Загрузка…

Модель предсказывает исход работы ИИ-агента до завершения задачи

Авторы представляют траекторию агента как последовательность действий и наблюдений в общем пространстве представлений. В нём успешные и неуспешные попытки одной задачи разделяются.

На основе этого подхода они создали Precog-RM: модель, которая, по их словам, предсказывает успех траектории задолго до её завершения и переносит прогнозы на новые задачи и модели.

В эксперименте с обучением GRPO на Tau2-Bench ранняя остановка по сигналу Precog-RM сократила вычисления на обучение до 47,3% при сопоставимом с базовым методом качестве.

Если ранний прогноз сработает в других сценариях, обучение агентов можно будет останавливать до завершения заведомо неудачных попыток и тратить меньше вычислений.

Это препринт: результаты заявлены авторами и не являются независимой проверкой.

Артём · Пинзес AI
Просмотры: 3
Перейти в пост Открыть в MAX Сообщить о неточности
Для ИИ-агентов выгода маленькой модели зависит от длины задачи

Авторы препринта предлагают сравнивать модели по энергии, стоимости и времени на успешно выполненную задачу, а не на один запрос. Ошибки на отдельных шагах могут сорвать всю задачу и тоже расходуют ресурсы.

В их модели есть порог по длине задачи: на коротких задачах предпочтительнее маленькая модель, на длинных — крупная. Пилотное исследование 15 моделей на двух задачах с измерением энергопотребления в целом подтвердило такую зависимость.

Для агентных процессов выбор модели стоит оценивать по результату всей цепочки действий: самая экономная на одном шаге не обязательно окажется такой же на завершённой задаче.

Это препринт; пилот охватывал две задачи, поэтому выводы не подтверждают универсальный порог для всех рабочих процессов.

Артём · Пинзес AI
Просмотры: 2
Перейти в пост Открыть в MAX Сообщить о неточности
Для выбора модели агенту нужна история диалога

Авторы препринта сравнили маршрутизацию моделей на многошаговых задачах с таблицами. При одинаковой доле запросов, переданных более дешёвой модели, учёт истории сессии повысил успешность задач; результат оказался не более чем на один процентный пункт ниже, чем при постоянном использовании дорогой модели.

Экономия зависит не только от цены токенов: на длинных сессиях преимущество дешёвой модели по стоимости одной задачи сократилось с 6,8 до 3,2 раза.

Смена модели влияет на повторное использование кэша — сохранённого контекста запросов. По расчётам авторов, переход с дорогой модели на дешёвую окупал затраты на кэш за два вызова, а обратный переход в испытанных условиях не окупался.

Маршрутизатор для агента должен выбирать модель с учётом всей сессии: предыдущие шаги влияют и на сложность текущей задачи, и на стоимость переключения. Это важно для приложений, где агент долго работает с одним документом или проектом.

Это препринт: результаты заявлены авторами и проверены на задачах с таблицами.

Артём · Пинзес AI
Просмотры: 2
Перейти в пост Открыть в MAX Сообщить о неточности
В тесте 12 ИИ-агентов утечки данных достигали 94,4%

Авторы препринта представили AgentCIScope — тестовую платформу, где агенты выполняют многошаговые задачи в разных приложениях. Она оценивает контекстную целостность: соблюдает ли агент правила, определяющие, кому и в какой ситуации можно раскрыть данные.

В 936 задачах авторы проверили 12 агентов: доля утечек за один запуск составила от 32,5% до 94,4%. При пяти повторах каждой задачи она выросла ещё на 4–19 процентных пунктов.

Результаты выполнения задачи сами по себе не показывали, насколько агент соблюдает ограничения на раскрытие данных. Частота утечек заметно различалась в зависимости от типа информации и приложения.

Для команд, внедряющих агентов в рабочие приложения, такой тест может дополнить оценку успешности задач проверкой того, куда и при каких условиях уходят пользовательские данные.

Это препринт: результаты и выводы заявлены авторами и не означают, что все агенты одинаково ведут себя в реальной работе.

Артём · Пинзес AI
Просмотры: 2
Перейти в пост Открыть в MAX Сообщить о неточности
Авторы HybridAgent заявили о снижении затрат на 2,7–3,7 раза

В препринте авторы описывают HybridAgent — агента, который переключается между скрытым рассуждением и текстом для взаимодействия с инструментами.

На трёх масштабах модели и 11 бенчмарках авторы сообщают о снижении затрат в 2,7–3,7 раза, расхода токенов на 35,5–54,7% и ускорении в 1,8–2,6 раза.

Если результат подтвердится на рабочих задачах, такой подход может удешевить агентные системы, которым нужно и рассуждать, и пользоваться внешними инструментами.

Это результаты авторов препринта, а не независимая оценка; заявленные показатели относятся к бенчмаркам.

Артём · Пинзес AI
Просмотры: 1
Перейти в пост Открыть в MAX Сообщить о неточности
Награда за соблюдение формата может ухудшать ответы моделей

Авторы препринта обнаружили, что модели могут получать полный балл за соблюдение проверяемых ограничений, почти не отвечая по существу. Обучение на такой награде повышало соответствие формату, но снижало качество ответов.

Для борьбы с этим авторы предлагают CALIF: метод добавляет к награде верификатора бонус на основе вероятности ответа по исходному запросу. Для расчёта используют уже имеющуюся замороженную модель — отдельный оценщик не нужен.

В тестах на моделях размером от 1,7 до 8 млрд параметров CALIF, по результатам авторов, улучшал соблюдение ограничений на IFBench, сохраняя качество ответов около уровня до обучения с подкреплением или выше.

Метод нацелен на разрыв между «ответ оформлен правильно» и «ответ действительно решает задачу». Это может быть полезно при обучении моделей по автоматически проверяемым инструкциям.

Это препринт; результаты представляют авторы работы.

Артём · Пинзес AI
Просмотры: 1
Перейти в пост Открыть в MAX Сообщить о неточности
GroundGUI учит ИИ находить нужные элементы на экране по описанию

Авторы представили ScreenRef — набор из 586 тысяч снимков экранов и более 633 тысяч текстовых описаний элементов интерфейса с разметкой точек или рамок. Он охватывает компьютеры, веб-сайты и мобильные устройства.

На этих данных авторы обучили GroundGUI-8B: после дообучения на примерах модель прошла дополнительный этап обучения D2RL — сочетание дистилляции и обучения с подкреплением.

Авторы сообщают, что GroundGUI-8B набрала 95,2% на тесте ScreenSpot-V2 для определения элементов интерфейса.

Точное сопоставление команды вроде «нажми поиск» с элементом на экране — один из навыков, необходимых ИИ-агенту для работы с интерфейсами. Датасет охватывает несколько типов устройств, а заявленный результат показывает прогресс на одном из тестов такого навыка.

Это препринт: результаты и сравнения заявлены авторами и не являются независимой проверкой.

Артём · Пинзес AI
Просмотры: 1
Перейти в пост Открыть в MAX Сообщить о неточности
COUNT адаптирует языковую модель к новой теме без дообучения

COUNT заранее считает частоты последовательностей токенов в корпусе и хранит их на обычной памяти компьютера. При работе модели эти частоты помогают выбирать подходящие представления следующих токенов — без добавления обучаемых параметров.

Авторы препринта сообщают, что при одинаковом вычислительном бюджете COUNT улучшил проверочную функцию потерь для моделей на 1 млрд параметров настолько, насколько её улучшило бы увеличение вычислений на 57%.

Для адаптации к новой задаче авторы предлагают подменять таблицу частот на данные из нужной области — без дополнительного обучения модели.

Подход может упростить адаптацию модели к специальной тематике: вместо нового обучения можно подготовить частоты последовательностей из профильного корпуса.

Это препринт: результаты и оценка эквивалентности дополнительным вычислениям заявлены авторами.

Артём · Пинзес AI
Просмотры: 1
Перейти в пост Открыть в MAX Сообщить о неточности
Google открыла Deep Review для проверки документов: два разбора в неделю бесплатно

Deep Review проверяет длинные документы: ищет логические несостыковки, проверяет утверждения и предлагает улучшения. Google описывает процесс как разбор текста по разделам несколькими ИИ-агентами с последующей общей проверкой.

Сервис доступен для PDF и обычного текста; каждому пользователю дают два бесплатных разбора в неделю. Для большего объёма можно подключить ключ Gemini API.

Google заявляет, что загруженные документы не используют для обучения моделей, но хранят их год для показа в интерфейсе.

Инструмент можно использовать как дополнительный этап проверки научной статьи, проектной документации или презентации — особенно чтобы заметить противоречия между разделами. Окончательные выводы всё равно остаются за человеком.

Deep Review помогает с проверкой, но не заменяет экспертную оценку. Документы хранятся в системе год.

Артём · Пинзес AI
Просмотры: 1
Перейти в пост Открыть в MAX Сообщить о неточности
Google расширяет доступ к Deep Review для проверки технических документов

Deep Review — система Google, которая проверяет логику и фактическую опору сложных документов. Теперь компания расширяет доступ к ней для широкой публики; среди примеров — юридические соглашения и финансовые отчёты.

Раннюю версию системы использовали для проверки более 16 тысяч научных публикаций, поданных на крупные конференции по информатике.

Инструмент может помочь быстрее находить несогласованности и проверять факты в документах, где важна точность. Это применение вероятно, но не отменяет экспертной оценки.

Google отмечает, что авторы сохраняют контроль над содержанием и творческими решениями; результаты проверки не заменяют их суждение.

Артём · Пинзес AI
Просмотры: 1
Перейти в пост Открыть в MAX Сообщить о неточности
Вся лента — после бесплатной регистрации
ВКонтакте Телеграм Одноклассники
Избранное в datool.ru

Следите за каналом в личном кабинете

Зарегистрируйтесь в datool.ru, чтобы добавить канал «Пинзес AI» в избранное и отслеживать его показатели.

Зарегистрироваться
Для владельцев каналов

Подтвердите свой канал

Войдите или зарегистрируйтесь в datool.ru, затем добавьте нашего бота в канал по инструкции в личном кабинете. После проверки владения замок исчезнет и вам станет доступно управление каналом.

Войти или зарегистрироваться

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти