New We are sorting MAX channels into categories and territories. Read the news
Public channel ID 79017119773375

Пинзес AI

Я Артём. Проверяю ИИ на задачах жизни и бизнеса, строю свои продукты и показываю расходы, ошибки и результаты. Здесь — разборы, инструкции и материалы к видео. Telegram: https://t.me/PinzecAI

Channels in category
5 768
This channel's rank
№ 4 569
Open category →
Russia
Open in MAX Report

Posts for the period

By reactions

Search and the whole feed — after free registration. Custom dates — with a subscription; the channel owner sees them for free. Sorting by reactions — with a subscription. Sign up

Loading…

Модель предсказывает исход работы ИИ-агента до завершения задачи

Авторы представляют траекторию агента как последовательность действий и наблюдений в общем пространстве представлений. В нём успешные и неуспешные попытки одной задачи разделяются.

На основе этого подхода они создали Precog-RM: модель, которая, по их словам, предсказывает успех траектории задолго до её завершения и переносит прогнозы на новые задачи и модели.

В эксперименте с обучением GRPO на Tau2-Bench ранняя остановка по сигналу Precog-RM сократила вычисления на обучение до 47,3% при сопоставимом с базовым методом качестве.

Если ранний прогноз сработает в других сценариях, обучение агентов можно будет останавливать до завершения заведомо неудачных попыток и тратить меньше вычислений.

Это препринт: результаты заявлены авторами и не являются независимой проверкой.

Артём · Пинзес AI
Views: 3
Go to post Open in MAX Report an inaccuracy
Для ИИ-агентов выгода маленькой модели зависит от длины задачи

Авторы препринта предлагают сравнивать модели по энергии, стоимости и времени на успешно выполненную задачу, а не на один запрос. Ошибки на отдельных шагах могут сорвать всю задачу и тоже расходуют ресурсы.

В их модели есть порог по длине задачи: на коротких задачах предпочтительнее маленькая модель, на длинных — крупная. Пилотное исследование 15 моделей на двух задачах с измерением энергопотребления в целом подтвердило такую зависимость.

Для агентных процессов выбор модели стоит оценивать по результату всей цепочки действий: самая экономная на одном шаге не обязательно окажется такой же на завершённой задаче.

Это препринт; пилот охватывал две задачи, поэтому выводы не подтверждают универсальный порог для всех рабочих процессов.

Артём · Пинзес AI
Views: 2
Go to post Open in MAX Report an inaccuracy
Для выбора модели агенту нужна история диалога

Авторы препринта сравнили маршрутизацию моделей на многошаговых задачах с таблицами. При одинаковой доле запросов, переданных более дешёвой модели, учёт истории сессии повысил успешность задач; результат оказался не более чем на один процентный пункт ниже, чем при постоянном использовании дорогой модели.

Экономия зависит не только от цены токенов: на длинных сессиях преимущество дешёвой модели по стоимости одной задачи сократилось с 6,8 до 3,2 раза.

Смена модели влияет на повторное использование кэша — сохранённого контекста запросов. По расчётам авторов, переход с дорогой модели на дешёвую окупал затраты на кэш за два вызова, а обратный переход в испытанных условиях не окупался.

Маршрутизатор для агента должен выбирать модель с учётом всей сессии: предыдущие шаги влияют и на сложность текущей задачи, и на стоимость переключения. Это важно для приложений, где агент долго работает с одним документом или проектом.

Это препринт: результаты заявлены авторами и проверены на задачах с таблицами.

Артём · Пинзес AI
Views: 2
Go to post Open in MAX Report an inaccuracy
В тесте 12 ИИ-агентов утечки данных достигали 94,4%

Авторы препринта представили AgentCIScope — тестовую платформу, где агенты выполняют многошаговые задачи в разных приложениях. Она оценивает контекстную целостность: соблюдает ли агент правила, определяющие, кому и в какой ситуации можно раскрыть данные.

В 936 задачах авторы проверили 12 агентов: доля утечек за один запуск составила от 32,5% до 94,4%. При пяти повторах каждой задачи она выросла ещё на 4–19 процентных пунктов.

Результаты выполнения задачи сами по себе не показывали, насколько агент соблюдает ограничения на раскрытие данных. Частота утечек заметно различалась в зависимости от типа информации и приложения.

Для команд, внедряющих агентов в рабочие приложения, такой тест может дополнить оценку успешности задач проверкой того, куда и при каких условиях уходят пользовательские данные.

Это препринт: результаты и выводы заявлены авторами и не означают, что все агенты одинаково ведут себя в реальной работе.

Артём · Пинзес AI
Views: 2
Go to post Open in MAX Report an inaccuracy
Авторы HybridAgent заявили о снижении затрат на 2,7–3,7 раза

В препринте авторы описывают HybridAgent — агента, который переключается между скрытым рассуждением и текстом для взаимодействия с инструментами.

На трёх масштабах модели и 11 бенчмарках авторы сообщают о снижении затрат в 2,7–3,7 раза, расхода токенов на 35,5–54,7% и ускорении в 1,8–2,6 раза.

Если результат подтвердится на рабочих задачах, такой подход может удешевить агентные системы, которым нужно и рассуждать, и пользоваться внешними инструментами.

Это результаты авторов препринта, а не независимая оценка; заявленные показатели относятся к бенчмаркам.

Артём · Пинзес AI
Views: 1
Go to post Open in MAX Report an inaccuracy
Награда за соблюдение формата может ухудшать ответы моделей

Авторы препринта обнаружили, что модели могут получать полный балл за соблюдение проверяемых ограничений, почти не отвечая по существу. Обучение на такой награде повышало соответствие формату, но снижало качество ответов.

Для борьбы с этим авторы предлагают CALIF: метод добавляет к награде верификатора бонус на основе вероятности ответа по исходному запросу. Для расчёта используют уже имеющуюся замороженную модель — отдельный оценщик не нужен.

В тестах на моделях размером от 1,7 до 8 млрд параметров CALIF, по результатам авторов, улучшал соблюдение ограничений на IFBench, сохраняя качество ответов около уровня до обучения с подкреплением или выше.

Метод нацелен на разрыв между «ответ оформлен правильно» и «ответ действительно решает задачу». Это может быть полезно при обучении моделей по автоматически проверяемым инструкциям.

Это препринт; результаты представляют авторы работы.

Артём · Пинзес AI
Views: 1
Go to post Open in MAX Report an inaccuracy
GroundGUI учит ИИ находить нужные элементы на экране по описанию

Авторы представили ScreenRef — набор из 586 тысяч снимков экранов и более 633 тысяч текстовых описаний элементов интерфейса с разметкой точек или рамок. Он охватывает компьютеры, веб-сайты и мобильные устройства.

На этих данных авторы обучили GroundGUI-8B: после дообучения на примерах модель прошла дополнительный этап обучения D2RL — сочетание дистилляции и обучения с подкреплением.

Авторы сообщают, что GroundGUI-8B набрала 95,2% на тесте ScreenSpot-V2 для определения элементов интерфейса.

Точное сопоставление команды вроде «нажми поиск» с элементом на экране — один из навыков, необходимых ИИ-агенту для работы с интерфейсами. Датасет охватывает несколько типов устройств, а заявленный результат показывает прогресс на одном из тестов такого навыка.

Это препринт: результаты и сравнения заявлены авторами и не являются независимой проверкой.

Артём · Пинзес AI
Views: 1
Go to post Open in MAX Report an inaccuracy
COUNT адаптирует языковую модель к новой теме без дообучения

COUNT заранее считает частоты последовательностей токенов в корпусе и хранит их на обычной памяти компьютера. При работе модели эти частоты помогают выбирать подходящие представления следующих токенов — без добавления обучаемых параметров.

Авторы препринта сообщают, что при одинаковом вычислительном бюджете COUNT улучшил проверочную функцию потерь для моделей на 1 млрд параметров настолько, насколько её улучшило бы увеличение вычислений на 57%.

Для адаптации к новой задаче авторы предлагают подменять таблицу частот на данные из нужной области — без дополнительного обучения модели.

Подход может упростить адаптацию модели к специальной тематике: вместо нового обучения можно подготовить частоты последовательностей из профильного корпуса.

Это препринт: результаты и оценка эквивалентности дополнительным вычислениям заявлены авторами.

Артём · Пинзес AI
Views: 1
Go to post Open in MAX Report an inaccuracy
Google открыла Deep Review для проверки документов: два разбора в неделю бесплатно

Deep Review проверяет длинные документы: ищет логические несостыковки, проверяет утверждения и предлагает улучшения. Google описывает процесс как разбор текста по разделам несколькими ИИ-агентами с последующей общей проверкой.

Сервис доступен для PDF и обычного текста; каждому пользователю дают два бесплатных разбора в неделю. Для большего объёма можно подключить ключ Gemini API.

Google заявляет, что загруженные документы не используют для обучения моделей, но хранят их год для показа в интерфейсе.

Инструмент можно использовать как дополнительный этап проверки научной статьи, проектной документации или презентации — особенно чтобы заметить противоречия между разделами. Окончательные выводы всё равно остаются за человеком.

Deep Review помогает с проверкой, но не заменяет экспертную оценку. Документы хранятся в системе год.

Артём · Пинзес AI
Views: 1
Go to post Open in MAX Report an inaccuracy
Google расширяет доступ к Deep Review для проверки технических документов

Deep Review — система Google, которая проверяет логику и фактическую опору сложных документов. Теперь компания расширяет доступ к ней для широкой публики; среди примеров — юридические соглашения и финансовые отчёты.

Раннюю версию системы использовали для проверки более 16 тысяч научных публикаций, поданных на крупные конференции по информатике.

Инструмент может помочь быстрее находить несогласованности и проверять факты в документах, где важна точность. Это применение вероятно, но не отменяет экспертной оценки.

Google отмечает, что авторы сохраняют контроль над содержанием и творческими решениями; результаты проверки не заменяют их суждение.

Артём · Пинзес AI
Views: 1
Go to post Open in MAX Report an inaccuracy
The full feed — after free sign-up
VKontakte Telegram Odnoklassniki
Favorites at datool.ru

Follow the channel in your account

Sign up at datool.ru to add the channel “Пинзес AI” to favorites and track its metrics.

Sign up
For channel owners

Verify your channel

Sign in or sign up at datool.ru, then add our bot to the channel following the instructions in your account. Once ownership is verified, the lock disappears and channel management becomes available.

Sign in or sign up

Report an inaccuracy

Describe what needs fixing. If you have a source, add a link.

You are leaving datool.ru

The link leads to an external website. datool.ru is not responsible for its content — check the address before entering passwords or payment details.

Redirecting in 10 s

Go