Нейронавт | Нейросети в творчестве

#humor

Qwen3.5-4B-3D-Coder

Кодинг-модель на 4B для 3D-сцен
Ранний файнтюн Qwen3.5-4B: учили общему кодингу и генерации трехмерных сцен

Ранняя версия

#3d #coding

Krea 2 в Pose Studio

#Krea2 поженили с редактором поз. Автору надоело, что Qwen и Klein дают мало разнообразия стилей и слабую реалистичность.

• Поза из референса или вручную на 3D-манекене
• Загрузка персонажа в любом стиле с сохранением этого стиля
• Генерация персонажа в заданной позе
• Апскейл и набор настроек для доводки результата

• Собрано на LoRA редактирования Krea 2
• Официальной поддержки Krea 2 в Pose Studio нет
• Сопутствующей LoRA, которая ведет позу точно, тоже нет
• Часть прогонов придется переделывать или крутить настройки

Оговорка от автора: работает в целом хорошо, но не как готовый продукт

civitai.red/models/3017219/krea-2-pose-studio-or-pose-your-characters-in-any-style
youtube.com/watch?v=6RQSVyMrRvs

#pose2image #workflow

MatAnyone-E

Быстрое матирование видео, на уровне прошлой версии

Сначала дешевый проход в низком разрешении, он подсказывает, где маска не уверена и какие участки памяти важны. Полное сопоставление идет только по этим местам, остальное берется из низкого разрешения. Декодер заменили на легкий

• Полноценная альфа для человека в кадре, согласованная между кадрами
• Тонкие края и сложная прозрачность
• Работа в нативном разрешении, без даунскейла
• Пригодно для композитинга, VFX и замены фона

• 73 кадра в секунду в 1080p на одной H200 с torch.compile
• 28,6 кадра в секунду в 4K
• В 7,4 раза быстрее MatAnyone 2 на 4K
• Пиковой памяти ~ 3,1 ГБ

Код ждем

Спасибо @m_franz

#segmentation #matting #video2matte #video2mask #realtime

F2G-Pose

Поза, размер и форма объекта по одному снимку RGB-D с готовой маской. За один проход выдает 6D-положение, реальный масштаб и достроенное облако точек в системе координат камеры

Внутри замороженный RADIO дает плотные признаки, глубина и маска привязывают их к точкам сцены. Локальную геометрию собирает DGCNN, контекст объекта добавляет трансформер со смесью экспертов, дальше три головы считают позу, размер и форму

• Оценка положения категории без отдельной модели под каждый предмет
• Метрический размер, то есть понятно, насколько объект большой на самом деле
• Достройка формы: невидимая с камеры часть тоже предсказывается
• Работа на прозрачных и блестящих предметах: стекло, зеркальная посуда
• Годится для роботов: захват и установка по предсказанной позе

• 28 кадров в секунду только по позе, 23,7 с полной моделью

github.com/jrryzh/F2G-Pose
huggingface.co/J3rr1/F2G-Pose

#rgbd2pose #tracking #pose

Liquid RIPL

Движок инференса под линейку Liquid Foundation Models для задач с жестким лимитом по времени ответа. Полный ответ меньше чем за 50 мс при потоке до тысячи запросов в секунду

Ставка понятная: там, где раньше держали легкий бустинг из-за скорости, теперь можно поставить небольшую языковую модель и получить более гибкую логику. Вопрос в том, насколько качество на реальных данных перекрывает цену такого инференса, публичных замеров пока нет

Первым внедрил Shopify, в поиске

• Работа поверх модели в критическом пути запроса, а не в пакетной очереди
• Полный ответ, а не стрим по токенам с ожиданием
• Замена градиентных бустингов и векторных эмбеддингов в проде
• Онлайн-ранжирование, реклама, скоринг, антифрод
• Развертывание у клиента по запросу

• Задержка до 50 мс
• До 1000 запросов в секунду
• Только модели семейства LFM

#inference #realtime

StreamVibe

Ассистент от Google по видеопотоку с инициативой: сам решает, когда вмешаться, если просьба была расплывчатой. Обычные системы ждут команды с явным триггером, здесь достаточно цели.

Внутри две части: потоковая модель и обвязка, которая ведет состояние запросов, прогресс и прошлые ответы. Сначала обучение с балансом молчания и речи, затем RL на коротких отрезках вокруг точек помощи.

• Три уровня запроса: явный, неявный и меняющийся по ходу
• Подсказка в нужный момент без напоминания
• Отслеживание прогресса задачи, чтобы не повторяться и не давать устаревшие советы
• Правка просьбы на ходу: добавил, заменил или перебил
• Молчание по умолчанию, слово только в точке помощи

Код/веса ждем

#vlm #assistant #proactive

Fern

Первая модель Mirendil обученная с нуля. Контекст до 10 миллионов токенов, это примерно 23 МБ кода или полмиллиона строк

• Работа по большим репозиториям целиком
• Кодинг-агент: запускает команды, читает вывод, гоняет до зеленых тестов
• Разбор длинных логов и стектрейсов, поиск места, где сломалось обучение
• Чтение трасс агента от начала до конца с объяснением, что произошло
• Проверка претрейн-данных на дубликаты и загрязнение бенчмарками
• Заточка под исследовательский код: циклы обучения, пайплайны данных, замеры

• 0,1-0,5 трлн параметров
• На RULER поиск одиночного фрагмента 100% даже на 10 млн токенов
• Многошаговые вопросы на такой длине проседают до 45%
• Доступа пока нет, в разработке две модели крупнее

Цена длинного контекста - качество ответа

Спасибо @Endorpheen

#longcontext #coding

OPENjutsu

Открытое приложение от ComfyOrg для замены человека в видео на персонажа с картинки

• Замена человека по одной картинке
• Сохранение движений, ракурса и родной дорожки
• Выбор начала и длины фрагмента прямо в интерфейсе
• Два качества: 480p и 768p
• Опциональный первый кадр, чтобы персонаж точнее вошел в сцену

• Сделано на воркфлоу от Akatz Labs и #MiniMaxH3
• Нужен аккаунт Comfy и ключ API к своему деплою
• Тестировали на карте с 96 ГБ, RTX PRO 6000, меньшие конфигурации не проверяли

Первый кадр при желании готовит GPT Image 2.5 через Comfy Router. Внутри 8 шагов, CFG 1, окна по 124 кадра, маску ищет SAM по самому крупному человеку

github.com/Comfy-Org/comfy-openjutsu

#characterswap

Игры в Snapchat на PlayCanvas

Snapchat открыл Web Lenses: веб-игру можно упаковать в архив и опубликовать как Lens, без установки и магазина. Snap рекомендует PlayCanvas как основной движок. То есть, можно работать с 2D, 3D, WebGPU и сплатами

• Экспорт из PlayCanvas в zip и загрузка через My Lenses
• Запуск сразу в приложении, по имени или Snapcode
• Таблицы лидеров, Bitmoji и сохранения через API
• Работают 2D, 3D, WebGPU и гауссовы сплаты
• Сборка агентом через MCP или генерация в Easy Lens по промпту

• Архив до 8 МБ, index.html до 1 МБ
• Портретный экран 9:16, iOS и Android
• WebAssembly с потоками, воркеры и eval разрешены
• Сеть, камера, микрофон и датчики движения закрыты
• Пока бета, правила могут поменяться

developers.snap.com/web-lenses/home

#gamedev #news #gaussian