Нейронавт | Нейросети в творчестве

Holi-World

Пайплайн от Ropedia превращает съемку от первого лица в 3D и 4D данные мира без ручной разметки. Записи со стереокамеры и IMU проходят реконструкцию и авторазметку, на выходе датасет и обученная на нем модель.

• Статичные объекты как 3D-боксы в единой системе координат
• Динамика как 4D-треки, предмет держит свой ID даже вне кадра
• Около 80 тысяч пар вопрос-ответ с привязкой к кадрам и объектам
• 30 типов вопросов, включая ловушки с неверными вариантами
• Человеческая проверка как второй контур контроля

• Модель на 4 млрд параметров

Авторы отдельно подчеркивают, что конкуренты на тестах получают подсказки, а их пайплайн нет.

huggingface.co/ropedia-ai/holiworld-vl

#videoto3d #videoto4d

PixText

Небольшая модель для правки криво сгенерированного текста на готовой картинке. Отдаешь изображение, области и нужную надпись, получаешь те же пиксели с исправленным текстом

• Точечная замена букв и слов без перегенерации кадра
• Несколько правок за один проход
• Сохраняет все, что вне зоны правки
• Латиница и китайские иероглифы

• Около 0,95 млрд параметров
• Работает в пиксельном пространстве, без VAE и текстового энкодера
• Две версии: MeanFlow за 4 шага и Teacher за 25

Пиксельный подход тут не случайно: VAE мылит мелкий текст, поэтому модель учат прямо на пикселях. Быстрая версия не требует ни энкодера, ни OCR, ни учителя

huggingface.co/ATH-MaaS/PixText
github.com/ATH-MaaS/PixText
registry.comfy.org/publishers/yaoliliu/nodes/pixtext

#i2i #imageediting

Hy-Nomas

Модель интерактивного видеомира от Tencent. Генерит мир кусками по несколько секунд, каждый новый сегмент помнит предыдущие, так что сцену можно вести дальше и менять по ходу

• Старт с картинки, управление текстом и траекторией камеры
• Смена сцены, стиля, действия и ракурса на каждом шаге
• 720x1280 при 24 кадрах в секунду
• LoRA-адаптация под узкие домены вроде робототехники

• На одной RTX 4090: INT8 веса, INT8 KV-кэш, выгрузка на CPU
• Штатная конфигурация на 8 GPU

Порт в ComfyUI
• Хватает 12 ГБ видеопамяти, скорость почти не падает
• 10 с в 832x480 за 34 секунды, 20 с в 720p около 3 минут
• Режим WASD, примерно 4,3 с на секунду хода
• Промпт надо писать в формате Tencent, иначе продолжения игнорируются

github.com/Tencent-Hunyuan/Hy-Nomas
github.com/PedroMarinhoDev/ComfyUI-Hy-Nomas
huggingface.co/tencent/Hy-Nomas
hy-nomas.hy.tencent.com/demo

#comfyui #interactive #world

Kimi K3.1 Pro

Доводка Kimi K3 от Moonshot: архитектура та же, но посттренировки и RL заметно больше, причем сразу по сотням доменов

Контекст до миллиона токенов

• Кодинг: игры на Unity, Unreal и Godot, фронтенд, интерактивные сцены Three.js
• 3D: параметрические модели, скрипты для Blender и CAD без MCP
• Финансы: сверка документов, финмодели, инвестиционный анализ
• Агентные задачи с инструментами, терминалом и MCP
• Отдельная версия Highspeed, в 2-3 раза быстрее обычной

2,8 трлн параметров, 104 млрд активных, то есть класс 3T. Открытые веса обещают к 4 ноября. Уже доступна в Kimi, Kimi Work, Kimi Code и через API

#flagship #coding

со звуком

#humor

#humor

WeVisOne-VL-2B

Одна модель Tencent на замену пачке узких: детекция, поиск по описанию, счет объектов, указание точки, #OCR, сегментация и маттинг по подсказке

Все задачи сводятся к структурному предсказанию токенов, поэтому один проход закрывает рамки, маски и альфу в полном разрешении. Работает с одиночными картинками, сетку видео не принимает. Слабое место - сложная прозрачность и сильные перекрытия

• Находит объекты без заранее заданного списка классов
• Локализует по описанию словами и ставит точку на объекте
• Считает объекты и читает текст с координатами
• Режет объект по текстовому запросу
• Делает альфу с мягкими краями, например для вырезания человека

База Qwen3-VL, 2B

github.com/Tencent/WeVisOne-VL
huggingface.co/tencent/WeVisOne-VL-2B
huggingface.co/spaces/hugging-apps/wevisone-vl-4b

#detection #cv #segmentation

Canva Craft

Собственная модель генерации от Canva Research заточенная под дизайн. Отличие двухэтапное: сначала модель собирает композицию, раскладывает объекты, пропорции, иерархию и надписи, потом превращает этот план в готовую графику.

• Реклама, постеры, обложки, иллюстрации и прочие коммерческие макеты
• Правка отдельных элементов композиции после генерации
• Стыковка с Magic Layers, результат превращается в редактируемые слои Canva
• Надписи и запросы на 55 языках

• Разрешение до 2K
• Больше 30 соотношений сторон
• Работает в Dream Lab и через API
• Локального запуска нет
• Анонсированы быстрые Craft-fast и Craft-ultrafast

API
MCP - скоро

#design

OpenSplat

Реконструктор сплатов для Android
Первое открытое решение такого рода на Android, второе вообще, если считать Niantic Scaniverse

• Съемка и обучение сцены локально на устройстве
• Просмотр готового сплата на месте
• Работает без LiDAR, которого на Android нет
• Открытый код под Apache 2.0
• Интерфейс на SceneView, обучение на движке brush

• Навайбкожено за два месяца
• Обучение идет через WebGPU с трансляцией в Vulkan, отсюда переносимость
• В планах движок VkSplat, чтобы убрать прослойку и работать с GPU напрямую

Автор перебирал свежие статьи по мобильным 3DGS и довел до рабочего состояния только один подход

#gaussian #android #mobile

MOSS-Image MAX ULTRA hires LoRA

Экспериментальная лора #MOSSImage от Comfy-Org обученная на генерацию от 4 мегапикселей. Обычно модели на таких разрешениях начинают повторять объекты и мылят мелкое, здесь это правят на уровне весов

Первая картинка без лоры, вторая с лорой на 0.3

• Генерация в 4 МП и выше без апскейла
• LoHa-адаптер, ставится поверх базовой модели
• Три версии, v0.1, v0.2 и v0.3
• Примеры в 9 МП с прямым сравнением против базы

• Обучено на смеси аниме и фотографий от 3,5 до 10 МП
• База MOSS-Image-Base, сборка от Comfy-Org

Демо

#lora