Нейронавт | Нейросети в творчестве

Опубликован код TrackEverything - плотного 3D-трекера точек на длинных видео

github.com/ayushjain1144/trackeverything

#tracking

Fibo 2.0 Dev

Единая модель Bria для генерации и редактирования изображений. Дает текст в картинку, правки по маске и мультирефы в одном пайплайне.

• Генерация по тексту с высоким контролем
• Инструкционное редактирование с сохранением остального кадра
• Маски и до 4 референсов для локальных правок и переносов
• Inspire — новый кадр по тексту с опорой на референс, без копирования картинки

• 8B параметров, flow-matching в латенте FLUX.2 VAE
• Qwen3-VL-4B-Instruct для текста; 50 шагов и guidance 5.0 для базы
• Размеры кратно 16, около 1 МП по умолчанию

• HuggingFace: huggingface.co/briaai/Fibo-2.0-dev
• Edit Turbo: huggingface.co/briaai/Fibo-2.0-edit-turbo
• ComfyUI: github.com/Bria-AI/ComfyUI-BRIA-API
• VGL: github.com/Bria-AI/vgl

Спасибо @mikheys

#imageediting

FastVideo FastH3 Omni

Как и обещали, выложили FastH3-Omni в опенсорс
Рилтаймовый #MinimaxH3

• Генерация видео и синхронизированного аудио из промпта и референсов
• Поддержка ComfyUI с нативным узлом MiniMax H3 Reference to Video
• Форматы BF16 и INT8 ConvRot под разные ускорители

• 8 шагов, guidance 1.0
• Видео shift 12.0, аудио shift 3.0
• Теги в промпте <Picture 1> <Video 1> <Audio 1>
• ComfyUI, UniServe, FastVideo — свои форматы чекпоинтов и рантаймов

HF
github.com/hao-ai-lab/uniserve
github.com/hao-ai-lab/FastVideo

N8Vision

Просмотрщик и менеджер библиотеки картинок для Windows. Сделан под свою коллекцию из 50 тысяч сгенерированных изображений, где проводник уже не тянет

• Лента превью с метаданными, выбор, перенос и удаление прямо на месте
• Перемещенные и удаленные карточки оставляют метки, пока не обновишь вид, место не теряется
• Ограниченные окна просмотра, чтобы большой архив не давил
• Парный мобильный интерфейс к библиотеке на ПК
• Поиск похожих по эмбеддингам, инспекция качества, SAM-маски, связка с ComfyUI
• Вырезание объектов через BiRefNet, подсказки руками для слипшихся фигур

#manager #comfyui

Mercury 3

Диффузионная языковая модель от Inception. Токены предсказываются не по одному, а пачкой параллельно и потом уточняются, отсюда скорость. Контекст на 1 млн токенов.

• Генерация больше 1000 токенов в секунду
• Браузерные и поисковые агенты, где каждая лишняя секунда копится
• Голосовая поддержка, репетиторство, разбор логов
• Совместимый с OpenAI API

• 1068 токенов в секунду на GPU NVIDIA
• Параметров больше, чем у первой Mercury, в 40 раз, скорость та же
• Контекст 1 млн против 260 тысяч у Mercury 2.5
• 0,10 доллара за 1 млн входных и 0,35 за выходные по стартовой скидке 50%, кеш дешевле еще на 90%

• На 50 живых задачах Mind2Web агент закрыл половину, больше GPT-6.1-Sol при том же расходе токенов
• Сравнения с GPT-6 Luna и Claude Haiku 5.5 свои: в 4-8 раз быстрее при сопоставимом качестве
• Доступна в Inception API, OpenRouter, Baseten и Vercel, новым ключам дают 100 млн токенов

Спасибо @Endorpheen

#dllm #agent

LILIE

Энкодер из Стэнфорда, делает потери при обучении картинок умнее

Пиксельная ошибка одинаково наказывает за шум на небе и за размытый самолет, хотя смысл у них разный. LILIE учит пространство, где расстояние ближе к смыслу.

• Обратимый энкодер: картинка разбирается и собирается обратно без потерь
• Обучен так, чтобы языковая модель по зашумленным признакам восстанавливала подпись
• Дает готовую функцию потерь для текст-в-картинку, работает вместе с обычным пиксельным лоссом
• В комплекте кодировщики и генеративные модели

github.com/SuchirAgarwal/lilie
huggingface.co/suchiragarwal/lilie

#encoder #training

OmniPoser

мокап без маркеров. Но нужны сенсоры или уже извлеченные ключевые точки, модель достраивает недостающие суставы. Пригодится для VR, аватаров, робототехники и анимации.

Раньше под каждый набор сенсоров учили свою модель, здесь одна архитектура на все

• На вход любые комбинации датчиков, включая верх тела, пять точек VR или только голову
• Понимает, каких суставов нет, и достраивает их по смыслу, а не нулями
• Отдает готовый SMPL: поза, форма, контакт стоп с полом, глобальная траектория без дрейфа
• Один шаг генерации, без перебора вариантов

• Больше 700 кадров в секунду
• Реальное время на одной видеокарте
• Точность на уровне специалистов: 32,1 мм на AMASS против 34,8 у RoHM, на Nymeria 21,1 против 59,3

github.com/JamesBridgewater51/omniposer

#mocap

FLUX 3 Max

Ускоренный FLUX 3 Video на fal

Ускорение сразу на трех уровнях: дообучение с reinforcement learning, оптимизация инференса, переделка серверного движка. Дообучение подняло движение, детализацию и следование промпту

• #t2v #i2v , ключевые кадры в видео
• Ролики до 20 секунд
• 720p с апскейлом до 1080p
• Генерация звука
• Все через API fal

• 10-секундный ролик за 10,95 секунды, у оригинала 126,44, ускорение в 11,5 раза
• Seedance 2.5 обходит в 22 раза при том же Elo
• 0,0425 доллара за секунду 720p, скидка 75% до 7 ноября

Jockey

TwelveLabs выпустили чат-агента для видео и фотоархивов. Основа - их модели: Marengo кодирует содержимое (люди, объекты, звук, текст в кадре), Pegasus рассуждает о событиях и контексте.

• Отвечает на вопросы по всей библиотеке
• Находит нужные моменты и отвечает с таймкодами и ссылками на клипы
• Связывает связанные сцены из разных роликов, сравнивает и делает сводки
• Собирает первый черновик монтажа из удачных кадров

Подключение
• Ставится агенту как #MCP-коннектор
• Работает в Claude и ChatGPT
• Видео добавляется загрузкой файла или по ссылке, YouTube тянет напрямую

Для кого
• Креаторы, маркетинговые команды, спортивные и робототехнические проекты
• Любой, у кого накопился архив футажа, который лень пересматривать

Есть бесплатный тариф

Попробовать

#assistant #t2v #directing

Ming-3.0-audio

Понимание аудио напрямую, без текста посередине

• Нна выход текст или голос
• Две версии: flash на 126 млрд с 6,5 активными и tiny на 9,3 млрд с 2,7 активными

• Распознавание речи в шуме, с диалектами и акцентами, для нескольких говорящих
• Ответы на вопросы по содержимому аудио, рассуждения над звуком
• Понимает длинные записи, речь, шумы, музыку, обстановку
• Голосовой ответ с клонированием по референсу

• Основные языки - китайский и английский
• tiny живет на одной видеокарте
• У flash контекст на 128 тысяч токенов, нужны восемь H800
• Лицензия MIT

• Поднимается через vLLM-Omni и SGLang, OpenAI-совместимые эндпоинты

huggingface.co/inclusionAI/Ming-3.0-audio-flash
huggingface.co/inclusionAI/Ming-3.0-audio-tiny
github.com/inclusionAI/Ming-3.0-audio-flash

#alm #stt #tts #voicecloning