Загружаем изображение…

«Internal OpenAI model» — что это за штука, и с какого перепугу DeepSeek уже дышит OpenAI в затылок?



То, что варят внутри фронтирных лабораторий, наружу не выкатывают. Модель, на которой сидят их же исследователи, и модель, которую гонят через API, — не одно и то же. Лаборатория собирает не одну сетку, а целый конвейер: research-чекпоинты, экспериментальные модели, reward-модели, модели-учителя, модели для генерации синтетических данных, модели-evaluators, дистиллированные студенты и production-модели. А до публики доезжает только последний пункт из этого списка.

Окей, допустим, обучили чудовищно дорогую модель. Ризонит будь здоров, код пишет, математику щёлкает. Беда одна: каждый запрос к ней сжирает прорву вычислений. Для исследователя внутри конторы это нормальный рабочий инструмент. А для продукта со 100 млн юзеров её профитнее превратить в учителя: она штампует годные ответы, решения, траектории ризонинга, синтетику, а иногда и сами распределения вероятностей — и на этом поведении дрессируют студента поменьше. Это одна из форм дистилляции знаний, и настолько распространённая, что OpenAI не постеснялась выложить официальный Model Distillation workflow: берёшь ответы модели посильнее, хоть GPT-4o, хоть o1-preview, и учишь на них модель подешевле — «взять продвинутую модель и получить сопоставимое качество на конкретной задаче при существенно меньшей стоимости».

Отсюда простой вывод: лучшая research-модель и лучшая production-модель тянут разные функции. Первая качает максимум возможностей. Вторая тащит всё сразу — intelligence, latency, стоимость GPU, throughput, reliability и safety. Читать далее

👉 Telegram | Max
Просмотры: 36
Открыть в MAX Сообщить о неточности

Репосты публикации

Публикация канала

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти