Fern

Первая модель Mirendil обученная с нуля. Контекст до 10 миллионов токенов, это примерно 23 МБ кода или полмиллиона строк

• Работа по большим репозиториям целиком
• Кодинг-агент: запускает команды, читает вывод, гоняет до зеленых тестов
• Разбор длинных логов и стектрейсов, поиск места, где сломалось обучение
• Чтение трасс агента от начала до конца с объяснением, что произошло
• Проверка претрейн-данных на дубликаты и загрязнение бенчмарками
• Заточка под исследовательский код: циклы обучения, пайплайны данных, замеры

• 0,1-0,5 трлн параметров
• На RULER поиск одиночного фрагмента 100% даже на 10 млн токенов
• Многошаговые вопросы на такой длине проседают до 45%
• Доступа пока нет, в разработке две модели крупнее

Цена длинного контекста - качество ответа

Спасибо @Endorpheen

#longcontext #coding