День 51. Как выбирать чекпоинты политики.

Сегодня разбирался, как из 1000 обученных моделей выбрать 10 нормальных.
Главная мысль: смотреть не на награду, а отсеивать по шагам — от дешёвого к дорогому:

1. Здоровье политики. Проверяю по логам обучения, не испорчена ли модель. Смотрю два числа: noise_std (σ) и награду. Это дёшево — не надо ничего запускать, просто открыть TensorBoard. Отсеивает заведомо непригодные чекпоинты.
2. Поведение. Запускаю модель в headless-режиме (без картинки) и смотрю метрики: падает, идёт вперёд или поворачивается. Это единственный способ узнать, что модель реально делает, а не что о ней говорит награда.
3. Покрытие. Смотрю, чтобы выбранные чекпоинты подходили для дальнейшего обучения по ролям — один хорошо стоит, другой ходит, третий поворачивается. Иначе возьму 10 почти одинаковых, и для будущих задач (а я хочу в MoE) они не пригодятся. Повороты, кстати, надо будет от того, который хорошо стоит учить, сейчас это скорее для галочки.

Про шум (noise_std): это не шум на демке. На демо работает среднее, без шума. noise_std показывает, в каком режиме модель училась. Если noise_std слишком большой — почти все сэмплы упираются в клип, и среднее портится.
Почему не награда: она подогнана под конкретную задачу, между разными задачами не сравнивается, на плато почти не меняется.

Честно: тесты короткие — это быстрый скрининг, а не полная проверка.
Тема большая, завтра продолжаю копать в нее.
#RL #robotics #UnitreeG1 #careerchange