Почему средней ошибки модели недостаточно?

У модели может быть хорошая средняя ошибка — и при этом оставаться отдельные ошибки, которые для реальной задачи намного важнее этой средней величины.

В проекте по прогнозированию межобточного пробега колёсных пар я сравнивал модель по MAE — средней абсолютной ошибке.

На проверочном периоде получилось:

15,28 тыс. км у модели против 19,87 тыс. км у простого прогноза.

Средняя ошибка снизилась на 23,1%. На первый взгляд — хороший результат.

Но здесь возникает более важный инженерный вопрос: имеет ли значение, в какую сторону ошибается модель?

Простой условный пример.

Фактический пробег — 100 тыс. км.

Прогноз 70 тыс. км → ошибка 30 тыс. км.
Прогноз 130 тыс. км → ошибка тоже 30 тыс. км.

Для MAE эти ошибки одинаковы.

Для планирования технического обслуживания — уже нет.

В первом случае прогноз консервативный: обслуживание может быть запланировано раньше необходимого.

Во втором модель предполагает больший ресурс, чем оказался фактически. И такая ошибка потенциально значительно важнее.

Поэтому я стал отдельно контролировать случаи, когда прогноз заметно превышает фактическое значение. Для пилота рабочей границей выбрали превышение более чем на 30 тыс. км.

Это именно контрольный критерий проекта, а не производственный норматив.

На текущей проверочной выборке из 27 наблюдений у модели таких случаев не было. Но 27 наблюдений недостаточно, чтобы по этому результату делать вывод о безопасности модели или её готовности к эксплуатации.

Отсюда для меня более общий вывод: инженерную модель нужно оценивать не только по тому, насколько она ошибается в среднем, но и по тому, какие именно ошибки она делает и к каким решениям они могут привести.

Метрика машинного обучения ещё не является инженерным критерием качества сама по себе.