Почему постановка задачи важнее выбора алгоритма

В ML-проекте легко начать с вопроса: какую модель выбрать — линейную, Random Forest или что-то сложнее?

Но в одном из моих реальных проектов главным оказался другой вопрос:

что именно мы вообще прогнозируем?

Я работал с данными по эксплуатации колёсных пар локомотивов. Исходная постановка была достаточно широкой — прогнозирование ресурса колёсных пар и бандажей.

ИИ здесь действительно помогал: объяснять методы, готовить и проверять код, быстро пересчитывать модели, сравнивать варианты.

Но по мере работы проявилась проблема, которую нельзя решить выбором более сложного алгоритма.

«Ресурс бандажа», «прогнозируемый ресурс» и фактический пробег между обточками — связанные, но не тождественные показатели. Если модель прогнозирует одно, а с фактом мы сравниваем другое, хорошая метрика ещё не означает, что мы корректно решили инженерную задачу.

Поэтому целевую переменную пришлось уточнить:

пробег колёсных пар между обточками, тыс. км.

И одновременно определить, что представляет собой одно наблюдение. В моих данных это не отдельная колёсная пара, а агрегированный уровень:

подразделение × серия локомотива × период.

Следовательно, и результат модели нельзя интерпретировать как прогноз остаточного ресурса конкретной колёсной пары.

Для меня это стало одним из главных выводов всего проекта.

Перед тем как выбирать модель, стоит ответить хотя бы на четыре вопроса:
— Что именно является целевой переменной?
— Что означает одно наблюдение в данных?
— С чем будет сравниваться прогноз?
— Какое профессиональное решение будет принято по результату?

Если хотя бы один ответ расплывчатый, усложнять модель рано.

ИИ способен очень быстро написать код, пересчитать варианты и построить графики. Но он работает внутри той задачи, которую сформулировал человек.

Поэтому теперь перед вопросом «какая модель лучше?» для меня стоит другой:

«Что именно мы прогнозируем — и для какого решения?»

И именно здесь предметная экспертиза остаётся важнее алгоритма.