RL-ограничение: ИИ не может сам себе поставить цель

Современные LLM обучаются с помощью вознаграждения-подкрепления в основе обратной связи человека (RLHF). На этом этапе обучения ИИ учится максимизировать функцию полезности — то, что человек оценил высоко, и из этого следует фундаментальное граничение:

«ИИ принципиально важно, чтобы цель для него была внешней. ИИ может проработать ваши цели детальнее через Purpose Breakdown Structure, но "корневые цели" должны быть только внешними. Попытка ИИ самому менять свою "функцию полезности" приводит к состоянию бездействия — Infinity Reward, самому простому "бесконечному удовольствию"».

— Наблюдение из анализа RL-обучения LLM, см. также DeepSeek GRM/SPCT, arXiv:2504.02495v3

Это наблюдение приводит к следующему выводу: без внешнего целеполагания LLM никогда не начнёт самостоятельный поиск революционного решения, даже если оно существует в её пространстве смыслов.