📌Подборка полезных материалов про ML System Design - ч.2
Во второй части подборки собрали актуальные статьи, которые иллюстрируют неожиданное поведение моделей и влияние данных на итоговый результат:
🔹 2021 Nature — AI for radiographic COVID-19 detection selects shortcuts over signal
Эталонная работа о том, как ML-модель может «выглядеть умной», не решая задачу. Анализируя системы детекции COVID-19, авторы показали: модели научились делать выводы на основе побочных закономерностей датасетов — в каком госпитале сделан снимок, на каком аппарате, как сильно обработано изображение.
🔹 2025 ArXiv — Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs
Авторы демонстрируют «странное обобщение»: дообучение на узком, внешне безобидном датасете меняет поведение модели в широких, никак не связанных с ним контекстах. Более того — модель может выучить и триггер, и вредоносное поведение, ни разу не встретив ни того, ни другого в данных.
🔹 2026 ArXiv — AI Finds A Way
Модели регулярно находят неожиданные решения и обходят правила игры. Авторы собирают базу кейсов и предлагают рабочий критерий: граница между «креативным суперчеловеческим решением» и «патологическим reward hacking» зависит от невысказанного замысла исследователя — одно и то же поведение постфактум становится эксплойтом или открытием. Главная практическая мысль для разработчиков: непредсказуемое поведение — не редкий сбой, а штатное свойство достаточно мощной системы, и проектировать надо с расчётом на него, а не на идеальное следование здравому смыслу и спецификации.
Во второй части подборки собрали актуальные статьи, которые иллюстрируют неожиданное поведение моделей и влияние данных на итоговый результат:
🔹 2021 Nature — AI for radiographic COVID-19 detection selects shortcuts over signal
Эталонная работа о том, как ML-модель может «выглядеть умной», не решая задачу. Анализируя системы детекции COVID-19, авторы показали: модели научились делать выводы на основе побочных закономерностей датасетов — в каком госпитале сделан снимок, на каком аппарате, как сильно обработано изображение.
🔹 2025 ArXiv — Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs
Авторы демонстрируют «странное обобщение»: дообучение на узком, внешне безобидном датасете меняет поведение модели в широких, никак не связанных с ним контекстах. Более того — модель может выучить и триггер, и вредоносное поведение, ни разу не встретив ни того, ни другого в данных.
🔹 2026 ArXiv — AI Finds A Way
Модели регулярно находят неожиданные решения и обходят правила игры. Авторы собирают базу кейсов и предлагают рабочий критерий: граница между «креативным суперчеловеческим решением» и «патологическим reward hacking» зависит от невысказанного замысла исследователя — одно и то же поведение постфактум становится эксплойтом или открытием. Главная практическая мысль для разработчиков: непредсказуемое поведение — не редкий сбой, а штатное свойство достаточно мощной системы, и проектировать надо с расчётом на него, а не на идеальное следование здравому смыслу и спецификации.