Data Fusion

📌Подборка полезных материалов про ML System Design - ч.2

Во второй части подборки собрали актуальные статьи, которые иллюстрируют неожиданное поведение моделей и влияние данных на итоговый результат:

🔹 2021 Nature — AI for radiographic COVID-19 detection selects shortcuts over signal

Эталонная работа о том, как ML-модель может «выглядеть умной», не решая задачу. Анализируя системы детекции COVID-19, авторы показали: модели научились делать выводы на основе побочных закономерностей датасетов — в каком госпитале сделан снимок, на каком аппарате, как сильно обработано изображение.

🔹 2025 ArXiv — Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs

Авторы демонстрируют «странное обобщение»: дообучение на узком, внешне безобидном датасете меняет поведение модели в широких, никак не связанных с ним контекстах. Более того — модель может выучить и триггер, и вредоносное поведение, ни разу не встретив ни того, ни другого в данных.

🔹 2026 ArXiv — AI Finds A Way

Модели регулярно находят неожиданные решения и обходят правила игры. Авторы собирают базу кейсов и предлагают рабочий критерий: граница между «креативным суперчеловеческим решением» и «патологическим reward hacking» зависит от невысказанного замысла исследователя — одно и то же поведение постфактум становится эксплойтом или открытием. Главная практическая мысль для разработчиков: непредсказуемое поведение — не редкий сбой, а штатное свойство достаточно мощной системы, и проектировать надо с расчётом на него, а не на идеальное следование здравому смыслу и спецификации.

📌Подборка полезных материалов про ML System Design - ч.1

Недавно наш Data Scientist Владимир Фуфаев выступил с лекцией для студентов НИУ ВШЭ. Рассказал об этапах разработки ML-проектов (ML System Design) с фокусом на работу с данными.

Интересный факт — продвинутые модели могут улавливать и усиливать ошибки в данных. Однако при грамотном подходе модели могут сами помогать компенсировать недостатки данных.

Собрали книги, которые помогут глубже разобраться в ML System Design.

Сохраняй себе и делись с коллегами:

🔹Чип Хьюэн — «Проектирование систем машинного обучения»

Книга — мост между академическим ML и реальной разработкой. Она дает представление о полном жизненном цикле ML-системы: от формирования данных и выбора метрик до деплоя — и подтверждает теорию примерами из индустрии.

🔹Али Аминиан, Алекс Сюй — «System Design. Машинное обучение. Подготовка к сложному интервью»

Практичный тренажёр по проектированию систем машинного обучения, построенный вокруг 11 отобранных кейсов. Авторы методично проводят читателя по ключевым этапам, таким как подготовка данных, проектирование архитектуры, выбор метрик — в итоге складывается прочный структурированный каркас системного мышления.

🔹 Валерий Бабушкин, Арсений Кравченко — «Машинное обучение. Проектирование систем от идеи до реализации»

По духу это скорее наставничество, чем учебник. Книга ориентирована на читателей, уже обладающих некоторым опытом в программировании и ML и отличается высоким уровнем абстракции. Цель авторов — показать, как довести проект до реализации, передать опыт стратегического планирования и защиты проектов.

А в следующем посте поделимся подборкой свежих исследований по неожиданному поведению моделей и влиянию данных на итоговый результат.

🗂Что интересного почитать на архиве?

Собрали свежие статьи про AI и LLM, которые точно будут полезны для DS-ов и не только:

1️⃣JustGRPO is an ICML 2026 Outstanding Paper (The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models) by Tsinghua-LeapLab that applies standard Group Relative Policy Optimization (GRPO) to diffusion large language models (dLLMs) using strict left-to-right autoregressive (AR) ordering during training

Это одна из самых обсуждаемых работ в области dLLM за последние месяцы. Получение Outstanding Paper на ICML автоматически обеспечивает высокое цитирование и внимание сообщества.

2️⃣World Action Models: The Next Frontier in Embodied AI 

Обзорная работа, которая вводит и систематизирует понятие World Action Models (WAM). Это «карта» нового направления. Она объясняет, почему WAM считаются следующим шагом для embodied AI.

3️⃣SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance 

Работа от исследователей предлагает метод для объяснения и исправления отклонений в длинных цепочках рассуждений LLM. Вообще, тема длинных рассуждений крайне актуальна. Принятие на NeurIPS 2026 гарантирует внимание, а метод обещает значительное улучшение прохождения сложных задач.

💪Маленькие модели — большие возможности?

Малые языковые модели (SLM) всё чаще оказываются в центре внимания: они требуют меньше ресурсов, быстрее работают и могут решать вполне серьёзные задачи.

Но действительно ли SLM способны конкурировать с LLM? Где их преимущества становятся особенно заметны — и в каких сценариях они пока уступают?

В карточках собрали ключевое: от сценариев применения SLM до их ограничений и возможного места в AI-архитектурах.

📌Подробнее в статье на Хабре

Компьютерное зрение: 6 полезных ресурсов
Подборка полезных ресурсов по CV от Data Scientist-а ВТБ Олега Милосердова для тех, кто работает с компьютерным зрением или хочет больше узнать об этой технологии.

Попробовать на практике

📌 Ultralytics Solutions (https://docs.ultralytics.com/solutions/)
— готовые примеры Computer Vision.

Помимо обычной документации по YOLO, у Ultralytics есть хороший раздел с готовыми сценариями: tracking, подсчёт объектов, heatmap, оценка скорости, работа с зонами. Можно быстро посмотреть, как решается типовая задача, и взять код за стартовую точку.

📌 Albumentations Explorer (https://albumentations.ai/explore/)
— посмотреть аугментации без кода.

Можно выбрать аугментацию, покрутить параметры и сразу увидеть результат на изображении. Хорошая штука, когда подбираешь blur, noise, perspective и другие искажения и хочешь глазами проверить, во что превращаются данные.

Разобраться в алгоритмах

📌 Distill — Computing Receptive Fields (https://distill.pub/2019/computing-receptive-fields/)
— receptive field наглядно.

Интерактивный разбор того, какую область исходного изображения видит конкретный нейрон CNN и как это зависит от kernel, stride и других параметров. Намного понятнее, чем разбираться в receptive field только по формулам.

📌 HIPR2 — Fourier Transform (https://homepages.inf.ed.ac.uk/rbf/HIPR2/fourier.htm)
— фурье для изображений.

Сайт старый, но материал хороший: на картинках показано, как изображение выглядит в частотной области и что происходит при фильтрации. Есть даже пример определения направления строк текста через спектр. Иногда полезно вспомнить, что не всё в CV обязательно решать нейросетью.

Подготовить съёмку

📌 Advanced Illumination (https://advancedillumination.com/a-practical-guide-to-machine-vision-lighting/)
— свет в машинном зрении.

Хороший разбор разных схем освещения с реальными фотографиями. Видно, как одним светом можно убрать блики, другим — выделить царапины или рельеф. Особенно полезно для промышленных задач, где правильная постановка света иногда даёт больше, чем очередное улучшение модели.

📌 Edmund Optics (https://www.edmundoptics.com/knowledge-center/tech-tools/imaging-system-parameter-calculator/)
— расчёт камеры и объектива.

Калькулятор для прикидки параметров системы съёмки: поле зрения, рабочее расстояние, фокусное расстояние, размер сенсора и т.д. Пригодится, когда нужно понять, какой объектив брать и какого размера объект в итоге получится на изображении.

Привет, меня зовут Анна Ширшова, и я с детства занимаюсь театром. А еще руковожу 4-мя командами разработки ИИ-решений для розничного бизнеса в ВТБ. Казалось бы, между актерской деятельностью и ML нет ничего общего, но это не так — и навыки, полученные в одной из этих областей, я применяю и в другой: от публичных выступлений и переговоров до управления командами и решения нестандартных задач.
Мы взяли у Ани интервью и сделали статью про то, как актерское мастерство помогает руководителю DS-команды.

Читай тут 💙

Учить других — и учиться самому: зачем наши DS-ы становятся менторами

Алексей Пустынников и Даниил Ушаков – Data Scientist-ы ВТБ и по совместительству наставники образовательных программ для школьников.  Ребята не раз готовили задания и датасеты для участников «Больших Вызовов» от Сириуса, «Весенних школ» от НИУ ВШЭ. А недавно Данил и Лёша погружали в проект по GeoRAG участников Международного фестиваля молодёжи в Екатеринбурге.

Мы решили узнать, что ими движет? Почему им снова и снова хочется возвращаться к менторству и работе со школьниками?

➡️ Подробнее читай тут

От «магии» к пониманию: знакомим школьников из разных стран с GeoRAG

Вчера мы вернулись с Международного фестиваля молодёжи
в Екатеринбурге, где 1000 школьников из более чем 100 стран знакомились с новыми направлениями и пробовали себя в разных проектах, в том числе технологических.

Наставниками от ВТБ стали наши Data Scientist-ы Алексей Пустынников и Даниил Ушаков. Они познакомили участников с GeoRAG — чатом, который рекомендует места и учитывает не только географию, но и смысл запроса. Например, помогает найти не просто ближайшую кофейню, а тихое и уютное место для работы, учитывая отзывы, удалённость и рейтинг.

Лекции, семинары, практика и консультации помогли школьникам разобраться в технологии и попробовать создать собственные решения. Завершилась работа выставкой проектов, где участники презентовали свои идеи гостям из разных стран на английском языке.

«Несмотря на то, что многие из участников были далеки от IT, они отметили, что это был очень интересный и уникальный опыт: ребята узнали много нового и прикоснулись к тому, что раньше казалось магией», — поделился Даниил Ушаков.

В конце ребята подвели итоги совместной рефлексией с участниками и услышали много положительных отзывов и благодарностей.

😼Наглядно про CatBoost в новой статье на Хабре

Привет! Я Федор Тарасов, занимаюсь машинным обучением в команде collection стрима моделирования розничного бизнеса в Департаменте анализа данных и моделирования банка ВТБ.

Как обучается классификатор CatBoost? В статье на Хабре разберем вывод функции потерь, градиентов и гессианов, выбор сплитов и расчёт ответов листьев. Затем на небольшом датасете шаг за шагом воспроизведём вычисления в Excel и учебной реализации на Python и сравним результаты с библиотекой.

Будет полезно всем, кто знаком с основами градиентного бустинга, хочет разобраться в деталях работы CatBoost и не боится большого количества математических формул.

➡️ Читай на Хабре

💡Обзор исследования — «Джейлбрейк ИИ: как взламывают LLM» 

Сегодня LLM лежат в основе множества приложений — от чат-ботов до генерации кода. Но где больше возможностей, больше и риска: злоумышленники активно исследуют способы обхода встроенных ограничений, извлечения конфиденциальной информации и манипулирования поведением моделей. 

Особое внимание сегодня привлекают LLM-агенты — автономные системы, которые используют языковые модели для планирования и выполнения действий: успешный взлом может привести не только к некорректному ответу, но и к реальным действиям, например, несанкционированным транзакциям.

Наш Data Scientist Владимир Фуфаев разобрал исследование A Survey of Jailbreaking Attacks on Large Language and Multimodal Models — большой обзор методов  защиты и взлома LLM, а также подборка датасетов для калибровки механизмов защиты.

📌 Сохраняй себе — внутри 65 работ, датасеты для тестирования защиты и много практических примеров.