Делить головы внимания по восьми GPU кажется логичным. Ловушка MLA: латентный KV общий на все 64 головы, и каждая GPU хранит полный кэш ради своих восьми. 26 FLOP на перемещённый байт против пика H200 в 206 — упор в память.

PCP (prefill context parallel) режет по токенам: GPU считает за восьмую часть промпта, но со всеми головами. Кэш пересобирается каждый слой, зато 191 FLOP на байт, почти compute-bound. DCP (decode context parallel) раскладывает сам кэш: миллион токенов это 53,4 ГиБ FP8 на запрос при 15 ГиБ места на GPU, по восьми выходит 6,7.

Замеры vLLM на двух узлах по восемь H200: префилл (PCP8 × DCP8, 512 ГиБ CPU offload) и декод (8 DP-рангов, HiSparse). Против DP8 с тем же HiSparse в декоде в 1,7–3,2 раза больше выходных ток/с на пользователя при равном throughput, медианный TTFT 0,8–0,9 с вместо 1,5–5,2. Контекст в 1M из протестированных конфигураций держит только эта связка.