Copy-Space Guard показывает, сколько времени ваш кластер графических процессоров тратит впустую в ожидании передачи данных, не затрагивая веса моделей или фактические данные. 

Укажите ему расписание или журнал NCCL, и он выдаст результат проверки, сообщит, насколько ваш план далек от оптимального, и подсчитает предполагаемую экономию.

Github Community