SIMURG — мониторинг целостности потоковой передачи и универсальная защита от регенерации

Обнаружение ошибок при декодировании больших языковых моделей во время генерации ответа и прерывание потока в процессе: ошибки, возникшие в окне ожидания, никогда не доходят до пользователя, а ошибки, возникшие в процессе передачи, устраняются в течение нескольких сотен символов после их появления, поэтому хост-система генерирует ответ заново.

Github Community