Память нужно отключать (иногда)
Наткнулся недавно на мнение, что память в LLM - не всегда полезна.
По крайней мере, так считает Майк Тейлор - соавтор книги "Промт инжиниринг для Gen AI".
В свой статье на Every, он пишет, что в его настройках память всегда отключена. И вот почему:
1. Память модели служит источником трудноотлавливаемых ошибок
2. Деградация или "гниение" контекста (context rot) - когда в памяти накапливаются устаревшие данные, неверные решения, противоречия, которые в дальнейшем влияют на качество ответов.
Тейлор выделил четыре типа деградации контекста (хотя, есть подозрения, что некоторые из них существовали и ранее).
Но, похоже, самый коварный - так называемое "отравление контекста" (context poisoning). В этом случае какие-либо неверные данные сохраняются в памяти и, в последствии, принимаются моделью за истину.
Таким образом, по мнению Тейлора, сессия с памятью подобна "компостной куче", и, напротив "чистая" сессия - более контролируемый инструмент, где итеративно можно улучшать промты и понимать, почему ответы возвращаются такие, какие они есть.
Интересный подход. Но, кажется, он больше подходит тем, кто знает тонкости промт инжиниринга и разбирается в принципых работы LLM.
Я же, по-прежнему прошу claude записывать в MEMORY.md каждый чих, чтобы после запуска новой сессии он каждый раз не вел себя как Джон Траволта в известном меме. 🤷♂️
Наткнулся недавно на мнение, что память в LLM - не всегда полезна.
По крайней мере, так считает Майк Тейлор - соавтор книги "Промт инжиниринг для Gen AI".
В свой статье на Every, он пишет, что в его настройках память всегда отключена. И вот почему:
1. Память модели служит источником трудноотлавливаемых ошибок
2. Деградация или "гниение" контекста (context rot) - когда в памяти накапливаются устаревшие данные, неверные решения, противоречия, которые в дальнейшем влияют на качество ответов.
Тейлор выделил четыре типа деградации контекста (хотя, есть подозрения, что некоторые из них существовали и ранее).
Но, похоже, самый коварный - так называемое "отравление контекста" (context poisoning). В этом случае какие-либо неверные данные сохраняются в памяти и, в последствии, принимаются моделью за истину.
Таким образом, по мнению Тейлора, сессия с памятью подобна "компостной куче", и, напротив "чистая" сессия - более контролируемый инструмент, где итеративно можно улучшать промты и понимать, почему ответы возвращаются такие, какие они есть.
Интересный подход. Но, кажется, он больше подходит тем, кто знает тонкости промт инжиниринга и разбирается в принципых работы LLM.
Я же, по-прежнему прошу claude записывать в MEMORY.md каждый чих, чтобы после запуска новой сессии он каждый раз не вел себя как Джон Траволта в известном меме. 🤷♂️