Андрей Стуколов провел интересный эксперимент, который, на мой…
Андрей Стуколов провел интересный эксперимент, который, на мой взгляд, показывает девальвацию правовых знаний. Андрей через Claude Code дал возможность модели от Anthropic пройти тест на статус адвоката. С каким результатом Opus справился с тестом говорить не буду, но с тестом он справился.
У меня, как и у Андрея, есть свой тест языковых моделей на погружение в российскую юриспруденцию. Мой тест простой. Я задаю вопрос, ответ на который содержится в одном единственном определении Верховного Суда, но нейронные сети его не проиндексировали в своей базе. Но даже учитывая, что языковые модели не знают одного судебного акта, это не означает, что они не достигли уровня консультации, полученной от специалиста.
Полное видео эксперимента можно посмотреть YouTube канале Андрея.
У меня, как и у Андрея, есть свой тест языковых моделей на погружение в российскую юриспруденцию. Мой тест простой. Я задаю вопрос, ответ на который содержится в одном единственном определении Верховного Суда, но нейронные сети его не проиндексировали в своей базе. Но даже учитывая, что языковые модели не знают одного судебного акта, это не означает, что они не достигли уровня консультации, полученной от специалиста.
Полное видео эксперимента можно посмотреть YouTube канале Андрея.