Здесь "слабое звено" - так называемые "доверенные ИИ", под которые сейчас активно выделяется финансирование. Если какой-то ИИ называют "доверенным" на официальном уровне, то это будто бы снимает (частично или полностью) обязанность ответственного лица за ним проверять. "Я не при чём! Мне доверенный ИИ так написал, поэтому я так и сделал. Вы же сами сказали, что он - доверенный! А значит это не моя ответственность!" - такой детский лепет, весьма вероятно, станет распространённым явлением, если любой недоучка со смартфоном и ИИ решит, что разменяв мозги на приложение - может решать серьёзные вопросы, купаясь в лучах присвоенной славы.

Доверенный или недоверенный ИИ - это ещё одно звено в процессе, на котором может произойти ошибка. Но за ошибку отвечать всё равно будет человек. Больше просто некому.

Кто-то скажет: "А что если я не могу без ИИ разобраться сам, не хватает знаний?! Как же мне тогда за него отвечать?!" - ответ прост: в этом случае не используй ИИ при принятии решений.

На мой взгляд, правило (особенно для принимающих решения) должно быть простым и строгим: используй какой хочешь ИИ, либо не используй его вообще, но отвечай за результат - лично.

Возможно, что в таких условиях многие предпочтут думать своей головой, а не только в неё есть.