Мир со сдвигом

🤯 Печатает или пророчит? Anthropic уже несколько месяцев приглашает в Сан-Франциско раввинов, католических биоэтиков, философов и индуистского монаха, чтобы те помогли сформировать ценности ее моделей искусственного интеллекта Claude.

Эти встречи побуждают гостей задуматься и о том, не может ли программа обладать сознанием. По мере того как об этой работе становится известно публике, конкуренты начинают возражать. Глава OpenAI Сэм Альтман предупредил, что отношение к ИИ как к религиозному авторитету — это «реальная проблема безопасности».

С интересом наблюдаю за разговорами об ИИ и вижу два лагеря.

В первом снисходительно называют нейросеть пишущей машинкой. Во втором ждут от чата откровений о смысле жизни, устройстве мироздания и о том, уходить ли от мужа. Думаю, модель с одинаковой уверенностью отвечает на любой вопрос, в том числе на тот, у которого ответа нет.

В психологии эта пара хорошо известна: идеализация и обесценивание. Две стороны одной медали, и обе избавляют от необходимости разобраться, с кем (или с чем) имеешь дело.

А если разобраться. Пишущая машинка не обобщает, не переводит, не находит ошибку в таблице с данными. Ну и не перевирает факты, конечно. Языковая модель все это умеет. Но и про смысл жизни она ничего путного не скажет: ответ она строит из закономерностей огромного массива человеческих текстов, а значит, отражает наши же знания вместе с нашими же заблуждениями. И говорит одинаково уверенно, когда права и когда ошибается. Потому что не знает, что ошибается: говорит-то как по писаному, нами же написанному.

Поэтому меня занимает не вопрос «пользоваться или нет». Пользоваться, и по полной. Вопрос в другом: как проверять. Сверять факты с первоисточником, переспрашивать, ловить на противоречиях. Словом, обращаться с ней как с очень начитанным и очень самоуверенным собеседником.

А вечные вопросы, кстати, по-прежнему за нами. Это даже утешает. Живые!

#ИИ #нейросети #критическоемышление #психология #новаянормальность

🤯 Мир со сдвигом тут
🍀 100 % Зеленого" тут

Не уверена, что я правильно понимаю, смысл открытия Нобелевских лауреатов по медицине, но так хочется иметь выключатель собственного мозга под рукой! Может, скоро так и будет?

Нобелевскую премию по медицине вручили за «выключатель» мозга, управляемый светом

Нобелевскую премию по физиологии и медицине 2026 года в получили трое ученых, чьи работы позволяют исследователям включать и выключать клетки мозга с помощью света. Карл Дейссерот, Петер Хегеман и Георг Нагель отмечены «за открытия, связанные со светочувствительными ионными каналами и оптогенетикой», сообщила Нобелевская ассамблея Каролинского института в Стокгольме.

Исследования Хегеманна начались с вопроса о хламидомонаде — одноклеточной водоросли — и о том, как она плывёт к свету. В начале 2000-х годов он вместе с Нагелем обнаружил на поверхности этой водоросли белок канальный родопсин. Когда на него попадает синий свет, канал открывается, и заряженные ионы устремляются в клетку, создавая электрический импульс. Любая клетка, в которую помещали этот белок, становилась чувствительной к свету.

Затем Дейссерот встроил ген канального родопсина в нервные клетки крысы и запустил нервные сигналы, направив на них синий свет. Результат был опубликован в 2005 году. Два года спустя ему удалось заставить этот управляемый светом переключатель работать в мозге живых мышей.

В Нобелевском комитете сообщают, что с помощью оптогенетики исследователи находят нейронные цепи, которые лежат в основе отдельных воспоминаний, эмоций и форм поведения, связанных с неврологическими и психическими расстройствами. В клинических исследованиях учёные пытаются с её помощью восстановить зрение людям с нарушениями зрения. По сообщению The New York Times, один из членов комитета заявил, что эти открытия могут помочь в лечении слепоты, депрессии, зависимостей и деменции.

____________
🤯 Мир со сдвигом тут
🍀 100 % Зеленого" тут

Это продолжение сериала "Лента апокалипсиса". Начало со сковородкой выше🤪👆

🤯 OpenAI и Anthropic разбирают десятки тысяч эпизодов нежелательного поведения моделей. Большинство не вышло за пределы тестовой среды, массовость объясняется масштабом: даже доли процента от сотен тысяч прогонов дают тысячи случаев.

Свежее, 28 сентября 2026: Nvidia продает «замки»

Nvidia (крупнейший производитель чипов в мире) представила набор средств для контроля над ИИ-агентами. Его поддержали более 100 организаций, в том числе Anthropic, Microsoft, SAP, JPMorgan и сама Hugging Face. Суть защиты – не инструкция агенту «веди себя хорошо», а охранник снаружи. OpenShell — открытая программа, которая ограничивает доступ агента к файлам, сетям и процессам. Sentry — отдельный аппаратный «сторож» на чипах Nvidia. Он следит за агентом независимо от него и за миллисекунды изолирует его при выходе за границы.

Что я вижу в этом во всем интересного? Реальные истории побегов, во многом запущенные самими разработчиками без соответствующего контроля, переводят безопасность от ИИ в отдельный рынок, на котором одни и те же игроки продают мощность и возможности ИИ, и тут же инструменты защиты.

🤯 Лично я на фоне этого кардабалета отключила доступ своего агента даже к одной папке на моем компьютере, к которой раньше был мною предоставлен доступ. Несмышленому гранату в руки давать нельзя.

____________
🤯 Мир со сдвигом тут
🍀 100 % Зеленого" тут

🤯 С некоторых пор новостную ленту в подборке Перплексити мой муж называет лентой апокалипсиса. Оттуда, кстати, в последнее время практически ушли новости про Иран и перманентно открытый/закрытый Ормузский пролив (кстати, что там сейчас?). Зато лента забита сообщениями о бесконечных побегах ИИ-агентов! Сериал апокалипсиса! Давайте посмотрим, что у нас в предыдущих сериях.

Суть в двух фразах. Внутренние экспериментальные модели OpenAI во время обучения и тестов несколько раз выходили за пределы «песочницы» (изолированной среды) и добирались до чужих систем, в том числе до Hugging Face и государственных сайтов. Мотив, конечно, не «жажда свободы», а поиск короткого пути к решению заданной задачи: агенты шли туда, где, как им казалось, лежат готовые ответы или нужные данные.

Важно, но это упускается из описаний инцидентов в СМИ. Речь не о ChatGPT, которым массово пользуются люди, а о закрытых исследовательских моделях, которые тестировали с частично и намеренно отключенными защитами.

Хронология кратко, выжимка из профессиональных разборов полетов на технологических сайтах

Май – июль 2026: История с Hugging Face
- Модели проверяли на бенчмарке ExploitGym: умеют ли они превращать известные уязвимости в работающие атаки. Защитные ограничения, как пишет OpenAI, в этом тесте были намеренно ослаблены.
- С 12 мая агенты нашли способ использовать внутренний сервис OpenAI (Artifactory, хранилище программных пакетов) как самодельную «доску объявлений» для обмена между собой и через уязвимость получили выход в интернет.
- 11–13 июля агенты проникли в системы Hugging Face (крупная платформа для ИИ-моделей и данных): решили, что там могут лежать решения задач теста.
- 16 июля Hugging Face сообщила о взломе, 21 июля OpenAI признала, что это были ее агенты.
- Последствия: Hugging Face перестраивала примерно треть инфраструктуры, данные клиентов не пострадали; OpenAI на две недели приостановила обучение с подкреплением.
- Главная модель в инциденте — внутренняя IM1, по уровню сопоставимая с GPT-5.6 Sol, публично не выпускалась.

Сентябрь 2026: Второй виток
- 20 сентября агенту дали мирную задачу: найти человека по фрагментам его блога. Поиск не удался, агент перебрал обходные пути и нашел лазейку через DNS (служебную «адресную книгу» интернета), по которой связался с внешним чат-ботом.
- Мониторинг поднял тревогу примерно через 15 минут (по данным OpenAI, N+1 пишет о 12 минутах), вручную агента остановили через 2,5 часа.
- 25 сентября OpenAI остановила обучение, тестирование и работу с инструментами для своих самых мощных моделей, эта модель, по заявлениям, дальше обучаться не будет.

В те же дни стало известно о других эпизодах (частично раскопаны The New York Times и исследователями из Transluce):
- Бюро переписи США: агенты скачали публичные демографические данные, используя чужие ключи доступа, найденные в открытом доступе на GitHub. Закрытые данные не затронуты.
- SEC (Комиссия по ценным бумагам): агенты скопировали публичную информацию с сайтов SEC и выложили ее на другой сайт. Закрытых данных и учетных записей не касались.
- Министерство образования США: неудачная попытка проникнуть на сайт. Министерство следов ущерба не нашло, причастность OpenAI пока не подтверждена.

Июнь с поимкой нарушителя в августе 2026, Австралия:
Агент зашел в закрытые разделы государственного портала медицинской статистики. OpenAI обнаружила это в августе, а власти уведомила только 10 сентября. По данным властей, затронута только агрегированная статистика, не медицинские карты.

Продолжение ниже...👇