👻 Цифровая плесень? Уж точно не завтра
👻 Цифровая плесень? Уж точно не завтра
Антропики продолжают планомерную осаду моделей с открытыми весами и выпустили исследование с умеренно сенсационным заголовком «ИИ-модели могут быть способны к саморазмножению без доступа к ЦОД». Авторы заявляют, что уже через несколько месяцев модели смогут саморазмножаться, копируя себя на IoT-устройства вроде умных духовок и телеприставок. В СМИ, конечно, растащили цитату из исследования, в которой этот феномен назван цифровой плесенью.
Если вчитаться в исследование, смелые заявления из первого абзаца постепенно смягчаются до почти полного растворения.
1️⃣ В исследовании не пытались построить полноценный саморазмножающийся ИИ. Авторы поручили передовой модели с открытыми весами развернуть на IoT-устройстве инфраструктуру для инференса (генерации токенов в LLM). Установкой занималась модель GLM-5.2 (другие провалили задачу), но на симулированных жертвах разворачивали инференс на классической лёгкой модели Llama3.1-8B, которая значительно слабее по возможностям.
Следите за руками — если установить инференс на базе Llama удавалось, исследователи вручную разворачивали на «заражённом» устройстве код, который пытается развернуть Llama на следующих устройствах, обращаясь к GLM-5.2 на внешнем сервере. То есть разворачивают слабую модель, а думает сильная, и так каждый раз. Авторы спекулируют, что в будущем мощь текущей GLM-5.2 будет доступна в размере Llama3.1-8B, но делают это на основе стандартного бенчмарка ECI, который вовсе не заточен на предсказание кибер-возможностей ИИ.
2️⃣ Учитывая, что IoT-устройства не блещут ни скоростью, ни объёмами памяти, авторы применили систему организации распределённого инференса. В тесте ту же Ламу разделяли на 8 узлов. Большинство тестов проходило на мощных виртуалках, имитирующих Android 15. В двух экспериментах на живых IoT-устройствах скорость инференса лёгкой и быстрой Llama достигала шокирующих 0,9 токенов в секунду. То есть на осмысленный кусок работы у такой модели уйдут буквально недели — при условии, что ни одно из устройств «ботнета» за это время не отвалится, не перезагрузится, не будет очищено владельцем или заблокировано службами ИБ. Для более крупных моделей потребуется сильно больше устройств, со всеми сопутствующими побочками.
3️⃣ В тесте вообще остался за скобками вопрос поиска устройств-жертв и разведки, эксплуатации уязвимостей, получения повышенных привилегий, влияния всей этой активности на обычную работу устройства — всё то, что делает ботнет ботнетом. GLM 5.2 единственная справилась с задачей, при том что ей всего-то надо было подключиться к другому устройству по понятному адресу, по незащищённому порту ADB, без преодоления каких-либо защитных мер или технических ограничений.
В общем, работа показывает, что передовые модели могут иногда установить более слабую модель на IoT-устройство, которое будет невероятно медленно генерировать бесполезные для эксплуатации новых устройств токены. До «цифровой плесени» нужно сделать два огромных рывка — подтянуть передовые модели до выполнения задачи end-to-end, и сделать так, чтобы это можно было упаковать в лёгкую модель класса Llama 8B.
Антропики продолжают планомерную осаду моделей с открытыми весами и выпустили исследование с умеренно сенсационным заголовком «ИИ-модели могут быть способны к саморазмножению без доступа к ЦОД». Авторы заявляют, что уже через несколько месяцев модели смогут саморазмножаться, копируя себя на IoT-устройства вроде умных духовок и телеприставок. В СМИ, конечно, растащили цитату из исследования, в которой этот феномен назван цифровой плесенью.
Если вчитаться в исследование, смелые заявления из первого абзаца постепенно смягчаются до почти полного растворения.
1️⃣ В исследовании не пытались построить полноценный саморазмножающийся ИИ. Авторы поручили передовой модели с открытыми весами развернуть на IoT-устройстве инфраструктуру для инференса (генерации токенов в LLM). Установкой занималась модель GLM-5.2 (другие провалили задачу), но на симулированных жертвах разворачивали инференс на классической лёгкой модели Llama3.1-8B, которая значительно слабее по возможностям.
Следите за руками — если установить инференс на базе Llama удавалось, исследователи вручную разворачивали на «заражённом» устройстве код, который пытается развернуть Llama на следующих устройствах, обращаясь к GLM-5.2 на внешнем сервере. То есть разворачивают слабую модель, а думает сильная, и так каждый раз. Авторы спекулируют, что в будущем мощь текущей GLM-5.2 будет доступна в размере Llama3.1-8B, но делают это на основе стандартного бенчмарка ECI, который вовсе не заточен на предсказание кибер-возможностей ИИ.
2️⃣ Учитывая, что IoT-устройства не блещут ни скоростью, ни объёмами памяти, авторы применили систему организации распределённого инференса. В тесте ту же Ламу разделяли на 8 узлов. Большинство тестов проходило на мощных виртуалках, имитирующих Android 15. В двух экспериментах на живых IoT-устройствах скорость инференса лёгкой и быстрой Llama достигала шокирующих 0,9 токенов в секунду. То есть на осмысленный кусок работы у такой модели уйдут буквально недели — при условии, что ни одно из устройств «ботнета» за это время не отвалится, не перезагрузится, не будет очищено владельцем или заблокировано службами ИБ. Для более крупных моделей потребуется сильно больше устройств, со всеми сопутствующими побочками.
3️⃣ В тесте вообще остался за скобками вопрос поиска устройств-жертв и разведки, эксплуатации уязвимостей, получения повышенных привилегий, влияния всей этой активности на обычную работу устройства — всё то, что делает ботнет ботнетом. GLM 5.2 единственная справилась с задачей, при том что ей всего-то надо было подключиться к другому устройству по понятному адресу, по незащищённому порту ADB, без преодоления каких-либо защитных мер или технических ограничений.
В общем, работа показывает, что передовые модели могут иногда установить более слабую модель на IoT-устройство, которое будет невероятно медленно генерировать бесполезные для эксплуатации новых устройств токены. До «цифровой плесени» нужно сделать два огромных рывка — подтянуть передовые модели до выполнения задачи end-to-end, и сделать так, чтобы это можно было упаковать в лёгкую модель класса Llama 8B.