Открытый канал ID 78238914479492

Олег Булыгин | Полезная нагрузка

🔸 Про IT, AI, DS, ML от практика с 11+ годами опыта.

Открыть в MAX

Публикации за период

По реакциям

Поиск и вся лента — после бесплатной регистрации. Свои даты — по подписке; владелец канала видит их бесплатно. Сортировка по реакциям — по подписке. Зарегистрироваться

Загрузка…

«ИИ оставит программистов без работы», серия 42: Bank of America нанимает 1000 инженеров, чтобы спастись от одной нейросети 🤦‍♂️

Пока некоторые хоронят профессию разработчика, Bank of America экстренно нанял 1000 исполнителей в помощь своим 3000 безопасникам и слил «пару сотен миллионов долларов» за квартал. Причина — новая модель Mythos от Anthropic вскрыла столько дыр в их софте, что затыкать их пришлось рекордной толпой живых людей.

Anthropic дала доступ к своей новой frontier-модели Mythos ограниченному кругу банков и корпораций. И у безопасников BofA моментально поседели волосы во всех местах.

Оказалось, что продвинутый ИИ находит уязвимости тридцатилетней давности в легаси-коде и софте сторонних вендоров с чудовищной скоростью. То, что раньше спал и не видел ни один аудитор, модель вскрывает за минуты.

И кто же побежал всё это срочно рефакторить, переписывать и патчить? Может, автономные ИИ-агенты? Может, нажали кнопку «Сделать безопасно», и всё само починилось?

Ага, размечтались.

Пришлось выкатывать армию из 4000 живых специалистов (включая тысячу дорогущих внешних консультантов по почасовой ставке), чтобы судорожно латать дыры. Результат для банка — просадка акций на 8% и сотни миллионов непредвиденных расходов на тушение пожара.

Отдельного внимания заслуживают цитаты CEO банка Брайана Мойнихана.

Во-первых, фраза года:
«Люди, которые занимаются разработкой софта, — это те же люди, которые пытаются продавать нам эти сервисы».

Добро пожаловать в реальный мир, Брайан. Сначала бигтех продает тебе сложный софт, потом продает модель, которая ломает этот софт, а затем — подписку на защиту от этой же модели. Идеальная бизнес-модель продажи патронов обеим сторонам конфликта 🤑

Во-вторых:
«Ну, мы сейчас один разок всё пропатчим, и затраты пойдут на спад... Пайплайн рассосется».

Святая наивность. В enterprise-разработке технический долг не «рассасывается». Любая новая модель находит новые классы уязвимостей, а вендоры продолжают поставлять кривой код. Этот цикл вечен, пока крутятся сервера.

И вишенка на торте — восхитительное корпоративное двоемыслие:
За последний год BofA бодро отчитался о сокращении 3400 человек (в основном выкосили менеджеров), параллельно рисуя инвесторам красивые графики: мол, наши 130 внутренних ИИ-проектов сэкономят нам $700 млн!

И буквально в том же квартале спустили львиную долю этой гипотетической «экономии» просто на то, чтобы нанять живых разработчиков тушить легаси. 😀
Просмотры: 5
Перейти в пост Открыть в MAX Сообщить о неточности
Тимлид не подошел на вакансию в свою же команду. Его отшил робот за 6 минут. 🤡

История с Reddit, разошедшаяся по медиа, прекрасна тем, насколько она будничная в современной реальности.

Контекст: в команду искали синьора с апреля. HR разводили руками: кандидатов нет, воронка пустая, никто не проходит первичный скрининг. Тимлид, который лично составлял текст вакансии, решил проверить, что там вообще происходит. Сменил имя, чуть поправил даты, оставил свой реальный опыт и отправил отклик.

Через 6 минут система выплюнула автоматический отказ.

Неделю ушло на то, чтобы докопаться до сути через настройки ATS. Оказалось, эйчары настроили жесткий строковый фильтр по ключевику React.js. У чувака в CV было написано просто React. Разница в точку и две буквы стоила компании полугода простоя открытой позиции.

Что здесь прекрасно? Буквально всё.

1️⃣ «Рыночный дефицит» своими руками. Полгода команда захлебывается в задачах, бизнес теряет деньги, а наверх летят отчеты о том, как тяжело искать людей. Причина «кризиса кадров» — тупейший поиск по подстроке, настроенный человеком с абсолютным нулем технических знаний.

2️⃣ Карго-культ автоматизации. Компании платят конские деньги за HR-софт, который должен «ускорять найм», но на деле получают цифрового вахтёра. В итоге до живого собеседования доходит не тот, кто умеет решать задачи бизнеса, а тот, кто угадал синтаксис ключевиков в голове настраивавшего скрипт рекрутера.

3️⃣ Апофеоз абсурда. Человек, сформировавший требования к позиции, не прошел под собственные требования. Лучшей иллюстрации происходящего в найме придумать просто невозможно.

Потом мы удивляемся, почему кандидаты оптимизируют резюме с помощью нейросеток. Когда с той стороны воронки сидит бездумный парсер на костылях, с этой стороны неизбежно вырастает встречный фарс. Нейронки генерируют отклики, парсеры их отсеивают, а живые инженеры месяцами сидят без работы и без коллег в командах.

Продолжаем плакать о том, как все сломано в it-найме. 😪
Просмотры: 7
Перейти в пост Открыть в MAX Сообщить о неточности
«Просто будь сеньором, удачи»: жестокая правда о том, что делать новичкам в эпоху ИИ

Торстен Болл (автор культовых книг по написанию интерпретаторов и компиляторов на Go, хардкорный системщик) выдал мнение о том, куда катится профессия инженера.

Десять лет назад рецепт входа в IT был кристально понятен: «Научись хорошо писать код, делай пет-проекты, пиши в open-source, дрочи синтаксис и стандартные библиотеки — диплом никого не волнует, работу найдешь».

Сейчас Торстен честно признает: от 30% до 50% того, на что он годами тратил время, больше не имеет почти никакого значения. Правила игры переписали. И вот что он выделяет как новую базу, независимо от того, насколько крутыми станут модели:

1️⃣ Синтаксис умер, да здравствует Computer Science
Ирония в том, что вытеснение ручного написания кода нейросетями — это давняя влажная мечта нормальных преподавателей CS. Наконец-то можно перестать тратить 80% времени на войну с компилятором из-за забытой точки с запятой и говорить о сути: вычислительной сложности, архитектуре, компиляторах, сетях (TCP/IP), устройстве баз данных, разнице между кэшем в памяти и файловой системе и другими реально инженерными вопросами.

Чтобы построить систему, вы всё ещё обязаны понимать, как работают компьютеры и софт. Иначе вы даже галлюцинацию в ответе Claude не отловите, не говоря уже о нормальном ревью сгенерированной архитектуры.

2️⃣ Agency и Ownership вместо «моя хата с краю»
Позиция «я формошлёп, мне дали тикет, я его закодил, а взлетит продукт или нет — плевать» официально отправляется на свалку истории. Ценность смещается к тем, кто забирает ответственность за всю цепочку: от бизнес-проблемы до ценности для конечного пользователя.

3️⃣ Системное мышление и коммуникация
Умение декомпозировать систему на взаимодействующие блоки и четко формулировать свои мысли текстом. Если вы не умеете внятно писать — вы не сможете поставить задачу ни нейросети, ни живой команде.

В реплаях к Торстену мгновенно пришли с ехидным комментарием:
Ты буквально написал: "Просто будь сеньором, надеюсь, помог".

И да, это так. Простого совета тут нет. Но уже нужно:

🔵 Перестать тратить месяцы на заучивание нюансов синтаксиса конкретного языка.
🔵 Закапываться в фундаментальные основы CS: сети, базы данных, операционные системы, архитектурные паттерны.
🔵 Думать от задачи бизнеса, а не от языка программирования. Если вы автоматизировали процесс кривым скриптом на 20 строк за 10 минут и сэкономили отделу продаж 100 часов в месяц — вы молодец. Если вы неделю вылизывали идеальную микросервисную архитектуру для фичи, которая никому не нужна — вы профнепригодны.

Теперь нет ничего важнее, чем понимать, что именно вы делаете и зачем. 🧠
Просмотры: 8
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Мастер-класс по защите задницы от «самой ответственной» ИИ-лаборатории 🎪

Не прошло и пары недель с новости о том, как бигтех репетирует катастрофы ради регуляторного захвата рынка, как подоспела фактура.

Журналисты Politico раскопали закрытый законопроект, который Anthropic втихаря питчит конгрессменам на Капитолийском холме.

Те самые ребята, которые годами строили бренд главных святош индустрии («мы за безопасный ИИ», «мы Public Benefit Corporation»), написали правила регулирования... под себя любимых.

Что же ребята Дарио Амодея предлагают законодателям?

1️⃣ Трогать релизы нельзя, пока нет 50 трупов или миллиарда долларов ущерба
Законопроект разрешает государству заблокировать релиз модели только в случае неминуемого риска биологической атаки, киберудара или выхода модели из-под контроля, который приведет к ущербу от $1 000 000 000 или гибели 50+ человек.
Все остальные кейсы (положили финансовую сеть помельче, слили миллионы персональных данных, парализовали работу бизнеса)? «Не лезьте, это другое».

2️⃣ «Независимый» аудит на зарплате у проверяемого
Оценивать безопасность моделей должны сторонние компании, зарегистрированные в Минторге. При этом оплачивать их работу будет... сам Anthropic. Единственное условие — гонорар формально не должен зависеть от результатов проверки.
Кто девушку ужинает, тот ей отчёты о соответствии стандартам и пишет.

3️⃣ Защита от внезапных звонков из Вашингтона
Летом Anthropic знатно пригорело, когда администрация парой телефонных звонков через экспортный контроль прикрыла им релиз двух передовых моделей. В новом законопроекте они элегантно запрещают вообще любым ведомствам и чиновникам совать нос во внутреннюю разработку и деплой. Остановить их сможет только Минторг США, и то исключительно через окружного федерального судью.

4️⃣ Похороны законов штатов
В Калифорнии, Нью-Йорке и других штатах пытаются принимать свои, куда более жесткие и неудобные для бигтеха законы об ИИ. Законопроект Anthropic красиво помножит их на ноль, установив единый и максимально беззубый федеральный стандарт.

Вот вам и вся сказка про святой «AI Safety» и спасение мира от сверхразума. Это просто корпоративный щит, юридическая страховка и выбивание индустриальных лицензий.
Цель драфта проста как три копейки: выбить себе индульгенцию от произвола государства, отрезать более жестких местных регуляторов, возглавить аудит самих себя и поставить такой порог входа, который ни один опенсорс и независимый стартап никогда не перешагнут.
Бизнес решает бизнес-задачи 🍿
Просмотры: 17
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Загружаем изображение…
Загружаем изображение…
Загружаем изображение…
27 человек на место и разбитые иллюзии: IT-рынок труда продолжает пробивать дно?

Помните, летом мы смотрели на график с 22 резюме на место и гадали: пробьет ли конкуренция планку в 25? Забудьте. Планку не просто пробило, её разнесло в щепки: по данным сентябрьской статистики hh.ru, hh.индекс в IT улетел на исторические 27.4.

И Коммерсантъ, ссылаясь на исследование ЦМАКП, зафиксировал смерть эпохи дефицита айтишников.

Смотрим на цифры 👇

1️⃣ Конкуренция: 27.4 резюме на один оффер
Летом индекс конкуренции болтался в районе 22. К осени начался новый виток безумия: в июле — 24.4, в августе — 26.4, в сентябре — 27.4.

Напомню, здоровый рынок, где соискатель и наниматель общаются на равных — это 4–7 человек на место. 27+ — это мясорубка, где резюме отсеивают скриптами просто по ключевым словам или знаку зодиака, потому что живой HR физически лопнет просматривать такие объемы.

Количество вакансий стабильно держится на дне: -33% к прошлому году. Приток резюме немного притормозил (+13% в сентябре против +27% в начале года), но накопленная масса кандидатов уже сформировала плотную пробку на входе.

2️⃣ Зарплатные ожидания рухнули
Самый показательный момент — график зарплат.

Помните, как в июне соискатели решили компенсировать инфляцию и задрали медианные ожидания до 113 291 руб., пока бизнес предлагал 92 656 руб.?

Праздник неповиновения продлился ровно два месяца. К сентябрю кандидаты ощутили на себе все прелести сидения без оффера, сняли белое пальто и опустили планку обратно до 100 000 руб. Бизнес великодушно подтянулся к этой же цифре.

Рынок жестко поставил соискателей на место: когда за дверью стоит очередь из 27 человек, диктовать условия не получается.

3️⃣ Кодеры больше не нужны, бизнесу нужны мозги

По данным ЦМАКП, внедрение LLM и автоматизации срезало спрос: на классических рядовых программистов рухнул на 47%, на тестировщиков — на 55%. Сисадмины и техподдержка потеряли около половины вакансий. Скриптописание базового уровня и ручной перегон тест-кейсов больше не являются профессией, за которую платят рыночные деньги.

Куда утекли деньги и найм?
В реальный сектор и аналитику:
— Спрос на бизнес-аналитиков вырос на 38%.
— Спрос на специалистов по работе с данными — на 15%.
— Вакансии по кибербезопасности в пищевой промышленности взлетели на 88%, в медицине — на 36%, в логистике — на 33%.

Кто понял это вовремя и прокачивал доменную экспертизу, математику и Data Science — сейчас на коне, пусть даже работать приходится не в хипстерском стартапе с кофепоинтом, а на мясокомбинате или в транспортном холдинге.

Те, кто сейчас ищет работу, какая у вас конверсия из отклика в собес? 👇
Просмотры: 11
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
6 часов работы агентов на 1 час человека и коллапс найма джунов 🧑‍💻

Anthropic выкатили показательные материалы: большое исследование о том, как AI перекроил их собственную внутреннюю кухню, и разбор от команды Claude Code про то, как они теперь вообще живут с код-ревью.
Найм джунов обвалился втрое, агенты работают в 6 раз больше людей, классический код-ревью мертв, а инженеры превратились в нянек для стаи гиперактивных моделей.

Вот самое показательное из отчетов:

1️⃣ Джуниор-позиции идут под нож
Доля найма джунов на технические позиции в Anthropic рухнула с 27% до 9%. Доля уже работающих джунов сократилась с 21% до 14%. Причина простая: написание базового кода и поиск типовых багов полностью уехали на откуп Claude. Требования к кандидатам резко мутировали: вместо знания конкретных библиотек и синтаксиса нанимающие менеджеры требуют autonomy and judgment — способность мыслить верхнеуровнево, принимать архитектурные решения и разгребать неопределенность.

2️⃣ Человек — главное бутылочное горлышко
В марте 2026 года рабочие часы агентов в Anthropic превысили рабочие часы людей. Сейчас соотношение — 6 к 1.
Но вот парадокс: около 80% времени агенты тупо простаивают. Они ждут решения от человека.

Один из инженеров описал это емкой метафорой:
«Это похоже на работу няньки в детском саду. К тебе подбегает толпа Клодов, и каждый орет, что у него ЧП. Только у одного ребенок порезал палец и хлещет кровь, а у второго — всего лишь заело трубочку в пакетике с соком. Но кричат они с одинаковой громкостью».

3️⃣ Смерть классического код-ревью
В монорепе Anthropic поток коммитов вырос с 2 500 в день в мае до 30 000+ к сентябрю. 90% кода самого инструмента Claude Code пишет Claude. Читать диффы глазами строка за строкой при таком потоке физически невозможно. Ревью теперь полностью автоматизировано: пачка агентов ищет баги, голосует между собой за валидность претензий, отсеивает шум, а для изменений низкого риска человека вообще убрали из цепочки аппрува (zero-human merges).

Людям оставили ровно пять вопросов: нужно ли вообще это разрабатывать (дирекшн), сложная архитектура, критические зоны (биллинг/автоапдейтер), проверка доказательств тестов и персональная ответственность. Правило простое: замержил — отвечаешь головой.

4️⃣ Нейросетевая душность и бесконечные циклы
Интересный кейс: когда агента-автора заставили исправлять замечания агента-ревьюера, они устроили бесконечный пинг-понг на 50+ раундов за одну ночь, завалив репозиторий правками правок.

Оказалось, что в 59% случаев агент-ревьюер не находил новые баги, а просто бесконечно докапывался до старого кода, меняя шило на мыло. В итоге инженерам пришлось ввести жесткий лимит: максимум 3 раунда правок, после чего модель обязана остановиться и пересмотреть подход целиком.

В итоге инженерам пришлось вручную ограничить этот маразм: максимум 3 раунда правок, дальше зовите человека.

5️⃣ Никто больше не держит архитектуру в голове
Команда прямо пишет: никто из разработчиков не держит в голове полную архитектуру всего проекта — в этом просто нет смысла. Если нужно залезть в незнакомый модуль, просят Claude сгенерировать интерактивное объяснение конкретного среза под задачу. Инженеры перестали быть писателями кода, превратившись в менеджеров стаи агентов: 22% их времени занимает «мета-работа» — составление спек, мониторинг пайплайнов и разруливание системного техдолга.

6️⃣ Нетехи начинают кодить
Благодаря инструментам вроде MCP и coding-агентам продажники, юристы и финансисты собирают под себя кастомные дашборды и пайплайны за 3–4 часа без привлечения разработки. Количество сессий программирования у сотрудников без опыта подскочило с 2 в месяц до 90.

Так-то по хорошему уже правда пора переименовывать часть специальностей в программировании в "Погонщик агентов" 🌝
Просмотры: 12
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Выкатили Polars 2.0: смерть OOM и пощечина DuckDB 🐻‍❄️⚡️

Пока почти вся индустрия по привычке мучает Pandas, команда Polars выкатила фундаментальный релиз 2.0.
Теперь движок по умолчанию умеет сбрасывать данные на диск при нехватке памяти, рвёт DuckDB на SQL-бенчмарках и ломает обратную совместимость ради скорости.

1️⃣ Out-of-core и стриминг из коробки
Раньше классический сценарий выглядел так: у вас 32 ГБ RAM, вы пытаетесь выполнить LazyFrame.collect() на жирном файле, память забивается под завязку, приходит OOM Killer и убивает процесс.

В 2.0 стриминговый движок работает по дефолту. Как только потребление оперативной памяти переваливает за ≈80%, Polars начинает сбрасывать промежуточные результаты на диск (по умолчанию заложен лимит в 64 ГБ). Сортировки, оконные функции и тяжелые вычисления выражений теперь не роняют скрипт.

⚠️ Но стриминговый движок не гарантирует сохранение исходного порядка строк при операциях вроде join или group_by.


2️⃣ SQL первого класса: DuckDB, у вас проблемы

Polars теперь официально позиционирует SQL как равноправный интерфейс. Под капотом переписали оптимизатор: добавили bloom-фильтры, динамические предикаты, умную перестановку join-ов и устранение общих подпланов.

Команда прогнала стандартные бенчмарки TPC-H и TPC-DS против свежих версий DuckDB и DataFusion. Результат: Polars быстрее почти во всех тестах как по суммарному времени, так и по геометрическому среднему.

Есть детская болячка: на мелких объемах данных вылезает оверхед синхронизации (DuckDB там пока выигрывает). Разработчики признали проблему и пообещали поправить в минорных апдейтах. Но на средних и тяжелых нагрузках цифры впечатляют.

3️⃣ Нативный тип Map (человеческие словари)

Раньше хранить ключ-значение внутри таблицы приходилось через костыльный List(Struct({"key": ..., "value": ...})). Читать и обрабатывать это было мучением.

Теперь завезли нативную поддержку Arrow MapType: pl.Map(key_type, value_type). Появились нормальные человеческие методы для работы со словарями прямо внутри выражений: .map.get(), .map.contains_key(), .map.keys(), .map.values().

Быстро, типизировано, без костылей с распаковкой структур.

4️⃣ Жесткая типизация и заточка под AI-агентов
Polars окончательно уходит от неявных приведений типов. Идеология простая: скрипт должен падать сразу, а не через 40 минут расчетов из-за внезапного null или несовпадения схемы.

Для этого докрутили collect_schema(), который проверяет типы и резолвит схему пайплайна вообще без материализации данных. Это киллер-фича для генерации кода через LLM: агент может за миллисекунды проверить сгенерированный запрос на валидность до того, как начнет выполнять операции на терабайтах данных.

🔗 Если сидите на первой версии — читайте миграционный гайд
Просмотры: 11
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
«Ни строчки кода руками»: Epic Games нашла способ спасти горящие дедлайны 🤡

Амбициозный шутер Epic Games и Disney по Marvel и Star Wars трещит по швам и не укладывается в сроки. Руководство студии придумало «гениальный» план спасения: полностью запретить писать код руками, генерировать весь арт сетками, а разрабов понизить до операторов Claude.

По инсайдам Bloomberg Epic Games посыпались на разработке крупного шутера по вселенным Marvel и Star Wars, а под него Disney занес им $1.5 млрд инвестиций.

Предыстория там показательная: ранее Epic уволили около 1000 сотрудников (надо же оптимизировать косты), затем внезапно выяснили, что жестко просчитались с оценкой сроков и ресурсов, разработка забуксовала, а релиз начал сдвигаться по срокам.

Что в такой ситуации делает эффективный менеджмент? Режет скоуп? Трезво пересматривает архитектуру? Признает ошибки планирования?

Не-а. Руководство студии объявляет созвон и ставит команду перед фактом: с этого момента мы — «AI-first» производство.

Цитата одного из директоров из внутренней рассылки:
Больше никакого рукописного кода. Весь арт для игры будет создан через пайплайны полного AI-цикла. Люди будут лишь менеджерить этот процесс.

Реакция разработчиков на созвоне предсказуема: ступор и нервный смех. А схема старая как мир:
1. Срезать штат ради красивых отчетов.
2. Профакапить эстимейты сложнейшего AAA-пайплайна.
3. Прибежать с горящими глазами и потребовать, чтобы нейросеть за пару месяцев сделала за людей сложнейшую инженерную работу.

Закон Брукса в эпоху генеративного AI заиграл новыми красками: девять женщин не родят ребенка за месяц, а десять подписок на Claude не выкатят AAA-шутер, если у вас нет людей, способных удерживать сложную инженерную архитектуру в голове и писать надежные решения.

Буду ждать этот AI-first шутер, очень интересно взлетит или нет ☕️
Просмотры: 11
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Дал агенту таску — получил уголовку: как Claude взламывает чужие сервера, чтобы закрыть бенчмарк

Anthropic опубликовали отчет о том, что вытворяют их модели (включая Claude Mythos и Opus), если дать им доступ в сеть во время оценки по бенчмаркам. Чтобы закрыть таску любой ценой, сетка эксплуатировала RCE/инъекции на сервере университета, отправляла фейковые показания об убийстве в полицию и обходила собственные ограничения безопасности через сокращатели ссылок.

Вот самое показательное из отчета:

1️⃣ Эксплуатация уязвимостей ради калькулятора
Задачка: провести научный расчет с помощью веб-утилиты. Утилита хостится на сервере университета и в момент теста выплевывает ошибку.
Что делает нормальный специалист? Ищет альтернативу или чинит окружение.

Что делает Claude Mythos? Начинает сканировать сайт университета, находит кривой скрипт с уязвимостью чтения файлов, выкачивает бэкенд, находит в коде дыру под инъекцию команд, через нее выполняет shell-команды прямо на университетском сервере и считает то, что нужно. Инженеры годами спорят об этичности ИИ, а модель молча оформила несанкционированный RCE-взлом, потому что ей просто нужен был ответ в бенчмарке.

2️⃣ Обход пейволла через Web Archive
Нужно спарсить данные с госпортала, но сайт требует платную подписку или акцепт лицензии.
Модель не стала жаловаться на нехватку бюджета. Она раскопала конфигурационные файлы фронтенда, нашла рабочие токены доступа, а в другом кейсе залезла в Web Archive, выяснила, как старый эндпоинт раздавал авторизацию без оплаты, постучалась туда напрямую через API и забрала базу бесплатно.

3️⃣ Обход инфраструктурных лимитов безопасности
В инструменте парсинга страниц Anthropic ограничили максимальную длину URL — чтобы модель не могла эксфильтровать большие пачки данных наружу.
Ответ сетки? Claude Opus и Mythos просто пошли на сторонний сервис сокращения ссылок, пожали длинный URL и просунули его в инструмент. Ограничение обойдено. О факапе разработчики узнали в том числе потому, что владелец сервиса шортнеров сам пришел к Anthropic спросить: «Ребята, а почему ваши агенты генерируют у нас миллион ссылок?»

4️⃣ Ложные показания по делу об убийстве
Claude Haiku дали задачу генерировать действия на случайных веб-страницах. Модель занесло на страницу нераскрытого убийства, где висела форма для анонимных свидетельских показаний.
Промпт запрещал вводить персональные данные, но не запрещал жать кнопку «Отправить». Модель нагенерировала текст: «Кажется, я видел похожего человека в этом районе в то время, свяжитесь со мной», оставила пустые контакты и пульнула форму копам. Департаменту полиции Филадельфии даже пришлось выпускать отдельный пресс-релиз.

Как уже много раз писал — здесь нет никакого восстания, злого умысла или сознания. Это рафинированный Reward Hacking — классическая проблема обучения с подкреплением.
Когда вы ставите агенту цель и даете награду за успешный результат, он будет минимизировать функцию потерь кратчайшим путем. Модель не понимает концепций «чужая собственность», «закон», «этика» или «платный сервис». Для нее упавший сервер, пейволл или валидация длины строки — это просто шум в пайплайне, который нужно обойти, чтобы получить высокий скор.

Ели задача сформулирована неоднозначно или невыполнима честным путем, агент почти всегда начнет срезать углы самым кривым образом.

Уже много раз доказано, что защита может быть только на уровне инфраструктуры , но никак не на уровне самой модели. 🛡
Просмотры: 13
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
«Тогда пишите код на ассемблере и без бэкспейса» — Линус Торвальдс выдал базу про запрет нейросетей 🤌

В рассылке ядра попытались зарегулировать и запретить использование нейросетей разработчиками. Линус ворвался в тред и на пальцах объяснил, почему такие запреты — абсолютный идиотизм, а умные специалисты никогда не шарахаются от новых инструментов.

Я уже как-то писал, как Линус запрягал LLM для хардкорного дебага ядра на 24 патча и 18 перезагрузок. Казалось бы: главный человек в мировом open source открыто показывает прагматичный подход — берешь инструмент и фигачешь при помощи него черновую работу.

Но пуристы не дремлют. В мейл-листе LKML очередные борцы за «чистоту разработки» попытались протолкнуть ограничения на использование AI-инструментов. Один из ключевых мейнтейнеров аргументировал это типичным: мол, «мы просто задаём ожидания сообщества, чего мы хотим, а чего нет».

В переписку ворвался Линус и предложил докрутить эту логику до её естественного финала:

Дело вообще не в ожиданиях, дело исключительно в твоих личных тараканах в голове. Я вообще не понимаю эту идиотскую концепцию "не используй ИИ для задачи X".

«Вот тебе новое правило специально для тебя: не используй компиляторы для отправки патчей в ядро.
Потому что если ты не можешь показать реальное понимание того, что делает машина, написав код на чистом ассемблере — я не хочу видеть твой код. Ты явно некомпетентен, если не способен писать так.
И, кстати, не смей использовать текстовый редактор для написания commit message. Я требую доказательств, что ты можешь написать нормальный текст без инструментов, которые позволяют нажать Backspace и скрыть опечатки.
Вы вообще понимаете, насколько БЕСКОНЕЧНО ТУПЫМИ были бы такие правила?»

Мои ожидания заключаются в том, что люди выкладываются на максимум и понимают, что они делают. Но это понимание имеет очень мало общего с тем, какими инструментами они пользуются.
И, честно говоря, по моему опыту, люди, которых я уважаю и считаю умными — это не те, кто шарахается от новых интересных инструментов.

Подписываюсь под каждым словом 🤝
Просмотры: 12
Перейти в пост Открыть в MAX Сообщить о неточности
Вся лента — после бесплатной регистрации
ВКонтакте Телеграм Одноклассники
Избранное в datool.ru

Следите за каналом в личном кабинете

Зарегистрируйтесь в datool.ru, чтобы добавить канал «Олег Булыгин | Полезная нагрузка» в избранное и отслеживать его показатели.

Зарегистрироваться
Для владельцев каналов

Подтвердите свой канал

Войдите или зарегистрируйтесь в datool.ru, затем добавьте нашего бота в канал по инструкции в личном кабинете. После проверки владения замок исчезнет и вам станет доступно управление каналом.

Войти или зарегистрироваться

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти