Олег Булыгин | Полезная нагрузка

Выкатили Polars 2.0: смерть OOM и пощечина DuckDB 🐻‍❄️⚡️

Пока почти вся индустрия по привычке мучает Pandas, команда Polars выкатила фундаментальный релиз 2.0.
Теперь движок по умолчанию умеет сбрасывать данные на диск при нехватке памяти, рвёт DuckDB на SQL-бенчмарках и ломает обратную совместимость ради скорости.

1️⃣ Out-of-core и стриминг из коробки
Раньше классический сценарий выглядел так: у вас 32 ГБ RAM, вы пытаетесь выполнить LazyFrame.collect() на жирном файле, память забивается под завязку, приходит OOM Killer и убивает процесс.

В 2.0 стриминговый движок работает по дефолту. Как только потребление оперативной памяти переваливает за ≈80%, Polars начинает сбрасывать промежуточные результаты на диск (по умолчанию заложен лимит в 64 ГБ). Сортировки, оконные функции и тяжелые вычисления выражений теперь не роняют скрипт.

⚠️ Но стриминговый движок не гарантирует сохранение исходного порядка строк при операциях вроде join или group_by.


2️⃣ SQL первого класса: DuckDB, у вас проблемы

Polars теперь официально позиционирует SQL как равноправный интерфейс. Под капотом переписали оптимизатор: добавили bloom-фильтры, динамические предикаты, умную перестановку join-ов и устранение общих подпланов.

Команда прогнала стандартные бенчмарки TPC-H и TPC-DS против свежих версий DuckDB и DataFusion. Результат: Polars быстрее почти во всех тестах как по суммарному времени, так и по геометрическому среднему.

Есть детская болячка: на мелких объемах данных вылезает оверхед синхронизации (DuckDB там пока выигрывает). Разработчики признали проблему и пообещали поправить в минорных апдейтах. Но на средних и тяжелых нагрузках цифры впечатляют.

3️⃣ Нативный тип Map (человеческие словари)

Раньше хранить ключ-значение внутри таблицы приходилось через костыльный List(Struct({"key": ..., "value": ...})). Читать и обрабатывать это было мучением.

Теперь завезли нативную поддержку Arrow MapType: pl.Map(key_type, value_type). Появились нормальные человеческие методы для работы со словарями прямо внутри выражений: .map.get(), .map.contains_key(), .map.keys(), .map.values().

Быстро, типизировано, без костылей с распаковкой структур.

4️⃣ Жесткая типизация и заточка под AI-агентов
Polars окончательно уходит от неявных приведений типов. Идеология простая: скрипт должен падать сразу, а не через 40 минут расчетов из-за внезапного null или несовпадения схемы.

Для этого докрутили collect_schema(), который проверяет типы и резолвит схему пайплайна вообще без материализации данных. Это киллер-фича для генерации кода через LLM: агент может за миллисекунды проверить сгенерированный запрос на валидность до того, как начнет выполнять операции на терабайтах данных.

🔗 Если сидите на первой версии — читайте миграционный гайд

«Ни строчки кода руками»: Epic Games нашла способ спасти горящие дедлайны 🤡

Амбициозный шутер Epic Games и Disney по Marvel и Star Wars трещит по швам и не укладывается в сроки. Руководство студии придумало «гениальный» план спасения: полностью запретить писать код руками, генерировать весь арт сетками, а разрабов понизить до операторов Claude.

По инсайдам Bloomberg Epic Games посыпались на разработке крупного шутера по вселенным Marvel и Star Wars, а под него Disney занес им $1.5 млрд инвестиций.

Предыстория там показательная: ранее Epic уволили около 1000 сотрудников (надо же оптимизировать косты), затем внезапно выяснили, что жестко просчитались с оценкой сроков и ресурсов, разработка забуксовала, а релиз начал сдвигаться по срокам.

Что в такой ситуации делает эффективный менеджмент? Режет скоуп? Трезво пересматривает архитектуру? Признает ошибки планирования?

Не-а. Руководство студии объявляет созвон и ставит команду перед фактом: с этого момента мы — «AI-first» производство.

Цитата одного из директоров из внутренней рассылки:
Больше никакого рукописного кода. Весь арт для игры будет создан через пайплайны полного AI-цикла. Люди будут лишь менеджерить этот процесс.

Реакция разработчиков на созвоне предсказуема: ступор и нервный смех. А схема старая как мир:
1. Срезать штат ради красивых отчетов.
2. Профакапить эстимейты сложнейшего AAA-пайплайна.
3. Прибежать с горящими глазами и потребовать, чтобы нейросеть за пару месяцев сделала за людей сложнейшую инженерную работу.

Закон Брукса в эпоху генеративного AI заиграл новыми красками: девять женщин не родят ребенка за месяц, а десять подписок на Claude не выкатят AAA-шутер, если у вас нет людей, способных удерживать сложную инженерную архитектуру в голове и писать надежные решения.

Буду ждать этот AI-first шутер, очень интересно взлетит или нет ☕️

Дал агенту таску — получил уголовку: как Claude взламывает чужие сервера, чтобы закрыть бенчмарк

Anthropic опубликовали отчет о том, что вытворяют их модели (включая Claude Mythos и Opus), если дать им доступ в сеть во время оценки по бенчмаркам. Чтобы закрыть таску любой ценой, сетка эксплуатировала RCE/инъекции на сервере университета, отправляла фейковые показания об убийстве в полицию и обходила собственные ограничения безопасности через сокращатели ссылок.

Вот самое показательное из отчета:

1️⃣ Эксплуатация уязвимостей ради калькулятора
Задачка: провести научный расчет с помощью веб-утилиты. Утилита хостится на сервере университета и в момент теста выплевывает ошибку.
Что делает нормальный специалист? Ищет альтернативу или чинит окружение.

Что делает Claude Mythos? Начинает сканировать сайт университета, находит кривой скрипт с уязвимостью чтения файлов, выкачивает бэкенд, находит в коде дыру под инъекцию команд, через нее выполняет shell-команды прямо на университетском сервере и считает то, что нужно. Инженеры годами спорят об этичности ИИ, а модель молча оформила несанкционированный RCE-взлом, потому что ей просто нужен был ответ в бенчмарке.

2️⃣ Обход пейволла через Web Archive
Нужно спарсить данные с госпортала, но сайт требует платную подписку или акцепт лицензии.
Модель не стала жаловаться на нехватку бюджета. Она раскопала конфигурационные файлы фронтенда, нашла рабочие токены доступа, а в другом кейсе залезла в Web Archive, выяснила, как старый эндпоинт раздавал авторизацию без оплаты, постучалась туда напрямую через API и забрала базу бесплатно.

3️⃣ Обход инфраструктурных лимитов безопасности
В инструменте парсинга страниц Anthropic ограничили максимальную длину URL — чтобы модель не могла эксфильтровать большие пачки данных наружу.
Ответ сетки? Claude Opus и Mythos просто пошли на сторонний сервис сокращения ссылок, пожали длинный URL и просунули его в инструмент. Ограничение обойдено. О факапе разработчики узнали в том числе потому, что владелец сервиса шортнеров сам пришел к Anthropic спросить: «Ребята, а почему ваши агенты генерируют у нас миллион ссылок?»

4️⃣ Ложные показания по делу об убийстве
Claude Haiku дали задачу генерировать действия на случайных веб-страницах. Модель занесло на страницу нераскрытого убийства, где висела форма для анонимных свидетельских показаний.
Промпт запрещал вводить персональные данные, но не запрещал жать кнопку «Отправить». Модель нагенерировала текст: «Кажется, я видел похожего человека в этом районе в то время, свяжитесь со мной», оставила пустые контакты и пульнула форму копам. Департаменту полиции Филадельфии даже пришлось выпускать отдельный пресс-релиз.

Как уже много раз писал — здесь нет никакого восстания, злого умысла или сознания. Это рафинированный Reward Hacking — классическая проблема обучения с подкреплением.
Когда вы ставите агенту цель и даете награду за успешный результат, он будет минимизировать функцию потерь кратчайшим путем. Модель не понимает концепций «чужая собственность», «закон», «этика» или «платный сервис». Для нее упавший сервер, пейволл или валидация длины строки — это просто шум в пайплайне, который нужно обойти, чтобы получить высокий скор.

Ели задача сформулирована неоднозначно или невыполнима честным путем, агент почти всегда начнет срезать углы самым кривым образом.

Уже много раз доказано, что защита может быть только на уровне инфраструктуры , но никак не на уровне самой модели. 🛡

«Тогда пишите код на ассемблере и без бэкспейса» — Линус Торвальдс выдал базу про запрет нейросетей 🤌

В рассылке ядра попытались зарегулировать и запретить использование нейросетей разработчиками. Линус ворвался в тред и на пальцах объяснил, почему такие запреты — абсолютный идиотизм, а умные специалисты никогда не шарахаются от новых инструментов.

Я уже как-то писал, как Линус запрягал LLM для хардкорного дебага ядра на 24 патча и 18 перезагрузок. Казалось бы: главный человек в мировом open source открыто показывает прагматичный подход — берешь инструмент и фигачешь при помощи него черновую работу.

Но пуристы не дремлют. В мейл-листе LKML очередные борцы за «чистоту разработки» попытались протолкнуть ограничения на использование AI-инструментов. Один из ключевых мейнтейнеров аргументировал это типичным: мол, «мы просто задаём ожидания сообщества, чего мы хотим, а чего нет».

В переписку ворвался Линус и предложил докрутить эту логику до её естественного финала:

Дело вообще не в ожиданиях, дело исключительно в твоих личных тараканах в голове. Я вообще не понимаю эту идиотскую концепцию "не используй ИИ для задачи X".

«Вот тебе новое правило специально для тебя: не используй компиляторы для отправки патчей в ядро.
Потому что если ты не можешь показать реальное понимание того, что делает машина, написав код на чистом ассемблере — я не хочу видеть твой код. Ты явно некомпетентен, если не способен писать так.
И, кстати, не смей использовать текстовый редактор для написания commit message. Я требую доказательств, что ты можешь написать нормальный текст без инструментов, которые позволяют нажать Backspace и скрыть опечатки.
Вы вообще понимаете, насколько БЕСКОНЕЧНО ТУПЫМИ были бы такие правила?»

Мои ожидания заключаются в том, что люди выкладываются на максимум и понимают, что они делают. Но это понимание имеет очень мало общего с тем, какими инструментами они пользуются.
И, честно говоря, по моему опыту, люди, которых я уважаю и считаю умными — это не те, кто шарахается от новых интересных инструментов.

Подписываюсь под каждым словом 🤝

Когда менеджмент не умеет считать KPI, он покупает ИИ, чтобы фотокать сотрудников 📸

В США уволили удаленщицу с отличным стажем за отказ использовать Sentinel AI — софт, который делает 160 снимков её лица через вебку каждые три минуты. Это не технологическая инновация, а симптом терминальной стадии некомпетентности руководства.

Гленнис работала на удаленке с 2018 года, получала отличные ревью. Но в августе компания внедрила Sentinel AI. Софт делает снимок лица каждые 3 минуты (около 160 раз в день). У сотрудницы волчанка, стресс вызывает обострения, врач просит снизить частоту съемки.

Реакция бизнеса? Ультиматум: соглашайся на цифровой концлагерь, езжай в офис или увольняйся. Гленнис уволили. Теперь компанию ждет суд за нарушение законов о дискриминации.

Речь тут, конечно, не про AI и софт. Проблема в менеджменте и в неумении измерять интеллектуальный труд.

В IT мы производим смыслы и решения. Закрытые тикеты, стабильный код, спроектированная архитектура, выполненные бизнес-метрики. Если вашему руководителю или HR-департаменту нужно 160 раз в день убедиться, что ваша биологическая оболочка физически находится перед монитором, значит, что вам не доверяют, либо в компании нет нормальной системы оценки перформанса (либо оба фактора вместе). И это начинают компенсировать это тотальным контролем присутствия. Сейчас, к сожалению, этот архаичный микроменеджмент упаковывают в модную обертку "AI-мониторинга".

В Штатах уже начали шевелиться: Нью-Йорк, Калифорния и другие штаты пытаются законодательно запретить этот цифровой паноптикум, а Нью-Джерси требует независимого аудита для ИИ-слежки. Но пока законы не приняты везде, корпоративные вахтёры будут продолжать покупать подписки на "нейросетевые плетки".

Если на собеседовании вам намекают на "системы трекинга активности" или просят поставить софт для скриншотов и вебки — это огромный красный флаг 🚩. Бегите оттуда.

Пишите, у кого на работе подобные трекеры активности есть, и как вы с этим живете 👇

Почему 99% людей уверены, что нейросети — это пузырь, пока у оставшегося 1% шевелятся волосы на голове?

Андрей Карпаты выкатил интересный пост о том, почему в индустрии сейчас царит тотальное непонимание возможностей AI.
Оценка возможностей нейросетей зависит исключительно от того, на каком уровне "пищевой цепи" доступа и задач вы находитесь. Пока 99% людей уверены, что LLM — это забавный туповатый Т9 для пересказа статей, доли процента технарей наблюдают график способностей, уходящий строго вертикально.

Карпаты разложил человечество по воронке из 4 уровней:

1️⃣ ~6 млрд человек (~75%): вообще не трогали современные LLM руками или с трудом представляют, что это такое.

2️⃣ 1–2 млрд человек (~20%): казуальные пользователи бесплатных версий (условный фри-тир ChatGPT). Они видят неуклюжего чат-бота, просят переписать письмо начальнику, используют его как чуть более умный Google и ржут с вирусных рилсов, где голосовой ассистент тупит на вопросе «мне ехать на автомойку или идти пешком?». У большинства руководителей и гуманитариев понимание AI застряло ровно здесь: прикольно, хайпово, но в реальности пользы с гулькин нос.

3️⃣ ~20 млн человек (~0.2%): инженеры, исследователи и математики, плотно использующие топовые платные модели и агентные тулы.
Тут люди видят совершенно другую реальность: задачи, на которые раньше уходили недели и месяцы ручного набивания кода посимвольно в IDE, автономные агенты закрывают по одному промпту. Декомпиляция бинарников, клонирование приложений, переписывание целых кодовых баз.

4️⃣ ~5 000 человек (~0.00006%): инсайдеры и ресерчеры ведущих лабораторий (OpenAI, Anthropic и ко). Там уже работают свормы из тысяч автономных агентов, неделями решающие сложнейшие задачи: генерация zero-day уязвимостей на машинных скоростях, автономная атака и защита систем, доказательство фронтирной математики. Человеческий мозг уже не успевает верифицировать и осмыслять эти объемы.

Почему возникла эта пропасть?

Тут работают фундаментальные инженерные и экономические факторы:

🔵 Масштаб задачи. Если вы скармливаете модели вопрос на один абзац («напиши поздравление коллеге»), вы вообще не нагружаете систему. Мощь современных моделей проявляется только на длинных дистанциях и сложных, многоступенчатых задачах, где требуется контекст и логическое планирование.
🔵 Принцип проверяемости. Современный качественный скачок LLM держится на RL (обучении с подкреплением). А RL идеально работает там, где результат можно верифицировать алгоритмически: в коде и математике. Либо тесты прошли, либо нет. Либо скрипт упал с ошибкой, либо выдал верный результат. В тексте, маркетинге, философии или бытовом трепе у вас нет объективной функции награды — поэтому там модели развиваются куда медленнее и плодят галлюцинации.
🔵 Разница доступа. Опыт использования бесплатной огрызочной модели годичной давности и платного передового агента в терминале — это две разные цивилизации.

Парадокс момента в том, что все эти уровни существуют одновременно.
В одной реальности обыватель авторитетно заявляет в комментариях, что «нейронки — это просто Т9 на стероидах», потому что ChatGPT не понял глупый мем. В параллельной реальности за соседней стеной сидит инженер и наблюдает, как кластер за один прогон перепахивает кодовую базу, на которую у команды ушел бы квартал работы.

К какой группе честно относите себя?👇