New We are sorting MAX channels into categories and territories. Read the news
Public channel ID 78238914479492

Олег Булыгин | Полезная нагрузка

🔸 Про IT, AI, DS, ML от практика с 11+ годами опыта.

Open in MAX

Posts for the period

By reactions

Search and the whole feed — after free registration. Custom dates — with a subscription; the channel owner sees them for free. Sorting by reactions — with a subscription. Sign up

Loading…

Как сделать кооп для игр 20-летней давности 🎮

Чуваки запрягли автономных ИИ-агентов (Claude Code, Codex и локальные модели) делать то, на что у людей уходят годы жизни — превращать старые синглплеерные игры в кооператив. Без исходников, без официального SDK, чисто на реверсе x86-бинарников, инъекциях в память и жестком системном программировании.

Вокруг агентов создатели выстроили строгий инженерный пайплайн:

1️⃣ Реверс через MCP
Агентам дают глаза и руки прямо в декомпиляторах через Model Context Protocol (Ghidra headless, IDA, REA). Агент сам разгребает ассемблер, находит матрицу трансформации физического тела Havok, парсит кастомные игровые архивы, перехватывает таблицы импортов и инжектит код прямо в движок (например, в древний Lua 4.0 внутри Far Cry 2 или Gamebryo в Divinity II).

2️⃣ Хуки без исходного кода
Через DLL-прокси перехватывают запуск, подменяют системные мьютексы (чтобы игра позволяла запустить две копии на одном ПК для тестов) и изолируют профили с сохранениями.

3️⃣Никаких «человеческих плейтестов» — только жесткий QA
В манифесте проекта прописано правило: «Human playtest is not a test plan». Если мод требует человека для проверки — это баг самого процесса тестирования.

Как агенты проверяют, что кооператив работает?
🔵 Изоляция инстансов: на лету создаются тестовые копии игры через NTFS hard links (50 Гб игра занимает 0 Мб дополнительного места), изолируются сейвы и конфиги.
🔵Боты внутри движка: агенты не тыкают виртуальную мышку. Они поднимают внутриигровых ботов, которые через RPC дергают функции движка, двигают персонажей, стреляют и проверяют состояние мира.
🔵Flight Recorder и авто-дебаг: пишется бинарный лог всех пакетов и транзакций. Если на 680-й миллисекунде у хоста и клиента разъехался стейт — парсер находит точный ключ, который рассинхронизировался, выстраивает причинно-следственную цепочку событий и методом дельта-отладки сжимает многоминутный сценарий до 3–4 шагов, генерируя готовый регрессионный тест.

4️⃣ Как организована работа самих LLM
Никто не скармливает нейросети весь проект целиком с криком «сделай мне красиво».
Архитектура работы выстроена так:
🔵 Strict Anti-Hallucination: в промптах жестко зашито разделение на «факты из кода», «дедукцию», «гипотезы» и «неизвестное». Если факт не проверен тестом — агент обязан писать unknown.
🔵 Мутационное тестирование самих тестов: агент обязан запустить так называемый «mutation twin» — намеренно сломать одну проверку в коде и убедиться, что тест упадет. Тест, который не может упасть, считается мусором.
🔵 Дешевые рабочие руки: аудит и парсинг функций параллелятся на пачку дешевых моделей (Haiku / Sonnet), а координацией и мерджем занимается сильный агент.

Кому интересно покопаться в кишках — проект открыт на GitHub. Даже если вы не собираетесь пилить мультиплеер для условной Gothic 3 — там собрана отличная база знаний по распределенным системам, борьбе с рассинхронами и правильному тестированию софта.
Views: 1
Go to post Open in MAX Report an inaccuracy
Чтобы купить больше чипов, нужно продать немного людей 🤡

Только недавно мы наблюдали, как Amazon слезно умоляет вернуться людей, которых сам же поувольнял ради красивых отчетов, а в Epic Games от отчаяния запрещают писать код руками и заставляют разработчиков быть надсмотрщиками над Claude.

И вот на этот раз от Microsoft.

Компания выкатила предложение о добровольном увольнении с компенсацией примерно для 60 000 сотрудников. На секундочку, это больше четверти от всего глобального штата корпорации (223 тысячи человек).

Причина настолько восхитительна в своей корпоративной искренности, что заслуживает аплодисментов: нужно срезать косты, чтобы профинансировать $175 млрд капитальных затрат на ИИ в 2026 году. Microsoft прогнозирует капитальные затраты (CapEx) на уровне 175 миллиардов долларов.

Миллиардов. Долларов.

Всё это уходит на дата-центры, охлаждение и бесконечные стойки с чипами для Дженсена Хуанга.
Но самое мякотка в том, какие именно отделы попали под оптимизацию: Windows, Xbox, финансы, HR и... внимание, команды Copilot и AI experiences.

Вы просто вдумайтесь в уровень постиронии: компания увольняет людей, которые пилят продукты на базе ИИ, чтобы оплатить серверы, на которых этот ИИ будет крутиться 🤡

Кожаные мешки стоят денег каждый месяц, требуют страховку и задают неудобные вопросы. Кластеры H100 и кастомных ускорителей вопросов не задают — они просто жрут электричество гигаваттами и красиво смотрятся в графе «капитальные инвестиции в будущее».

План-капкан. Осталось только надеяться, что серверные стойки в дата-центрах со временем сами объединятся в профсоюз, напишут рабочий софт и объяснят совету директоров, как на этом заработать.
Views: 9
Go to post Open in MAX Report an inaccuracy
Главный враг айтишника — другой айтишник 🤡

Вышло занятное исследование офисной коммуникации: IT-специалисты заняли второе место в топе самых трудных коллег, уступив только топ-менеджменту. Но мякотка в другом — айтишники оказались единственной кастой, которая назвала самыми невыносимыми людьми на работе... самих себя.

Пока юристы, бухгалтеры и маркетологи вполне комфортно уживаются со своими соплеменниками, каждый пятый айтишник искренне страдает от общения с соседним разработчиком.

С бизнесом, продажами или юристами всё предельно просто. Там обсуждают сроки, фичи и деньги. Задача либо решена, либо нет. Спорить особо не о чем — есть требования, метрики и дедлайн.

Но стоит айтишнику зайти в свой родной чат, как начинается священный джихад:
🔵 Монолит или микросервисы?
🔵 Кафка или Рэббит?
🔵 Почему этот класс написан не по чистому канону Фаулера и Мартина, а твои абстракции недостаточно абстрактны?
🔵 150 токсичных комментариев на код-ревью из-за именования переменной или стиля форматирования.

Заодно исследование подсветило, почему от IT воют продажи и офис-менеджеры: отсутствие нормального переводчика. Когда бизнес приходит с конкретной прикладной болью, а в ответ получает лекцию про техдолг, CAP-теорему и почему базу данных нужно переписывать полгода — коммуникация предсказуемо умирает.

Закон Паркинсона о тривиальности в действии: чем проще и незначительнее деталь реализации, тем яростнее за неё бьются насмерть.

Признавайтесь, кто у вас на проекте главный душнила и почему это тимлид? 👇
Views: 14
Go to post Open in MAX Report an inaccuracy
«ИИ оставит программистов без работы», серия 42: Bank of America нанимает 1000 инженеров, чтобы спастись от одной нейросети 🤦‍♂️

Пока некоторые хоронят профессию разработчика, Bank of America экстренно нанял 1000 исполнителей в помощь своим 3000 безопасникам и слил «пару сотен миллионов долларов» за квартал. Причина — новая модель Mythos от Anthropic вскрыла столько дыр в их софте, что затыкать их пришлось рекордной толпой живых людей.

Anthropic дала доступ к своей новой frontier-модели Mythos ограниченному кругу банков и корпораций. И у безопасников BofA моментально поседели волосы во всех местах.

Оказалось, что продвинутый ИИ находит уязвимости тридцатилетней давности в легаси-коде и софте сторонних вендоров с чудовищной скоростью. То, что раньше спал и не видел ни один аудитор, модель вскрывает за минуты.

И кто же побежал всё это срочно рефакторить, переписывать и патчить? Может, автономные ИИ-агенты? Может, нажали кнопку «Сделать безопасно», и всё само починилось?

Ага, размечтались.

Пришлось выкатывать армию из 4000 живых специалистов (включая тысячу дорогущих внешних консультантов по почасовой ставке), чтобы судорожно латать дыры. Результат для банка — просадка акций на 8% и сотни миллионов непредвиденных расходов на тушение пожара.

Отдельного внимания заслуживают цитаты CEO банка Брайана Мойнихана.

Во-первых, фраза года:
«Люди, которые занимаются разработкой софта, — это те же люди, которые пытаются продавать нам эти сервисы».

Добро пожаловать в реальный мир, Брайан. Сначала бигтех продает тебе сложный софт, потом продает модель, которая ломает этот софт, а затем — подписку на защиту от этой же модели. Идеальная бизнес-модель продажи патронов обеим сторонам конфликта 🤑

Во-вторых:
«Ну, мы сейчас один разок всё пропатчим, и затраты пойдут на спад... Пайплайн рассосется».

Святая наивность. В enterprise-разработке технический долг не «рассасывается». Любая новая модель находит новые классы уязвимостей, а вендоры продолжают поставлять кривой код. Этот цикл вечен, пока крутятся сервера.

И вишенка на торте — восхитительное корпоративное двоемыслие:
За последний год BofA бодро отчитался о сокращении 3400 человек (в основном выкосили менеджеров), параллельно рисуя инвесторам красивые графики: мол, наши 130 внутренних ИИ-проектов сэкономят нам $700 млн!

И буквально в том же квартале спустили львиную долю этой гипотетической «экономии» просто на то, чтобы нанять живых разработчиков тушить легаси. 😀
Views: 13
Go to post Open in MAX Report an inaccuracy
Тимлид не подошел на вакансию в свою же команду. Его отшил робот за 6 минут. 🤡

История с Reddit, разошедшаяся по медиа, прекрасна тем, насколько она будничная в современной реальности.

Контекст: в команду искали синьора с апреля. HR разводили руками: кандидатов нет, воронка пустая, никто не проходит первичный скрининг. Тимлид, который лично составлял текст вакансии, решил проверить, что там вообще происходит. Сменил имя, чуть поправил даты, оставил свой реальный опыт и отправил отклик.

Через 6 минут система выплюнула автоматический отказ.

Неделю ушло на то, чтобы докопаться до сути через настройки ATS. Оказалось, эйчары настроили жесткий строковый фильтр по ключевику React.js. У чувака в CV было написано просто React. Разница в точку и две буквы стоила компании полугода простоя открытой позиции.

Что здесь прекрасно? Буквально всё.

1️⃣ «Рыночный дефицит» своими руками. Полгода команда захлебывается в задачах, бизнес теряет деньги, а наверх летят отчеты о том, как тяжело искать людей. Причина «кризиса кадров» — тупейший поиск по подстроке, настроенный человеком с абсолютным нулем технических знаний.

2️⃣ Карго-культ автоматизации. Компании платят конские деньги за HR-софт, который должен «ускорять найм», но на деле получают цифрового вахтёра. В итоге до живого собеседования доходит не тот, кто умеет решать задачи бизнеса, а тот, кто угадал синтаксис ключевиков в голове настраивавшего скрипт рекрутера.

3️⃣ Апофеоз абсурда. Человек, сформировавший требования к позиции, не прошел под собственные требования. Лучшей иллюстрации происходящего в найме придумать просто невозможно.

Потом мы удивляемся, почему кандидаты оптимизируют резюме с помощью нейросеток. Когда с той стороны воронки сидит бездумный парсер на костылях, с этой стороны неизбежно вырастает встречный фарс. Нейронки генерируют отклики, парсеры их отсеивают, а живые инженеры месяцами сидят без работы и без коллег в командах.

Продолжаем плакать о том, как все сломано в it-найме. 😪
Views: 10
Go to post Open in MAX Report an inaccuracy
«Просто будь сеньором, удачи»: жестокая правда о том, что делать новичкам в эпоху ИИ

Торстен Болл (автор культовых книг по написанию интерпретаторов и компиляторов на Go, хардкорный системщик) выдал мнение о том, куда катится профессия инженера.

Десять лет назад рецепт входа в IT был кристально понятен: «Научись хорошо писать код, делай пет-проекты, пиши в open-source, дрочи синтаксис и стандартные библиотеки — диплом никого не волнует, работу найдешь».

Сейчас Торстен честно признает: от 30% до 50% того, на что он годами тратил время, больше не имеет почти никакого значения. Правила игры переписали. И вот что он выделяет как новую базу, независимо от того, насколько крутыми станут модели:

1️⃣ Синтаксис умер, да здравствует Computer Science
Ирония в том, что вытеснение ручного написания кода нейросетями — это давняя влажная мечта нормальных преподавателей CS. Наконец-то можно перестать тратить 80% времени на войну с компилятором из-за забытой точки с запятой и говорить о сути: вычислительной сложности, архитектуре, компиляторах, сетях (TCP/IP), устройстве баз данных, разнице между кэшем в памяти и файловой системе и другими реально инженерными вопросами.

Чтобы построить систему, вы всё ещё обязаны понимать, как работают компьютеры и софт. Иначе вы даже галлюцинацию в ответе Claude не отловите, не говоря уже о нормальном ревью сгенерированной архитектуры.

2️⃣ Agency и Ownership вместо «моя хата с краю»
Позиция «я формошлёп, мне дали тикет, я его закодил, а взлетит продукт или нет — плевать» официально отправляется на свалку истории. Ценность смещается к тем, кто забирает ответственность за всю цепочку: от бизнес-проблемы до ценности для конечного пользователя.

3️⃣ Системное мышление и коммуникация
Умение декомпозировать систему на взаимодействующие блоки и четко формулировать свои мысли текстом. Если вы не умеете внятно писать — вы не сможете поставить задачу ни нейросети, ни живой команде.

В реплаях к Торстену мгновенно пришли с ехидным комментарием:
Ты буквально написал: "Просто будь сеньором, надеюсь, помог".

И да, это так. Простого совета тут нет. Но уже нужно:

🔵 Перестать тратить месяцы на заучивание нюансов синтаксиса конкретного языка.
🔵 Закапываться в фундаментальные основы CS: сети, базы данных, операционные системы, архитектурные паттерны.
🔵 Думать от задачи бизнеса, а не от языка программирования. Если вы автоматизировали процесс кривым скриптом на 20 строк за 10 минут и сэкономили отделу продаж 100 часов в месяц — вы молодец. Если вы неделю вылизывали идеальную микросервисную архитектуру для фичи, которая никому не нужна — вы профнепригодны.

Теперь нет ничего важнее, чем понимать, что именно вы делаете и зачем. 🧠
Views: 13
Go to post Open in MAX Report an inaccuracy
Мастер-класс по защите задницы от «самой ответственной» ИИ-лаборатории 🎪

Не прошло и пары недель с новости о том, как бигтех репетирует катастрофы ради регуляторного захвата рынка, как подоспела фактура.

Журналисты Politico раскопали закрытый законопроект, который Anthropic втихаря питчит конгрессменам на Капитолийском холме.

Те самые ребята, которые годами строили бренд главных святош индустрии («мы за безопасный ИИ», «мы Public Benefit Corporation»), написали правила регулирования... под себя любимых.

Что же ребята Дарио Амодея предлагают законодателям?

1️⃣ Трогать релизы нельзя, пока нет 50 трупов или миллиарда долларов ущерба
Законопроект разрешает государству заблокировать релиз модели только в случае неминуемого риска биологической атаки, киберудара или выхода модели из-под контроля, который приведет к ущербу от $1 000 000 000 или гибели 50+ человек.
Все остальные кейсы (положили финансовую сеть помельче, слили миллионы персональных данных, парализовали работу бизнеса)? «Не лезьте, это другое».

2️⃣ «Независимый» аудит на зарплате у проверяемого
Оценивать безопасность моделей должны сторонние компании, зарегистрированные в Минторге. При этом оплачивать их работу будет... сам Anthropic. Единственное условие — гонорар формально не должен зависеть от результатов проверки.
Кто девушку ужинает, тот ей отчёты о соответствии стандартам и пишет.

3️⃣ Защита от внезапных звонков из Вашингтона
Летом Anthropic знатно пригорело, когда администрация парой телефонных звонков через экспортный контроль прикрыла им релиз двух передовых моделей. В новом законопроекте они элегантно запрещают вообще любым ведомствам и чиновникам совать нос во внутреннюю разработку и деплой. Остановить их сможет только Минторг США, и то исключительно через окружного федерального судью.

4️⃣ Похороны законов штатов
В Калифорнии, Нью-Йорке и других штатах пытаются принимать свои, куда более жесткие и неудобные для бигтеха законы об ИИ. Законопроект Anthropic красиво помножит их на ноль, установив единый и максимально беззубый федеральный стандарт.

Вот вам и вся сказка про святой «AI Safety» и спасение мира от сверхразума. Это просто корпоративный щит, юридическая страховка и выбивание индустриальных лицензий.
Цель драфта проста как три копейки: выбить себе индульгенцию от произвола государства, отрезать более жестких местных регуляторов, возглавить аудит самих себя и поставить такой порог входа, который ни один опенсорс и независимый стартап никогда не перешагнут.
Бизнес решает бизнес-задачи 🍿
Views: 19
Go to post Open in MAX Report an inaccuracy
27 человек на место и разбитые иллюзии: IT-рынок труда продолжает пробивать дно?

Помните, летом мы смотрели на график с 22 резюме на место и гадали: пробьет ли конкуренция планку в 25? Забудьте. Планку не просто пробило, её разнесло в щепки: по данным сентябрьской статистики hh.ru, hh.индекс в IT улетел на исторические 27.4.

И Коммерсантъ, ссылаясь на исследование ЦМАКП, зафиксировал смерть эпохи дефицита айтишников.

Смотрим на цифры 👇

1️⃣ Конкуренция: 27.4 резюме на один оффер
Летом индекс конкуренции болтался в районе 22. К осени начался новый виток безумия: в июле — 24.4, в августе — 26.4, в сентябре — 27.4.

Напомню, здоровый рынок, где соискатель и наниматель общаются на равных — это 4–7 человек на место. 27+ — это мясорубка, где резюме отсеивают скриптами просто по ключевым словам или знаку зодиака, потому что живой HR физически лопнет просматривать такие объемы.

Количество вакансий стабильно держится на дне: -33% к прошлому году. Приток резюме немного притормозил (+13% в сентябре против +27% в начале года), но накопленная масса кандидатов уже сформировала плотную пробку на входе.

2️⃣ Зарплатные ожидания рухнули
Самый показательный момент — график зарплат.

Помните, как в июне соискатели решили компенсировать инфляцию и задрали медианные ожидания до 113 291 руб., пока бизнес предлагал 92 656 руб.?

Праздник неповиновения продлился ровно два месяца. К сентябрю кандидаты ощутили на себе все прелести сидения без оффера, сняли белое пальто и опустили планку обратно до 100 000 руб. Бизнес великодушно подтянулся к этой же цифре.

Рынок жестко поставил соискателей на место: когда за дверью стоит очередь из 27 человек, диктовать условия не получается.

3️⃣ Кодеры больше не нужны, бизнесу нужны мозги

По данным ЦМАКП, внедрение LLM и автоматизации срезало спрос: на классических рядовых программистов рухнул на 47%, на тестировщиков — на 55%. Сисадмины и техподдержка потеряли около половины вакансий. Скриптописание базового уровня и ручной перегон тест-кейсов больше не являются профессией, за которую платят рыночные деньги.

Куда утекли деньги и найм?
В реальный сектор и аналитику:
— Спрос на бизнес-аналитиков вырос на 38%.
— Спрос на специалистов по работе с данными — на 15%.
— Вакансии по кибербезопасности в пищевой промышленности взлетели на 88%, в медицине — на 36%, в логистике — на 33%.

Кто понял это вовремя и прокачивал доменную экспертизу, математику и Data Science — сейчас на коне, пусть даже работать приходится не в хипстерском стартапе с кофепоинтом, а на мясокомбинате или в транспортном холдинге.

Те, кто сейчас ищет работу, какая у вас конверсия из отклика в собес? 👇
Views: 13
Go to post Open in MAX Report an inaccuracy
6 часов работы агентов на 1 час человека и коллапс найма джунов 🧑‍💻

Anthropic выкатили показательные материалы: большое исследование о том, как AI перекроил их собственную внутреннюю кухню, и разбор от команды Claude Code про то, как они теперь вообще живут с код-ревью.
Найм джунов обвалился втрое, агенты работают в 6 раз больше людей, классический код-ревью мертв, а инженеры превратились в нянек для стаи гиперактивных моделей.

Вот самое показательное из отчетов:

1️⃣ Джуниор-позиции идут под нож
Доля найма джунов на технические позиции в Anthropic рухнула с 27% до 9%. Доля уже работающих джунов сократилась с 21% до 14%. Причина простая: написание базового кода и поиск типовых багов полностью уехали на откуп Claude. Требования к кандидатам резко мутировали: вместо знания конкретных библиотек и синтаксиса нанимающие менеджеры требуют autonomy and judgment — способность мыслить верхнеуровнево, принимать архитектурные решения и разгребать неопределенность.

2️⃣ Человек — главное бутылочное горлышко
В марте 2026 года рабочие часы агентов в Anthropic превысили рабочие часы людей. Сейчас соотношение — 6 к 1.
Но вот парадокс: около 80% времени агенты тупо простаивают. Они ждут решения от человека.

Один из инженеров описал это емкой метафорой:
«Это похоже на работу няньки в детском саду. К тебе подбегает толпа Клодов, и каждый орет, что у него ЧП. Только у одного ребенок порезал палец и хлещет кровь, а у второго — всего лишь заело трубочку в пакетике с соком. Но кричат они с одинаковой громкостью».

3️⃣ Смерть классического код-ревью
В монорепе Anthropic поток коммитов вырос с 2 500 в день в мае до 30 000+ к сентябрю. 90% кода самого инструмента Claude Code пишет Claude. Читать диффы глазами строка за строкой при таком потоке физически невозможно. Ревью теперь полностью автоматизировано: пачка агентов ищет баги, голосует между собой за валидность претензий, отсеивает шум, а для изменений низкого риска человека вообще убрали из цепочки аппрува (zero-human merges).

Людям оставили ровно пять вопросов: нужно ли вообще это разрабатывать (дирекшн), сложная архитектура, критические зоны (биллинг/автоапдейтер), проверка доказательств тестов и персональная ответственность. Правило простое: замержил — отвечаешь головой.

4️⃣ Нейросетевая душность и бесконечные циклы
Интересный кейс: когда агента-автора заставили исправлять замечания агента-ревьюера, они устроили бесконечный пинг-понг на 50+ раундов за одну ночь, завалив репозиторий правками правок.

Оказалось, что в 59% случаев агент-ревьюер не находил новые баги, а просто бесконечно докапывался до старого кода, меняя шило на мыло. В итоге инженерам пришлось ввести жесткий лимит: максимум 3 раунда правок, после чего модель обязана остановиться и пересмотреть подход целиком.

В итоге инженерам пришлось вручную ограничить этот маразм: максимум 3 раунда правок, дальше зовите человека.

5️⃣ Никто больше не держит архитектуру в голове
Команда прямо пишет: никто из разработчиков не держит в голове полную архитектуру всего проекта — в этом просто нет смысла. Если нужно залезть в незнакомый модуль, просят Claude сгенерировать интерактивное объяснение конкретного среза под задачу. Инженеры перестали быть писателями кода, превратившись в менеджеров стаи агентов: 22% их времени занимает «мета-работа» — составление спек, мониторинг пайплайнов и разруливание системного техдолга.

6️⃣ Нетехи начинают кодить
Благодаря инструментам вроде MCP и coding-агентам продажники, юристы и финансисты собирают под себя кастомные дашборды и пайплайны за 3–4 часа без привлечения разработки. Количество сессий программирования у сотрудников без опыта подскочило с 2 в месяц до 90.

Так-то по хорошему уже правда пора переименовывать часть специальностей в программировании в "Погонщик агентов" 🌝
Views: 13
Go to post Open in MAX Report an inaccuracy
Выкатили Polars 2.0: смерть OOM и пощечина DuckDB 🐻‍❄️⚡️

Пока почти вся индустрия по привычке мучает Pandas, команда Polars выкатила фундаментальный релиз 2.0.
Теперь движок по умолчанию умеет сбрасывать данные на диск при нехватке памяти, рвёт DuckDB на SQL-бенчмарках и ломает обратную совместимость ради скорости.

1️⃣ Out-of-core и стриминг из коробки
Раньше классический сценарий выглядел так: у вас 32 ГБ RAM, вы пытаетесь выполнить LazyFrame.collect() на жирном файле, память забивается под завязку, приходит OOM Killer и убивает процесс.

В 2.0 стриминговый движок работает по дефолту. Как только потребление оперативной памяти переваливает за ≈80%, Polars начинает сбрасывать промежуточные результаты на диск (по умолчанию заложен лимит в 64 ГБ). Сортировки, оконные функции и тяжелые вычисления выражений теперь не роняют скрипт.

⚠️ Но стриминговый движок не гарантирует сохранение исходного порядка строк при операциях вроде join или group_by.


2️⃣ SQL первого класса: DuckDB, у вас проблемы

Polars теперь официально позиционирует SQL как равноправный интерфейс. Под капотом переписали оптимизатор: добавили bloom-фильтры, динамические предикаты, умную перестановку join-ов и устранение общих подпланов.

Команда прогнала стандартные бенчмарки TPC-H и TPC-DS против свежих версий DuckDB и DataFusion. Результат: Polars быстрее почти во всех тестах как по суммарному времени, так и по геометрическому среднему.

Есть детская болячка: на мелких объемах данных вылезает оверхед синхронизации (DuckDB там пока выигрывает). Разработчики признали проблему и пообещали поправить в минорных апдейтах. Но на средних и тяжелых нагрузках цифры впечатляют.

3️⃣ Нативный тип Map (человеческие словари)

Раньше хранить ключ-значение внутри таблицы приходилось через костыльный List(Struct({"key": ..., "value": ...})). Читать и обрабатывать это было мучением.

Теперь завезли нативную поддержку Arrow MapType: pl.Map(key_type, value_type). Появились нормальные человеческие методы для работы со словарями прямо внутри выражений: .map.get(), .map.contains_key(), .map.keys(), .map.values().

Быстро, типизировано, без костылей с распаковкой структур.

4️⃣ Жесткая типизация и заточка под AI-агентов
Polars окончательно уходит от неявных приведений типов. Идеология простая: скрипт должен падать сразу, а не через 40 минут расчетов из-за внезапного null или несовпадения схемы.

Для этого докрутили collect_schema(), который проверяет типы и резолвит схему пайплайна вообще без материализации данных. Это киллер-фича для генерации кода через LLM: агент может за миллисекунды проверить сгенерированный запрос на валидность до того, как начнет выполнять операции на терабайтах данных.

🔗 Если сидите на первой версии — читайте миграционный гайд
Views: 11
Go to post Open in MAX Report an inaccuracy
The full feed — after free sign-up
VKontakte Telegram Odnoklassniki
Favorites at datool.ru

Follow the channel in your account

Sign up at datool.ru to add the channel “Олег Булыгин | Полезная нагрузка” to favorites and track its metrics.

Sign up
For channel owners

Verify your channel

Sign in or sign up at datool.ru, then add our bot to the channel following the instructions in your account. Once ownership is verified, the lock disappears and channel management becomes available.

Sign in or sign up

Report an inaccuracy

Describe what needs fixing. If you have a source, add a link.

You are leaving datool.ru

The link leads to an external website. datool.ru is not responsible for its content — check the address before entering passwords or payment details.

Redirecting in 10 s

Go