Apache Flink

🔒 Безопасность

Уязвимости в IBM Operator for Apache Flink: Опубликован бюллетень безопасности, описывающий 8 уязвимостей.

Обновление зависимостей: Для устранения уязвимостей в jackson-databind (CVE-2026-54512 — 54518) предлагается обновить jackson-bom до версии 2.22.2. Также отслеживаются уязвимости в flink-kubernetes-operator (например, CVE-2026-59949) с рекомендациями по обновлению.

🛠️ Инфраструктура и события

Переход Lyft на Apache Flink Kubernetes Operator: Крупная технологическая компания Lyft опубликовала отчет о миграции сотен своих production-заданий Flink с собственного оператора на официальный Apache Flink Kubernetes Operator. Переход был мотивирован сложностью поддержки собственного решения и проблемами с автоскейлингом. Официальный оператор предоставил такие преимущества, как обновления с сохранением состояния (last-state upgrades), автомасштабирование на месте и автоматическая настройка ресурсов.

Ключевые изменения и исправления: В списке рассылки активно создавались JIRA-тикеты для исправления ошибок и улучшений. Среди них: проблемы с toString() для типа VARIANT, ошибки в INSERT с колонками типа VARIANT и BITMAP, проблемы с производительностью MATCH_RECOGNIZE, а также ошибки в стриминговых outer join для upsert-потоков.

Конференция Current 2026: Анонсировано крупнейшее событие в области потоковой передачи данных, которое пройдет 4-5 ноября 2026 года в Сан-Франциско. В центре внимания будут Apache Kafka, Apache Flink и Apache Iceberg.

На этом все. Следующий выпуск ожидайте в начале следующей недели.

Всем привет. Это очередной выпуск сводки обновлений в основной ветке разработки Apache Flink а так же немного важной информации произошедшей за прошедшую неделю с 28 сентября по 4 октября 2026 года.
* Подготовлено с использованием нейросетей

📝 Ключевые инициативы и FLIP

FLIP-612: Native XML Functions для Flink SQL: Голосование по этому FLIP было успешно завершено. Предложение единогласно одобрено (7 голосов "за", 4 из которых — обязывающие). Инициатива добавляет встроенные функции PARSE_XML и TRY_PARSE_XML для преобразования XML-строк в формат VARIANT, а также XML_STRING для обратного преобразования.

FLIP-614: DEDUPLICATE_KEEP_FIRST PTF: Продолжается обсуждение Process Table Function (PTF), призванной упростить одну из самых частых операций в Flink SQL — дедупликацию. Функция предложит два режима: без использования watermark (первая запись по ключу) и с использованием event-time (запись с наименьшим временем события). Ожидается, что голосование по FLIP начнется в ближайшее время.

FLIP-615: Snapshot Splitters для JDBC: Идет обсуждение нового механизма для параллельного и согласованного чтения данных из JDBC-источников. Предлагаются два типа сплиттеров: для чтения одной таблицы и для чтения целой базы данных. В ходе обсуждения были подняты вопросы о производительности при составных первичных ключах и о возможности повторного использования абстракции ConnectionProvider из другого FLIP.

Тип данных GEOGRAPHY: Дискуссия о добавлении встроенного геопространственного типа в Flink SQL продолжается. Ключевой вопрос — стоит ли сначала реализовать тип в Apache Calcite, чтобы избежать потенциальных проблем в будущем, или можно двигаться вперед с нативной реализацией в Flink.

Руководство по изменениям в PTF: Начато обсуждение общих принципов внесения изменений в уже одобренные Process Table Functions. Предлагается использовать обычное ревью для исправлений без изменения API и открывать обсуждение в списке рассылки для обратно совместимых, но значимых изменений.

🚀 Выпуск версий и обновления

Flink 2.4: Подтверждены ключевые даты релиза. Завершение разработки (Feature Freeze) запланировано на 20 октября 2026 года, а сам релиз — на 20 ноября 2026 года. Третья встреча менеджеров по выпуску (Release Manager Sync) назначена на 9 октября.

Flink Kubernetes Operator 1.16.1: Был выпущен экстренный патч-релиз для исправления критической ошибки в функции наблюдаемой конфигурации времени выполнения (runtime config observe feature), которая вызывала проблемы при развертывании и перезапуске здоровых приложений. Релиз 1.16.0, вышедший ранее, получил реструктурированную документацию и новый режим BALANCED для выравнивания параллелизма автоскейлера.

Flink CDC 3.7.0: Начато голосование за первый релиз-кандидат (RC1) версии 3.7.0. В него войдут такие улучшения, как поддержка Fluss CDC (FLINK-39722) и освобождение метаданных снапшот-сплитов после завершения снапшота для снижения нагрузки на память JobManager (FLINK-40697).

Коннектор AWS 6.1.0: Предложен к выпуску новый релиз коннектора для AWS. Основной мотивацией является добавление конфигурации для интервала между вызовами getRecords, что было явным запросом от пользователей.

Confluent Platform 8.3: Выпущен релиз платформы, который включает Confluent Platform for Apache Flink 2.4.0, предлагая упрощенное управление Flink SQL через встроенный UI и MCP-сервер.

💬 Обсуждения и активность в комьюнити

Помимо основной рассылки, жизнь в сообществе кипела и в других местах:

Конференции и митапы:

Flink Forward Asia 2026: Это крупнейшая конференция, организованная Alibaba Cloud, прошла в Шэньчжэне 26-27 июня 2026 года. Главной темой стала эволюция Flink от Cloud Native к AI Native, с акцентом на Agentic Streaming — использование потоковой обработки для приложений на базе AI-агентов.

FLUSS FORWARD: 22 сентября 2026 года в Лондоне прошло однодневное мероприятие, посвященное Apache Fluss (Incubating) — потоковой системе хранения, тесно интегрированной с Flink. Мероприятие было ориентировано на инженеров, которые строят и эксплуатируют системы потоковой обработки.

Встречи в Берлине: 24 сентября 2026 года в Берлине прошла встреча, посвященная продуктивности разработчиков с использованием AI и дата-платформе на базе Flink. На встрече обсуждались, в частности, повышение производительности с помощью AI-ассистентов и архитектура внутренней аналитической платформы.

💎 Итоги

Таким образом, период с 14 по 27 сентября 2026 года был насыщенным для экосистемы Apache Flink. Основное внимание уделялось подготовке к релизу 2.4, что выразилось в активном обсуждении и голосовании по ключевым FLIP, таким как FLIP-612 (XML-функции) и FLIP-611 (MiniCluster). Параллельно велась работа по решению технического долга и исправлению ошибок в Jira, а также был выпущен важный патч-релиз для Kubernetes Operator.

Жизнь в экосистеме не ограничивалась только обсуждениями в списке рассылки. Сообщество активно выпускало новые версии (Kubernetes Operator 1.16.0 и 1.16.1), облачные провайдеры (Alibaba Cloud, AWS) и крупные компании (Pinterest) интегрировали и улучшали свои продукты на базе Flink, а по всему миру проходили профессиональные конференции и митапы, посвященные как практическому использованию, так и будущему развитию технологии.

На этом все. Следующий выпуск ожидайте в начале следующей недели

🔧 Активность в коммитах и релизах

В период с 14 по 27 сентября в основной ветке (master) было зафиксировано 47 коммитов. Основные усилия были сосредоточены на:

Улучшении восстановления после сбоев: Работа над стабильностью рантайма и механизмов восстановления.

Планировании SQL: Изменения в логике планировщика для корректной обработки changelog-потоков.

Очистке бэкенда состояний: Работа по оптимизации и очистке кода, связанного с хранением состояний.

Также в этот период состоялся релиз Apache Flink Kubernetes Operator 1.16.1. Это был патч-релиз, выпущенный для исправления серьёзной ошибки, связанной с функцией наблюдения за конфигурацией рантайма (observed runtime config feature), которая была отозвана (reverted).
🚀 Новые релизы и анонсы (дополнение)

Помимо релиза 1.16.1, в этот период были и другие значимые анонсы:

Релиз Apache Flink Kubernetes Operator 1.16.0: 15 сентября 2026 года был официально анонсирован релиз Flink Kubernetes Operator 1.16.0. Ключевые новшества этого релиза:

Улучшенная документация: Структура документации была полностью переработана для лучшей навигации, появился новый раздел «Internals», описывающий внутреннее устройство оператора.

Изменения в автоскейлере: Новый режим BALANCED для выравнивания параллелизма стал по умолчанию. Это позволяет применять масштабирование, даже если целевое значение параллелизма не является точным делителем, что предотвращает блокировку решений о масштабировании.

Расширяемость автоскейлера: Представлены три новых SPI (Service Provider Interface) для создания пользовательских плагинов: кастомные оценщики, исполнители масштабирования и режимы выравнивания. Это позволяет адаптировать автоскейлер под конкретные нужды без форка оператора.

💡 Интеграции и обновления от облачных провайдеров и партнёров (дополнение)

Вне основного сообщества Flink, но в тесной связке с ним, произошли следующие события:

Alibaba Cloud: 17 сентября 2026 года выпустила обновление для своего сервиса Realtime Compute for Apache Flink. Главный акцент был сделан на улучшении AI Native Ops. В частности, был улучшен процесс работы с CDC YAML-задачами (от черновика до развертывания), а также добавлена возможность генерации и диагностики правил тюнинга с помощью естественного языка.

AWS: 23 сентября 2026 года объявила, что Amazon EMR on EKS теперь поддерживает работу на кластерах с IPv6. Это позволяет использовать расширенное адресное пространство IPv6 для запуска крупномасштабных рабочих нагрузок Apache Flink и Spark, таких как задания с сотнями исполнителей, без необходимости использования обходных путей для экономии адресов IPv4.

Pinterest: В конце сентября стало известно, что Pinterest внедрила новый механизм финализации партиций на основе event-time в рамках своей платформы для приёма данных. Эта разработка, основанная на стеке Kafka, Flink и Apache Iceberg, позволяет гарантировать полноту данных для потребителей, ожидающих появления «поздних» событий в CDC-пайплайнах.

🔧 Активность в коммитах и релизах

В период с 14 по 27 сентября в основной ветке (master) было зафиксировано 47 коммитов. Основные усилия были сосредоточены на:

Улучшении восстановления после сбоев: Работа над стабильностью рантайма и механизмов восстановления.

Планировании SQL: Изменения в логике планировщика для корректной обработки changelog-потоков.

Очистке бэкенда состояний: Работа по оптимизации и очистке кода, связанного с хранением состояний.

Также в этот период состоялся релиз Apache Flink Kubernetes Operator 1.16.1. Это был патч-релиз, выпущенный для исправления серьёзной ошибки, связанной с функцией наблюдения за конфигурацией рантайма (observed runtime config feature), которая была отозвана (reverted).
🚀 Новые релизы и анонсы (дополнение)

Помимо релиза 1.16.1, в этот период были и другие значимые анонсы:

Релиз Apache Flink Kubernetes Operator 1.16.0: 15 сентября 2026 года был официально анонсирован релиз Flink Kubernetes Operator 1.16.0. Ключевые новшества этого релиза:

Улучшенная документация: Структура документации была полностью переработана для лучшей навигации, появился новый раздел «Internals», описывающий внутреннее устройство оператора.

Изменения в автоскейлере: Новый режим BALANCED для выравнивания параллелизма стал по умолчанию. Это позволяет применять масштабирование, даже если целевое значение параллелизма не является точным делителем, что предотвращает блокировку решений о масштабировании.

Расширяемость автоскейлера: Представлены три новых SPI (Service Provider Interface) для создания пользовательских плагинов: кастомные оценщики, исполнители масштабирования и режимы выравнивания. Это позволяет адаптировать автоскейлер под конкретные нужды без форка оператора.

💡 Интеграции и обновления от облачных провайдеров и партнёров (дополнение)

Вне основного сообщества Flink, но в тесной связке с ним, произошли следующие события:

Alibaba Cloud: 17 сентября 2026 года выпустила обновление для своего сервиса Realtime Compute for Apache Flink. Главный акцент был сделан на улучшении AI Native Ops. В частности, был улучшен процесс работы с CDC YAML-задачами (от черновика до развертывания), а также добавлена возможность генерации и диагностики правил тюнинга с помощью естественного языка.

AWS: 23 сентября 2026 года объявила, что Amazon EMR on EKS теперь поддерживает работу на кластерах с IPv6. Это позволяет использовать расширенное адресное пространство IPv6 для запуска крупномасштабных рабочих нагрузок Apache Flink и Spark, таких как задания с сотнями исполнителей, без необходимости использования обходных путей для экономии адресов IPv4.

Pinterest: В конце сентября стало известно, что Pinterest внедрила новый механизм финализации партиций на основе event-time в рамках своей платформы для приёма данных. Эта разработка, основанная на стеке Kafka, Flink и Apache Iceberg, позволяет гарантировать полноту данных для потребителей, ожидающих появления «поздних» событий в CDC-пайплайнах.

Всем привет это очередной выпуски изменений в основной ветке разработки Apache Flink, а так же сопутствующих активностях по этому продукту. НА прошлой неделе выпуска не было поэтому сегодняшний выпуск включает активности за 2 прошедшие недели: с 14 по 27 сентября 2026 года.
* Подготовлено с использованием нейросетей

🚀 Подготовка к релизу Flink 2.4

Основным вектором развития была подготовка к релизу Flink 2.4. Обсуждение таймлайна началось ещё в конце августа. В качестве ключевой даты было предложено 30 сентября для заморозки функций (feature freeze), а сам релиз намечен на конец октября.

Однако, по данным из открытых источников, официальный таймлайн претерпел изменения. В конечном итоге дата Feature Freeze была назначена на 20 октября 2026 года, а релиз — на 20 ноября 2026 года. В этот период активно велась работа по определению и регистрации FLIP, которые должны войти в релиз.
📜 Ключевые предложения по улучшению (FLIP)

За рассматриваемый период было несколько значимых FLIP:

FLIP-612: Native XML Functions for Flink SQL: Это предложение, начатое 11 сентября, вызвало активное обсуждение. Цель — добавить нативные функции для парсинга XML (PARSE_XML, TRY_PARSE_XML) и обратного преобразования (XML_STRING) в Flink SQL, используя тип данных VARIANT. В ходе дискуссии обсуждались вопросы обработки пространств имён и поведения для повторяющихся элементов. Предложение было вынесено на голосование, и по состоянию на 25 сентября получило поддержку.

FLIP-611: Running Flink jobs in MiniCluster using the Kubernetes Operator: Это предложение направлено на расширение возможностей Flink Kubernetes Operator для запуска легковесных задач в одном поде (MiniCluster), что полезно для низкопропускных задач, требующих изоляции. Обсуждение и голосование по этому FLIP также велись в этот период.

FLIP-607: Migrate Flink off end-of-life OkHttp: Данный FLIP, касающийся миграции с устаревшей библиотеки OkHttp, был успешно принят 21 сентября. За него проголосовало 7 человек, включая 4 обязательных голоса.

FLIP-569: Sunset the Stateful Functions (StateFun) Sub-project: Это предложение о закрытии подпроекта StateFun также было на стадии голосования. Обсуждение показало, что сообщество согласно с его закрытием из-за отсутствия активности.

⚙️ Изменения в Jira и техническом долге

Список рассылки отражает активную работу по управлению техническим долгом и исправлению ошибок:

FLINK-40632: Remove Experimental Annotation of Native S3: Задача по снятию статуса «экспериментальный» с нативной реализации S3 файловой системы.

FLINK-40794: Derive CAST result nullability from the input: Исправление в Table API, где приведение типов с .notNull() игнорировало возможность null во входных данных, что могло приводить к неверным результатам.

FLINK-40822: Bump maven-compiler-plugin to 3.16.0: Обновление версии плагина Maven для улучшения инкрементальной компиляции.

FLINK-40813: Remove deprecated configuration keys: Удаление устаревших ключей конфигурации из модуля flink-clients.

FLINK-40803: "Build documentation" fails: Проблема в CI, связанная с истекшим сроком действия пина для экшена burnett01/rsync-deployments, что привело к сбою сборки документации.

FLINK-40802: MinioTestContainerTest failures: Тесты, связанные с MinIO, начали падать на всех релизных ветках из-за того, что образ minio/minio стал недоступен на quay.io.

💬 Обсуждения и решения

Голосование по FLIP-597 (Hadoop-less Flink filesystems): Принято решение о принятии FLIP-597, что открывает путь к созданию файловых систем Flink без зависимости от Hadoop.

Голосование по FLIP-609 (Type Inference for Python UDF): FLIP-609 был принят, что означает, что в будущем вывод типов для Python UDF станет реальностью, что значительно улучшит опыт разработки на Python.

Обсуждение удаления устаревших конфигураций: Начато обсуждение по систематическому удалению давно устаревших ключей конфигурации в серии Flink 2.x, что должно упростить поддержку и понимание конфигурации.

Продвижение нативного S3: Обсуждение перевода flink-s3-fs-native из экспериментального в основной статус. Сообщество в целом поддерживает эту идею, отмечая, что коннектор уже используется в производстве и покрывает основные потребности.

В целом, неделя была продуктивной и сфокусированной на повышении качества и стабильности кодовой базы.

На этом все. Следующий выпуск ожидайте в начале следующей недели.

🐛 Исправления ошибок

Ошибки в Kafka Connect (FLINK-40585, FLINK-40586, FLINK-40604 и др.): Исправлен ряд проблем, включая периодические сбои KafkaSinkITCase.rescaleListing, вызванные фехтованием восстановленных транзакций, и ошибку, при которой DynamicKafkaSourceEnumerator повторно отправлял события завершения уже завершенным читателям, что приводило к сбоям задач.

Проблемы с S3 (FLINK-40576, FLINK-40595): Удалена устаревшая и уязвимая транзитивная зависимость alluxio из flink-s3-fs-presto. В нативном S3-коннекторе исправлена ошибка, из-за которой всегда прерывались многочастные загрузки, необходимые для восстановления из checkpoint.

Проблемы с производительностью и утечки (FLINK-40584, FLINK-40644, FLINK-40645): Исправлена проблема с производительностью в RocksDB, связанная с неограниченным сканированием "могильных камней" (tombstones). В state backend ForSt устранены две критические утечки: утечка соединений S3A из-за незакрытых потоков и утечка памяти из-за накопления закрытых потоков в openedStreams.

Ошибки в SQL (FLINK-40578, FLINK-40606): Исправлена ошибка в функции OVERLAY, которая возвращала неверные результаты и могла приводить к повреждению данных для определенных комбинаций аргументов. Также исправлена ошибка генерации кода при приведении бинарных массивов.

Проблемы с PyFlink и метриками (FLINK-40592, FLINK-40628): Устранена ошибка инициализации PrometheusPushGatewayReporter с базовой аутентификацией на Java 17/21 из-за отсутствия JAXB. Решена проблема, из-за которой инициализация TTL в PyFlink могла зависать, оставляя задачи в состоянии INITIALIZING.

Проблемы в Flink CDC (FLINK-40594, FLINK-40623, FLINK-40640): Исправлена ошибка, при которой тип TIME(p > 3) молча усекался до миллисекунд. Решена проблема с исчерпанием пула соединений JDBC в Postgres CDC из-за того, что JdbcSourceChunkSplitter удерживал соединение на протяжении всего жизненного цикла задания.

Ошибки в JobManager (FLINK-40602): Исправлена ошибка, из-за которой JobManager молча пропускал работающие задания в ответе GET /jobs/overview, если JobMaster не отвечал или возвращал ошибку, что могло приводить к неверным решениям у клиентов.

🛠️ Технический долг и инфраструктура

Обновление зависимостей (FLINK-40603, FLINK-40617, FLINK-40629, FLINK-40630): Проведена работа по обновлению версий зависимостей, включая Hadoop до 3.4.3 для поддержки Java 25, обновление jackson-bom, log4j, avro в коннекторе Kafka и повышение версии Maven до 3.9.16.

Улучшение тестов (FLINK-40600, FLINK-40601, FLINK-40641): Добавлены и улучшены тесты для веб-панели (Vitest), включая покрытие для основных сервисов и компонентов. Также начата работа по покрытию контракта экспозиции Prometheus reporter тестами.

Проблемы с CI (FLINK-40579, FLINK-40634, FLINK-40636, FLINK-40642): Исправлена проблема в еженедельном CI коннекторов, который отменял другие ветки при первой неудаче и превышал лимит одновременных задач. Добавлены тайм-ауты для Maven/Aether, чтобы избежать зависаний CI на 50 минут.

Всем привет. Это очередной выпуск обновлений в основной ветке разработки Apache Flink за прошедшую неделю с 7 по 13 сентября 2026 года.
* Подготовлено с использованием нейросетей.

📝 Обзор недели

Неделя была сосредоточена на повышении стабильности и исправлении ошибок. Основные усилия были направлены на улучшение работы коннекторов (особенно Kafka и CDC), повышение надежности CI/CD, а также на решение проблем с производительностью и утечками ресурсов в state backend ForSt. Также было проведено несколько важных голосований и обсуждений по ключевым функциям.
🚀 Новые функции и улучшения

Динамическая подписка в Fluss Pipeline Source (FLINK-40575): Добавлена поддержка динамической отписки и повторной подписки на таблицы. Теперь при удалении таблицы из результата обнаружения источник прекращает чтение без перезапуска задания, а при повторном добавлении — запускает новый жизненный цикл с учетом scan.startup.mode.

Новые функции для VARIANT (FLINK-40582): Предложены встроенные функции SCHEMA_OF_VARIANT и SCHEMA_OF_VARIANT_AGG, которые позволяют определять схему полуструктурированных данных, хранящихся в типе VARIANT, возвращая ее в виде строки с синтаксисом Flink SQL.

Улучшения для нативного S3 (FLINK-40593, FLINK-40632): Добавлена поддержка пакетного рекурсивного удаления объектов в нативном коннекторе S3. Кроме того, начато обсуждение и создана задача по снятию с него аннотации @Experimental для перевода в основной статус.

Типизация Python UDF (FLINK-40607 — FLINK-40614): Начата работа над крупной функцией — выводом типов для Python UDF (FLIP-609). Созданы задачи для реализации вывода типов для скалярных, табличных, агрегатных функций, а также для поддержки составных типов (ROW), Union и Any.

Поддержка ChangelogModes в тестовом фреймворке (FLINK-40577): Добавлена поддержка ChangelogModes в ProcessTableFunctionTestHarness, что расширяет возможности тестирования процессных табличных функций.

Улучшения для Kubernetes Operator (FLINK-40581, FLINK-40583): Исправлены примеры, которые не работали с заявленной версией Flink, и добавлена фильтрация ключей оператора и автоскейлера на оставшихся путях конфигурации во время выполнения.

💎 Заключение

Прошедшая неделя продемонстрировала высокую активность сообщества Apache Flink. Ключевые направления включают:

Подготовку к релизу Flink 2.4 и формирование команды релиз-менеджеров.

Продвижение стратегических инициатив, таких как отказ от Hadoop (FLIP-597) и улучшение Python API (FLIP-609).

Повышение совместимости и производительности за счет добавления нативной поддержки UUID (FLIP-604) и исправления критических ошибок в механизме checkpointing.

На этом все. Следующий выпуск ожидайте в начале следующей недели.