🐛 Исправления ошибок

Ошибки в Kafka Connect (FLINK-40585, FLINK-40586, FLINK-40604 и др.): Исправлен ряд проблем, включая периодические сбои KafkaSinkITCase.rescaleListing, вызванные фехтованием восстановленных транзакций, и ошибку, при которой DynamicKafkaSourceEnumerator повторно отправлял события завершения уже завершенным читателям, что приводило к сбоям задач.

Проблемы с S3 (FLINK-40576, FLINK-40595): Удалена устаревшая и уязвимая транзитивная зависимость alluxio из flink-s3-fs-presto. В нативном S3-коннекторе исправлена ошибка, из-за которой всегда прерывались многочастные загрузки, необходимые для восстановления из checkpoint.

Проблемы с производительностью и утечки (FLINK-40584, FLINK-40644, FLINK-40645): Исправлена проблема с производительностью в RocksDB, связанная с неограниченным сканированием "могильных камней" (tombstones). В state backend ForSt устранены две критические утечки: утечка соединений S3A из-за незакрытых потоков и утечка памяти из-за накопления закрытых потоков в openedStreams.

Ошибки в SQL (FLINK-40578, FLINK-40606): Исправлена ошибка в функции OVERLAY, которая возвращала неверные результаты и могла приводить к повреждению данных для определенных комбинаций аргументов. Также исправлена ошибка генерации кода при приведении бинарных массивов.

Проблемы с PyFlink и метриками (FLINK-40592, FLINK-40628): Устранена ошибка инициализации PrometheusPushGatewayReporter с базовой аутентификацией на Java 17/21 из-за отсутствия JAXB. Решена проблема, из-за которой инициализация TTL в PyFlink могла зависать, оставляя задачи в состоянии INITIALIZING.

Проблемы в Flink CDC (FLINK-40594, FLINK-40623, FLINK-40640): Исправлена ошибка, при которой тип TIME(p > 3) молча усекался до миллисекунд. Решена проблема с исчерпанием пула соединений JDBC в Postgres CDC из-за того, что JdbcSourceChunkSplitter удерживал соединение на протяжении всего жизненного цикла задания.

Ошибки в JobManager (FLINK-40602): Исправлена ошибка, из-за которой JobManager молча пропускал работающие задания в ответе GET /jobs/overview, если JobMaster не отвечал или возвращал ошибку, что могло приводить к неверным решениям у клиентов.

🛠️ Технический долг и инфраструктура

Обновление зависимостей (FLINK-40603, FLINK-40617, FLINK-40629, FLINK-40630): Проведена работа по обновлению версий зависимостей, включая Hadoop до 3.4.3 для поддержки Java 25, обновление jackson-bom, log4j, avro в коннекторе Kafka и повышение версии Maven до 3.9.16.

Улучшение тестов (FLINK-40600, FLINK-40601, FLINK-40641): Добавлены и улучшены тесты для веб-панели (Vitest), включая покрытие для основных сервисов и компонентов. Также начата работа по покрытию контракта экспозиции Prometheus reporter тестами.

Проблемы с CI (FLINK-40579, FLINK-40634, FLINK-40636, FLINK-40642): Исправлена проблема в еженедельном CI коннекторов, который отменял другие ветки при первой неудаче и превышал лимит одновременных задач. Добавлены тайм-ауты для Maven/Aether, чтобы избежать зависаний CI на 50 минут.