Pathway — это фреймворк Python для ETL-обработки, потоковой обработки, аналитики в реальном времени, конвейеров больших языковых моделей и RAG.

Pathway поставляется с простым в использовании API на Python, который позволяет легко интегрировать ваши любимые библиотеки машинного обучения на Python.

Код Pathway универсален и надежен: его можно использовать как в среде разработки, так и в рабочей среде, эффективно обрабатывая как пакетные, так и потоковые данные.

Один и тот же код можно использовать для локальной разработки, CI/CD-тестирования, выполнения пакетных заданий, обработки потоковых повторов и потоков данных.

Github Community