LiteRT — это бесплатный фреймворк от Google для быстрого запуска машинного обучения и генеративного ИИ на телефонах, компьютерах и в вебе без помощи облака.

Он использует GPU и NPU для ускорения до 2x, обработки данных без копирования и асинхронного выполнения на Android, iOS, Linux и других платформах, а также обеспечивает легкую конвертацию моделей PyTorch.

Github Community