Google推出用于构建、定制和优化端侧机器学习模型的LiteRT Tensor API

谷歌推出LiteRT Tensor API,这是面向端侧执行的轻量级C++接口,可逐操作构建、定制和优化机器学习模型,并在CPU、GPU和NPU间跨平台运行。该API支持直接加载权重、零拷贝缓冲区互操作及AI编码代理辅助优化;谷歌称其在MacBook Pro上运行SAM 2的速度约为Apple MLX的1.5倍,后续将支持更多后端、NPU操作、全图量化和动态形状。

来源:InfoQ