DeepSeek之后,StartLux再来:开源首个决策模型推理引擎,推理速度最高提升5.3倍

StartLux原点星辉开源面向决策模型的推理引擎Prism,针对输出计算、材料复用、整数运算和混排调度进行优化。实测单问题提速2.8倍,同材料连续处理三题最快提速5.3倍,平均延迟41毫秒,准确率与原引擎基本相当。

来源:腾讯新闻