30B大模型运行于手机，推理引擎开始自我进化无量火科技发布Ember端侧推理引擎，通过预测性部分加载降低模型内存占用，实测可将MoE模型内存占用降低80%、Dense模型降低50%，并支持手机运行30B大模型

1. 

   科技脉搏

   30B大模型运行于手机，推理引擎开始自我进化无量火科技发布Ember端侧推理引擎，通过预测性部分加载降低模型内存占用，实测可将MoE模型内存占用降低80%、Dense模型降低50%，并支持手机运行30B大模型

   3小时前

   

   ×

   

   30B大模型运行于手机，推理引擎开始自我进化
   
   无量火科技发布Ember端侧推理引擎，通过预测性部分加载降低模型内存占用，实测可将MoE模型内存占用降低80%、Dense模型降低50%，并支持手机运行30B大模型。公司还推出基于Ember的FlareOS，计划进一步拓展端侧AI生态，预计明年在手机上流畅运行100B模型。
   
   来源：腾讯新闻

   3小时前