英特尔为四至六代至强处理器推出推理微服务，自动配置vLLM参数

英特尔推出面向大语言模型推理的容器化微服务，支持第四至第六代至强处理器，启动时可自动检测硬件并配置经验证的 vLLM 参数，通过 OpenAI 兼容 API 提供模型服务。首版支持 BF16、Docker 和 Kubernetes，未来计划扩展至英特尔 GPU及更多推理引擎。

来源：IT之家