赛事深度解读

英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

IT之家 10 月 18 日消息，市场研究机构 SemiAnalysis 于今日发布报告指出，英伟达通过一项针对上游 vLLM 的改进，使参数规模达 2.8 万亿的 Kimi K3 模型达到每用户每秒 423 个 Token 的推理速率，相较于同款硬件配置（GB300 NVL72），性能实现 1.68 倍的提升。

据透露，这项优化由英伟达 CentML 团队的工程师 Benjamin 主导完成。其采用大规模 Megakernel 融合技术，借助 Cute DSL 编写了英伟达最新推出的解码专用内核。该 Megakernel 代码总量达 1.2 万行，体现了 AI 辅助生成高性能计算内核的发展趋势。英伟达通过开云体育网址优化 Kimi K3 模型推理速度，提升 1.68 倍。

IT之家注意到，英伟达目前还在为 vLLM 推进 DeepSeek V4.1 等其他模型的优化工作。