清华开源赤兔引擎DeepSeek，性能为啥能翻番？揭秘！
4
0
清华大学高性能计算研究所发布开源大模型推理引擎“赤兔 Chitu”
清华大学高性能计算研究所与清华系科创企业清程极智近日共同宣布，推出大模型推理引擎“赤兔 Chitu”。这一引擎的问世，标志着我国在人工智能领域又迈出了坚实的一步。据悉，赤兔 Chitu 引擎首次实现了在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，有效降低了 DeepSeek 推理成本，性能提升了一倍。该引擎被定位为“生产级大模型推理引擎”，具备多元算力适配、全场景可伸缩、长期稳定运行等特性。
多元算力适配，全场景可伸缩
赤兔 Chitu 引擎支持 NVIDIA 最新旗舰到旧款的多系列产品，同时为国产芯片提供优化支持。这意味着，无论是高端显卡还是国产芯片，都能在赤兔 Chitu 引擎上发挥出最佳性能。赤兔 Chitu 引擎还具备全场景可伸缩的特性。从纯 CPU 部署、单 GPU 部署到大规模集群部署，都能满足不同场景下的需求。
长期稳定运行，承载并发业务流量
赤兔 Chitu 引擎可应用于实际生产环境，稳定性足以承载并发业务流量。这意味着，企业无需担心因引擎不稳定而导致业务中断。官方数据显示，当前开源的赤兔 Chitu 引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，相比部分国外开源框架，实现了 GPU 使用量减少 50% 的推理速度提升 3.15 倍。