首页 > 福汇资讯

清华团队开源大模型推理引擎“赤兔 Chitu”，实现 DeepSeek 推理成本降低一半、性能翻番

文章来源：福汇下载发布时间：2025-03-15 10:39:51

3 月 14 日消息，清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布，大模型推理引擎“赤兔 Chitu”现已开源。

据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”，提供如下特性：

多元算力适配：不仅支持 NVIDIA 最新旗舰到旧款的多系列产品，也为国产芯片提供优化支持。 全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大规模集群部署，赤兔引擎提供可扩展的解决方案。 长期稳定运行：可应用于实际生产环境，稳定性足以承载并发业务流量。

官方表示，当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，相比部分国外开源框架，实现了 GPU 使用量减少 50% 的同时，推理速度提升 3.15 倍。

1AI附开源地址：https://github.com/thu-pacman/chitu

文件显示谷歌对 Anthropic 投资超 30 亿美元，后者独立性遭质疑

上一篇: 文件显示谷歌对 Anthropic 投资超 30 亿美元，后者独立性遭质疑

3 月 12 日消息，在人工智能领域的激烈竞争中，旧金山初创企业 Anthropic 一直被视为独立于科技巨头之外的“独行侠”。然而，根据《纽约时报》近期获取的法庭文件显示，谷歌与 Anthropic…

网信办等四部门印发《人工智能生成合成内容标识办法》，9 月起施行

下一篇: 网信办等四部门印发《人工智能生成合成内容标识办法》，9 月起施行

3 月 14 日消息，为了促进人工智能健康发展，规范人工智能生成合成内容标识，保护公民、法人和其他组织合法权益，维护社会公共利益，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局制定了《…

相关攻略 更多

热门福汇软件更多

最新资讯 更多

黑猫视频hd版下载

黑猫视频hd版下载

福汇软件

更新时间：2025-04-19

查看