文章来源:福汇下载发布时间:2025-03-15 10:39:51
3 月 14 日消息,清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布,大模型推理引擎“赤兔 Chitu”现已开源。
据介绍,该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型,实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”,提供如下特性:
多元算力适配:不仅支持 NVIDIA 最新旗舰到旧款的多系列产品,也为国产芯片提供优化支持。 全场景可伸缩:从纯 CPU 部署、单 GPU 部署到大规模集群部署,赤兔引擎提供可扩展的解决方案。 长期稳定运行:可应用于实际生产环境,稳定性足以承载并发业务流量。官方表示,当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时,在 A800 集群的测试中,相比部分国外开源框架,实现了 GPU 使用量减少 50% 的同时,推理速度提升 3.15 倍。
1AI附开源地址:https://github.com/thu-pacman/chitu
相关攻略 更多
最新资讯 更多
张鲁一陈明昊主演腾讯视频藏海花值得看吗_网剧藏海花追剧日历曝光
更新时间:2025-05-13
超新星运动会第五季什么时候播在哪个平台播_第五季参赛选手大全
更新时间:2025-05-13
在线天堂资源www在线下载
更新时间:2025-05-12
色多多在线视频
更新时间:2025-05-12
超新星运动会第五季总决赛在哪看直播_哪个平台能看超新星总决赛
更新时间:2025-05-12
斩神之凡尘神域什么时候播出_什么平台能免费看斩神全集
更新时间:2025-05-12
腾讯视频斩神大夏神明去向解析_斩神华夏神明什么时候回归
更新时间:2025-05-12
腾讯视频可以看到周星驰哪些电影_腾讯视频高评分周星驰电影推荐
更新时间:2025-05-12
双城之战第二季不花钱在哪看_中文主题曲免费收听平台介绍
更新时间:2025-05-12
腾讯视频会员权益有哪些变化_目前支持几台设备同时登录
更新时间:2025-05-12