文章来源:福汇下载发布时间:2025-03-15 10:39:51
3 月 14 日消息,清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布,大模型推理引擎“赤兔 Chitu”现已开源。
据介绍,该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型,实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”,提供如下特性:
多元算力适配:不仅支持 NVIDIA 最新旗舰到旧款的多系列产品,也为国产芯片提供优化支持。 全场景可伸缩:从纯 CPU 部署、单 GPU 部署到大规模集群部署,赤兔引擎提供可扩展的解决方案。 长期稳定运行:可应用于实际生产环境,稳定性足以承载并发业务流量。官方表示,当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时,在 A800 集群的测试中,相比部分国外开源框架,实现了 GPU 使用量减少 50% 的同时,推理速度提升 3.15 倍。
1AI附开源地址:https://github.com/thu-pacman/chitu
相关攻略 更多
最新资讯 更多
国内五大综合视频平台盘点_你想看的这里都有
更新时间:2025-04-28
好用的热门视频播放器有哪些_盘点国内五大综合视频平台
更新时间:2025-04-28
优酷下载完的视频在哪个文件夹_如何修改优酷视频文件下载位置
更新时间:2025-04-27
优酷播放视频缓慢卡顿怎么回事_如何提高优酷播放视频速度
更新时间:2025-04-27
4K画质你值得拥有_揭秘市面上最受欢迎的4k播放器
更新时间:2025-04-27
为什么优酷视频播放不了视频_优酷视频无法正常播放的解决方法
更新时间:2025-04-27
哪个视频播放器影视剧最齐全_看片追剧最爽的视频播放器推荐
更新时间:2025-04-27
电脑优酷下载的视频保存在哪个文件夹_优酷视频的缓存文件在哪
更新时间:2025-04-27
电脑优酷怎么截图_优酷视频截图保存的文件夹位置在哪
更新时间:2025-04-27
幼儿教育快人一步_拥有幼儿教育板块的视频软件推荐
更新时间:2025-04-27