国产算力撑起国产旗舰!海光DCU率先完成腾讯Hy4 preview Day 0适配

支持深度推理与直接回答两种模式,国产国产展示了国产算力在面对国产旗舰大模型时的算力y适适配与落地能力。针对Hy4 preview的撑起成腾稀疏注意力计算特点,

面对腾讯新一代开源旗舰模型,旗舰KV Cache及并行切分等关键计算环节。海光

先完讯

先完讯对推理适配提出了更高要求。国产国产兼容流式与非流式内容处理,算力y适该模型还引入了Gated MLA、撑起成腾iHC和learnable sink等新型结构,旗舰

8月31日消息,海光Hy-MT2之后,先完讯适配工作覆盖了Attention Sink、国产国产DAS(DCU Acceleration Stack)等自研软件栈优势,算力y适海光信息昨日宣布,撑起成腾采用超大规模MoE(混合专家)架构。激活参数仅49B(490亿),

海光信息凭借DTK(DCU Toolkit)、海光通过软硬件协同能力,

同时,

这是继腾讯Hy3、成功突破了大模型推理适配的技术瓶颈,海光DCU与腾讯混元系列模型的又一次深度协同。Hy4 preview总参数量770B(7700亿),本次适配实现了Hy4 preview专用的推理内容解析和工具调用解析能力,

本次适配围绕Hy4 preview的模型结构展开。以及多工具并行调用。旗下深算DCU已率先完成腾讯新一代旗舰大模型Hy4 preview的Day 0适配,模型发布当天即完成推理全流程支持。在vLLM推理框架中接入了FlashMLA算子能力。

这些功能为Hy4 preview在海光DCU平台上的部署和智能体应用提供了基础支撑。

在推理服务功能上,

新闻中心
上一篇:格局大变!曝《金刚狼》数字版收入近八成 实体盘遇冷
下一篇:火箭训练营首日:范弗利特确认出战中国赛 乌度卡复盘上赛季得失