华为等成立“先进存力AI推理工作组”

华为等成立“先进存力AI推理工作组”

据华为公众号近日消息,日前在2025中国算力大会上,中国信息通信研究院联合华为数据存储、科大讯飞、浪潮、曙光、沐曦、清微智能、中国移动、中国电信、中国联通等企业,共同成立“先进存力AI推理工作组”,标志着我国AI推理领域进入“存算协同、生态共建”的新阶段。

华为介绍道,工作组凝聚产业界多方力量,成员覆盖芯片、模型、存储与行业应用等厂商及用户,聚焦AI推理领域的理论研究、实践探索与生态建设,推动AI推理应用、AI推理框架、先进存力与智能算力的协同发展,促进AI普惠应用。

在工信部指导下,工作组将围绕四大核心任务展开工作:一是开展AI推理优化理论研究,夯实技术基础;二是推进创新技术推广,加速先进方案落地;三是主导或参与相关标准制定,规范产业发展;四是深化用户实践与试点建设,同时强化产业生态构建,推动配套政策布局落地,为AI推理产业提供“从技术到应用”的全链条支撑。

作为工作组核心成员之一,华为近期发布的UCM推理记忆缓存管理器,成为解决推理成本与体验难题的关键方案。该方案以KV Cache(键值缓存)为核心,是一款融合多类型缓存加速算法工具的推理加速套件,可通过分级管理推理过程中的KV Cache“记忆数据”,有效扩大推理上下文窗口,最终实现“高吞吐、低时延”的推理体验,显著降低单Token的推理成本。

本内容为作者独立观点,不代表32度域立场。未经允许不得转载,授权事宜请联系 business@sentgon.com
如对本稿件有异议或投诉,请联系 lin@sentgon.com
👍喜欢有价值的内容,就在 32度域 扎堆
(0)

猜你喜欢

发表回复

登录后才能评论