红帽宣布推出llm-d社区,NVIDIA、Google Cloud为创始贡献者

全球开源解决方案提供商红帽公司近日宣布启动新开源项目llm-d,以满足生成式AI大规模推理需求。该项目与创始贡献者CoreWeave、Google Cloud、IBM Research和NVIDIA合作打造,能够利用突破性的大规模生成式AI推理技术,让大语言模型(LLM)推理云能够满足最苛刻的生产服务级目标(SLO)。(新浪科技)

本内容为作者独立观点,不代表32度域立场。未经允许不得转载,授权事宜请联系 business@sentgon.com
如对本稿件有异议或投诉,请联系 lin@sentgon.com
👍喜欢有价值的内容,就在 32度域 扎堆
(0)

猜你喜欢

发表回复

登录后才能评论