蚂蚁开源万亿参数高性能强化学习权重交换框架Awex

32度域获悉,据百灵大模型消息,蚂蚁集团宣布开源万亿参数高性能强化学习权重交换框架Awex。据介绍,今年10月,蚂蚁百灵正式开源了两款万亿参数旗舰模型,包括非思考的Ling-1T和思考模型Ring-1T。其中Ring-1T基于其自研的高性能权重交换框架Awex(Asystem Weight Exchange Framework),实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。

本内容为作者独立观点,不代表32度域立场。未经允许不得转载,授权事宜请联系 business@sentgon.com
如对本稿件有异议或投诉,请联系 lin@sentgon.com
👍喜欢有价值的内容,就在 32度域 扎堆
(0)

猜你喜欢

发表回复

登录后才能评论