蚂蚁开源首个100B扩散语言模型LLaDA2.0

蚂蚁开源首个100B扩散语言模型LLaDA2.012月12日,蚂蚁技术研究院正式推出LLaDA2.0系列离散扩散大语言模型(dLLM),并同步公开技术报告。此前开源的LLaDA2.0包含MoE架构的16B(mini)和100B(flash)两个版本,蚂蚁将Diffusion模型的参数规模首次扩展到了100B量级。

本内容为作者独立观点,不代表32度域立场。未经允许不得转载,授权事宜请联系 business@sentgon.com
如对本稿件有异议或投诉,请联系 lin@sentgon.com
👍喜欢有价值的内容,就在 32度域 扎堆
(0)

猜你喜欢

发表回复

登录后才能评论