小红书开源首个大模型,预训练未使用合成数据

小红书开源了首个大模型dots.llm1,小红书方面表示,dots.llm1是一个1420亿参数的混合专家模型(MoE),在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。此外,dots.llm1.ins在预训练阶段使用了11.2万亿的非合成数据,最终性能与阿里Qwen3-32b相比,在中英文、数学、对齐任务上表现接近。(财联社)

本内容为作者独立观点,不代表32度域立场。未经允许不得转载,授权事宜请联系 business@sentgon.com
如对本稿件有异议或投诉,请联系 lin@sentgon.com
👍喜欢有价值的内容,就在 32度域 扎堆
(0)

猜你喜欢

发表回复

登录后才能评论