11月2日,据百灵大模型消息,蚂蚁集团宣布开源万亿参数高性能强化学习权重交换框架Awex。
据介绍,今年10月,蚂蚁百灵正式开源了两款万亿参数旗舰模型,包括非思考的Ling-1T和思考模型Ring-1T。
其中Ring-1T基于其自研的高性能权重交换框架Awex(Asystem Weight Exchange Framework),实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。
分享渠道
微信好友
朋友圈
取消