logo
繁体
繁体

“中国版ChatGPT” MOSS发布,服务器被挤爆,团队致歉“还不成熟”

最近ChatGPT火出圈,在中国AI圈里掀起不小的风浪。昨日,中国复旦大学自然语言处理实验室宣布,发布国内首个类ChatGPT模型MOSS,邀公众参与内测,引起大量网友围观和参与。

由于瞬时访问压力过大,MOSS服务器当晚被网友挤崩。2月21日,MOSS官网只得发布道歉公告称,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路需要走。

图源:MOSS官网

复旦团队表示,我们最初的想法只是想将MOSS进行内测,以便进一步优化,但MOSS的计算资源不足以支持如此大的访问量,并且作为学术团队也没有相关工程经验。

那么MOSS和ChatGPT有啥区别,两者差距有多大呢?

据解放日报旗下《上观新闻》报道,MOSS可执行对话生成、编程、事实问答等一系列任务。MOSS开发的基本步骤与ChatGPT一样,MOSS开发的过程也包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。

不同之处在于,在对话能力训练阶段,OpenAI收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助ChatGPT逐步理解各种指令。而复旦团队采用了不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。

但MOSS团队领导人邱锡鹏坦言:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”

MOSS团队在公告中也承认,“实验室无法做出和ChatGPT能力相近的模型,MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线,并且实现各种对话能力。”

另据MOSS科研团队透露,当前版本的MOSS表现不够稳定,仍存在一些回答出现事实差错或逻辑不顺的问题。公告称,在MOSS完成初步的验证之后,团队会将MOSS的经验代码、模型参数开源出来供大家参考。

文章参考链接:

https://www.cqcb.com/shuzijingji/2023-02-20/5178476.html