AI人工智能行业资讯更多

学术分享丨CMU团队获ICRA 2023人机交互方向最佳论文奖：从人类物理反馈中学习，一种面向对象的一次性适应方法

2023-07-19 17:18

央视网GAITC 2023系列专访丨李洁主任：打造未来科技城的人工智能高地

2023-07-19 17:18

联汇科技OmBot自主智能体正式亮相2023世界人工智能大会

2023-07-18 20:05

学会通知丨中国人工智能学会关于推荐“2023年中国科协海智计划特聘专家”候选人的通知

2023-07-18 17:24

复旦NLP团队开源MOSS，此为国内首个公开亮相的类ChatGPT模型

来源：世展网分类：AI人工智能行业资讯 2023-04-24 18:31 阅读：*****

2025年郑州世界数字产业博览会WDIE

2025-03-21-03-23

展会结束

点击↑维科网人工智能→主页右上角→设为星标

复旦大学自然语言处理实验室邱锡鹏教授团队上线 MOSS 两个月后，把 MOSS 开源了。目前开源的版本是 MOSS 003，二月份公开邀请内测的版本为 MOSS 002，一月份有一个内部测试版本叫做 OpenChat 001。在 MOSS 003 中，复旦团队采用不同的技术路线，通过让Moss和人类以及其他对话模型都进行交互，显著提升了学习效率和研发效率，短时间内就高效完成了对话能力训练。MOSS 成为国内首个公开亮相的类ChatGPT语言模型，也是国内首个搭载插件系统的开源对话语言模型， “端到端”走通了大语言模型的开发全程。

MOSS 的成长过程

复旦 NLP 团队成员孙天祥公布了 MOSS 成长过程。ChatGPT 问世后，国内 NLP 从业者受到冲击很大，当时没有 llama 也没有 alpaca，团队普遍认为国内技术距离 ChatGPT 有一到两年的技术差距。要做 ChatGPT 有两个部分是很昂贵的，一个是数据标注，一个是预训练算力。团队没有算力，便去构造数据——从 OpenAI 的论文附录里扒了一些它们API收集到的user prompt，然后用类似Self-Instruct的思路扩展出大约 40 万对话数据。一月份的时候，团队研制出了 OpenChat 001，虽然 OpenChat 001 不具备中文能力，不知道关于自己的信息（比如名字、能力等），且安全性较低，但此时模型已经具备了指令遵循能力、多轮能力、跨语言对齐能力，可以理解中文并用英文回答。这给了团队很大的信心，于是加紧了 MOSS 002 的部署，增加到了116万条中英文对话数据。截至MOSS 002训练完成时，gpt-3.5-turbo、LLaMA、Alpaca均未出现，但却收到很多类似“MOSS是蒸馏ChatGPT” / “基于LLaMA微调”等质疑。目前开源的最新版本 MOSS 003 的基座语言模型已经在 100B 中文 token 上进行了训练，总训练 token 数量达到 700B，还构造了约 30 万插件增强的对话数据，目前已包含搜索引擎、文生图、计算器、方程求解等。还给 MOSS 增加了I nner Thoughts 作为输出，即在 MOSS 决定调用 API 以及回复之前首先输出其“内心想法”。研发团队称本次开源只是个开始，后续团队还将开源完整版 MOSS 003 微调数据、偏好数据、偏好模型以及经过偏好训练过的最终模型。Moss 的试用表现MOSS模型已上线开源，相关代码、数据、模型参数在Github和Hugging Face等平台开放，供科研人员下载。在MOSS界面，用户可自主添加搜索引擎、图像生成、方程求解器、计算器等外部插件工具。本次试用加入了搜索引擎的插件，对 MOSS 进行提问：特斯拉在国内过去五个月、过去一年的销量是多少？MOSS显示了回答，并在回答内容的下方，给出了所引用的英文参考资料。

让其生成针对AI医疗公司的中秋节文案：

写一份赞美母亲的信：

复旦大学计算机科学技术学院教授MOSS系统负责人邱锡鹏表示：“这是国内第一个插件版对话语言模型，能使用搜索引擎、图像生成模型、方程求解器等外部工具，为用户提供越来越多的服务。GPT-4也能接入各种插件，这种能力在大模型落地应用过程中会很有价值。”

MOSS 发布时掀起惊涛骇浪

2 月份，国内各大厂纷纷开始拼大模型，但在国内赛道上首个拿出大模型的不是大厂，而是学界——复旦大学自然语言处理实验室邱锡鹏教授团队。2 月 20 日晚，复旦大学自然语言处理实验室发布类 ChatGPT 模型 MOSS 的消息一经公开，很快就登顶了知乎热榜。由于瞬时访问压力过大，MOSS服务器还被网友挤崩溃了。针对服务器崩溃一事，MOSS 官网发公告回应：“我们最初的想法只是想将 MOSS 进行内测，以便进一步优化，没有想到会引起这么大的关注，我们的计算资源不足以支持如此大的访问量，并且作为学术团队我们也没有相关的工程经验，给大家造成非常不好的体验和第一印象，在此向大家致以真诚的歉意。团队称，MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路需要走。作为一个学术研究的实验室无法做出和 ChatGPT 能力相近的模型，MOSS 只是想在百亿规模参数上探索和验证 ChatGPT 的技术路线，并且实现各种对话能力。MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通，为国内学术界和产业界提供了重要经验，将助力大语言模型的进一步探索和应用。企查查 APP 显示，目前 MOSS 商标申请信息共 74 条，已有 32 枚商标被成功注册，申请人包括进出口、电子商务、高新技术等领域的多家公司及多个自然人，商标国际分类包括科学仪器、珠宝钟表、教育娱乐等，此外，目前仍有 3 枚 MOSS 商标正在注册申请中。

团队核心人物邱锡鹏

根据复旦大学计算机科学技术学院官网的介绍，邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习，发表CCF-A/B类论文70余篇。主持开发了开源自然语言处理工具FudanNLP、FastNLP，获得了学术界和产业界的广泛使用。邱锡鹏的研究方向是，围绕自然语言处理的机器学习模型构建、学习算法和下游任务应用，包括：自然语言表示学习、预训练模型、信息抽取、中文NLP、开源NLP系统、可信NLP技术、对话系统等。邱锡鹏表示：“尽管MOSS还有很大改善空间，但它的问世证明了在开发类ChatGPT产品的路上，国内科研团队有能力克服技术上的重要挑战。”MOSS研发项目得到了上海人工智能实验室的有力支持。后期，这项工作将通过开源方式和业界社区分享。