快科技6月21日消息,在AI大模型领域,OpenAI的ChatGPT成为当前最火的大模型,也是标杆性的,多个国产大模型都要对标它,今天商汤科技公布了自己的大模型测试结果,三个测试项目中都超越了ChatGPT。
商汤科技自研中文语言大模型名为商量SenseChat 2.0”,日前公布的测试显示,MMLU、AGIEval、C-Eval三个权威大语言模型评测基准的成绩。
根据评测结果,商量SenseChat 2.0”在三个测试集中表现均领先ChatGPT,部分已十分接近GPT4的水平,实现了我国语言大模型研究的重要突破。
这三个测试分别如下:
由美国加州大学伯克利分校等高校构建的多任务考试评测集MMLU;
微软研究院推出的学科考试评测集AGIEval(含中国高考、司法考试及美国SAT、LSAT、GRE和GMAT等);
由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集C-Eval;
相关标签: 商汤国产中文大模型全面领先ChatGPT 部分接近GPT 4
评论列表 (条)