您当前位置:品牌装修设计 >> 热点

“AI考生”高考成绩公布,国产大模型总分、数学分数超过GPT-4o

发布时间 2024-06-20 00:32 -- 来源 东方网 阅读量:9214   
【导读】上海人工智能实验室今天公布了多名“AI考生”参加今年中国高考的成绩,阿里Qwen2-72B、GPT-4o和“书生·浦语”2.0文曲星成为三甲,得分率均超过70%。大部分“AI考生”在语文、英语科目上表现良好,但数学成绩不如人意。其中,“书生...

上海人工智能实验室今天公布了多名“AI考生”参加今年中国高考的成绩,阿里Qwen2-72B、GPT-4o和“书生·浦语”2.0文曲星成为三甲,得分率均超过70%。大部分“AI考生”在语文、英语科目上表现良好,但数学成绩不如人意。其中,“书生·浦语”2.0文曲星获得了数学最高分,超越包括GPT-4o在内的其他大模型。

大模型数学成绩都不及格

今年高考结束后,司南评测体系OpenCompass选取6个开源大模型和GPT-4o,开展了语文、数学、英语全卷能力测试。评测采用全国新课标I卷,参与评测的开源模型的开源时间均早于高考,确保考试“闭卷”性。同时,成绩由具有高考评卷经验的教师人工评判,接近真实阅卷的标准。

这6个大模型分别是阿里巴巴开源的Qwen2-57B和Qwen2-72B、上海人工智能实验室开源的“书生·浦语”2.0文曲星、智谱AI开源的GLM-4-9B、零一万物开源的Yi-1.5-34B、法国企业Mistral开源的Mixtral 8x22B。由于无法确定闭源大模型的更新时间,为公平起见,此次评测没有纳入商用闭源模型,只引入GPT-4o作为评测参考。

因为受测的开源模型均为大语言模型,在评测过程中,仅输入文字题干,英语听力部分(分值30分)不纳入此次评测。

结果,阿里Qwen2-72B以总分303分排名第一,其中语文124分,数学70分,英语109分(满分120分);GPT-4o以总分296分位居第二,其中语文111.5分,数学73分,英语111.5分;“书生·浦语”2.0文曲星以0.5分之差排名第三,其中语文112分,数学75分,英语108.5分。

可以看到,“AI考生”三甲都擅长文科,语文和英语成绩优良,然而它们的数学推理能力有待提升,高考数学成绩都不及格。目前,数学是所有大模型的短板,得益于上海人工智能实验室在数学推理上的投入,“书生·浦语”2.0文曲星在高考中得到75分,在所有受测模型中位居榜首,但仍存在较大的提升空间。

阅卷老师点评“考生”表现

与以往多采用高考客观题评测大模型的方式不同,在此次测试中,研究团队使用了语数外三科的全卷试题,既有选择、填空等“答案唯一性”题目,也包括简答、阅读理解、作文等主观题,在更接近真实高考的环境中测试模型能力。

为贴近高考评卷模式,研究团队邀请多位有阅卷经验的高中教师对主观题答案评分,每份考卷至少由3人分别打分。遇到评分悬殊的情况,老师们会进行复核,尽量做到评分公正,为人工智能学术界和产业界提供更有价值的参考指标。

与真实的高考一样,所有大模型答卷均进行了匿名处理,避免阅卷教师产生“先入为主”的观念。在完成所有大模型答卷的评分工作后,阅卷教师才被告知所评“考生”的真实身份是大模型。

对于这些“AI考生”的语数外水平,老师们给出了中肯的评价——

语文评卷显示,大模型的现代文阅读理解能力普遍较强,但是不同模型的文言文阅读理解能力差距较大。大模型写的作文更像问答题,虽然有针对性,但缺乏修饰,几乎不用人类考生都会使用的举例论证、引用论证、名人名言等手法。多数大模型不理解“本体”“喻体”“暗喻”等语文概念。对于文章中的一些“潜台词”,大模型还无法完全理解。

数学评卷显示,大模型的主观题回答相对凌乱,而且解题过程有迷惑性,甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力很强,但无法在解题过程中灵活运用。

大模型的英语整体表现良好,然而部分模型由于不适应一些题型,在七选五、完形填空等题型上得分较低。大模型写的英语作文普遍存在因超出字数限制被扣分的情况,而人类考生大多因为字数不够被扣分。

免责声明:该文章系本站转载,旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议,仅供读者参考。

相关新闻 --------

每日推荐

热门文章

网站地图 | 关于我们 | 联系我们 | 投稿合作 | RSS订阅

邮箱:jokeryouxiang@163.com


声明: 本站部分内容来源于网络,如果你是该内容的作者,并且不希望本站发布你的内容,请与我们联系,我们将尽快处理!

品牌装修设计 版权所有 未经品牌装修设计授权禁止转载、摘编、复制或建立镜像;COPYRIGHT © 2008-2022