近日，中国海洋大学二语习得跨学科研究团队成员刘颖颖副教授在国际语言学顶刊Computer Assisted Language Learning（《计算机辅助语言学习》）发表论文“Enhancing GPT-based automated essay scoring: the impact of fine-tuning and linguistic complexity measures”（强化基于GPT的写作自动评分：微调与语言复杂度指标的影响）。

该研究探索了大语言模型在写作自动评分领域中的应用，探讨了其可靠性、准确性及公平性等问题。研究采用预训练人工智能大语言模型，对母语为汉语、法语、德语、西班牙语的二语学习者的英文写作进行自动评分，对比了微调大语言模型、语言复杂度指标，以及两者相结合等三种方式在自动评分上的表现，揭示了微调技术与语言复杂度指标在写作自动评分中的作用。

研究发现，微调大语言模型与人类评分者具有较高的一致性，能够较准确地评估中、高水平作文，但在低水平作文评分时准确性偏低，反映出训练集内低水平样本不足所导致的类别不均衡问题。此外，大语言模型的评分结果普遍高于人工评分，且针对不同一语背景写作者的作文，评分准确度存在组间差异。分析显示，“微调大语言模型+语言复杂度参数”的复合模型在三种方式中表现最优，但相较于仅使用微调大语言模型，优势并不明显。本研究展现了生成式人工智能在二语写作测试中的应用前景，并为该领域的后续研究提供了有益参考。

由左至右依次为刘颖颖副教授、綦惠磊同学、陆小飞教授

论文第一作者为中国海洋大学外国语学院刘颖颖副教授，共同第一作者为中国海洋大学外国语学院2024届本科生綦惠磊，通讯作者为美国宾夕法尼亚州立大学陆小飞教授。Computer Assisted Language Learning为SSCI、A&HCI双索引期刊。根据科睿唯安（Clarivate）期刊引证报告，该刊近三年（2022年至2024年）在语言学SSCI期刊中排名稳居前三位，被中科院2025年期刊分区表列为1区Top期刊，在国际学术界享有较高声誉。