在近期公布的2024年度腾讯AI Lab犀牛鸟专项研究计划中，香港中文大学（深圳）数据科学学院助理教授王本友申请的项目“面向精细开放生成的评估及在模型生成规划中的中间路径验证”成功入选。本年度腾讯AI Lab犀牛鸟专项研究计划得到了75所高校177位学者的积极申报，其中985头部高校学者占比近90%，本课题入选率仅为约11%，入选学者均为自然语言处理及大模型领域的佼佼者，包括来自北京大学、清华大学、复旦大学、浙江大学和香港科技大学等高等院校的研究学者。

王本友教授的主要研究方向为自然语言处理方面、应用机器学习和信息检索。王教授领导的研究团队开发了包括适用于校园场景，为广大师生提供智能化、高效率的学习与研究支持的多语言大模型Phoenix（凤凰），国内公开的首个通过药剂师资格考试，专注于医疗领域并于医院落地应用的医疗健康垂直领域大模型华佗GPT和小语种阿拉伯语大模型AceGPT等开源大语言模型，在大模型领域颇有建树。

项目简介

腾讯AI Lab是腾讯的企业级AI实验室，强调研究与应用并重发展。实验室致力于基础技术研发与核心关键技术攻关，持续研发和落地AI新技术，推动AI在产业创新中的新应用，探索AI赋能科学发现的新范式。

腾讯AI Lab犀牛鸟专项研究计划侧重原创性引领性科技攻关，2024年度开放机器学习、计算机视觉与图形学、自然语言处理、语音技术、机器人等五大研究主题，计划立项18-21项。

来源：腾讯高校合作

1 申请项目简介

▉ 项目名称

面向精细开放生成的评估及在模型生成规划中的中间路径验证

▉ 项目摘要

开放生成的评估是大模型研究的一大难题。人工评估昂贵但较为主观，作为替代，大模型社区利用先进的大模型对生成结果进行评估。但这种方法的有效性仍存争议，批评者指出评估所用的大模型可能在特定领域的判别力不足。针对这一问题，王本友教授及其团队提出了针对特定任务或指令构建细化的生成评估标准，即为每一个样例设定具体的评估准则，通过这些准则来引导先进大模型对生成内容进行评分。这种方法^[1]在最新的多模态大模型研究中得到应用，并在近期的ACL Rolling Review中获得了meta-score四分的评价（满分五分）。

此外，基于这些评估标准，可以对模型的生成过程进行打分，把生成过程形式化为一个序列决策过程，每一步在表空间内采样一个词，直至形成完整序列。此过程可以引入额外的验证器进行实时打分。例如，在数学推理任务中，引入一个价值网络对生成空间进行重排，并在解码过程中对低价值路径进行剪枝。这一策略在数据推理领域已被证实有效，王本友教授开发的OVM模型将7B模型在流行的数学推理数据集GSM8K上的准确率从0.7提升至0.8，最近后续工作基于OVM将7B模型的数据推理能力提升到0.95左右（https://paperswithcode.com/sota/arithmetic-reasoning-on-gsm8k），OVM为平民化大模型的数学推理能力做出了巨大贡献。该论文被Findings of NAACL 2024接受^[2]。

王本友教授的“犀牛鸟项目”旨在通过类似^[1]中的精细的评估准则扩展到更通用的场景，在语言模型生成中采用额外的验证器（如^[2]），提升语言模型的生成质量。

[1] Wentao Ge, Shunian Chen, Guiming Chen, Junying Chen, Zhihong Chen, Shuo Yan, Chenghao Zhu, Ziyue Lin, Wenya Xie, Xidong Wang, Anningzhe Gao, Zhiyi Zhang, Jianquan Li, Xiang Wan, Benyou Wang. MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria.  
https://arxiv.org/abs/2311.13951

[2] Fei Yu, Anningzhe Gao, Benyou Wang. OVM, Outcome-supervised Value Models for Planning in Mathematical Reasoning. Findings of NAACL 2024. 
https://arxiv.org/abs/2311.09724.

2 教授简介

王本友
助理教授
意大利帕多瓦大学博士

研究领域
自然语言处理、信息检索、应用机器学习 

个人简介
王本友教授于2022年在意大利帕多瓦大学取得博士学位。他曾是欧盟玛丽居里研究员，曾在丹麦哥本哈根大学、加拿大蒙特利尔大学、荷兰阿姆斯特丹大学、华为诺亚方舟实验室、中科院理论物理所、社科院语言所交流访问。王教授的主要研究方向为自然语言处理方面、应用机器学习、信息检索。他曾获得国际信息检索顶级会议SIGIR 2017（CCF A类会议）最佳论文提名奖，获奖论文（IRGAN）是SIGIR历史上引用最多的论文之一，是最早也是最成功的GAN在信息检索领域的应用；曾获得国际自然语言处理顶级会议NAACL 2019最佳可解释论文奖，与自然语言处理里程碑工作BERT一起同台领奖。王教授在国际顶级会议ICLR/NeurIPS/ACL/EMNLP/NAACL/SIGIR/WWW/CIKM/AAAI/IJCAI和国际顶级期刊TOIS/TOC/TCS等发表了20余篇论文。他的专著《推荐系统与深度学习》由清华大学出版社出版。他长期担任ICLR/NeurIPS/ICML审稿人。