11月23日，第一届大湾区人工智能数理基础论坛在香港中文大学（深圳）成功举行。作为港中大（深圳）十周年校庆系列学术活动之一，论坛围绕“人工智能数理基础”主题展开。出席本次论坛的嘉宾包括中国工程院外籍院士、香港中文大学（深圳）副校长（学术）罗智泉教授，中国科学院院士袁亚湘教授，香港中文大学（深圳）协理副校长黄建伟教授，数据科学学院副院长、广东省人工智能数理基础重点实验室主任王子卓教授，以及实验室学术委员会委员等。此外，近百名来自人工智能领域的专家、学者和业界嘉宾也参与了此次论坛。

与会嘉宾分享并探讨了从机器学习优化算法到大模型理论研究的最新进展，以及人工智能（AI）在各行业中的应用现状与所面临的挑战，并共同探讨了人工智能理论的发展与实际应用的落地问题。

活动回顾

开幕致辞

在论坛开幕式上，港中大（深圳）协理副校长黄建伟首先代表学校致辞。黄校长向远道而来的嘉宾表示热烈欢迎，并向与会来宾介绍了学校近年来在人工智能领域的投入及初步成果。他表示，学校期盼通过本次论坛聚焦“人工智能数理基础”主题，汇聚业内顶尖学者与业界领袖，分享研究成果与应用经验。借此契机，论坛将推动大湾区人工智能学科的发展与可持续进步，提升该领域在全国的研究地位，为社会发展作出更大贡献。

港中大（深圳）协理副校长黄建伟教授开场致辞

港中大（深圳）数据科学学院副院长、广东省人工智能数理基础重点实验室主任王子卓教授，代表实验室欢迎各位学界和业界同仁的莅临。王子卓教授从团队建设、课题项目、研究成果和交流合作四个方面，全面总结了广东省人工智能数理基础重点实验室的建设进展。他表示，希望实验室的成员能够与业内专家学者携手合作，共同推动人工智能理论的深入发展，并加速其实际应用的落地。

港中大（深圳）数据科学学院副院长、广东省人工智能数理基础重点实验室主任王子卓教授致辞

论坛聚焦

此次论坛邀请了多位专家学者分享各自的研究进展与应用案例。

• 港中大（深圳）数据科学学院特聘教授叶荫宇教授介绍了针对大规模机器学习提出的自适应算法，该算法显著提升了梯度算法的计算效率。
• 上海交通大学智能计算研究院院长葛冬冬教授探讨了基于GPU架构的新型数学优化算法的最新进展，在部分场景中实现了数百倍的速度提升。
• 港中大（深圳）数据科学学院孙若愚教授分享了Adam算法的最新研究成果，并提出了Adam-mini方法，进一步提升了算法性能。
• 微软亚洲研究院首席研究员、理论中心主任陈卫教授介绍了Transformer模型在计划问题中的能力与局限性研究。
• 之江实验室图计算中心副主任陈红阳教授展示了团队针对地球科学领域开发的垂直大模型GeoGPT。
• 此外，来自星巴克、南方航空和丰宜科技的三位业界嘉宾分别讲述了人工智能在各自企业中的实际应用及面临的挑战。

港中大（深圳）数据科学学院特聘教授叶荫宇教授发表了题为《Gradient Methods with Online Scaling》的报告。报告中，叶教授介绍了一种针对大规模机器学习问题的自适应调整和学习pre-conditioner的算法。该算法巧妙结合了在线凸优化理论，可以有效地调整梯度算法中pre-conditioner的选取，从而对算法进行显著加速，并具备良好的收敛性保证。一系列数值实验显示，该算法在与一些经典算法的比较中具有显著优势。

港中大（深圳）数据科学学院特聘教授叶荫宇教授

来自上海交通大学的葛冬冬教授发表了题为《数学规划的若干最新进展》的报告。报告中，葛教授深入探讨了对优化问题基于GPU计算框架的最新进展。随着数学优化问题规模的迅速增长，传统的CPU计算体系已难以满足需求。为应对这一挑战，葛教授及其团队为线性规划、二次规划和半正定规划设计了GPU架构下的一阶算法并对底层函数库进行提升，在部分场景上能达到数百倍的速度提升。此外，葛教授还介绍了数学规划求解器在一些复杂场景上应用的最新进展。

上海交通大学智能计算研究院院长葛冬冬教授

港中大（深圳）数据科学学院孙若愚教授发表了题为《Understanding and Improving LLM Training: Insights into Adam and Advent of Adam-mini》的报告。在报告中，孙教授分享了Adam算法在机器学习领域的最新研究进展。在自然语言处理和图像识别等机器学习场景中，常用的优化算法包括SGD和Adam。孙教授发现，在CNN架构上SGD与Adam表现相近，而在Transformer架构上，Adam则展现出显著优势。孙教授研究发现，这一优势主要源于Transformer架构下损失函数Hessian矩阵的异质性。基于此，孙教授团队开发了Adam-mini算法，通过为Hessian矩阵的每个密集子块分配学习率，显著提升了计算效率和模型性能。这一创新为提升大模型训练效率提供了新的思路。

港中大（深圳）数据科学学院孙若愚教授

微软亚洲研究院陈卫教授发表了题为《ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models》的报告。在报告中，陈教授探索了基于Transformer架构大语言模型在计划类问题中的能力。以网络路径搜索任务举例，陈教授刻画了Transformer架构可以通过学习到邻接矩阵和可及矩阵来生成可行路径，并证明了基于梯度下降算法可以学习到邻接矩阵和局部的可及矩阵。此外，陈教授通过理论分析发现了当前Transformer架构存在着一定的局限性。该研究从理论上启发了大语言模型的相关研究者去改进当前的模型架构来提升在计划问题中的能力。

微软亚洲研究院的陈卫教授

在上午的最后一个报告中，之江实验室的陈红阳教授作了《Building a Domain-Specific LLM and Its Application for Open Science 》的报告。陈教授向大家介绍了他的团队在过去一年开发的垂直领域大模型——GeoGPT，并展示了GeoGPT在文献阅读、信息提取、地质图解译与生成、知识图谱构建、以及科学假设生成等方面的强大功能。这项工作也正在推动地球科学研究模式的革新与转变。

之江实验室的陈红阳教授

在下午的报告中，星巴克中国的首席技术官罗金鹏先生，南方航空工程技术分公司的副总经理王锦申先生，以及丰宜科技的首席信息官朱涛先生分别做了《星巴克：AI在星巴克的应用和发展 》、《南方航空：运筹优化在机队管理中的应用》和《丰宜科技：AI在无人零售的应用》的报告，介绍了人工智能和运筹优化技术在各自企业的应用和面临的挑战。

论坛报告结束后，港中大（深圳）副校长罗智泉教授为到场的业界嘉宾颁发广东省人工智能数理基础重点实验室业界指导委员会委员的证书，并希望通过和业界的紧密合作进一步推广人工智能在现实问题中的应用，为社会创造出更大价值。

罗智泉校长（右一）和王子卓教授（左一）与业界指导委员会委员合影

在论坛临近结束时，全体嘉宾再次合影留念，记录下此次论坛圆满闭幕的精彩瞬间。
 

论坛介绍

大湾区人工智能数理基础论坛由香港中文大学（深圳）、广东省人工智能数理基础重点实验室主办，深圳市群体智能驱动的低碳能源网络重点实验室协办。正值香港中文大学（深圳）建校十周年，论坛打造了一次高质量的学术盛宴。邀请到多位人工智能理论基础领域的顶尖学者分享见解, 还邀请了多位业界领袖分享人工智能在顶尖企业的应用经验。精彩的学术交流为现场观众带来新思路、新理念，也展示出香港中文大学（深圳）在人工智能领域的学术贡献与责任担当。