2023年12月16日下午，SAAI-青年研享论坛系列活动之基础模型时代的机器学习研究论坛在深圳市南山智园崇文园区1号楼四楼（深圳市人工智能学会科普基地T1-405房）成功举办。本次论坛主席为哈尔滨工业大学（深圳）计算机科学与技术学院教授/博士生导师、哈尔滨工业大学（深圳）国际人工智能研究院研究员、鹏程实验室双聘研究员苏敬勇博士，腾讯AI Lab高级研究员、中国科学技术协会“青年人才托举工程”入选者蔡登博士，组委会成员包括哈尔滨工业大学（深圳）教授徐增林博士，香港中文大学教授 Irwin King博士和北京大学教授邹月娴博士。
本次论坛是在哈尔滨工业大学（深圳）、深圳市科学技术协会的指导下，由深圳市南山区科学技术协会主办，深圳市人工智能学会、哈尔滨工业大学（深圳）可信机器智能港澳联合实验室、哈尔滨工业大学（深圳）国际人工智能研究院、哈尔滨工业大学（深圳）计算机科学与技术学院信息物理系统CPS研究中心联合承办，支持单位为西丽湖人才服务中心。活动邀请了来自哈尔滨工业大学（深圳）、腾讯AI Lab、华南理工大学、中山大学、吉林大学、香港中文大学（深圳）等多所高校与企业的专家学者现场报告和交流。
现场来宾认真聆听
下午一点三十分，论坛正式开始，论坛主席苏敬勇博士致辞，苏博士简单介绍了本次论坛的主要内容，对各位嘉宾的到来表示热烈欢迎。
哈尔滨工业大学（深圳）教授苏敬勇博士致辞
主题报告环节，第一位进行主题报告的是哈尔滨工业大学教授洪晓鹏博士，他带来的报告主题为《连续学习：从重放到提示学习》。洪晓鹏博士报告针对深度神经网络在学习新任务和知识时所面临的”灾难性遗忘”问题，探讨了如何保留旧知识从而实现知识的增量式积累，汇报了其所在课题组在深度网络灾难性遗忘抑制方面的工作，并分别介绍了连续学习的实验设定、基于拓扑保持的重放式记忆保持和基于线索学习的连续学习等方面内容。
哈尔滨工业大学教授洪晓鹏博士做主题报告
第二位进行主题报告的是华南理工大学教授吴庆耀博士，他带来的报告主题为《少样本视频动作与视觉内容理解》。吴庆耀博士报告内容重点阐述了关于视频动作识别、视频动作表征学习、面向姿态变换的动作理解以及视频内容理解等方面内容。在视频动作识别方面，针对传统方法在处理复杂背景和多人物的动态任务时存在局限性，吴博士提出了基于3D骨架点云的视频暴力识别方法，通过引入骨架注意力网络解决了稀疏骨架点云动作特征提取和多人物骨架交互的学习问题。在视频动作表示学习方面，吴博士介绍了面向视频数据的3D骨架动作一致性、连续性的自监督表示学习方法，减少动作表示歧义性的问题。在面向姿态变换的动作理解方面，吴博士提出了无配对数据的通用物体姿势变换网络，该方法无需收集成对数据，通过高阶空间转换模块和纹理样式转换模块实现了通用物体的姿态转换。在视频内容理解方面，吴博士提出了基于内容解耦增强的弱监督语义分割方法，通过前后背景解耦的表达框架和成对学习策略来提高模型的鲁棒性。在应用方面，吴博士介绍了联合图增强的自监督对象定位和用于协同分割与检测的统一transformer框架，实现在电网等行业的应用落地。
华南理工大学教授吴庆耀博士做主题报告
第三位进行主题报告的是中山大学副教授胡建芳博士，他带来的报告主题为《跨模态跨时域视频内容理解与分析》。胡建芳博士阐述道，跨模态跨时域视频内容理解是计算机视觉领域的一个重要的研究方向，跨模态跨时域视频内容理解的关键在于怎样有效地融合图像、音频、文本等多模态信息在时域上的关联，完成多模态时序信息融合、时域建模以及跨模态对齐等。胡博士报告重点结合基于文本的视频内容定位、舞蹈视频生成和行人运动预测生成等任务，介绍了其所在研究组近年在多模态视频特征融合学习和视频持续学习等方面研究进展工作，并简要探讨跨模态跨时域视频内容理解的未来发展方向。
中山大学副教授胡建芳博士做主题报告
第四位进行主题报告的是吉林大学研究员曹晓锋博士，他带来的报告主题为《黑盒机器教学理论》。曹晓锋博士认为，机器教学是机器学习的逆问题，它是实现人工智能的强假设理论。在假设空间中，假设削减通常最大化假设剪枝以快速地削减候选空间，降低标签复杂度。理论上，该学习者要求为非受限的白盒学习者。但当该问题退化为黑盒时，基于PAC的典型概率近似泛化理论无法获取安全保证。为此，黑盒机器教学理论被提出。它通过预置黑盒教师指引学习者削减候选假设空间，并获得更紧致的泛化误差和复杂度界。理论分析在典型在线采样理论算法IWAL的基础上，证明基于Black-box Teaching的原型方法可显著性降低模型无关假设的误差上界，并可快速派生新的假设更新收敛至近似最优假设。
吉林大学研究员曹晓锋博士做主题报告
第五位进行主题报告的是香港中文大学（深圳）副研究员张瑞茂博士，他带来的报告主题为《基于多模态大模型的开放式具身系统》。张瑞茂博士阐述道，设计并实现一个能够如同人类一样处理开放世界任务的具身智能系统是人工智能研究长期以来的目标。当前基于大规模语模型的方法虽然能够在任务的逻辑分解上得到较为理想的结果。但在具体的执行过程中，却很难基于实际的上下文信息对规划的内容进行实时调整，形成更加符合实际场景情况的执行过程。有鉴于此，张博士报告分享了其所在研究团队近期构建的基于多模态大模型的开放式具身系统MP5。该系统面向Minecraft虚拟器构建，可以将任务根据逻辑分解成可行的子目标，并通过所设计主动感知机制将场景中实际的上下文状况与任务子目标相结合，形成更为具体的执行方案。且通过实验验证，其团队发现MP5能够在Minecraft场景中自适应地解决很多开放性任务。
香港中文大学（深圳）副研究员张瑞茂博士做主题报告
第六位进行主题报告的是腾讯AI Lab研究员代勇博士，他带来的报告主题为《大模型时代的模型训练和评估》。代勇博士认为，ChatGPT后时代的大模型的训练可以分为模型预训练，监督微调，奖励模型训练，和人类偏好对齐。代博士在报告中分享了其所在团队在奖励模型训练和人类偏好对齐算法落地和研究过程中的一些进展和思考，重点包括以下几个内容：1）实际项目中训练奖励模型的pairwise的数据如何获取；2）有了pairwise数据之后如何训练更好的通用奖励模型，如何处理多样的人类偏好；3）训练好通用奖励模型以后如何做领域适配，保证领域能力增强的同时，通用能力不会遗忘太快；4）训练好奖励模型以后，除了采用rjs和dsp等算法，有没有更高效的偏好对齐的算法；5）模型版本迭代中，我们应该如何对其进行评测，除了人工评测，gpt4是否可以替代人工评测。
腾讯AI Lab研究员代勇博士做主题报告
演讲嘉宾报告完毕后，都会有来自现场的观众朋友们进行提问。观众们积极举手发言，演讲嘉宾认真作答，双方友好交流，场面十分活跃。
现场观众举手提问
圆桌讨论环节，参与圆桌讨论的嘉宾有：哈尔滨工业大学（深圳）李峻樊博士、哈尔滨工业大学教授洪晓鹏博士、华南理工大学教授吴庆耀博士、中山大学副教授胡建芳博士、吉林大学研究员曹晓锋博士、香港中文大学（深圳）副研究员张瑞茂博士、腾讯AI Lab研究员代勇博士、腾讯AI Lab高级研究员蔡登博士、哈尔滨工业大学（深圳）计算机科学与技术学院教授/博士生导师苏敬勇博士。圆桌讨论主持人由哈尔滨工业大学（深圳）李峻樊博士担任，李博士抛出了多个问题，如：“基础模型的出现对传统的机器学习模型（简单模型，如SVM；深度模型，如CNN，ResNet等）的理论研究和应用研究带来了怎样的影响？对哪些研究内容的影响较小？” “基础模型给机器学习研究带来哪些新的研究方向？”“大规模参数的模型是否是必要的”或者说，更小规模参数的模型是否可以达到同样的能力？大规模参数和大规模数据谁更重要？”等，各位嘉宾各抒己见，热烈讨论。
圆桌讨论场景（从左至右分别是李峻樊博士、胡建芳博士、代勇博士、曹晓锋博士、苏敬勇博士、蔡登博士、张瑞茂博士、洪晓鹏博士、吴庆耀博士）
李峻樊博士认为，大模型包括语言大模型和视觉大模型，在很多常规的任务上具有非常好的效果，远远超越了传统的小模型。因此，在机器学习应用方面，大模型的出现使得模型结构设计的研究更具有挑战性。由于大模型的训练和部署非常依赖大规模数据和大规模的计算资源，模型结构的设计应当从提升性能的角度向轻量化、且保持大模型性能两个方面转变。对于机器学习理论的研究，大模型带来的影响较小。在传统的机器学习模型上，仍然有很多机器学习基本问题没有很好地解决。并且，大模型的出现也产生了更多亟待解决的理论问题，比如如何评估大模型的性能、大模型的可解释问题等。
胡建芳博士认为，大规模参数的模型在未来可能不是必要的，目前来看，把模型规模扩大，结合大规模的数据可以在很多任务上取到很好的效果，但大模型意味着大成本，且模型参数冗余度可能会比较高，目前业界也在思考怎样设计中小型模型，使得它能够达到大模型类似的效果，而且微软在这方面也取得了一定的进展。胡博士表示，基础模型带火了多模态多任务研究，以前大家觉得不可能解决的问题，在大模型基础上也能解决的比较好，促使了不同学科之间的交叉兴起，尤其是AI For science。
代勇博士认为，从应用角度而言基础模型的出现使得模型架构相对固定，更多的要去研究数据配比，可解释性，事实增强等。而从应用角度的新方向而言基础大模型的出现使得Agent的研究更为火热，如何结合大模型的推理能力使用和组合其他tool，解决实际问题，是很具有商业价值和学术价值的。代博士表示，大模型参数不一定是需要太大，看所需要完成的任务难度。大规模模型能提高模型自身能力上限，但是需要更多数据来进行训练，因此模型大小和数据量大小都重要，需要看哪个的天花板先达到。模型规模的增大受限于显卡多少，数据量的大小受限于机构本身，一个可解决，一个更难解决。
曹晓锋博士认为，当前基础大模型确实对传统机器学习社区模型存在冲击。其实，早前深度学习已经对传统SVM和BP神经网络产生较大影响，但大模型的性能比流行的深度学习框架泛化学习能力更强。对于机器学习社区，目前的优化范式中，通过预训练构造的教师牵引优化可能是一种新趋势，这与大模型的自然结构吻合，这一优化问题被称为机器教学。此外，非欧几何的图拓扑优化也是一个新的方向，而模型的大规模训练参数可以通过参数估计降低其规模和复杂度。
苏敬勇博士认为，关于基础模型需要关注到两个方面内容。一方面，基础模型的出现对传统的机器学习提出了更高的挑战和要求，基础模型是具有大规模参数和复杂计算结构的机器学习模型，和传统的机器学习算法相比，对数据、算力和算法都有着更高的要求。另一方面，基础模型的发展给机器学习研究开辟了更广阔的方向，包括高效模型架构和跨模态统一架构的研究，涌现能力的研究，大模型安全伦理价值观对齐，云边端协同推理，多任务学习和终身学习等。苏博士强调，大规模参数和大规模数据都很重要，更重要的是适配于真实的应用场景。
蔡登博士认为，传统的机器学习研究往往以不同任务划分研究领域。在大模型时代，研究者将以通用能力作为研究对象，比如记忆能力、各种推理能力。大模型使一些之前看起来没有那么现实的科研问题变得非常现实，比如具身智能，也使一些之前看起来没有那么重要的问题变得非常重要，比如安全性问题。一个有趣的问题是为什么基础模型需要这么多参数？大模型内部存储知识和信息的机制是怎样的？搞清楚这些问题有助于设计更加轻量化的基础模型。
张瑞茂博士认为，大模型的出现正在使得很多研究方向出现加速融合的趋势。在这种背景下，很多研究方向在被重塑、新的方向在涌向、新的科学问题在被提出。未来很多的AI问题，很有可能是借助大模型，同时结合其他理论工具一起去解决的，因此我们需要进一步提升自己接收和学习新理论、新工具的能力，这一点对于应用研究是十分重要的。张博士认为具身智能是一个很好的方向，很适合在多模态大模型的技术基础上，去探索更为复杂的AI问题，相关方向与机器人的结合也是潜力巨大。同时，张博士希望年轻的同学们点亮自己软硬结合的技能树，这一点有利于大家在未来参与行业竞争的过程中，形成个人的技术护城河，提升不可替代性。
洪晓鹏博士认为，基础模型的出现对网络结构研究的影响较大，竞争门槛明显提升；与此同时，对机器学习理论、安全性的相关研究则带来了新的研究对象，反而带来了新的机遇。此外，基础模型给机器学习研究带来的新研究方向，如通用基础大模型的高效部署、多模态大模型和大模型持续学习、大模型的理论分析和安全性分析等，都是很有潜力的研究方向。洪晓鹏博士强调，经过这么多年人工智能和机器学习的发展，数据方面的重要性不言而喻。大规模参数的模型是趋势，特别是在通用模型方面；与此同时，在专业大模型领域，如何建设高效模型，也是热门的研究方向。
吴庆耀博士认为，从理论研究的角度来看，传统机器学习模型通常基于统计学和优化理论，而基础模型引入了更多的数学和计算机科学理论，这使得研究人员需要重新思考和扩展传统机器学习理论，以适应基础模型的需求。而对于传统机器学习模型的影响较小的研究内容主要是那些在特定领域已经取得了较好效果的任务。吴博士表示，基础模型的出现为机器学习研究带来了许多新的研究方向，基础模型的学习范式从传统的监督学习扩展到了无监督学习、半监督学习和弱监督学习等更多的学习范式，基础模型的出现也催生了对模型鲁棒性、可迁移性和泛化能力的研究。吴博士强调，是否需要大规模参数的模型，需要根据具体的任务环境和数据来决定。大规模参数的模型可以更好地利用大规模数据的信息，从而取得更好的性能，在实际应用中需要根据具体的情况来平衡性能和资源消耗。
参会嘉宾大合影
本次“基础模型时代的机器学习研究”是深圳市人工智能学会品牌活动“SAAI-青年研享论坛”系列的第四次活动，以主题报告和圆桌讨论的形式开展，活动吸引了线上线下千余名观众参与其中。SAAI-青年研享论坛旨在搭建一个专业学术平台，促进粤港澳大湾区青年沟通交流、互学互鉴，学习前沿成果，激发创新思维。
深圳市人工智能学会(Shenzhen Association for Artificial Intelligence，简称SAAI)，是由深圳市人工智能科学与技术领域科技工作者和相关企事业单位自愿组成，依照国家有关法律法规登记的深圳市地方性、非营利性学术社团组织。中国科学院深圳先进技术研究院是SAAI理事长单位，北京大学深圳研究生院、清华大学国际研究生院、华为技术有限公司、深圳市腾讯计算机系统有限公司、中兴通讯股份有限公司等21个高等院校和高新技术企业为SAAI副理事长单位。现有十五个委员会，其中专业委员会包括：1)信息与生物科技专业委员会；2)机器人智能系统专业委员会；3)自然语言理解专业委员会；4)智能网联汽车专业委员会；5)智能金融专业委员会；6)认知系统与智能信息处理专业委员会；7)法律人工智能专业委员会；8)智慧空间专业委员会；9)元宇宙专业委员会；10) AI伦理治理专业委员会；11)自动驾驶专业委员会(筹)。另外，工作委员会包括：12)女性科技工作委员会；13)青年工作委员会；14)AI城市治理工作委员会（筹）；15)产学研转化工作委员会（筹）。
SAAI是产学研政投的非营利科技服务公共平台，旨在以“持续推进人工智能前沿基础理论和前沿技术研究”和“大力推动中国新兴产业的可持续发展”为战略愿景，确立“学术高地、引领知识、创造价值”三大核心价值，倾力打造“深圳人工智能奖”、“信息科技女性精英论坛(Women’s Elite Forum of Information Technology，简称WeFit)”、“深圳市人工智能学会科普基地”、“深圳市优秀科技学术论文遴选”、“SAAI-产学研政投沙龙”、“SAAI-博士论坛”、“SAAI-高质量科技探索营”、“SAAI-青年研享论坛”和“SAAI-新兴产业智库”等系列专业活动品牌。
SAAI基于专业优势和人才优势，积极开展国内外学术交流、科学普及、学术教育、科技会展、学术出版、人才推荐、学术评价、学术咨询、技术评审与奖励、专家咨询和建言献策等活动；加速推动人工智能科研成果转换，赋能我国新兴产业升级，吸引各地人工智能人才、技术、资源向深圳聚集，提升深圳在全国以及全球人工智能领域的影响力。
欢迎大家关注深圳市人工智能学会公众号
关注微信公众号
