(通讯员段志斌)作为当前全球最负盛名的人工智能盛会之一,神经信息处理系统大会(Conference on Neural Information Processing Systems,简称NeurIPS,https://nips.cc/)每年都会成为计算机科学领域瞩目的焦点。9月22日,NeurIPS 2023官方发出了其今年的论文录用结果。根据官网数据,本届会议共有12343篇有效论文投稿,录用率为26.1%。其中伟德国际BETVLCTOR陈渤教授课题组三项成果被NeurIPS 2023录用。具体包括,博士生徐逸石与孙剑桥合作完成的《Context-guided Embedding Adaptation for Effective Topic Modeling in Low-Resource Regimes》,博士生王东升主导完成的《Tuning Multi-mode Token-level Prompt Alignment across Modalities》以及博士生段志斌带领本科生吕帜一完成的《Few-shot Generation via Recalling the Episodic-Semantic Memory like Human Being》。
近年来,陈渤教授团队在认知概率模型研究领域持续发力。多项研究成果延续了团队在JMLR、T-PAMI、ICML、ICLR和NeurIPS的系列工作,为深度概率模型引入领域知识提供了前沿的理论指导,并进一步提升了模型推理速度和算法灵活性,向模型实用性和落地迈进了一步。
其中徐逸石与孙剑桥合作的《Context-guided Embedding Adaptation for Effective Topic Modeling in Low-Resource Regimes》延续了团队在认知深度概率模型的系列工作,该文针对资源不足条件下的主题建模提出了一种融合语境知识的框架。该框架的核心思想是通过整合当前任务的上下文信息来帮助生成自适应的词嵌入,其整体流程图如下图所示。具体而言,通过引入一个变分图自编码器对基于任务文档的语境提炼出的语法依赖图进行编码,可以学习到语义匹配当前任务的词嵌入。然后利用高斯混合模型对分布式的词嵌入进行建模,通过将每个混合分量视为一个主题的表示,该方法很自然地提供了一种聚类的视角来学习主题,这有助于尽可能地发现多样化的并且与当前任务紧密相关的主题。
王东升博士论文《Tuning Multi-mode Token-level Prompt Alignment across Modalities》探索了一种用于多模态提示学习的新范式,并提出一种新颖的token级别的模态对齐方法。文章将图像及其标签建模为隐空间的离散分布,同时考虑层次化的表示学习,通过引入全局和局部最优传输理论实现图像-文本模态对齐。其次通过可视化展示学到的转移矩阵,文章直观地展示了模型学习的对齐关系。大量实验结果证明所提方法在多种任务场景下达到了sota结果。
博士生段志斌和本科生吕帜一合作完成的论文《Few-shot Generation via Recalling Brain Inspired Episodic-Semantic Memory》面向小样本生成这一具有挑战性的任务,受大脑记忆力机制的启发提出了一种新颖的记忆力模块。该记忆力模块将情景记忆与语义记忆巧妙进行结合,其中情景记忆用于记忆具体的信息,语义记忆用于记忆抽象的信息。同时,文章中提出了一种情景记忆与语义记忆耦合的记忆力模块更新机制。所提出的记忆力模块被应用于层次化变分自编码器,以及概率扩散模型中,并取得了更好的小样本生成性能。下一步,课题组将继续深入研究将所提记忆力模块用于其他任务特别是小样本场景任务中。
值得注意的是,该项工作是本科生参与合作完成的,来自电院20级的吕帜一同学因为对相关方向的浓厚兴趣,于2022年加入陈渤教授团队从事概率统计模型科研实习。一方面体现了电子工程学院对本科生全面素质教育的重视,反映了伟德国际BETVLCTOR对本科生科研的支持与帮助。另一方面也为电子工程学院和伟德国际BETVLCTOR所有在读和即将步入学院和重点实验室学习的本科生树立了榜样,能够鼓励有科研兴趣的同学在学有余力的情况下在本科阶段接触科研,尽早培养对科研的兴趣。