副研究员一级、硕士生导师，中国科学院信息工程研究所

地址：北京市海淀区树村路19号，100085

邮箱：me [at] lijian.ac.cn

研究方向

研究方向为机器学习基础理论研究，现有工作聚焦于大规模机器学习方法的泛化理论研究。针对大规模机器学习领域基础理论滞后于经验性算法的问题，我的研究旨在探索大规模机器学习方法的底层原理，揭示方法近似能力来源，缩小基础理论与实际算法的差距。最终，基于泛化理论指导大规模算法设计，实现计算效率与泛化性能的平衡。具体的研究兴趣包括但不限于：

• 大规模机器学习的最优泛化理论: 研究大规模机器学习方法的最优泛化理论，放松原有假设条件，以此为基础改进大规模算法，包括联邦学习、分布式学习、随机特征、Nyström方法以及草图等方法。

• 深度神经网络的泛化理论: 探索神经网络与核方法之间的内在联系，研究非平稳谱性质的泛化优越性，探索深层神经网络的泛化能力；利用随机矩阵理论，深入研究深度神经网络中良性过拟合、测试误差双下降等现象的底层原理。

• (未来方向)大语言模型的基础研究: 探索大语言模型的基础理论，解释大模型的独特能力，如缩放准则、上下文学习和复杂推理等；结合大规模机器学习技术，改进大模型基础架构，提高计算效率和性能；研究下一代高效轻量化语言模型，降低参数量，保留或提升特定任务上的能力。

个人履历 (CV)

代表性工作 [完整列表] [谷歌学术]

• Optimal Rates for Agnostic Distributed Learning. [pdf] [code]
  Jian Li, Yong Liu, Weiping Wang.
  IEEE Transactions On Information Theory (TIT), 2023. CCF-A 期刊.
  计算理论领域顶级期刊.

• Optimal Convergence Rates for Distributed Nyström Approximation. [pdf] [code]
  Jian Li, Yong Liu, Weiping Wang.
  Journal of Machine Learning Research (JMLR), 2023. CCF-A 期刊.
  中国学者于JMLR发文极少，近年来平均每年发表20篇，累计发表240篇左右.

• Convolutional Spectral Kernel Learning with Generalization Guarantees. [pdf] [code]
  Jian Li, Yong Liu, Weiping Wang.
  Artificial Intelligence (AI), 2022. CCF-A 期刊.
  中国学者于AI发文极少，近年来平均每年发表10篇，累计发表150篇左右.

• Optimal Convergence Rates for Agnostic Nyström Kernel Learning. [pdf]
  Jian Li, Yong Liu, Weiping Wang.
  International Conference on Machine Learning (ICML), 2023. CCF-A 会议.

• Federated learning for non-iid data: From theory to algorithm. [pdf] [presentation] [🏆最佳学生论文奖] (1/92)
  Bojian Wei, Jian Li*, Yong Liu, Weiping Wang.
  Pacific Rim International Conference on Artificial Intelligence (PRICAI), 2021. CCF-C 会议.

• Multi-Class Learning: From Theory to Algorithm. [pdf] [poster] [sildes] [3-minute video] [code]
  Jian Li, Yong Liu, Rong Yin, Hua Zhang, Lizhong Ding, Weiping Wang.
  Advances in Neural Information Processing Systems 31 (NeurIPS), 2018. CCF-A 会议.

主持项目

• 国家重点研发项目子课题 (2022YFB3105302.2)，2022.12 - 2025.11，120万元。
  题目：跨平台异质性数据聚合与协同技术。
  • 跨平台数据安全共享技术研究
  • 基于热点标签发现的人机融合标注技术研究
  • 基于约束特征分布差异的异质数据融合技术研究

• 国家自然科学基金青年基金 (No. 62106257)，2022.01 - 2024.12，30万元。
  题目：面向大规模结构化预测的自动谱核学习研究。

• 中国博士后科学基金特别资助项目（No. 2023T160680，731人），2023.07 - 2024.03，18万元。
  题目：面向结构化预测的深度可微高斯过程方法研究。

• 中国科学院特别研究助理资助（中科院人才项目），2020.09 - 2022.09，80万元。
  题目：面向大规模小样本数据的自动机器学习研究。

• 中国科学院信息工程研究所优才计划-A类，预聘研究员，2023.10 - 2026.09。

• 中国科学院信息工程研究所优才计划-B类，青年预聘研究员（全所唯一），2020.09 - 2023.10。

发明专利

专利申请

• 李健，李骄扬，韦博舰，刘勇，王伟平. 一种基于注意力机制的联邦学习方法及系统：中国. 申请号：202311073645.3. 2023年8月24日.
• 李健，李骄扬，林政，刘勇，王伟平. 一种基于知识蒸馏和提示工程的垂域大模型方法及系统：中国. 申请号：202311073641.5. 2023年8月24日.
• 李健，刘勇，王流斌，杨毅果，王巨宏. 神经网络结构搜索方法、装置、计算机设备和存储介质：中国. 专利申请号：202011567991.3. 2020年12月25日.

专利授权

• 林海伦, 刘勇, 李健, 王伟平. 一种融合表示学习和分治策略的大规模本体合并方法：中国. 授权号：CN110059194A. 2022年4月8日.

指导学生

• 博士研究生
  • 康艺霖（2020.09 - 2023.06）🎓，差分隐私。 发表论文：Computers & Security、CIKM 2022、ICCS 2023。毕业去向：紫金山实验室。
  • 朱勋宇（2020.09 - 至今），神经网络结构搜索。发表论文：ICDM 2021, Neural Networks；投稿论文：2 $\times$ TACL。
  • 车博轩（2022.09 - 至今），高效图神经网络。
• 硕士研究生
  • 韦博舰（2020.09 - 2022.06）🎓，联邦学习。发表论文：PRICAI 2021 (最佳学生论文奖)、ECML-PKDD 2022、TNNLS、IJCNN 2023。毕业去向：中国银行总行管培生。
  • 张旭宁（2022.09 - 至今），联邦学习。2023年武汉大学优秀学士论文奖。

荣誉称号

• 2024年，微软亚洲研究院“铸星计划”
• 2023年，中科院信工所优才计划 A 类-预聘正高
• 2021年，PRICAI 2021 最佳学生论文奖。
• 2020年，中国科学院特别研究助理
• 2020年，中科院信工所优才计划 B 类-青年预聘正高
• 2020年，百度研究院AIDU人才计划（未入职）
• 2020年2月至2021年2月，斯坦福大学联合培养博士（因新冠疫情中止）
• 2020年，北京市优秀毕业生。
• 2020年，中国科学院大学优秀毕业生。
• 2019年，博士研究生国家奖学金。
• 2019年，朱李月华优秀博士生奖。
• 2019年，中科院院长优秀奖。
• 2018年，博士研究生国家奖学金。

学术服务

• Mathematics 客座编辑
• 会议程序委员：ICML、NeurIPS、ICLR、AAAI、IJCAI、ECAI
• 期刊审稿人：TPAMI、JMLR、Pattern Recognition