本汇编分享数字所2024年第二季度在人工智能算法算力及应用领域的最新论文成果与科研进展,目录如下:

  01. 多模型联邦学习的联合参与者和学习拓扑选择

  02. 有限体积无网格方法

  03. 大数据配置参数自动调优方法TIE

  04. 粤港澳大湾区生态环境监测系统集成及应急响应技术研发与应用示范

  05. 医学数据在生物DNA分子中的存储

  06. 面向动态请求的无服务器推理任务管理

  07. 释放AI潜能—逼近ARM架构上GEMM性能极限

  一、算法

  1、多模型联邦学习的联合参与者和学习拓扑选择

  云计算研究中心叶可江、魏新亮团队研究了在边缘云中同时训练多个联邦学习(FL)模型时共同选择参与者和学习拓扑的复杂性问题。该问题被制定为一个混合整数非线性规划,旨在最小化所有FL模型相关的总学习成本,同时遵守边缘资源约束。提出了一个启发式两阶段优化算法,将原问题有效拆解为两个子问题,并高效迭代求解原优化问题的最优方案。算法允许FL模型独立选择参与者和学习拓扑,从而优化了边缘云中的资源竞争和负载均衡。通过在真实边缘云网络和FL数据集上的实验,与之前用于多模型FL的方法相比,在满足训练需求的情况下,平均总成本可降低33.5%和39.6%。

  启发式两阶段优化算法的整体框架

  全文信息:Xinliang Wei, Kejiang Ye, Xinghua Shi, Cheng-Zhong Xu and Yu Wang. Joint Participant and Learning Topology Selection for Federated Learning in Edge Clouds. IEEE Transactions on Parallel and Distributed Systems (TPDS), 2024. (JCR Q1, IF=5.6)

  2、有限体积无网格方法

  工程与科学计算研究室林增博士提出一种有限体积再生核无网格方法(Finite volume reproducing kernel particle method),相较于传统的伽辽金再生核无网格方法极大地提高了计算效率。再生核无网格法具有不依赖于网格和易于构造任意高阶连续的形函数的优点,因此在计算固体力学领域得到广泛的应用。然而,无网格形函数通常不是多项式,因此在伽辽金框架下对数值积分的要求较高,计算效率较低。提出的有限体积再生核无网格方法除了具有无网格方法的优点外,还具有守恒性,且对数值积分的要求较低,并通过一系列数值算例验证了该方法的正确性和优越性。

  有限体积无网格法(FV-RKPM)和伽辽金无网格法(G-RKPM)计算效率及精度对比。

  (a)G-RKPM积分单元;(b)FV-RKPM控制单元;(c)G-RKPM和FV-RKPM求解二维扩散方程误差收敛率对比;(d)G-RKPM和FV-RKPM同一自由度下计算效率对比;(e)G-RKPM和FV-RKPM同一精度下计算效率对比

  全文信息:Zeng Lin. Finite volume reproducing kernel particle method. Computers & Mathematics with Applications, 2024.(JCR Q1,中科院TOP, IF=2.9)

  3、大数据配置参数自动调优方法TIE

  异构智能研究中心陈超团队提出一种开创性的大数据配置参数自动调优方法TIE(Terminating-It-Early),在分布式大数据分析框架上展现了卓越的调优加速能力。在为程序寻找最佳配置的过程中,TIE自动进行配置空间搜索,并尽快终止具有非常不利配置参数的程序执行,从而避免收集这些程序冗长的执行时间。实验证明TIE可以将调优速度提升2.39倍,并且与使用默认参数相比,将系统性能提升4.47倍。

  程序调优结果对比。

  (a)程序调优速度对比;(b)系统性能提升对比。

  全文信息:Chao Chen, Jinhan Xin, Zhibin Yu. TIE: Fast Experiment-Driven ML-Based Configuration Tuning for In-Memory Data Analytics, IEEE Transactions on Computers, 2024. (JCR Q2)

  二、应用及系统

  4、粤港澳大湾区生态环境监测系统集成及应急响应技术研发与应用示范

  空间信息研究中心陈劲松团队承担的深圳市可持续发展专项“粤港澳大湾区生态环境监测系统集成及应急响应技术研发与应用示范”顺利通过验收。该项目面向粤港澳大湾区国土资源与生态环境安全监测对高精度、自动化的需求,通过耦合长时间序列、多源、多时空尺度遥感数据和地面观测数据,结合机器学习、人工智能算法,研发完成了面向粤港澳大湾区生态环境快速监测模型和技术体系、开展了粤港澳大湾区国土资源变化监测与生态系统健康诊断应用示范、并建立粤港澳大湾区生态环境监测与应急响应集成系统。成果有助于进一步完善和推动粤港澳大湾区“天-空-地一体化”遥感生态环境监测系统技术体系发展。

  生态环境监测系统

  5、医学数据在生物DNA分子中的存储

  高性能数据挖掘重点实验室姜青山科研团队设计出一种名为“EDS”的DNA存储方法,实现了医学数据在生物DNA分子中的存储。相关研究成果发表在国际高水平期刊Small Methods杂志。利用DNA存储技术保存医学MRI数据,将有助于人类健康管理以及一代代人的长周期遗传疾病管理。通过DNA存储,可确保重要数据在数千年内安全保存并精确恢复,为研究疾病进展和治疗效果提供了重要数据支撑。该研究成果为医学领域的数据存储和检索提供了新的可能性,具有重要的实际应用前景。

  BT和IT融合的医学图像数据DNA存储方法“EDS”

  全文信息:Abdur Rasool, Jingwei Hong, Zhiling Hong, Yuanzhen Li, Chao Zou, Hui Chen, Qiang Qu,Yang Wang, Qingshan Jiang, Xiaoluo Huang, Junbiao Dai. An Effective DNA-Based File Storage System for Practical Archiving and Retrieval of Medical MRI Data. Small Methods, 2024.(JCR Q1, IF=12.4)

  6、面向动态请求的无服务器推理任务管理

  云计算研究中心须成忠、叶可江团队设计了一种高效的无服务计算管理系统SMIless,用于管理异构环境中基于DAG的无服务计算机器学习推理任务。现有系统通常独立优化资源配置和冷启动管理,在面对高度动态的请求时难以同时兼顾资源分配量以及任务的冷启动策略,进而导致成本增加。SMIless利用自适应预热窗口,在高度动态请求的情况下有效地协同优化资源配置和冷启动管理,更好地实现了性能与成本的平衡。基于真实的机器学习推理应用的实验结果显示,SMIless在满足所有用户请求的SLA需求的同时,能将整体成本降低最多5.73倍,性能优于现有的解决方案。

  SMIless整体架构设计

  全文信息:Chengzhi Lu,Huanle Xu,Yudan Li,Wenyan Chen,Kejiang Ye,Cheng-zhong Xu. SMIless: Serving DAG-based Inference with Dynamic Invocations under Serverless Computing. The International Conference for High Performance Computing, Networking, Storage, and Analysis (SC),2024.(CCF-A类会议)

  7、释放AI潜能—逼近ARM架构上GEMM性能极限

  高性能计算中心孟金涛团队联合联合腾讯AI Lab和日本理化所探索并采用JIT代码自动生成技术, 软硬件协同指令流水优化技术,以及框架级参数化调优三项技术开发了AutoGEMM计算库,该工作首次将ARM芯片上的矩阵乘法GEMM的计算效率提升到98%,在RISC架构芯片上将GEMM的效率提升到CISC架构芯片水平,证实了RISC架构不仅节能同时也能高效。该工作已经在日本富岳超级计算机、腾讯AI Lab的BlazerML 进行了部署并支持大模型训练、AIGC等业务。上海智峪-先进院联合实验室采用该工作加速AI模型计算并获得CASP 15 核酸建模冠军和蛋白-配体建模亚军。

  全文信息:Du Wu, Jintao Meng, Wenxi Zhu, Minwen Deng, Peng Chen, Mohamed Wahib, Tao Luo, Yanjie Wei, autoGEMM: Pushing the Limits of Irregular Matrix Multiplication on Arm Architectures, International Conference for High Performance Computing, Networking, Storage and Analysis (SC), 2024. (CCF-A类会议)