中国科学院深圳先进技术研究院先进计算与数字工程研究所（以下简称“数字所”）为先进院的核心研究单元之一，致力于面向计算机科学和人工智能技术与应用快速发展趋势，构建国际一流的科研团队和平台，在数据智能领域从基础到应用层面做出原创性、前瞻性的重大贡献，培养高层次及科技研发人才，服务粤港澳大湾区建设世界一流科创中心。

本汇编分享数字所近期在人工智能算法与算力领域的最新科研进展。

一、期刊论文

1、利用模型潜在激活，可有效提升大模型安全性的评估可靠性与效率

      云计算研究中心高希彤副研究员团队提出LAFIT，通过在被攻击网络中添加新的分支的方式，高效利用模型潜在激活层，提升大模型面对对抗样本的鲁棒性评估。此外，LAFIT提出新的损失函数，减小浮点误差带来的梯度误差。团队发现近两年来在深度学习相关国际顶会公布的24个模型防御手段均有不同程度的鲁棒性被高估的问题，其中7个高估超过了30%。同时，LAFIT也比此前发表的鲁棒性评测算法相比速度提升可达10-250倍。

利用人工智能模型潜在激活层所提取特征，能有效提升模型鲁棒性评测可靠性与效率

该成果全文信息：

Y. Yu, X. Gao and C. Xu, LAFIT: Efficient and Reliable Evaluation of Adversarial Defenses with Latent Features. IEEE Transactions on Pattern Analysis & Machine Intelligence (TPAMI), 2024

2、基于判别约束的半监督多视图非负矩阵分解

生物医学信息中心李烨团队提出一种半监督多视图聚类模型，该算法同时考虑了数据的类间差异性和类内紧致性，可以有效地挖掘多视图数据的判别信息，通过对提出的两种判别信息挖掘机制的讨论，表明类内紧密性在发现数据的判别信息方面起着重要的作用，并讨论了不同重构误差度量方式对模型性能的影响。与当前基于非负矩阵分解的代表性多视图聚类模型相比，聚类性能提升显著。

(a) 仅对类内紧致性进行约束; (b)和(c)同时考虑了类内紧致性和类间差异性

三种不同判别信息挖掘机制比较

该成果全文信息：

Guosheng Cui, Ye Li, Jianzhong Li, and Jianping Fan. Discriminatively Constrained Semi-Supervised Multi-View Nonnegative Matrix Factorization with Graph Regularization. Big Data Mining and Analytics, 2023. (Q1, IF=13.6)

3、基于结构化数据的统一文本生成预训练模型

       数字所高性能数据挖掘实验室杨敏团队提出一种基于结构化数据的统一文本生成预训练模型（记作UniD2T），将不同类型的结构化数据（如表格、键值数据、知识图谱）统一为图格式，并设计一种结构增强（位置增强和注意力增强）的Transformer来有效地利用图结构信息，增强数据到文本生成任务的性能。UniD2T在表到文本生成、知识图谱到文本生成、键值数据到文本生成三大类数据到文本生成任务上取得领先性能。

该成果全文信息：

Shujie Li, Liang Li, Ruiying Geng, Min Yang, Binhua Li, Guanghu Yuan, Wanwei He, Shao Yuan, Can Ma, Fei Huang, Yongbin Li. Unifying Structured Data as Graph for Data-to-Text Pre-Training. Transactions of the Association for Computational Linguistics, 2024. (Q1. IF=10.9)

二、会议论文

4、图像复原方法SUPIR

       数字所多媒体研究中心董超团队提出一种开创性的图像复原方法SUPIR（Scaling-UP Image Restoration），在智能和逼真的图像复原方面均展现了卓越性能。SUPIR在大规模图像-文本对数据集上进行训练，并利用扩散模型的特征，可以根据人类提示有选择地修复图像，为了减少降级对生成模型的影响，作者设计了一种抗降级编码器，防止生成模型将伪影误认为图像内容。该方法在感知质量方面明显优于现有的方法，实验证明了SUPIR在恢复效果上的卓越表现，以及通过文本提示操控恢复的新颖能力。

图： SUPIR图像复原效果。（a）真实图像复原；（b）具有文本提示的可控图像复原。

图： SUPIR模型的工作流程

该成果全文信息：

Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong. Scaling Up to Excellence:Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild.IEEE/CVF Computer Vision and Pattern Recognition Conference(CVPR),2024.（CCF-A类会议）

5、虚拟化超分场景QoS感知的CPU协同调度机制研究

      数字所异构智能计算中心喻之斌研究员团队提出了一种 QoS 感知的 CPU 协同调度机制，专门支持在虚拟化的公有云环境中多个 LC 工作负载的混部协同管理，在满足用户QoS的同时提高CPU的资源效率。UFO是首个将QoS感知的多租户、虚拟化和资源超额订阅结合考虑的协同调度管理器，成果有助于公有云厂商更好地管理用户虚拟机、提高服务质量。实验结果表明，相比目前先进的CPU管理器，在相同的应用混部场景下，UFO最多可以节省50%的CPU资源。

该成果全文信息：

Yajuan Peng, Shuang Chen, Yi Zhao, Zhibin Yu. UFO: The Ultimate QoS-Aware Core Management for Virtualized and Oversubscribed Public Clouds. The 21st USENIX Symposium on Networked Systems Design and Implementation (NSDI), 2024.(CCF A类会议)

6、稳健自动驾驶的掩模BEV感知框架

       数字所多媒体研究中心王亚立团队提出一种掩模BEV感知框架M-BEV，它可以重建摄像机视图来提高自动驾驶中缺失摄像头视图情况的鲁棒性。作者在M-BEV中设计了一种新颖的掩模视图重建（MVR）模块，它通过随机屏蔽不同摄像机视图的特征来模拟各种丢失的情况，然后利用这些视图的原始特征作为自我监督，并利用跨视图的不同时空上下文重建被屏蔽的特征。通过这种即插即用的 MVR， M-BEV 能够从静止视图中学习缺失的视图，从而实现稳健的视图恢复和准确的感知。实验表明，M-BEV框架显著提升了各种缺失摄像头紧急情况下的最先进模型性能。

图： M-BEV框架结构图。M-BEV由带有视觉编码器(E)和解码器(D)的三维对象检测器、随机视图掩模（RVM）和掩模视图重建（MVR）模块组成。作者提出了两个MVR模块，即全局MVR和局部MVR，来恢复掩蔽视图的特征。

该成果全文信息：

Siran Chen, Yue Ma, Yu Qiao, Yali Wang. M-BEV: Masked BEV Perception for Robust Autonomous Driving.AAAI Conference on Artificial Intelligence,2024.（CCF-A类会议）