2024年04月09日,我校数学科学学院博士毕业生杨智纯博士以第一作者在国际著名学术期刊《IEEE Transactions on Signal Processing》发表最新研究成果“Variance reduced random relaxed projection method for constrained finite-sum minimization problems”。该成果其余合作者为四川师范大学夏福全教授,深圳大学助理教授涂凯博士,香港大学助理教授余文忠(Man-Chung Yue)博士。
本文主要研究目标函数为多个凸函数之和,约束集为有限个一般闭凸集的交,且约束函数为次可微凸函数的优化问题。这类问题在许多领域得到了广泛的应用与关注。比如图像与信号处理、数据分析与人工智能、计算物理与化学等众多领域。
为解决这类问题,本文基于半空间松弛投影策略与方差减小技术提出了一种方差减小随机松弛投影算法(Variance reduced random relaxed projection method , VR^3PM) 并分析其收敛率。首先,每一步迭代需要利用最新的信息构造一个从外部逼近约束集的半空间,并向该半空间投影。由于向半空间投影时,投影算子具有显式表达式,因此显着降低了计算成本。其次,该算法利用方差减小技术近似目标函数的梯度,进一步减少了算法的运行时间。在理论创新方面,随机投影类算法需要在一种关键性的误差界条件成立时分析其收敛率,本文提出了针对新算法的新误差界条件,并给出了两个充分条件来保证新误差界条件成立。当该误差界条件及某些假设成立时,我们的算法在最优性和可行性方面都具有次线性收敛率。更为重要的是,本文提出了新的证明框架,当目标函数光滑时,得益于方差减小技术,新算法的收敛速度优于现有的随机投影类算法。数值实验部分给出了有关波束成形问题和鲁棒分类问题的实验结果,说明了新算法优于现有的随机投影类算法。
作者简介:杨智纯,四川师范大学2023届博士毕业生,博士毕业后在香港大学从事博士后研究,合作导师为余文忠教授,研究方向是最优化理论及其应用。夏福全,四川师范大学教授、博导,主要从事非光滑优化问题及变分不等式问题的研究。涂凯,四川师范大学2016届研究生毕业生,现为深圳大学数学科学学院助理教授,研究兴趣主要为一阶算法在图像处理、信号处理、不确定优化等问题的应用及其理论研究。
作者:李媛,二审:蒋毅,终审:屈加文
【编辑:数学科学学院】
(微信扫描分享)