Rethinking Hard Thresholding Pursuit: Full adaptivity and Oracle estimation

发布时间:2024-10-18 10:15 阅读:
A A A
报告时间:
报告地点:
报告人:

迭代硬阈值算法及其变体硬阈值追踪 (HTP) 被广泛应用于高维统计以及压缩感知问题中,许多工作对其理论性质有过深刻的研究。而在数值模拟和实际应用中,往往可以观察到IHT或HTP算法表现优于凸优化算法的现象。这一点虽然被广泛认识到,但是并没有严格的理论解释。本文从支撑集恢复的角度重新思考HTP算法,可以得出结论:HTP算法不仅是minimax最优的,同时能自适应于信号强度。基于这一认识,我们可以得到HTP算法在beta-min条件成立下,能达到oracle rate。同时基于理论证明,我们设计了一种新颖的确定稀疏性超参数的方法,使得我们的算法对于稀疏性水平s^∗和噪声方差σ^2都是自适应的。我们的结论对应上经典估计理论中超效率的现象,这解释了为什么迭代硬阈值算法能优于凸优化算法。数值实验验证了我们的理论发现。