Accelerated bundle level methods with inexact oracle

Abstract

f (x) 和次梯度 f ′ (x) ∈ ∂f (x), 且存在常数 M > 0 和 ρ ∈ [0, 1] 使得 f 满足以下不等式: f (y) − f (x) − ⟨f ′ (x), y − x⟩ M 1 + ρ ∥y − x∥ 1+ρ , ∀ x, y ∈ X, (1.2) 其中 ∥ • ∥ 是定义在 R n 上的范数, ⟨•, •⟩ 是相应的內积. 此类函数包含非光滑函数 (ρ = 0)、光滑函数 (ρ = 1) 和半光滑函数 (0 < ρ < 1). 文献 [1-4] 证明了对任意 ϵ > 0, 任何一阶算法为找到 (1.1) 的一 个 ϵ-解, 即找到一个点x 使得 f (x) − f * ϵ, 所需要调用 f 一阶模型的次数 (即计算 f 次梯度的次 数) 无法小于 O(1/ϵ 2 1+3ρ). 本文主要讨论 bundle level (BL) 类算法, 该类算法与通常的 (次) 梯度下降类 (sub/gradient descent) 算法有显著区别. 此类算法使用目标函数的一阶信息生成一个分段线性的切平面模型来近似原