针对一个机器学习的优化问题,假设我们使用梯度下降的方法求解最优点。一般地,在初始点和可行下降方向确定后,我们要沿着可行下降方向确定步长(或学习率),这个时候,就要使用到一维搜索的方法。一维搜索的方法分为精确搜索的方法和非精确的搜索方法。非精确的搜索方法即确定一个沿可行下降方向上的步长,使目标函数下降即可;而精确的搜索方法求解出最优的步长,通过公式推导,由最优步长得到的新点的梯度与搜索

一维搜索   凸优化