非凸函数上，随机梯度下降能否趋近？能有条件，比凸函数趋近更难

时间：2024-11-02 12:20:29

地址：

如果普遍存在向下衔接至 Hessian 标量的 Lipschitz 连续性管制，则软件包 19 页中时会的 Thm 似乎表明可以不断取得的发展以相比之下正方形。

如果想要更是繁杂的算子，则近乎可以赞许无需要的算子是可微的或者利普希茨连续，否则数数自由选择一些处处连续、无处可微的恐怖算子（crazy function），例如 Weierstrass 算子。

所以，关于「随机通量攀升能否连续函数于非穿孔算子」这一缺陷，ta 确信在某些必要条件下「时会」，因为很多非穿孔算子它们意味著扰乱 wrt 可微性。在提出悖论时，永远免得毫无疑问几何学家的原创性。

所以，ta 建议发帖者将缺陷改成「通量攀升在什么必要条件下时会连续函数于就其非穿孔算子」，然后将每类算子作为子缺陷进行科学研究，并消除打破习惯通量攀升作法的非穿孔算子悖论。

接着来看帖子 @astone977 称之为出了原贴主旨中时会普遍存在的一些缺陷。ta 透露，当发帖者确信数据分析的数量级表面认穿孔时，则损失惨重算子也认穿孔的。但是，MSE 等损失惨重算子是穿孔算子。将一个非穿孔给定（数据分析）应用领域一个损失惨重算子的读取，可以创建一个非穿孔数量级表面。

如果我们将 MSE、BCE 等穿孔算子称为损失惨重算子，那么不应该使用相同的术语来详细描述一个数据分析的非穿孔数量级表面。这在即使如此长期是造成混乱的根本原因，所以 ta 称之为了出来。

最后，帖子 @Funktapus 也透露，如果发帖者只是在探讨冗余期间避免均匀分布差值，则这是冗余科技领域一个普遍且相当古老的缺陷。一般来说而言，答案是「时会」。

我们可以使用随机作法来跳出小的均匀分布差值。蒙特・卡罗作法（Monte Carlo）是一种经典之作的作法。另一种作法是在开始通量攀升早先建立一个网格并找寻在实践中差值的大周边地区。

大家如何看来这个缺陷呢？感兴趣的小伙伴请在留言区积极发言。

参考镜像：

。