线性回归中w的形式

线性回归中的闭合形式可以写成.我想搞清楚这个式子的具体含义~

网上查到了一些有关这个表达式形式的解释,整理如下:

无脑推导

欧几里得范数

在探究这个式子的含义前,先无脑地推导一下:从解方程组开始,即 假设矩阵是满秩的,我们的目的是使最小,即最小化, $$

=2XTXw-2XTy = 0 $$ 得到.

投影

误差,当它与正交时,误差是最小的,即 其实道理和范数是相通的……但还是没有找到让我'满意'的解释,或者说将对比,该如何正向思考这种类似于正定的形式。

一点思考

直觉上,这个表达式的形式给我一种正定矩阵构造的内积的感觉

要想存在,必须保证是可逆的,也就是说损失函数是凸函数,没有局部最小值,而是有全局最小值。