线性回归中w的形式
线性回归中w的形式
线性回归中的闭合形式可以写成.我想搞清楚这个式子的具体含义~
网上查到了一些有关这个表达式形式的解释，整理如下：
无脑推导
欧几里得范数
在探究这个式子的含义前，先无脑地推导一下：从解方程组开始，即 假设矩阵是满秩的，我们的目的是使最小，即最小化， $$
接下来，令，即 =2XTXw-2XTy = 0 $$ 得到.
投影
误差，当它与正交时，误差是最小的，即
其实道理和范数是相通的……但还是没有找到让我'满意'的解释，或者说将与对比，该如何正向思考这种类似于正定的形式。
一点思考
直觉上，这个表达式的形式给我一种正定矩阵构造的内积的感觉
要想存在，必须保证是可逆的，也就是说损失函数是凸函数，没有局部最小值，而是有全局最小值。
最佳接收机
最佳接受机
最大后验概率准则(MAP)
对于数字通信系统来说，可靠性的评价标准是误码率，接收机要做的是以最小的错误概率猜出接收到的比特是1还是0.
对于一个二进制传输系统来说，误码率定义为 其中和是发送集合元素的先验概率，为发送时，接收信号条件概率密度函数在判决区域的积分，同理。
最后，在先验概率一定的情况下，要想使得误码率最小，需要让越小越好，最好是绝对值很大的负数，于是得到条件
这种判定方法称为最大后验概率准则MAP.也就是说，最佳接受机可以等效于一个AP计算器+比较器。
最佳接收机
某数字通信系统如下：
发送端发射元波形为；
经过高斯白噪声信道（双边功率谱密度为），得到接收信号位
现在要设计一个接收机结构，使得接收错误概率最小。执行如下操作，若
判定接收到的符号为.
下面使用“采样法”计算波形与波形的后验概率：
如图，经过一个通带增益为，通带为的抗混叠滤波器，再经过采样以后，得到的波形变为离散序列，每个时域采样点可以表示为.
其中，随机变量服从高斯分布，，且相互独立
于是，随机变量的维随机概率密度函数为 后验概率可以表示为 ...
匹配滤波器
匹配滤波器
最佳接收，目的是使错误概率达到最小，也就是误码率最小，而决定误码率的因素有信噪比（负相关）、码间串扰。匹配滤波器要实现在抽样时刻，滤波器的输出信噪比最大。
常规的滤波器设计是采用参数化设计，是一个不断优化参数的过程。而匹配滤波器是要解出使信噪比最大的滤波器的方程。下面开始推导：
设时域确定性波形，经过一个恶心的信道，噪声是一个双边功率谱密度为的高斯白噪声，则信噪比可以定义为 在时刻抽样，现在要导出输出信噪比最大的。其中输出波形在时刻为 噪声波形的功率为 于是有表达式如下：
量纲：
最终得到信噪比的最大值为，根据柯西……不等式取等条件有：
即为匹配滤波器的表达式。匹配滤波器实际上是原波形先翻转移位~而且可以发现，最大信噪比只与输入波形能量和噪声功率谱密度有关，与波形的形状无关！
那么波形的形状可以用来满足其它的要求，比如无码间串扰条件~
泊松分布
泊松分布
二项分布
令随机变量表明在次彼此独立的伯努利实验中成功的次数，其中每次伯努利实验的成功概率均为，则可称变量服从二项分布。记作。
其中的值为的概率记作 的期望和方差分别为
当非常大时，计算比较麻烦，可以考虑当时，简化表达式， 表达式的极限不存在，需要附加条件。可以考虑构造一个分布，其中的随着变化而变化，假定期望为定值，设，且，此时 如果一个离散变量服从这种分布，则称为泊松分布，记作，
求解泊松分布的方差：
首先求：
则方差
与二项分布的方差相比，少了一个，由于 则最终趋向于，方差只剩下.
参考资料
排队论基础