最小二乘法

假设模型的真实参数为，真实输出值为，观测值为，观测值和真实值之间总是存在误差，根据大数定理，误差项满足高斯分布，则样本观测值满足。

每个样本发生的概率为 似然函数为

即极大似然函数等价于极小最小二乘法的代价函数，从而说明最小乘法选择最佳平方逼近的合理性。