多元回归最小二乘的推导_CDA答疑社区

热线电话：13121318867

登录

詹惠儿

2019-06-20 阅读量: 642

多元回归最小二乘的推导

回归线为p：作为特征被表示

$h（x_i）= \ beta_0 + \ beta_1x_ {i1} + \ beta_2x_ {i2} + .... + \ beta_px_ {ip}$

，其中h（X_I）的预测响应值对第i个观察和B_0，B_1，...，b_p是回归系数。

另外，我们可以写：

$\ newline y_i = \ beta_0 + \ beta_1x_ {i1} + \ beta_2x_ {i2} + .... + \ beta_px_ {ip} + \ varepsilon_i \ newline或\ newline y_i = h（x_i）+ \ varepsilon_i \ Rightarrow \ varepsilon_i = y_i - h（x_i）$

其中e_i表示第i次观察中的残差。

通过将特征矩阵X表示为：我们可以更多地概括我们的线性模型：

$X = \ begin {pmatrix} 1＆x_ {11}＆\ cdots＆x_ {1p} \\ 1＆x_ {21}＆\ cdots＆x_ {2p} \\ \ vdots＆\ vdots＆\ ddots＆\ vdots \\ 1＆x_ {n1}＆\ cdots＆x_ {np} \ end {pmatrix}$

所以现在，线性模型可以用矩阵表示为：

$y = X \ beta + \ varepsilon$

哪里，

$\ beta = \ begin {bmatrix} \ beta_0 \\ \ beta_1 \\。\\。\\ \ beta_p \ end {bmatrix}$

和

$\ varepsilon = \ begin {bmatrix} \ varepsilon_1 \\ \ varepsilon_2 \\。\\。\\ \ varepsilon_n \ end {bmatrix}$

现在，我们确定b的估计，即使用最小二乘法的 b' 。

如已经解释的，最小二乘法倾向于确定b'，其总残余误差被最小化。

我们直接在这里给出结果：

$\ hat {\ beta} =（{X}'X）^ { - 1} {X}'y$

其中'表示矩阵的转置，而-1表示矩阵逆。

0.0000

0

0

关注作者

收藏

评论(0)

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子