扫码加入数据分析学习群

岭回归就是在矩阵xTx上增加一项使得矩阵非奇异，从而能够对其求逆。在之前对xTx求逆时都需要先判断xTx是否可以求逆，而岭回归就是解决这个问题的。

实现代码如下：

1. import numpy as np
2. import matplotlib.pyplot as plt
4. def ridgeRegres(xMat,yMat,lam=0.2):
5. xTx = xMat.T*xMat
6. denom = xTx + np.eye(np.shape(xMat)[1])*lam
7. if np.linalg.det(denom) == 0.0:
8. print("This matrix is singular, cannot do inverse")
9. return
10. ws = denom.I * (xMat.T*yMat)
11. return ws
13. def ridgeTest(xArr,yArr):
14. xMat = np.mat(xArr); yMat=np.mat(yArr).T
15. yMean = np.mean(yMat) # 数据标准化
16. # print(yMean)
17. yMat = yMat - yMean
18. # print(xMat)
19. #regularize X's
20. xMeans = np.mean(xMat,0)
21. xVar = np.var(xMat,0)
22. xMat = (xMat - xMeans) / xVar #（特征-均值）/方差
23. numTestPts = 30
24. wMat = np.zeros((numTestPts,np.shape(xMat)[1]))
25. for i in range(numTestPts): # 测试不同的lambda取值，获得系数
26. ws = ridgeRegres(xMat,yMat,np.exp(i-10))
27. wMat[i,:]=ws.T
28. return wMat
31. # import data
32. ex0 = np.loadtxt('abalone.txt',delimiter='\t')
33. xArr = ex0[:,0:-1]
34. yArr = ex0[:,-1]
35. # print(xArr,yArr)
36. ridgeWeights = ridgeTest(xArr,yArr)
37. # print(ridgeWeights)
38. plt.plot(ridgeWeights)
39. plt.show()

纵坐标为回归系数，横坐标为log(lambda)，在最左边，回归系数与线性回归一致，最右边系数全部缩减为0.

其中间某部分可以得到最好的预测结果，为了定量进行寻找最佳参数，还需要进行交叉验证。

以上代码python环境均为python3.6