在机器学习中经常会遇到两个概念:线性、非线性。今天就让我们一起来看以下线性与非线性的。
一、一般在线性代数中,线性有以下两个特征:
齐次性:f(a*x)=a*f(x);
可叠加行:f(x+y)=f(x)+f(y)。
只要不满足其中一个条件则为非线性
二、机器学习中线性模型和非线性的区别
1、线性模型可以是用曲线拟合样本,但是分类的决策边界必须是直线的,例如logistics模型。
2、区分是否为线性模型,主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x,那么此模型为线性模型。或者判断决策边界是否是线性的。
3、举例:
此模型画出y和x是曲线关系,但是它是线性模型,因为x1*w1中可以观察到x1只被一个w1影响
此模型是非线性模型,观察到x1不仅仅被参数w1影响,还被w5影响,如果自变量x被两个以上的参数影响,那么此模型是非线性的!
4、判别一个模型是否为线性的最简单方法,其实只需要判别决策边界是否是直线就可以,也就是是否能用一条直线来划分。