因为：非线性激活函数可以拓展神经网络的表达能力。如果用线性激活函数，多层的神经网络和单层的就没有区别，只能表达线性逻辑。
严格来讲 ReLU函数算是分段线性函数。中间隐层激活函数选用线性函数（例如恒等函数）不好，是因为算下来多层网络和单层网络一个效果。其实激活函数的存在是为了神经网络更好的拟合目标函数。
初等数学用法
在初级代数与解析几何，线性函数是只拥有一个变量的一阶多项式函数，又或者是常数函数。因为，采用直角坐标系，这些函数的图象是直线，所以，这些函数是线性的。要注意的是，与x轴垂直的直线不是线性函数。（因为输入值不对应唯一输出值，所以它不符合函数的定义）。
