损失函数loss function

在应用统计决策理论，寻求统计决策问题解答中，在决策函数(decision function)建立后，统计决策工作者必须进一步探讨各种函数对问题判断的可靠程度，从而选择一个可靠性最大的决策函数以供推测用。一般地这种可靠程度的探讨皆采用比较保守的态度，即从各种决策函数可能造成的错误判断为讨论对象。行动与参数之间的距离即为判断错误，而根据错误程度，分别给予对应数字，以表示损失程度，即损失函数。判断各种决策函数的优劣，就是以损失函数为准则。损失函数的种类很多，但最普遍应用的是平方误差损失函数(mean square error loss Gunction)，即：

1(α;g)=c(θ)(∂-θ)²

式中c(θ)为参数的函数。上式可以显示损失函数的特性：即其数值应随参数θ与行动∂之距离的增减而呈反方向变动。显然表现此特性更为简单的形式为(∂-θ)，然而经过(∂-θ)的处理，正负值将互相抵调，因而可能造成不必要的误差。一般均假设c(θ)=1，即：l(∂;θ)=(∂-θ)²，此为简易平方误差损失函数。