图片名称

从贝叶斯角度,正则项等价于引入参数$w$的先验概率分布。常见的L1/L2正则,分别等价于引入先验信息:参数$w$符合均值为0的拉普拉斯分布/高斯分布。

阅读全文 »

图片名称

机器学习的数学本质上是优化问题的求解,求解优化问题首先得构造相应优化问题的损失函数,本文将简要介绍squared loss、cross entropy、hinge loss、exponential loss损失函数。

阅读全文 »

这里写图片描述

在统计学理论的估计中,用不放回抽样来估计离散型均匀分布最大值问题在英语世界中是著名的德国坦克问题(German tank problem),它因在第二次世界大战中用于估计德国坦克数量而得名。本文将从频率以及贝叶斯的角度探索坦克问题。

阅读全文 »