图片名称

强化学习在alphago中大放异彩,本文将简要介绍强化学习的一种q-learning。先从最简单的q-table下手,然后针对state过多的问题引入q-network,最后通过两个例子加深对q-learning的理解。

阅读全文 »

图片名称

风格转换,是把一张图片转化成同内容但包含某风格的新图片。本文将介绍如何让机器学习风格转换,包含两种方法:优化问题求解、转化网络求解。

阅读全文 »

图片名称

GAN是让机器自动生成$P_G$去接近$P_{data}$。算法的关键是衡量分布$P_G,P_{data}$的差异,不同的衡量办法得到的$V(G,D)$不同,但是所有的衡量方法都可以归纳到一个统一的框架中:利用f-divergence衡量两个分布差异,利用Fenchel Conjugate将两个分布差异的问题转化到GAN的大框架中。
而近段异常流行的WGAN,便是将两个分布的差异用Earch Mover Distance衡量,然后用weight clippinggradient penalty优化梯度计算,取得了非常好的效果。

阅读全文 »

图片名称

GAN属于生成模型,使用生成数据分布$P_{G}$去无限逼近数据的真实分布$P_{data}$。衡量两个数据分布的差异有多种度量,例如KL散度等,但是前提是得知道$P_{G}$。GAN利用discriminator巧妙地衡量了$P_{G},P_{data}$的差异性,利用discriminator和generator的不断竞争(minmax)得到了好的generator去生成数据分布$P_{G}$。

阅读全文 »

图片名称

一般的神经网络输入和输出的维度大小都是固定的,针对序列类型(尤其是变长的序列)的输入或输出数据束手无策。RNN通过采用具有记忆的隐含层单元解决了序列数据的训练问题。LSTM属于RNN的改进,解决了RNN中梯度消失爆炸的问题,属于序列数据训练的常用方案。

阅读全文 »

图片名称

有标签的数据固然好,可是一方面打标签的代价太高,另一方面大部分数据是无标签的。这样就涉及到无监督、半监督、Self-taught学习的问题。本文将介绍两种适用于无标签数据的学习方法,可以找到数据中的隐含模式,包括RBMAutoEncoder

阅读全文 »

图片名称

马尔科夫链表示state的链式关系,下一个state只跟上一个state有关。
吉布斯采样通过采样条件概率分布得到的样本点,近似估计概率分布$P(z)$。PageRank通过节点间的连接,估计节点的重要程度$r$。吉布斯采样中,state代表不同的样本点,state的分布就是$P(z)$。PageRank中,state代表不同节点的分数,state的分布就是要求的$r$。不论吉布斯采样还是PageRank,state的分布本质上都是马尔科夫链,而最后都希望state的分布是独一并且稳定的。

阅读全文 »

图片名称

本文简单介绍了信息论中的各种熵,包括自信息、熵;联合熵、条件熵、互信息;KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归,得到了和最大似然法相同的结果。

阅读全文 »