本文介绍了AutoEncoder。包括如下内容：

• AutoEncoder的定义和推导。
• Sparse AutoEncoder由来和介绍。
• 做Deep Learning所用的unsupervised learning的方法之间的比较。

本文主要讲Theano跟DL有关的相关Demo的源码。

• 主要涉及的Github上DeepLearningTutorials。这个是我fork之后修改的库。
• 源代码在code里面，data数据是mnist数据。
• 主要在ipython进行测试
• 讲解DBN的theano使用，包括输入数据格式，输出数据格式。

1. 介绍

　　keras基于Theano的深度学习框架，它的设计参考了Torch，使用Python编写，并且也是一个高度模块化的神经网络库，支持GPU和CPU。
　　地址：文档，Github

　　目前有一些paper但是并不像autoencoders或者RBMs。我认为是NN发展的问题。Stacked RBM和autoencoder是在2006和2007年分别提出来的。
在2009年ReLU的应用之后，unsupervised learning就有一定程度地被淘汰了（因为有足够的数据来进行直接监督学习）。就好像卷积神经网络（LeNet）在1989年被提出来，但是直到2012才被实践成深度结构。上面的能够实现还是因为ReLU带领的直接进行监督学习的火。

1. 定义

　　前馈神经网络也经常称为多层感知机（MLP），但是多层感知机的叫法并不是特别合理。因为前馈神经网络其实是由多层的logistics回归模型组成，而不是由多层的感知机（不连续的非线性函数）组成。

　　多层感知器（Multilayer Perceptron,缩写MLP）是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。一种被称为反向传播算法的监督学习方法常被用来训练MLP。MLP是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。

　　多层感知器网络的一个实现是使用具有非线性连续变换函数的误差反向传播(Error Back Propagation)算法。Error Back Propagation算法的简称就是BP算法，以BP算法实现的多层感知器网络就是BP网络。
所以，BP网络本质上并不是一个新的网络，而是使用BP学习算法的多层感知器网络。

　　整理一下自己面签B1/B2签证的时候的流程以及遇到问题。

　　本文介绍感知机定义以及推导过程，并使用python代码实现。也介绍了对偶形式的实现和原理。

　　统计2016年新生的一些基本情况，会公开一部分信息，主要是为了方便大家找到室友、学友和飞友。
　
　　如遇到手机微信或者其他客户端转码导致网页显示不完全(也就是看不到填写信息的地方)，请点击微信下方的”显示原网页”或者复制链接到浏览器进行打开。

　　点击提交，弹出确认提交，点击确认，未出现其他提示则表明提交成功。

　　统计链接：

http://42.96.204.10:8089/statistics.php

　　今年运气比较好，拿到IO的community票，$\frac{1}{3}$的价格还不需要抽奖，而且今年的是在山景城的总部，想想都有点激动。记录一下去参加2016 Google IO出发之前所做准备事宜。

本文介绍线性回归定义以及推导过程，最后使用python实现了这个算法。