本周主要介绍深度学习的概况。

Specializeion的课程设置

• 神经网络和深度学习
• 改进神经网络
• 构建机器学习系统
• 卷积神经网络CNN
• 序列模型

什么是神经网络

例子1——single neural network

预测房价（线性回归问题）：

• 输入为房子的尺寸（x）
• 输出为房价（y）
• 注意：房价不能为负数，故用不从零开始的 修正线性单元（rectified linear unit）即 ReLU函数（蓝线） 表示
• ReLU = max（0，y）
• 第二张图片中间的圆圈表示一个“神经元”，从 x 到 y 的整个输出表示一个最小的神经网络，是组成神经网络最基本的单元

例子2—— Multiple neural network

用更多特征（房子尺寸、卧室大小、邮政编码、区域富裕程度）来预测房价：

• 输入的四个特征叫做输入层
• 每个小圆圈都叫做隐藏神经元（hidden unit），图中每个神经元都把四个特征当作输入（全连接）
• 神经网络自己决定每个网络节点是什么

我的理解：给定足够的输入x，得到若干输出y，神经网络就是建立起 x 和 y 之间映射关系的一个黑箱系统

神经网络的监督学习

定义

给定一个已知输出的数据集，找到输入与输出之间的函数关系

分类

• 回归问题：在连续的输出上预测结果，即将输入变量映射到某个连续函数上
• 分类问题：在离散的输出上预测结果，即将输入变量映射到离散的类别上

例子

神经网络（NN）的分类

• 标准神经网络（standard NN）：用在房地产、广告
• 卷积神经网络（convolution NN）：图片处理
• 循环神经网络（recurrent NN）：语音识别、翻译
• 混合了其他结构的神经网络： 自动驾驶

数据的分类

• 结构化数据：基于数据库的数据，即标签化了的、具有清晰定义的信息，例如房价预测中数据有房屋面积和卧室数量等标签
• 非结构化数据：类似于音频、图片、文本这类的数据，处理更加困难

为何深度学习蓬勃发展

规模驱动深度学习的发展

• 数字化生活产生的大量数据
• 算力的巨幅提高
• 算法的创新：例如 signmoid 函数到 ReLU 函数的迁移

• 线条从下往上表示神经网络的规模在变大
• m 表示训练集的大小
• 为了获得好的表现，要么足够大的神经网络，要么足够多的数据
• 在小训练集的情况下，模型的好坏与神经网络规模无关

训练神经网络的过程

一个 idea → 代码实践 → 试验 → 修正 idea →…

course 1 的课程计划

• Week 1 : Introduction
• Week 2 : Basics of Neural Network programming
• Week 3 : One hidden layer Networks
• Weel 4 : Deep Neural Networks