在“序列化模型”这门课的第一周，我们会学习到循环神经网络，这种模型对时间数据表现得非常好，它有几个变种，包括 LSTM，GRU 和 双向 RNN。

序列化模型

序列化模型的例子

神经风格转换

先引入需要的包：

1
2
3
4
5
6
7
8
9
10
11
12

import os
import sys
import scipy.io
import scipy.misc
import matplotlib.pyplot as plt
from matplotlib.pyplot import imshow
from PIL import Image
from nst_utils import *
import numpy as np
import tensorflow as tf

%matplotlib inline

这一周我们将学习到如何利用 CNN 进行图片风格转换和人脸识别。

人脸识别

什么是人脸识别或人脸校验

• 人脸校验
  • 输出图片，姓名或身份号
  • 输出是否输入图片是对应的那个人
  • 这是一个 1：1 问题
• 人脸识别
  • 有 K 个人的数据库
  • 输入图片
  • 输出这个人的 ID 号，如果它是这 K 个人之一的话，如果不是，输出“未识别”
  • 这是一个 1：K 问题

这次编程作业介绍了一个极其牛逼的算法——yolo 算法，用来检测马路上的车辆和路标等，这次作业主要介绍了 yolo 算法的数据后处理部分，即从输出挑选出正确预测方框的过程。

本周主要学习如何通过 CNN 来进行物体检测。

物体定位（单个物体）

什么是物体定位

• 图像分类：图片中是否有车
• 物体定位：不仅要识别出是否有车（单个对象），还要在车的周围生成一个边框，即分类+定位
• 物体检测：找到一张图片里的多个对象并定位它们

Keras 教程

• Keras 是一个高级神经网络框架，用 Python 写成，在 TensorFlow 和 CNTK 等一些更低级的框架上运行，拥有比 tensorflow 更高的抽象
• Keras 能够快速搭建和试验不同的模型
• Keras 比低级框架限制更多，无法实现一些非常复杂的模型，但是对一些普通模型运行很好

这里用 Keras 实现一个识别图片中的人是否开心的算法。

本周我们直接从研究论文里学习深度 CNN 的一些使用技巧和方法。

outline

• 一些经典的网络模型：

  • LeNet-5
  • AlexNet
  • VGGNet

• 残差卷积网络 ResNet

• 初始神经网络实例

经典卷积网络模型

　LeNet－５

• 60000 个参数
• 从左到右 $n_H,n_W$ 减小，$n_C$ 增大
• 一个至今使用的模式：conv -> pool -> conv -> pool -> FC -> FC -> output
• 这篇论文中使用的是 sigmoid/tanh 函数，而不是 ReLU
• 由于论文较久远，吴恩达建议只读论文的第二章，快速看一下第三章

cnn 辅助函数的构建

这周的编程作业内容是使用 numpy 实现卷积层和池化层，包括前向传播和方向传播。

包的引入

1
2
3
4
5
6
7
8
9
10
11

import numpy as np
import h5py
import matplotlib.pyplot as plt

%matplotlib inline
plt.rcParams['figure.figsize'] = (5.0, 4.0) # set default size of plots
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'

%load_ext autoreload
%autoreload 2

计算机视觉

计算机视觉的问题

• 图像分类：例如猫分类器

• 物体检测：例如自动驾驶不仅需要识别出图片中是否有车，还要计算出这张图片中汽车的位置

• 神经风格转换：如下图

  

今天是9月26号，在哈工大深圳校区的荔园写下这篇日记，距离开学已经过去了十天左右的时间，本来以为可以开开心心入学，没想到碰到了许多倒霉事儿：