信号重建的目的是将采样率小的信号用更高的采样率进行插值得到更加逼近真实情况的信号，根据采样定理可知，采样后的频谱是原信号频谱的多次重复，我们将高频的部分滤去就是真正的频谱，所以将需要重建的信号通过一个低通滤波器就可以实现信号重建，也就是将信号与采样率更高的 sinc 函数进行卷积。

本周介绍了注意力机制 (Attention mechanism)，这个机制可以帮助模型理解给定一个输入后应该“关注”哪儿，同时学习如何处理语音识别和音频数据。

sequence to sequence 模型

基本模型

将法语变成英语：

输入编码器，然后用解码器输出：

Hexo 默认使用 “hexo-renderer-marked” 引擎渲染网页，该引擎会把一些特殊的 markdown 符号转换为相应的 html 标签，比如在 markdown 语法中，下划线 ‘_’ 代表斜体，会被渲染引擎处理为 <em> 标签。这与 latex 公式的语法相冲突，所以在 Melody 主题中将 marked 渲染器换成了 Kramed 网页渲染器。

今天是 2019 的第二天，写下这篇博文对自己的 2018 作一个总结。

Part1 - Operations on word vectors

通过这部分我们将学会：

• 加载预训练词向量，用 cos 相似度测量相似度
• 使用词嵌入解决词语类比问题
• 减少词向量中的性别偏差

1
2

import numpy as np
from w2v_utils import *

自然语言处理和深度学习是非常重要的组合。使用词向量表示和嵌入层可以在许多行业训练 RNN，例如情感分析，命名实体识别和机器翻译。

Word Embeddings 词嵌入介绍

Word representation

如何用向量表示一个词？假设我们有一个词汇表 V，数量为 |V| = 10000，V = {a, aaron,…, zulu,<UNK>}，我们可以用 one-hot 编码来表示这些词：

工程信号处理作业，用 matlab 对一个信号进行傅立叶变换，由于从没用过 matlab，所以想看看 python 能不能做，一查果然 numpy 有 fft 的函数。

fft 就是把信号在时域的采样的 N 个实数，变成时域的 N 个复数，具体的输入输出见这个youtube 视频.

part 1- Building your Recurrent Neural Network - Step by Step

这是这一周编程作业的第一部分，让我们从无到有构建了 RNN 和 LSTM 的前向和反向传播函数，但是作业中给的公式出现很多问题，下面都是更正后的公式，还有一些符号的提法比较模糊，下面也做了说明。

首先引入需要的包。

1
2

import numpy as np
from rnn_utils import *

RNN

单个 RNN 前向传播

第五课第一周第一部分的编程作业直接构建了 rnn 和 lstm 的前向传播和方向传播函数，但是这次作业实在做得坎坷无比，还以为是自己的问题，上论坛一看，没想到大家都在抱怨这一次的作业各种出问题，公式给的莫名其妙，得到的结果老是对不上答案，在 lstm 的反向传播部分甚至连公式都给错了，这里做一个更正，并给出自己的手写推导。