【吴恩达深度学习】深度学习概论

吴恩达深度学习第一课第一周 深度学习概论（包括作业）

1.什么是神经网络

下图是一个简单的神经网络模型用来预测房子的房价

其中“圈”叫做神经元，第一层的4个叫输入层，第二层的三个叫隐藏层（单源），最后的一个叫输出层。

2.用神经网络进行监督学习

我们可以使用神经网络进行监督学习以完成好多实际操作：

对于不同的任务我们又可以使用很多种不同的神经网络，比如对于房屋售价、广告推广，我们可以使用标准的神经网络来完成。对于图片识别，我们可能用到卷积神经网络（CNN），对于音频和自然语言的处理我们可能使用到循环神经网络（RNN）或者长短基记忆神经网络（LSTM），对于需要找出图片中物品位置这类复杂操作，我们就可能需要一些更复杂的混合网络来完成这一目的。

我们可能还会在一些地方看到下面这几种网络结构图：

这三三种分别为标准的神经网络，卷积神经网络（常用于图像处理），循环神经网络（常用于处理比如时间等一维数据）。

数据也同样可以分为结构化的和非结构化两种数据：

对于结构化的数据，通常指的是具体的数据。而非结构化的，指的是语音、文本、图片等。不过幸运的是，现在的计算机对于非结构化数据都有一个比较好的处理能力。

3.为什么深度学习会兴起

如上图。之所以这几年深度学习兴起，不仅是因为计算能力的上升（当然有这部分因素），还因为随着人们信息采集能力的上升，获取较大数据量变得越来越简单，因此深度学习的使用频率也变得更好。

需要注意的是，在初始阶段（靠近原点），不管是古典机器学习还是神经网络，他们的准确率都没办法精确地排序，低数据情况下，一个经过良好处理的机器学习算法很可能比其他机器学习算法或者深度学习算法有更好的准确率。

测验

1.和“AI是新电力”相类似的说法是什么？

1. AI为我们的家庭和办公室的个人设备供电，类似于电力。
2. 通过“智能电网”，AI提供新的电能。
3. AI在计算机上运行，​​并由电力驱动，但是它正在让以前的计算机不能做的事情变为可能。
4. 就像100年前产生电能一样，AI正在改变很多的行业。

(4)

2. 哪些是深度学习快速发展的原因？

1. 现在我们有了更好更快的计算能力。
2. 神经网络是一个全新的领域。
3. 我们现在可以获得更多的数据。
4. 深度学习已经取得了重大的进展，比如在在线广告、语音识别和图像识别方面有了很多的应用。

(1、3)

3. 回想一下关于不同的机器学习思想的迭代图。下面哪(个/些)陈述是正确的？

1. 能够让深度学习工程师快速地实现自己的想法。
2. 在更好更快的计算机上能够帮助一个团队减少迭代(训练)的时间。
3. 在数据量很多的数据集上训练上的时间要快于小数据集。
4. 使用更新的深度学习算法可以使我们能够更快地训练好模型（即使更换CPU / GPU硬件）。

（1、2、4）

4. 当一个经验丰富的深度学习工程师在处理一个新的问题的时候，他们通常可以利用先前的经验来在第一次尝试中训练一个表现很好的模型，而不需要通过不同的模型迭代多次从而选择一个较好的模型，这个说法是正确的吗？

错误，也许之前的经验会有所帮助，但是没有人总是能直接找到最优的模型。

5. 这些图中的哪一个表示ReLU激活功能？

6. 用于识别猫的图像是“结构化”数据的一个例子，因为它在计算机中被表示为结构化矩阵，是真的吗？

不是，图片是非结构化数据。

7. 统计不同城市人口、人均GDP、经济增长的人口统计数据集是“非结构化”数据的一个例子，因为它包含来自不同来源的数据，是真的吗？

错误，由于在数据集中，所以属于结构化数据。

8. 为什么在上RNN（循环神经网络）可以应用机器翻译将英语翻译成法语？

1. 因为它可以被用做监督学习。
2. 严格意义上它比卷积神经网络（CNN）效果更好。
3. 它比较适合用于当输入/输出是一个序列的时候（例如：一个单词序列）
4. RNNs代表递归过程：想法->编码->实验->想法->…

（1、3）

9. 下图中，横轴（x轴）和纵轴（y轴）代表什么?

x轴是数据量；y轴是算法的性能。

10. 假设上一个问题图中描述的是准确的（并且希望您的轴标签正确），以下哪一项是正确的?

1. 增加训练集的大小通常不会影响算法的性能，但是可能会有很大的帮助。
2. 增加神经网络的大小通常不会影响算法的性能， 但是 可能会有很大的帮助。
3. 减小训练集的大小通常不会影响算法的性能， 但是 可能会有很大的帮助。
4. 减小神经网络的大小通常不会影响算法的性能， 但是 可能会有很大的帮助。

（1、2）