神经网络与深度学习

学校: 无

原文来源：公众号【江开搜题】

原文来源：公众号【江开搜题】

原文来源：公众号【江开搜题】

问题 1: 1. 以下卷积运算的输出结果为

选项:

A. 15 16  6 15

B. 11 12 10 11

C. 11 12 10 11

D. 10 11 11 12

答案: 15 16  6 15

问题 2: 2. 下⾯哪⼀种优化⽅法属于⾃适应学习率的优化算法？

选项:

A. AdaGrad

B. Nesterov Momentum

C. SGD

D. Momentum

答案: AdaGrad

问题 3: 3. 以下关于神经⽹络中卷积运算的说法，正确的是？

选项:

A. 若卷积运算输⼊数据为⼆维形状，则滤波器的⻓和⾼⼤⼩必须相等

B. 若卷积运算输⼊数据为三维形状，则输⼊数据和滤波器的⻓和⾼均要设为相同的值

C. 若卷积运算输⼊数据为三维形状，输⼊数据和滤波器的通道数要设为相同的值

D. 若卷积运算输⼊数据为⼆维形状，则输⼊数据的⻓和⾼⼤⼩必须相等

答案: 若卷积运算输⼊数据为三维形状，输⼊数据和滤波器的通道数要设为相同的值

问题 4: 4. 以下场景中适合采⽤⼀对多结构RNN的是？

选项:

A. ⽣成图⽚说明

B. 基于帧粒度的视频分类

C. 情感分析

D. 机器翻译

答案: ⽣成图⽚说明

问题 5: 5. 对以下输⼊⼤⼩为(7,7)的数据，⾸先进⾏幅度为3的填充，设置滤波器⼤⼩为3*3，步幅为 2，卷积运算输出结果的⼤⼩为？

选项:

A. (7,7)

B. 4,4)

C. (5,5)

D. (6,6)

答案: (6,6)

问题 6: 6. 以下关于神经⽹络的训练过程，描述错误的是？

选项:

A. 【更新参数】梯度反⽅向表示损失函数的值减⼩最多的⽅向，将权重参数沿梯度反⽅向进⾏微⼩更 新

B. 【计算梯度】为了减⼩mini-batch的损失函数，需要求出各个权重参数的梯度

C. 【随机梯度下降】stochastic gradient descent：“随机”代表在梯度下降中随机初始⼀个学习率，并 不断尝试多个值，寻求最好的结果

D. 【mini-batch】从训练数据中随机选出⼀部分数据，这部分数据称为mini-batch，我们的⽬标是减 少mini-batch损失函数的值。

答案: 【随机梯度下降】stochastic gradient descent：“随机”代表在梯度下降中随机初始⼀个学习率，并 不断尝试多个值，寻求最好的结果

问题 7: 7. 在⼀个神经⽹络⾥，知道每⼀个神经元的权重和偏差是最重要的⼀步。如果以某种⽅法知道 了神经元准确的权重和偏差，你就可以近似任何函数。实现这个最佳的办法是什么？

选项:

A. 赋予⼀个初始值，检查与最优值的差值，然后迭代更新权重

B. 搜索所有权重和偏差的组合，直到得到最优值

C. 随机赋值，祈祷它们是正确的

D. 以上都不正确

答案:

问题 8: 8. 多义现象可以被定义为在⽂本对象中⼀个单词或短语的多种含义共存。下列哪⼀种⽅法可能 是解决此问题的最好选择？

选项:

A. 强化学习

B. 随机森林

C. 卷积神经⽹络

D. 以上所有⽅法

答案:

问题 9: 9. 有如下结构RNN，关于 的计算正确的是？

选项:

A. h2 = f(Ux2 + b)

B. h2 = f(Wh1 + Ux2 + b)

C. h2 = f(Ux1 + Ux2 + b)

D. h2 = f(Wh1 + Ux2 )

答案:

问题 10: 10. 有Lenet的结构如图所示，输⼊数据⼤⼩为 ⼤⼩单通道图⽚，在C1卷积层使⽤ 个⼤ ⼩为 的卷积核进⾏卷积， ，步⻓为 。在S2池化层使⽤ 的卷积核进⾏步⻓ 为2的平均值池化。在C3卷积层使⽤ 个⼤⼩为 的卷积核进⾏卷积， ，步⻓为 。在S4池化层使⽤ 的卷积核进⾏步⻓为2的平均值池化。扁平化后接⼊C5全连接层，其中C5 全连接层的输出⼤⼩为120，请问C5全连接层的输⼊是多⼤？

选项:

A. 400

B. 300

C. 784

D. 1024

答案:

问题 11: 11. 】在神经⽹络的学习中，权重的初始值特别重要，设定什么样的权重初始值，经常关系到神经 ⽹络的学习能否成功。据此判断在下列相关的叙述中，错误的是？

选项:

A. 为了防⽌“权重均⼀化” ，初始值应该随机⽣成

B. 当激活函数使⽤sigmoid或者tanh时，使⽤Xavier初始值

C. 当激活函数使⽤ReLU时，使⽤He初始值

D. 权重的初始值应该设置的尽量⼩，所以可以设置为0

答案:

问题 12: 12. 在进⾏卷积层的处理之前，有时要向输⼊数据的周围填⼊固定的数据，这称为填充 (padding)。 对⼤⼩为(4,4)的输⼊数据进⾏幅度为3的填充，则输⼊数据⼤⼩变成多少？

选项:

A. (12,12)

B. (10,10)

C. (7,7)

D. (15,15)

答案:

问题 13: 13. 在典型CNN⽹络AlexNet中，原始图⽚是⼤⼩为227*227的三通道数据，经过96个⼤⼩为11*11的卷积核卷积后得到96个⼤⼩为55*55的特征图，若padding = 0 ，则卷积核的步⻓为多 少？

选项:

A. 3

B. 4

C. 2

D. 1

答案:

问题 14: 14. 下图是关于RNN的简化展开图，其中

选项:

A.

B.

C.

D.

答案:

问题 15: 15. VGGNet是⼀种典型的深度卷积神经⽹络，被⼴泛应⽤在⼤规模数据集的分类问题上。⽽在 实际应⽤中，VGGNet中的训练层深度最多不会超过19层，请问这是为什么？

选项:

A. 仅为了避免麻烦

B. 梯度消失使得优化变得困难

C. 训练时间过⻓

D. 参数量爆炸

答案:

问题 16: 16. 以下关于CNN中池化的说法，正确的是？

选项:

A. 池化对输⼊数据的微⼩偏差具有鲁棒性

B. 池化只是从⽬标区域中取最⼤值(或平均值)，所以不存在要学习的参数

C. 通常池化的窗⼝⼤⼩会和上⼀步卷积操作的步幅设定成相同的值

D. 经过池化运算，输⼊数据和输出数据的通道数不会发⽣变化

答案:

问题 17: 17. 下列哪些是CNN中卷积操作的特点？

选项:

A. 等变表示

B. 简化运算

C. 参数共享

D. 稀疏连接

答案:

问题 18: 18. 下列哪些是批标准化（Batch Normalization ）算法的优点？

选项:

A. 可以抑制过拟合

B. 可以不那么依赖初始值

C. 可以降低噪声

D. 可以增⼤学习率

答案:

问题 19: 19. 下⾯关于随机梯度下降法（SGD）的叙述，正确的是？

选项:

A. 参数更新公式中的学习率需要随机选取

B. SGD在收敛过程中波动较⼤

C. 使⽤参数的梯度，沿梯度⽅向更新参数，并重复这个步骤多次

D. SGD形式简单，并且容易实现

答案:

问题 20: 1. 声明1:可以通过将所有权重初始化为0来训练网络。 声明2:可以通过将偏差初始化为0来很好地训练网络 以上哪些陈述是真实的？

选项:

A. 1错2对

B. 1和2都对

C. 1和2都错

D. 1对2错

答案:

问题 21: 2. 在深度学习网络中，以下哪种技术不是主要用来做网络正则化的（提升模型泛化施力）

选项:

A. dropout

B. 参数共享

C. Early stopping

D. Pooling

答案:

问题 22: 3. 相对于DNN模型，CNN模型做了哪些改变？

选项:

A. 局部连接、参数共享

B. 增加了batch normalization

C. 使用了relu激活函数

D. 使用了Dropout

答案:

问题 23: 4. 在构建一个神经网络时，batch size通常选择2的次方，比如256和512。这是为什么呢？

选项:

A. 当用偶数是梯度下降优化效果最好

B. 这些原因都不对

C. 当内存使用最优时可以方便神经网络并行化

D. 当不用偶数时，损失值会很奇怪

答案:

问题 24: 5. 深应学习中，以下哪方法不能解决过拟合的问题

选项:

A. 参数正则化

B. 提前停止训练

C. 减小学习率

D. 数据增强

答案:

问题 25: 6. 想象一下，你有一个28x28的图片，并使用输入深度为3和输出深度为8在上面运行一个3x3的卷积神经网塔，注意，步幅padding是1,你正在用相同的填充（padding),当使用给定的参数时，输出特征图的尺寸是多少？

选项:

A. 28宽、13高，8深

B. 13宽、13高、8深

C. 28宽、28高、8深

D. 13宽、28高、8深

答案:

问题 26: 7. Dropout是一种在深度学习环境中应用的正规化手段。它是这样运作的：在一次循环中我们先随机选择神经层中的一些单元并将其临时隐藏，然后再进行该次循环中神经网络的训练和优化过程。在下一次循环中，我们又将隐藏另外一些神经元，如此直至训练结束。

选项:

A. 卷积层

B. 仿射层

C. RNN层

D. 均不对

答案:

问题 27: 8. 你有一个63x63x16的输入，有32个过滤器进行卷积，每个过滤器的大小为7x7,步幅为1,你想要使用“same”的卷积方式，请问padding的值是多少？

选项:

A. 3

B. 7

C. 1

D. 2

答案:

问题 28: 9. 有许多种梯度下降算法，其中两种最出名的方法是I-BFGS和SGD.I-BFGS根据二阶梯度下降而SGD是根据一阶梯度下降的。在下述哪些场景中，会更加偏向于使用I-BFGS而不是SGD? 场景1:数据很稀疏 场景2:神经网络的参数数量较少

选项:

A. 场景2

B. 场景1

C. 都不会选择I-BFGS

D. 两种情况都是

答案:

问题 29: 10. 图片修复是需要人类专家来进行修复的，这对于修复受损照片和视频非常有帮助。下图是一个图像修复的例子。

选项:

A. 欧式距离损失函数（Euclidean loss）

B. 两种方法均不可

C. 负对数似然度损失函数（Negative-log Likelihood loss）

D. 两种方法皆可

答案:

问题 30: 11. 当构建一个神经网络进行图片的语义分割时，通常采用下面哪种顺序？

选项:

A. 先用反卷积神经网络处理输入，再用卷积神经网络得到输出

B. 先用卷积神经网络处理输入，再用反卷积神经网络得到输出

C. 不能确定

答案:

问题 31: 12. Dropout率和正则化有什么关系？（提示：我们定义Dropout率为保留一个神经元为激活状态的概率）

选项:

A. Dropout率越高，正则化程度越低

B. Dropout率越高，正则化程度越高

答案:

问题 32: 13. 你认为把下面这个过滤器应用到灰度图像会怎么样？

选项:

A. 会检测水平边缘

B. 会检测图像对比度

C. 会检测45度边缘

D. 会检测垂直边缘

答案:

问题 33: 14. 你有一个63x63x16的输入，并使用大小为7x7的32个过滤器进行卷积，使用步幅为2和无填充，请问输出是多少？

选项:

A. 16x16x16

B. 29x29x32

C. 29x29x16

D. 16x16x32

答案:

问题 34: 15. 在下列哪些应用中，我们可以使用深度学习来解决问题？

选项:

A. 蛋白质结构预测

B. 化学反应的预测

C. 所有这些

D. 外来粒子的检测

答案:

问题 35: 16. 假设你的输入是一个300x300的彩色（RGB)图像，而你没有使用卷积神经网络。如果第一个隐藏层有100个神经元，每个神经元与输入层进行全连接，那么这个隐藏层有多少个参数（包括偏置参数）？

选项:

A. 9,000,100

B. 9,000,001

C. 27,000,100

D. 27,000,001

答案:

问题 36: 17. 下列关于深度学习说法错误的是

选项:

A. 只要参数设置合理，深险学习的效果至少应优于传统机器学习算法

B. CNN相比于全连接的优势之一是楼型复杂度低，缓解过拟合

C. LSTM在一定程度上解决了传统RNN梯度满失或梯度爆炸的问题

答案:

问题 37: 18. 请问以下和神经网络中的dropout作用机制类似的是？

选项:

A. 都不是

B. Bagging

C. Boosting

D. Stacking

答案:

问题 38: 19. 深度学习可以用在下列哪些NLP任务中？

选项:

A. 问答系统

B. 所有选项

C. 机器翻译

D. 情感分析

答案:

问题 39: 20. 关于神经网络中经典使用的优化器，以下说法正确的是

选项:

A. 相比于Adam或RMSprop等优化器，SGD的收效效果是最好的

B. Adam的收数速度比RMSprop

C. 相比于SGD或RMSprop等优化器，Adam9收做效果是最好的

D. 对于轻量级神经网络，使用Adam比使用RMSprop更合适

答案:

问题 40: 21. 随着句子的长度越来越多，神经翻译机器将句意表征为固定维度向量的过程将愈加困难，为了解决这类问题，下面哪项是我们可以采用的？

选项:

A. 所有选项均不对

B. 使用字符级别翻译（character level translation）

C. 使用递归单元代替循环单元

D. 使用注意力机制（attention mechanism）

答案:

问题 41: 22. 神经网络，非线性激活函数包括sigmoid/tanh/ReLU等

选项:

A. 其他说法都不正确

B. 加速反向传播时的梯度计算

C. 只在最后输出层才会用到

D. 总是输出0/1

答案:

问题 42: 23. 假设你的任务是使用一首曲子的前半部分来预测乐谱的未来几个小节，比如输入的内容如下的是包含音符的一张乐谱图片：

选项:

A. 附加有循环单元的卷积神经网络

B. 神经图灵机

C. 端到端完全连接的神经网络

D. 都不可用

答案:

问题 43: 24. 图像挖掘中常用卷积神经网络（DNN)作为基础结构，以下关于卷积操作（conv)和池化（pooling)的说法正确的是？

选项:

A. convopooling都基于局部相关性

B. con和pooling都基于平移不变性

C. conv基于局部相关性，pooling基于平移不变性

D. cov基于平移不变性，pooling基于局部相关性

答案:

问题 44: 25. 你正在训练一个RNN网络，你发现你的权重与激活值都是“NaN”，下列选项中，哪一个是导致这个问题的最有可能的原因？

选项:

A. ReLU函数作为激活函数g(.)，在计算g(z)时，z的数值过大了

B. Sigmoid函数作为激活函数g(.)，在计算g(z)时，z的数值过大了

C. 梯度爆炸

D. 梯度消失

答案:

问题 45: 26. 在CNN中使用1x1卷积时，下列哪一项是正确的？

选项:

A. 由于小的内核大小，它会减少过拟合

B. 它可以帮助降低维数

C. 所有上述

D. 可以用于特征池

答案:

问题 46: 27. 一个循环神经网络可以被展开成为一个完全连接的、具有无限长度的普通神经网络，这种说法是

选项:

A. 正确的

B. 错误的

答案:

问题 47: 28. 请阅读以下情景： 情景1:你拥有一份阿卡迪亚市（Arcadia city)地图的数据，数据中包含市内和郊区的航拍图片。你的任务是将城市划分为工业区、农场以及山川河流等自然区域等等。 情景2:你拥有一份阿卡迪亚市（Arcadia city)地图的数据，数据中包含详细的公路网和各个地标之间的距离，而这些都是以图表的形式呈现的。你的任务是找出任意两个地标 之间的最短距离。

选项:

A. 正确

B. 错误

答案:

问题 48: 29. 假设你的输入是300x300彩色（RGB)图像，并且你使用卷积层和100个过滤器，每个过滤器都是5x5的大小，请问这个隐藏层有多少个参数（包括偏置参数）？

选项:

A. 2600

B. 7600

C. 2501

D. 7500

答案:

问题 49: 30. 对于MLP,输入层中的节点数为10,隐藏层为5.从输入层到隐藏层的最大连接数是？

选项:

A. 小于50

B. 超过50

C. 这是一个任意值

D. 50

答案:

问题 50: 31. 下面哪个叙述是对的？ Dropout对一个神经元随机屏蔽输入权重 Dropconnect对一个神经元随机屏蔽输入和输出权重

选项:

A. 都是对的

B. 都是错的

C. 1是对的，2是错的

D. 1是错的，2是对的

答案:

问题 51: 32. 假设你下载了一个已经在一个很大的文本语料库上训练过的词嵌入的数据，然后你要用这个词嵌入来训练RNN并用于识别一段文字中的情感，判断这段文字的内容是否表达了“快乐”。

选项:

A. 错误

B. 正确

答案:

问题 52: 33. 对于非连续目标在深度神经网络的优化过程中，下面哪种梯度下降方法是最好的？

选项:

A. AdaGrad

B. 1-BFGS

C. SGD

D. 拉格朗日松弛Subgradont method

答案:

问题 53: 34. 当训练一个神经网络来作图像识别任务时，通常会绘制一张训练集误差和交叉训练集误差图来进行调试。

选项:

A. B

B. C

C. A

D. D

答案:

问题 54: 35. 在包含N个文档的语料库中，随机选择一个文档，该文件总共包含T个词，词条「数据」出现K次，如果词条「数据］出现在文件总数的数量接近三分之一，则TF(词频）和IDF(逆文档频率）的乘积的正确值是多少？

选项:

A. K*Log(3)/T

B. Log(3)/KT

C. T*Log(3)/K

D. KT*Log(3)

答案:

问题 55: 36. 梯度爆炸问题是指在训练深度神经网络的时候，梯度变得过大而损失函数变为无穷。在RNN中，下面哪种方法可以较好地处理梯度爆炸问题？

选项:

A. 所有方法都不行

B. 用改良的网络结构比如LSTM和GRUs

C. 梯度裁剪

D. Dropout

答案:

问题 56: 37. 下面哪种方法没办法直接应用于自然语言处理的任务？

选项:

A. 循环神经网络

B. 去语法模型

C. 卷积神经网络

D. 主成分分析（PCA）

答案:

问题 57: 38. 下图中的数据是线性可分的么？

选项:

A. 是

B. 否

答案:

问题 58: 39. 深度学习中的卷积神经网络属于机器学习中的那哪种模型

选项:

A. 深度监督学习

B. 深度无监督学习

C. 深度强化学习

D. 深度半监督学习

答案:

问题 59: 40. 给定一个长度为n的不完整单词序列，我们希望预测下一个字母是什么。比如输入是“predictio(9个字母组成），希望预测第十个字母是什么。下面哪种神经网络结构适用于解决这个工作？

选项:

A. 卷积神经网络

B. 循环神经网络

C. 受限波尔兹曼机

D. 全连接神经网络

答案:

问题 60: 41. Sigmoid是神经网络中最常用到的一种激活函数，除非当梯度太大导致激活函数被弥散，这叫作神经元饱和。 这就是为什么ReLU会被提出来，因为ReLU可以使得梯度在正向时输出值与原始值一样。

选项:

A. 错误

B. 正确

答案:

问题 61: 42. 以下哪个是深度学习中神经网络的激活函数

选项:

A. Sin(x)

B. Dropout

C. CE

D. ReLU

答案:

问题 62: 43. 以下关于深度神经网络的说法中错误的是

选项:

A. 使用梯度裁剪（gradient clipping）有助于减缓梯度爆炸问题

B. 增大L2正则项的系数有助于减缓梯度消失问题

C. 在使用SGD训练时，若训练loss的变化逐渐平缓不再明显下降时，通常可以通过减少learning rate的方式使其再进一步下降

D. 若batch size过小，batch normalization的效果会出现退化

答案:

问题 63: 44. 深度学习中，不经常使用的初始化参数W(权重矩阵）的方法是哪种？

选项:

A. Xavier初始化

B. 常量初始化

C. MSRA初始化

D. 高斯分布初始化

答案:

问题 64: 45. 深度学习中的不同最优化方式，如SGD,ADAM下列说法中正确的是

选项:

A. 相同超参数数是情况下，比起白适应的学习率调整方式，SGD加手动调节通常会取得更好效果

B. 同样的初始学习率情况下，ADAM收敛速度总是快于SGD方法

C. 同样的初始学习率情况下，ADAM比SGD容易过拟合

D. 在实际场景下，应尽最使用ADAM,避免使用SGD

答案:

问题 65: 46. 下列哪些项目是在图像识别任务中使用的数据扩增技术（data augmentation technique)? 1 水平翻转（Horizontal flipping) 2 随机裁剪（Random cropping) 3 随机放缩（Random scaling) 4颜色抖动（Color jittering) 5 随机平移（Random translation) 6 随机剪切（Random shearing)

选项:

A. 2,3,4,5,6

B. 1,3,5,6

C. 1,2,4

D. 所有项目

答案:

问题 66: 47. 反向传播算法一开始计算什么内容的梯度，之后将其反向传播？

选项:

A. 都不对

B. 各个网络权重的平方差之和

C. 预测结果与样本标签之间的误差

D. 各个输入样本的平方差之和

答案:

问题 67: 48. 如果一个神经网络用于预测一种事物的分类，例如分为A,B.CD四类，那么下列哪一个激活函数适用于该神经网络的输出层

选项:

A. Sigmoid

B. Softmax

C. Relu

D. TanH

答案:

问题 68: 49. 关于CNN,以下说法错议的是

选项:

A. 第一个经典CNN模型是LeNet

B. CNN用于解决图像的分类及回归问题

C. CNN是一种判别模型

D. CNN最初是由Hinton教授提出的

答案:

问题 69: 50. 普通反向传播算法和随时间的反向传播算法（BPTT)有什么技术上的不同？

选项:

A. 与普通反向传播不同的是，BPTT会在每个时间步长内减去所有对应权重的梯度

B. 与普通反向传播不同的是，BPTT会在每个时间步长内叠加所有对应权重的梯度

答案: