吴恩达DeepLearning.ai系列条记
干货|吴恩达 DeepLearning.ai 课程提炼条记(1-2)神经网络和深度学习 --- 神经网络基础
干货|吴恩达 DeepLearning.ai 课程提炼条记(1-3)神经网络和深度学习 --- 浅层神经网络

1

矩阵的维度

DNN结构示意图如图所示:

对于第l层神经网络,单个样本其各个参数的矩阵维度为:

2

为什么使用深层示意

人脸识别和语音识别:

对于人脸识别,神经网络的第一层从原始图片中提取人脸的轮廓和边缘,每个神经元学习到差别边缘的信息;网络的第二层将第一层学得的边缘信息组合起来,形成人脸的一些局部的特征,例如眼睛、嘴巴等;后面的几层逐步将上一层的特征组合起来,形成人脸的容貌。

随着神经网络层数的增添,特征也从原来的边缘逐步扩展为人脸的整体,由整体到局部,由简朴到庞大。层数越多,那么模子学习的效果也就越正确。

对于语音识别,第一层神经网络可以学习到语言发音的一些音调,后面更深条理的网络可以检测到基本的音素,再到单词信息,逐渐加深可以学到短语、句子。

以是从上面的两个例子可以看出随着神经网络的深度加深,模子能学习到加倍庞大的问题,功效也加倍壮大。
电路逻辑盘算:

假定盘算异或逻辑输出:

即输入个数为n,输出个数为n-1。

然则若是不适用深层网络,仅仅使用单隐层的网络(如右图所示),需要的神经元个数为2^(n-1)个 。同样的问题,然则深层网络要比浅层网络所需要的神经元个数要少得多。

,

欧博网址

www.sunbet.us欢迎进入欧博网址(Allbet Gaming),欧博网址开放会员注册、代理开户、电脑客户端下载、苹果安卓下载等业务。

,

3

前向和反向流传

前向流传(Forward propagation)


反向流传(Backward propagation)


4

参数和超参数

参数:


参数即是我们在过程中想要模子学习到的信息,W,b

超参数:


更多超参数的调整和学习吴恩达先生将在下一个主题中先容。

csdn博客:http://blog.csdn.net/koala_tree/article/details/78087711
专栏:https://zhuanlan.zhihu.com/p/29738823

推荐阅读:

精选干货|近半年干货目录汇总
干货|吴恩达 DeepLearning.ai 课程提炼条记(1-2)神经网络和深度学习 --- 神经网络基础
干货|吴恩达 DeepLearning.ai 课程提炼条记(1-3)神经网络和深度学习 --- 浅层神经网络

           迎接关注民众号学习交流~          


迎接加入交流群交流学习