当前位置:首页 >> 小学作文 >> 深度学习的研究

深度学习的研究


深 度 学 习 的 研 究 姓名:21321 班级:231321 学号:564564 学院:机械工程学院 深度学习的发展历史 在解释深度学习之前,我们需要了解什么是机器学习。机器学习是人工智能的一个分支,而 在很多时候,几乎成为人工智能的代名词。简单来说,机器学习就是通过算法,使得机器能 从大量历史数据中学习规律,从而对新的样本做智能识别或对未来做预测。从 1980 年代末 期以来, 机器学习的发展大致经历了两次浪潮: 浅层学习 (Shallow Learning) 和深度学习 (Deep Learning) 。需要指出是,机器学习历史阶段的划分是一个仁者见仁,智者见智的事情,从不 同的维度来看会得到不同的结论。这里我们是从机器学习模型的层次结构来看的。 第一次浪潮:浅层学习 1980 年代末期,用于人工神经网络的反向传播算法(也叫 Back Propagation 算法或者 BP 算法)的发明,给机器学习带来了希望,掀起了基于统计模型的机器学习热潮。这个热 潮一直持续到今天。人们发现,利用 BP 算法可以让一个人工神经网络模型从大量训练样本 中学习出统计规律, 从而对未知事件做预测。 这种基于统计的机器学习方法比起过去基于人 工规则的系统,在很多方面显示出优越性。这个时候的人工神经网络,虽然也被称作多层感 知机(Multi-layer Perceptron) ,但实际上是一种只含有一层隐层节点的浅层模型。 90 年代,各种各样的浅层机器学习模型相继被提出,比如支撑向量机(SVM,Support Vector Machines) 、Boosting、最大熵方法(例如 LR,Logistic Regression)等。这些模型的结 构基本上可以看成带有一层隐层节点(如 SVM、Boosting) ,或没有隐层节点(如 LR) 。这些 模型在无论是理论分析还是应用都获得了巨大的成功。相比较之下,由于理论分析的难度, 加上训练方法需要很多经验和技巧,所以这个时期浅层人工神经网络反而相对较为沉寂。 2000 年以来互联网的高速发展,对大数据的智能化分析和预测提出了巨大需求,浅层 学习模型在互联网应用上获得了巨大成功。最成功的应用包括搜索广告系统(比如 Google 的 AdWords、百度的凤巢系统)的广告点击率 CTR 预估、网页搜索排序(例如 Yahoo!和微 软的搜索引擎) 、垃圾邮件过滤系统、基于内容的推荐系统等。 第二次浪潮:深度学习 2006 年,加拿大多伦多大学教授、机器学习领域泰斗——Geoffrey Hinton 和他的学生 Ruslan Salakhutdinov 在顶尖学术刊物《科学》上发表了一篇文章,开启了深度学习在学术界 和工业界的浪潮。这篇文章有两个主要的信息:1.很多隐层的人工神经网络具有优异的特征 学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;2.深度神经 网络在训练上的难度,可以通过“逐层初始化” (Layer-wise Pre-training)来有效克服,在这 篇文章中,逐层初始化是通过无监督学习实现的。 自 2006 年以来,深度学习在学术界持续升温。斯坦福大学、纽约大学、加拿大蒙特利尔大

学等成为研究深度学习的重镇。2010 年,美国国防部 DARPA 计划首次资助深度学习项目, 参与方有斯坦福大学、纽约大学和 NEC 美国研究院。支持深度学习的一个重要依据,就是 脑神经系统的确具有丰富的层次结构。一个最著名的例子就是 Hubel-Wiesel 模型,由于揭示 了视觉神经的机理而曾获得诺贝尔医学与生理学奖。 除了仿生学的角度, 目前深度学习的理 论研究还基本处于起步阶段,但在应用领域已显现出巨大能量。2011 年以来,微软研究院 和 Google 的语音识别研究人员先后采用 DNN 技术降低语音识别错误率 20%~30%,是语音 识别领域十多年来最大的突破性进展。 2012 年, DNN 技术在图像识别领域取得惊人的效果, 在 ImageNet 评测上将错误率从 26%降低到 15%。在这一年,DNN 还被应用于制药公司的 Druge Activity 预测问题,并获得世界最好成绩,这一重要成果被《纽约时报》报道。 正如文章开头所描述的,今天 Google、微软、百度等知名的拥有大数据的高科技公司争相 投入资源,占领深度学习的技术制高点,正是因为它们都看到了在大数据时代,更加复杂且 更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息, 并对未来或未知事 件做更精准的预测。 大数据与深度学习 在工业界一直有个很流行的观点: 在大数据条件下, 简单的机器学习模型会比复杂模型更加 有效。例如,在很多的大数据应用中,最简单的线性模型得到大量使用。而最近深度学习的 惊人进展,促使我们也许到了要重新思考这个观点的时候。简而言之,在大数据情况下,也 许只有比较复杂的模型, 或者说表达能力强的模型, 才能充分发掘海量数据中蕴藏的丰富信 息。运用更强大的深度模型,也许我们能从大数据中发掘出更多有价值的信息和知识。 为了理解为什么大数据需要深度模型, 先举一个例子。 语音识别已经是一个大数据的机器学 习问题,在其声学建模部分,通常面临的是十亿到千亿级别的训练样本。在 Google 的一个 语音识别实验中,发现训练后的 DNN 对训练样本和测试样本的预测误差基本相当。这是非 常违反常识的,因为通常模型在训练样本上的预测误差会显著小于测试样本。因此,只有一 个解释,就是由于大数据里含有丰富的信息维度,即便是 DNN 这样的高容量复杂模型也是 处于欠拟合的状态,更不必说传统的 GMM 声学模型了。所以从这个例子中我们看出,大数 据需要深度学习。 浅层模型有一个重要特点, 就是假设靠人工经验来抽取样本的特征, 而强调模型主要是负责 分类或预测。 在模型的运用不出差错的前提下 (如假设互联网公司聘请的是机器学习的专家) , 特征的好坏就成为整个系统性能的瓶颈。 因此, 通常一个开发团队中更多的人力是投入到发 掘更好的特征上去的。 要发现一个好的特征, 就要求开发人员对待解决的问题要有很深入的 理解。而达到这个程度,往往需要反复地摸索,甚至是数年磨一剑。因此,人工设计样本特 征,不是一个可扩展的途径。 深度学习的实质, 是通过构建具有很多隐层的机器学习模型和海量的训练数据, 来学习更有 用的特征,从而最终提升分类或预测的准确性。所以“深度模型”是手段, “特征学习”是 目的。区别于传统的浅层学习,深度学习的不同在于:1.强调了模型结构的深度,通常有 5 层、6 层,甚至 10 多层的隐层节点;2.明确突出了特征学习的重要性,也就是说,同过逐层 特征变换,将样本在原空间的特征表示变换到一个新特征空间,使分类或预测更加容易。 与人工规则构造特征的方法相比,利用大数据来学习特征,更能刻画数据丰富的内在信息。 所以,在未来的几年里,我们将看到越来越多的例子:深度模型应用于大数据,而不是浅层 的线性模型。 深度学习的方法 深度机器学习方法也有监督学习与无监督学习之分. 不同的学习框架下建立的学习模型很是 不同.例如,卷积神经网络(Convolutional neural networks,简称 CNNs)就是一种深度的监 督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称 DBNs)就是一种无监督

学习下的机器学习模型。 采用分层结构,系统包括输入层、隐层(多层) 、输出层组成的多层网络,只有相邻层节点 之间有连接,同一层以及跨层节点之间相互无连接,每一层可以看作是一个 logistic 回归模 型;采用逐层训练机制。采用该机制的原因在于如果采用 BP 机制,对于一个 deep network (7 层以上) , 残差传播到最前面的层将变得很小, 出现所谓的 gradient diffusion (梯度扩散) 。 第一步:采用自下而上的无监督学习 1)逐层构建单层神经元。2)每层采用 wake-sleep 算法进行调优。每次仅调整一层,逐层 调整。 这个过程可以看作是一个 feature learning 的过程, 是和传统神经网络区别最大的部分。 wake-sleep 算法:1) wake 阶段: 认知过程, 通过下层的输入特征 (Input) 和向上的认知 (Encoder) 权重产生每一层的抽象表示(Code) ,再通过当前的生成(Decoder)权重产生一个重建信息 ( Reconstruction ) ,计算输入特征和重建信息残差,使用梯度下降修改层间的下行生成 (Decoder)权重。也就是“如果现实跟我想象的不一样,改变我的生成权重使得我想象的 东西变得与现实一样” 。 2)sleep 阶段:生成过程,通过上层概念(Code)和向下的生成(Decoder)权重,生成下 层的状态,再利用认知(Encoder)权重产生一个抽象景象。利用初始上层概念和新建抽象 景象的残差,利用梯度下降修改层间向上的认知(Encoder)权重。也就是“如果梦中的景 象不是我脑中的相应概念,改变我的认知权重使得这种景象在我看来就是这个概念” 。 第二步:自顶向下的监督学习 这一步是在第一步学习获得各层参数进的基础上, 在最顶的编码层添加一个分类器 (例如罗 杰斯特回归、SVM 等) ,而后通过带标签数据的监督学习,利用梯度下降法去微调整个网络 参数。 深度学习的第一步实质上是一个网络参数初始化过程。 区别于传统神经网络初值随机 初始化, 深度学习模型是通过无监督学习输入数据的结构得到的, 因而这个初值更接近全局 最优,从而能够取得更好的效果。 Deep Learning 的常用方法: 自动编码器 (AutoEncoder) 、 稀疏自动编码器(Sparse AutoEncoder)、 降噪自动编码器(Denoising AutoEncoders) 方法介绍: a).自动编码器(AutoEncoder) 最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结 构的系统, 如果给定一个神经网络, 我们假设其输出与输入是相同的, 然后训练调整其参数, 得到每一层中的权重, 自然地, 我们就得到了输入 I 的几种不同表示 (每一层代表一种表示) , 这些表示就是特征, 在研究中可以发现, 如果在原有的特征中加入这些自动学习得到的特征 可以大大提高精确度, 甚至在分类问题中比目前最好的分类算法效果还要好! 这种方法称为 AutoEncoder。当然,我们还可以继续加上一些约束条件得到新的 Deep Learning 方法,如如 果在 AutoEncoder 的基础上加上 L1 的 Regularity 限制 (L1 主要是约束每一层中的节点中大部 分都要为 0, 只有少数不为 0, 这就是 Sparse 名字的来源) , 我们就可以得到 Sparse AutoEncoder 方法。 b).稀疏自动编码器(Sparse Coding) 如果我们把输出必须和输入相等的限制放松,同时利用线性代数中基的概念,即 O=w1*B1+W2*B2+....+Wn*Bn,Bi 是基,Wi 是系数,我们可以得到这样一个优化问题: Min|I-O| 通过求解这个最优化式子,我们可以求得系数 Wi 和基 Bi,这些系数和基础就是输入的另外 一种近似表达,因此,它们可以特征来表达输入 I,这个过程也是自动学习得到的。如果我 们在上述式子上加上 L1 的 Regularity 限制,得到:

Min|I-O|+u*(|W1|+|W2|+...+|Wn|) 这种方法被称为 Sparse Coding。 当然,还有其它的一些 Deep Learning 方法,在这里就不叙述了。总之,Deep Learning 能够 自动地学习出数据的另外一种表示方法, 这种表示可以作为特征加入原有问题的特征集合中, 从而可以提高学习方法的效果,是目前业界的研究热点。 已有研究 由于深度学习能够很好地解决一些复杂问题, 近年来许多研究人员对其进行了深入研究。 下 面分别从初始化方法、网络层数和激活函数的选择、模型结构、学习算法和实际应用这四个 方面对近几年深度学习研究的新进展进行介绍。 1.初始化方法、网络层数和激活函数的选择 研究人员试图搞清网络初始的设定与学习结果之间的关系。Erhan 等人在轨迹可视化研究中 指出即使从相近的值开始训练深度结构神经网络, 不同的初始值也会学习到不同的局部极值, 同时发现用无监督预训练初始化模型的参数学习得到的极值与随机初始化学习得到的极值 差异比较大,用无监督预训练初始化模型的参数学习得到的模型具有更好的泛化误差。 Bengio 与 Krueger 等人指出用特定的方法设定训练样例的初始分布和排列顺序可以产生更好 的训练结果,用特定的方法初始化参数,使其与均匀采样得到的参数不同,会对梯度下降算 法训练的结果产生很大的影响。 Glorot 等人指出通过设定一组初始权值使得每一层深度结构 神经网络的 Ja-cobian 矩阵的奇异值接近 1,在很大程度上减小了监督深度结构神经网络和 有预训练过程设定初值的深度结构神经网络之间的学习结果差异。 另外, 用于深度学习的学 习算法通常包含许多超参数, 文献给出了这些超参数的选择指导性意见, 推荐一些常用的超 参数, 尤其适用于基于反向传播的学习算法和基于梯度的优化算法中; 并讨论了如何解决有 许多可调超参数的问题, 描述了实际用于有效训练常用的大型深度结构神经网络的超参数的 影响因素, 指出深度学习训练中存在的困难。 选择不同的网络隐层数和不同的非线性激活函 数会对学习结果产生不同的影响。 Glorot 等人研究了隐层非线性映射关系的选择和网络的深 度相互影响的问题, 讨论了随机初始化的标准梯度下降算法用于深度结构神经网络学习得到 不好的学习性能的原因。 Glorot 等人观察不同非线性激活函数对学习结果的影响得到逻辑斯 蒂 S 型激活单元的均值会驱使顶层和隐层进入饱和, 因而逻辑斯蒂 S 型激活单元不适合用随 机初始化梯度算法学习深度结构神经网络; 并据此提出了标准梯度下降算法的一种新的初始 化方案来得到更快的收敛速度, 为理解深度结构神经网络使用和不使用无监督预训练的性能 差异作出了新的贡献。 Bengio 等人从理论上说明深度学习结构的表示能力随着神经网络深度 的增加以指数的形式增加,但是这种增加的额外表示能力会引起相应局部极值数量的增加, 使得在其中寻找最优值变得困难。 2.模型结构 DBN 的结构及其变种 采用二值可见单元和隐单元RBM 作为结构单元的 DBN, 在 MNIST 等数据集上表现出很好的 性能。近几年,有连值单元的RBM,如 mcRBM、mPoT 模型和 spike-and-slabRBM 等已经 成功应用。 Spike-and-slabRBM 中 spike 表示以为中心的离散概率分布, slab 表示在连续域上 的稠密均匀分布,可以用吉布斯采样对 spike-and-slabRBM 进行有效推断,得到优越的学习 性能。 和—积网络 深度学习最主要的困难是配分函数的学习, 如何选择深度结构神经网络的结构使得配分函数 更容易计算?Poon 等人提出一种新的深度模型结构———和—积网络 (sum-productnetwork, SPN) ,引入多层隐单元表示配分函数,使得配分函数更容易计算。SPN 是有根节点的有向无 环图,图中的叶节点为变量,间节点执行和运算与积运算,连接节点边带有权值,它们在

Caltech-101 和 Olivetti 两个数据集上进行实验证明了 SPN 的性能优于 DBN 和最近邻方法。 基于 rectified 单元的学习 Glorot 与 Mesnil 等人用降噪自编码模型来处理高维输入数据。与通常的型和正切非线 性隐单元相比,该自编码模型使用 rectified 单元使隐元产生更加稀疏的表示此之前献 7]经 对随机 rectified 元进行了介绍;对于高维稀疏数据,Dauphin 等人采用抽样重构算法,训练 过程只需要计算随机选择的很小的样子集的重构和重构误差, 在很大程度上提高了学习速度, 实验结果显示提速了 20 倍。Glorot 人提出在深度结构神经网络中,图像分类和情感分类问 题中用 rectified 线性神经元代替双曲正切或 S 型神经元,指出 rectified 神经元网络在零点产 生与双曲正切神经元网络相当或者有更好的性能, 能够产生有真正零点的稀疏表示, 非常适 合本质稀疏数据的建模, 在理解训练纯粹深度监督神经网络的困难, 搞清使用或不使用无监 督预训练学习的神经网络造成的性能差异方面,可以看做新的里程碑;Glorot 等人还提出用 增加 L1 正则化项来促进模型稀疏性,使用无穷大的激活函数防止算法运行过程中可能引起 的数值问题。在此之前,Nair 等人提出在RBM 环境中 rec-tified 神经元产生的效果比逻辑斯 蒂 S 型激活单元好,他们用无限数量的权值相同但是负偏差变大的一组单元替换二值单元, 生 成 用 于 R BM 的 更 好 的 一 类 隐 单 元 将 R BM 泛 化 , 可 以 用 噪 声 rectified 线 性 单 元 (rectifiedlinearunits)有效近似这些 S 型单元。用这些单元组成的RBM 在 NORB 数据集上 进行目标识别以及在数据集上进行已标记人脸实际验证, 得到比二值单元更好的性能, 并且 可以更好地解决大规模像素强度值变化很大的问题。 卷积神经网络 文献研究了用生成式子抽样单元组成的卷积神经网络在 MNIST 数字识别任务和 Caltech-101 目标分类基准任务上进行实验,显示出非常好的学习性能。Huang 等人提出一种的卷积学习 型———部卷积RBM,利用对象类中的总体结构学习特征,不假定图像具有平稳特征,在 实际人脸数据集上进行实验得到性能很好的实验结果。 深度学习的应用 语音识别,图像识别,自然语言识别,搜索广告 CTR 预估等领域 语音识别 语音识别系统长期以来, 在描述每个建模单元的统计概率模型时, 大多采用的是混合高斯模 型(GMM) 。这种模型由于估计简单,适合海量数据训练,同时有成熟的区分度训练技术支 持,长期以来,一直在语音识别应用中占有垄断性地位。但这种混合高斯模型本质上是一种 浅层网络建模,不能充分描述特征的状态空间分布。另外,GMM 建模的特征维数一般是几 十维,不能充分描述特征之间的相关性。最后,GMM 建模本质上是一种似然概率建模,虽 然区分度训练能够模拟一些模式类之间的区分性,但能力有限。 微软研究院语音识别专家邓立和俞栋从 2009 年开始和深度学习专家 Geoffery Hinton 合作。 2011 年微软宣布基于深度神经网络的识别系统取得成果并推出产品,彻底改变了语音识别 原有的技术框架。采用深度神经网络后,可以充分描述特征之间的相关性,可以把连续多帧 的语音特征并在一起, 构成一个高维特征。 最终的深度神经网络可以采用高维特征训练来模 拟。由于深度神经网络采用模拟人脑的多层结果,可以逐级地进行信息特征抽取,最终形成 适合模式分类的较理想特征。 这种多层结构和人脑处理语音图像信息时, 是有很大的相似性 的。深度神经网络的建模技术,在实际线上服务时,能够无缝地和传统的语音识别技术相结 合,在不引起任何系统额外耗费情况下,大幅度提升了语音识别系统的识别率。其在线的使 用方法具体如下:在实际解码过程中,声学模型仍然是采用传统的 HMM 模型,语音模型仍 然是采用传统的统计语言模型,解码器仍然是采用传统的动态 WFST 解码器。但在声学模型 的输出分布计算时, 完全用神经网络的输出后验概率乘以一个先验概率来代替传统 HMM 模 型中的 GMM 的输出似然概率。百度在实践中发现,采用 DNN 进行声音建模的语音识别系

统相比于传统的 GMM 语音识别系统而言, 相对误识别率能降低 25%。 最终在 2012 年 11 月, 百度上线了第一款基于 DNN 的语音搜索系统, 成为最早采用 DNN 技术进行商业语音服务的 公司之一。 国际上,Google 也采用了深层神经网络进行声音建模,是最早突破深层神经网络工业化应 用的企业之一。但 Google 产品中采用的深度神经网络只有 4-5 层,而百度采用的深度神经 网络多达 9 层。 这种结构差异的核心其实是百度更好地解决了深度神经网络在线计算的技术 难题,因此百度线上产品可以采用更复杂的网络模型。这将对于未来拓展海量语料的 DNN 模型训练有更大的优势。 相关算法: Yu 等人在文献中介绍了深度学习的基本概念、DBN 等常用的深度学习模型以及流行且 有效的深度学习算法,包括RBM 和基于降噪自编码模型的预训练方法,并指出在许多信号 处理应用中,特别是对语音和音频信号处理,深度学习技术有好的学习结果。通过综合深度 学习模型强大的判别训练和连续建模能力, 深度学习已成功应用于大规模词汇连续语音识别 任务。 卷积 DBN 和堆栈自编码网络等深度结构神经网络已经被用于语音和音频数据处理中, 如音乐艺术家流派分类、说话者识别、说话者性别分类和语音分类等,得到非常好的学习结 果。堆栈多层条件随机场(onditionalrandomfield,CRF)等其他深度结构神经网络结构模 型也成功用于语言识别、语音识别、序列标记和置信度校准等语音相关任务。Lee 等人首次 用无监督卷积神经网络方法将 DBN 用于声学信号处理,说明该方法在讲话者、性格和音素 检测上表现出比梅尔倒谱系数( Melfrequencycepstrumcoefficient,MFCC)更优越的性能。 Hamel 等人将 DBN 用于音乐类型识别和自动标记问题,将原始级光谱作为 DBN 的输入,用 贪婪预训练和监督微调方法进行训练,得到的分类精度比 MFCC 有很大改进。Schmidt 等人 用基于回归的 DBN 直接从光谱中学习特征,将系统应用于特定的音乐情感识别问题,并且 该系统也可以应用于任何基于回归的音频特征学习问题。Deng 等人将堆栈自编码网用于语 音特征编码问题,以最小的重构误差将数据压缩到预先设定长度的表示 图像识别 图像是深度学习最早尝试的应用领域。早在 1989 年,Yann LeCun(现纽约大学教授)和他的同 事们就发表了卷积神经网络(Convolution Neural Networks,简称 CNN)的工作。CNN 是一 种带有卷积结构的深度神经网络, 通常至少有两个非线性可训练的卷积层, 两个非线性的固 定卷积层(又叫 Pooling Laye)和一个全连接层,一共至少 5 个隐含层。CNN 的结构受到著 名的 Hubel-Wiesel 生物视觉模型的启发,尤其是模拟视觉皮层 V1 和 V2 层中 Simple Cell 和 Complex Cell 的行为。在很长时间里,CNN 虽然在小规模的问题上,如手写数字,取得过当 时世界最好结果,但一直没有取得巨大成功。这主要原因是,CNN 在大规模图像上效果不 好,比如像素很多的自然图片内容理解,所以没有得到计算机视觉领域的足够重视。这个情 况一直持续到 2012 年 10 月,Geoffrey Hinton 和他的两个学生在著名的 ImageNet 问题上用 更深的 CNN 取得世界最好结果,使得图像识别大踏步前进。在 Hinton 的模型里,输入就是 图像的像素,没有用到任何的人工特征。 这个惊人的结果为什么在之前没有发生?原因当然包括算法的提升, 比如 dropout 等防止过 拟合技术,但最重要的是,GPU 带来的计算能力提升和更多的训练数据。百度在 2012 年底 将深度学习技术成功应用于自然图像 OCR 识别和人脸识别等问题,并推出相应的桌面和移 动搜索产品,2013 年,深度学习模型被成功应用于一般图片的识别和理解。从百度的经验 来看, 深度学习应用于图像识别不但大大提升了准确性, 而且避免了人工特征抽取的时间消 耗,从而大大提高了在线计算效率。可以很有把握地说,从现在开始,深度学习将取代“人 工特征+机器学习”的方法而逐渐成为主流图像识别方法。 相关算法:

手写体字符识别 Bengio 等人运用统计学习理论和算机用研究 31 大量的实验工作证明了深度 学习算法非常具有潜力, 说明数据中间层表示可以被来自不同分布而相关的任务和样例共享, 产生更好的学习效果,并且在有 62 个类别的大规模手写体字符别场景上进行实验,用多任 务场景和扰动样例来得到分布外样例,并得到非常好的实验结果。Lee 等人对RBM 进行拓 展,学习到的模型使其具有稀疏性,可用于有效地学习数字字符和自然图像特征。 Hinton 等人关于深度学习的研究说明了如何训练深度 S 型神经网络来产生对手写体数字文本有用 的表示,用到的主要思想是贪婪逐层预训练RBM 之后再进行微调 Nair 等人用噪声 rectified 线性单元组成的深度结构神经网络将深度学习应用于目标识别和人 脸验证; Ranzato 等人提出深度产生式模型用于人脸识别; Susskind 人将因式分解的三路 BM 用于建立成对人脸图像的模型。Luo 等人研究如何从局部遮挡的人脸图像解析面部成分,提 出一种新的人脸解析器, 将人脸成分分割重构为重叠的形态数据过程, 首先在块等级和组等 级上检测人脸,在 DBN 上执行产生式训练过程,再用逻辑斯蒂回归进行判别式调整然后计 算对像素敏感的标记映射。 从 LFW、 BioID 和 CUFSF 三个数据集中挑选 2239 个图像进行实验, 说明了该方法的有效性, 该方法不仅对局部遮挡的人脸图像具有鲁棒性而且也为人脸分析和 人脸合成提供了更丰富的信息。 DBN 和堆栈自编码网络在单个图像别任务中表现出很好的性能,成功用于生成紧凑而有意 义的图像检索表示形式,并且已用于大型图像检索任务中,得到非常好的结果。Taylor 等人 将条件 DBN 用于视频排序和人类动作合成, 条件 DBN 使得 DBN 的权值与之前的数据相关联, 可以提高训练的有效性。 Lee 和Raina 等人用稀疏编码和 DBN 从自然图像中学习有效特征表 示。Nair 人提出改进的 DBN,该模型的顶层模型用三阶 BM,他们将这种模型用于三维目标 识别任务 NORB 数据集上,实验结果显示出训练得到了很低的预测误差率。Tang 等人提出 两种策略来提高 DBN 的鲁棒首先将 DBN 的第一层具有稀疏连接结构引入正则化方法,接着 提出一种概率降噪算法, 这些技术在高噪声图像识别任务和随机噪声的鲁棒性方面显示出其 有效性 Lee 等人提出一种深度学习方法使脑图像分割自动化, 用卷积神经网络建立用于脑图 像分割的判别特征, 能自动从人类家提供的类标签中进行学习, 通过实验验证该方法在自动 多类脑图像分割方面显示出优越的性能, 表明该方法可以替代已有的模板图像分割方法, 减 少了图像分割过程对人类专家的干预和对先验信息的需求。


更多相关文档:

深度学习的研究.doc

深度学习的研究 - 深度学习的研究 姓名:21321 班级:231321 学号:

BP神经网络及深度学习研究.doc

BP神经网络及深度学习研究 - BP 神经网络及深度学习研究 1 引言 人工神经

深度学习在控制领域的研究现状与展望_图文.pdf

在控制领域, 关于深度学习的研究已初现端倪. 本文在概述深度学习的主要思想和方法

深度学习的研究.doc

深度学习的研究 - 深度学习的研究 姓名:21321 班级:231321 学号:

深度学习研究概述.doc

深度学习研究概述 - 龙源期刊网 http://www.qikan.com.cn 深度学习研究概述 作者:聂振海 贾丹 来源:《科技创新导报》2015 年第 30 期 摘要:基于“深度神经...

深度学习的研究现状与发展_何晓萍_图文.pdf

深度学习的研究现状与发展_何晓萍 - 2017 年 2 月第 37 卷第 2 期

BP网络以及深度学习的研究.doc

BP网络以及深度学习的研究 - BP 神经网络 1 BP 网图:三层 BP 网

基于深度学习的目标检测最新研究进展总结概述(DL必看).pdf

基于深度学习的目标检测最新研究进展总结概述(DL必看) - 基于深度学习的目标检测研究进展 2016-05-30 深度学习大讲堂 深度学习大讲堂 开始本文内容之前,我们先来看...

深度学习研究进展_图文.pdf

深度学习研究进展 - 第31卷第7期2014年7月 计算机应用研究 Applic

深度学习方法研究新进展.pdf

深度学习方法研究新进展 - 2016年10月? ? ? ? ? ? ? ? DO

深度学习研究综述_图文.pdf

深度学习研究综述 - 第 41 卷第 1 期 2015 年 1 月 北 京 工

基于深度学习的人脸识别研究_林妙真_图文.pdf

基于深度学习的人脸识别研究_林妙真_教育学/心理学_人文社科_专业资料。 您的评论 发布评论 用户评价 谢谢!,基于深度学习的人脸识别研究_林妙真 2018-06-20 11...

深度学习调研研究报告(新修订)_图文.ppt

深度学习调研研究报告(新修订) - 深度学习调研报告 深度学习研究趋势 研究方向

深度学习方法研究新进展_论文.pdf

深度学习方法研究新进展 - 第1 1 卷第 5期 201 6年1 0月 DOI:

深度学习研究综述.pdf

第2 9卷第 8期21年 8月 02 计算机应用研究ApctnRsahoCmurplaoeerfoptsiice Vl9N.o2o8.Ag21u.02 深度学习研究综述, ,, 孙志军1,薛磊12,许阳明12,王正12...

深度学习研究报告.doc

深度学习研究报告 - 包鸾中学 2015 年秋语文深度学习研究报告 包鸾中学邱志凯 本学期,随着我校语文深度学习课题的教学实践,日常教学自然又演变出新的问题。我在 ...

深度学习研究概述_刘钰鹏_图文.pdf

深度学习研究概述_刘钰鹏 - 计算机工程应用技术 信息与电脑 China Computer&Communication 2016 年第 3 期 深度学习研究概述 刘钰鹏 (北方民族大学,...

基于深度学习的动作识别研究_图文.pdf

基于深度学习的动作识别研究 - 学校代号:1学密 0532 号:S131010061 级:普通 湖南大学硕士学位论文 基于深度学习的动作识别研究 论窒提童目塑; 诠塞筌避目塑; ...

深度学习研究概述_论文.pdf

深度学习研究概述 - 计算机工程应用技术 信息与电脑 China Computer&Communication 2016 年第 3 期 深度学习研究概述 刘钰鹏 (北方民族大学,宁夏 银...

深度学习研究综述_尹宝才_图文.pdf

深度学习研究综述_尹宝才_计算机软件及应用_IT/计算机_专业资料。机器学习类优

更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com