深度学习:一文看懂CNN、RNN等七种典范

admin 3个月前 ( 03-27 13:30 ) 0条评论
摘要: 1.前馈神经网络前馈神经网络的历史可以追溯到20世纪40年代,这是一种没有任何循环的网络。数据以单次传递的方式从输入传递到输出,而没有任何以前的“状态记忆”。...

1. 前馈神经网络 (FFNNs)




前馈神经网深圳巨发科技有限公司络 (Feed Forward Neural Networks, FFNNs) 的前史能够追溯到 20 世纪 40年代,这是一田爱青种没有任何循环的网络。数据以单次传递的办法从输入传递到输出,而没有任何曾经的 “状况回忆”。从技术上讲,深度学习中的大多数网络都能够被认为是FFNNs,但一般 “FFNN” 指的是gay104其最简略的变体:密布衔接的多层感知器 (MLP)

密布编码器用于将输入上现已很紧凑的一组数字映射到猎奇聚客猜测:分类 (离散) 或回归 (接连)

用于波士顿房价猜测的 FFNNs 示例,它是一个回归问题:叶茂然



网络学习时在练习集和验证集上的差错


2. 卷积神经网络 (CNN


深度学习:一文看懂CNN、RNN等七种模范



CNN(又叫 ConvNets) 是一种前馈神经网络,它运用一种空间不变性技巧来有效地学习图画中的部分办法,这种办法在图画中最为常见。空间不变性 (Spatial-invariance ) 是指,比如说,一张猫脸的图画上,左上角的猫耳与图画右下角的毛囊宁猫耳具有相同的特征。CNN 跨空间同享权重,使猫耳以及其他办法的检测愈加高效。

CN武侠之运朝兴起N 不是只运用密布衔接的层,而是运用卷积层 (卷积编码器)。这些网络用于图画分类、方针检测、视频动作辨认以及任何在结构上具有必定空间不变性的数据 (如语音音频)。

了解用于对 MNIST 数据会集狼人拜恩的手写数字进行分类的一个 CNN 示例。



分类猜测 (右),生成的手写数字 (左)。

3. 循环神经网络 (RNN)




RNN 是具有循环的网络,因而具有美丝沛 “状况回忆”。它们能够及时打开,成为权重同享的前馈网络白雅雅。正如 CNN 在 “空间” 上同享权重相同,RNN 在 “时刻” 上共深度学习:一文看懂CNN、RNN等七种模范享权重。这使得它们能够处理并有效地表明序列数据中的办法。

RNN 模块有许多变体,包含 LSTM 和 GRU,以协助学习更长的序列中的办法。它的运用包含自然语言建模、语音辨认深度学习:一文看懂CNN、RNN等七种模范、语音生成等。

练习循环神经网络是很有挑战性的,但一起也答应咱们对序列数据进行一些风趣而深度学习:一文看懂CNN、RNN等七种模范强壮的建模。使泰国电影模范生用 TensorFlow 生成文本的教程是我最喜欢的教程之一,因为它用很少的几行代码就完结了一些了不得的工作:在字符基础上生成合理的文本:



运用 TensorF变天辅佐low 出产文本


4. Encoder-Decoder 架构




前 3 节中介绍的 FFNN、CNN 和 RNN 都只是别离运用密布编码器、卷积编码器或循环编码器进行猜测的网络。这些编码器能够组合或切换,取决于咱们企图构成有用表明的原始数据类型。“Encoder-Decoder” 架构是一种更高档御剑飞龙决的概念,通过对紧缩表明进行上采样的解码进程来生成高维输出,深度学习:一文看懂CNN、RNN等七种模范而不是进行猜测。

请注意,编码器和解码器能够互相十分不同。例如, image captioning 网络可能有卷积编码器 (用于图画输入) 和循环解码器 (用于自然语言输出)。E化氏一窝疯经典配方ncoder-Decoder 架构的运用包含语义切割、机器翻译等。

针对自主车辆感知问题的最先进的切割网络:



运用 TensorFlow 的驾驭场景切割


5. 主动编码器 (Autoencoder污慢)


主动编码器 (Autoencoder) 是一种选用 encoder-decoder 架构的更简略的 “无监督学习” 办法,并学习生成输入数据的准确副本。因为编码的表彩田友也香示比输入数据小得多,网络被逼学习怎么构成最有含义的表明。

因为 ground truth 数据来自输入数据,所以不需求人工操作。换句话说,它是自我监督的。主动编码器的运用包含无监督嵌入、图画去噪等。

6. 生成对立网络 (GAN)


GAN 是乌鸦喜谀一种用于练习网络的结构,GAN 网络通过优化,能够从特定的表明中生成新的传神样本。最简略的办法是,练习进程触及两个网络。其间一个网络称为生成器(generator),它生成新的数据实例,企图诈骗另一个网络,即鉴别器 (discriminator),后者将图画分类为实在图画和假图画。

在曩昔的几年里,GAN 呈现了许多变体和改善,包含从特定类别生成图画的才能、从一个域映射到另一个域的才能,以及生成图画的实在性的惊人进步。例如,BigGAN (https://arxiv.org/abs/1809.11096) 从单一类别 (毒蝇伞) 中生成的三个样本:



BigGAN 生成的图画


7. 深度强化学习 (Deep RL)




强化学习 (RL) 是一个结构,用于教一个 agent 怎么以一种最大化报答的办法举动。当学习由神经网络完结时,咱们称之为深度强化学习 (Deep Reinforcement learning, Deep RL)。

RL 结构有三种类型:根据战略的 (policy-深度学习:一文看懂CNN、RNN等七种模范base深度学习:一文看懂CNN、RNN等七种模范d)、根据价值 (value-based) 的和根据模型的 (model-based)。差异在于神经网络的使命是学习。

Deep RL 答应咱们在需求做出一系列决议计划时,在模仿或实际环境中运用深度学习:一文看懂CNN、RNN等七种模范神经网络。包含游戏、机器人、神经架构查找等等。


MIT DeepTraffic: Deep Reinforcement Learning Competition


拓宽概念

在深度学习中有几个重要的概念并不是由上述架构直接表明的,包含变分自编码器(VAE)、LSTM/GRU 或神经图灵机中的 “水浒天行回忆” 概念、胶囊网络,以及注意力机制、搬迁学习元学习概念,以及 RL 中根据模型、根据价值、根据战略的办法和 actor机甲战役2-critic 办法的差异。

最终,许多深度学习体系将这些结构以杂乱的办法组合起来,一起从多模态数据中学习,或许一起学习处理多个使命。

——完——

文章版权及转载声明:

作者:admin本文地址:http://www.h-ta.com/articles/666.html发布于 3个月前 ( 03-27 13:30 )
文章转载或复制请以超链接形式并注明出处hi他!在线交友社区