#学问分享官#深度学习的未来在于这三种学习模式，而且它们相互之间密切相关：混淆学习——现代深度学习方法如何跨越监视学习和非监视学习之间的界限，以适应大量未使用的无标签数据？复合学习——如何以缔造性的方法将差别的模型或组件毗连起来，以生成一个大于各部门之和的复合模型？简化学习——出于性能和部署目的，如何淘汰模型的规模和信息流，同时保持相同或更强的预测能力？01混淆学习这种方式试图跨越监视学习和非监视学习之间的界线。由于有标签数据缺乏且成本高，所以经常在业务上下文中使用。从本质上说，混淆学习是对下面这个问题的回覆：如何使用监视方法解决非监视问题？首先，半监视学习在机械学习领域取得了良好的希望，因为它只需要很少的有标签数据就能够在监视问题上有很是好的体现。例如，一个设计良好的半监视式 GAN（生成式反抗网络）只需要 25 个训练样本，就能在 MNIST 数据集上获得了凌驾 90% 的准确率。

半监视学习是针对有大量无监视数据和少量有监视数据的数据集而设计的。传统上，监视学习模型只在一部门数据上举行训练，无监视模型则在另一部门数据上举行训练，而半监视模型则可以将有标签数据与从无标签数据中提取的看法联合起来。半监视 GAN（简称 SGAN）是对 尺度生成式反抗网络模型 的改写。判别器输出 0/1 表现图像是否生成，它也输出项的种别（多输出学习）。

这是基于这样一种想法，即通过判别器学习区分真实的和生成的图像，它能够学习它们的结构而不需要详细的标签。通过少量标签数据的分外增强，半监视模型就可以在少量监视数据的情况下实现最高的性能。要相识关于 SGAN 和半监视学习的更多内容，请检察这里：https://towardsdatascience.com/supervised-learning-but-a-lot-better-semi-supervised-learning-a42dff534781GAN 还到场了混淆学习的另一个领域——自监视 学习，在这种学习中，非监视问题被明确地界说为监视问题。GAN 通过引入生成器人为地建立监视数据；建立标签来识别真实 / 生成的图像。

在无监视的前提下，建立了一个有监视的任务。或者，思量使用 编码器 - 解码器压缩模型。在最简朴的形式中，它们是中间有少量节点（表现某种瓶颈压缩形式）的神经网络。两头划分是编码器息争码器。

网络被训练成发生与输入向量相同的输出（从无监视数据人为地建立监视任务）。由于居心在中间设置了瓶颈，所以网络不会被动地通报信息；相反，它必须找到最好的方法将输入内容生存到一个小的单元中，这样，解码器就可以再次合理地对它解码。训练完成后，将编码器息争码器离开，用于压缩或编码数据的吸收端，以极小的形式传输信息，而又险些不丢失数据。

它们还可以用来降低数据的维数。另一个例子，思量一个大型的文本集（可能是来自数字平台的评论）。

通过一些聚类或流形学习（manifold learning）方法，我们可以为文本集生成聚类标签，然后用它们作为标签（如果聚类做得好的话）。在对每个类举行解释之后（例如，类 A 表现对产物的诉苦，类 B 表现努力的反馈，等等），可以使用像 BERT 这样的深层 NLP 架构将新文天职类到这些类中，所有这些都是使用了完全未标志的数据，并将人的到场降至最低。这又是一个将非监视任务转换为监视任务的有趣应用。

在一个绝大多数数据都是非监视数据的时代，通过混淆学习，在监视学习和非监视学习之间缔造性地架起一座桥梁，具有庞大的价值和潜力。02迁移学习复合学习为的是使用几种模式的知识，而不是一种。

该方法认为，通过奇特的组合或信息注入——包罗静态和动态——与单一模式相比，深度学习能够在明白和性能方面不停地深入。迁移学习是复合学习的一个显着的例子，它的前提是模型的权重可以从一个在类似的任务上预先训练过的模型中借用，然后在特定任务上举行微调。像 Inception 或 VGG-6 这样的预训练模型，其结构和权重被设计成可以区分几种差别种别的图像。如果我要训练一个神经网络来识别动物（猫、狗等），我不会重新开始训练卷积神经网络，因为要到达不错的效果需要太长时间。

相反，我会使用一个预先训练过的模型（好比 Inception，它已经存储了图像识此外基础知识），在数据集上分外举行几个 epoch 的训练。类似地，在 NLP 神经网络中，词嵌入会凭据单词之间的关系在一个嵌入空间中将单词映射到实际距离较近的其他单词（例如，“apple”和“orange”的距离比“apple”和“truck”的距离更小）。像 GloVe 这样预先训练好的嵌入可以放到神经网络中，从单词到有意义的数字化实体的有效映射开始。

较为隐秘的一点是，竞争也能促进知识增长。首先，生成式反抗网络借鉴了复合学习范式，从基础上使两个神经网络相互竞争。生成器的目的是欺骗判别器，而判别器的目的是不受骗。

下文会将模型之间的竞争称为“反抗性学习”，不要与另一种 设计恶意输入并使用模型弱决议界限 的反抗性学习相混淆。反抗性学习可以增强模型，通常是差别类型的模型，在反抗性学习中，一个模型的性能可以用其他模型的性能来表现。在反抗性学习领域另有许多研究需要做，生成式反抗网络是这个子领域唯一突出的创新。另一方面，竞争性学习与反抗性学习类似，可是逐节点执行的：节点竞争对输入数据的一个子集作出响应的权利。

竞争性学习是在一个“竞争层”中实现的，在这个“竞争层”中，除了某些权重随机漫衍外，神经元都是相同的。将每个神经元的权值向量与输入向量举行比力，然后激活（output = 1）相似度最高的“赢者全拿”神经元，其余神经元“不激活”（output = 0），这种无监视技术是 自组织映射 和 特征发现 的焦点组成部门。复合学习的另一个有趣的例子是 神经结构搜索。简而言之，在强化学习情况中，神经网络（通常是 RNN）通过学习为数据集生成最好的神经网络——算法为你找出最好的架构！你可以点击这里相识更多理论知识：https://towardsdatascience.com/if-youre-hyped-about-gpt-3-writing-code-you-haven-t-heard-of-nas-19c8c30fcc8a点击这里检察其 Python 实现：https://towardsdatascience.com/automl-creating-top-performing-neural-networks-without-defining-architectures-c7d3b08cddc集成（Ensemble）方法也是一种重要的复合学习方法。

深度集成方法已经被证明很是 有效，而且，端到端模型叠加，像编码器息争码器，已经变得越来越盛行。复合学习的主要目的是找出在差别模型之间建设联系的奇特方法。

它的前提是：单个模型，纵然是一个很是大的模型，其性能也不如几个小模型 / 组件，其中每一个都被委派专门处置惩罚一部门任务。例如，思量为一家餐馆构建一个谈天机械人的任务。我们可以将其划分为三个独立的部门：交际 / 闲聊、信息检索和行动，并针对每个部门单独设计一个模型。

或者，我们可以委托一个模型来执行所有这三个任务。复合模型性能更好，同时占用的空间更少，这应该没什么可奇怪的。

此外，这些非线性拓扑可以用 Keras 函数式 API 这样的工具轻松构建。为了处置惩罚越来越多样化的数据类型，如视频和三维数据，研究人员必须建设缔造性的复合模型。点击这里阅读更多关于复合学习及其未来展望的内容：https://medium.com/analytics-vidhya/compositional-learning-is-the-future-of-machine-learning-22b56ad09edc03简化学习模型的规模，尤其是在 NLP 领域（深度学习研究的中心），正在大幅增长。

最新的 GPT-3 模型有 1750 亿个参数。把它和 BERT 比力就像把木星和蚊子比力一样（并不夸张）。未来，深度学习的模型会更大吗？很可能不会。

诚然，GPT-3 很是强大，但历史一再讲明，“乐成的科学”是那些对人类影响最大的科学。当学术偏离现实太远时，通常会淡出人们的视线。

这就是神经网络在 20 世纪末期被短暂遗忘的原因，因为可用的数据太少了，以至于这个想法，无论何等巧妙，都是没用的。GPT-3 是另一种语言模型，它可以写出令人信服的文本。

它的应用在那里？是的，它可以生成查询的谜底。不外，另有更高效的方法来实现这一点（例如，遍历一个知识图，并使用一个更小的模型如 BERT 来输出谜底）。

思量到 盘算能力的枯竭，GPT-3 的庞大规模（更不用说更大的模型）似乎是不行行的，或者是不须要的。“摩尔定律有点过时了。”——微软首席执行官 Satya Nadella相反，我们正在走向一个嵌入式人工智能的世界，智能冰箱可以自动订购食品杂货，无人机可以自行导航飞遍整个都会。强大的机械学习方法应该能够下载到小我私家电脑、手机和小型芯片上。

这就需要轻量级人工智能：在保持性能的同时使神经网络更小。事实证明，在深度学习研究中，险些所有的工具都与直接或间接地淘汰须要参数的数量有关，而这又与提高泛化能力和性能精密相关。

例如，卷积层的引入大大淘汰了神经网络处置惩罚图像所需的参数数量。递归层在使用相同权值的同时融入了时间的观点，使得神经网络能够以更少的参数更好地处置惩罚序列。嵌入层显式地将实体映射到具有物理意义的数值，这样肩负就不会落在其他参数上。有一种解释说，Dropout 层在对输入的某些部门举行操作时会显式地屏蔽参数。

L1/L2 正则化 确保网络使用了所有的参数，而且每个参数都不会太大，并最大化了每个参数的信息价值。随着专用层的建设，网络对更庞大、更大数据的要求越来越少。其他最新方法明确地寻求简化网络。

神经网络剪枝 试图去除对网络输出没有价值的突触和神经元。通过剪枝，网络可以在去除大部门网络节点的情况下保持其性能。其他方法，如 Patient Knowledge Distillation，可以将大型语言模型压缩成可下载到用户手机上的形式。对于支撑谷歌翻译的 谷歌神经机械翻译（GNMT）系统 来说，这种思量是有须要的，该系统需要建立一个能够离线会见的高性能翻译服务。

本质上讲，简化学习以部署为中心举行设计。这就是为什么大多数关于简化学习的研究都来自于公司的研究部门。以部署为中心的设计不能盲目地遵循数据集上的性能指标，而要关注模型部署时的潜在问题。例如，前面提到的 反抗性输入 是设计用来欺骗网络的恶意输入。

可以用喷漆或贴纸来欺骗自动驾驶汽车，使其远远凌驾限速。卖力任的简化学习不仅是使模型足够轻量化，而且要确保它能够适应数据集中没有表现出的极端情况。

在深度学习研究中，简化学习获得的关注最少，因为“我们乐成地在可行的架构规模下实现了良好的性能”远不如“我们使用一个拥有无数参数的架构实现了最先进的性能”那么吸引人。不行制止地，当对更高百分比的追求消失时，正如创新的历史所显示的那样，简化学习——实际上就是实用的学习——将获得更多它应该获得的关注。总结混淆学习试图跨越监视学习和非监视学习的界限。

像半监视和自监视学习这样的方法能够从无标签数据中提取有价值的看法，当无监视数据的数量呈指数增长时，这些看法就变得很是有价值。随着任务变得越来越庞大，复合学习将一个任务剖析为几个更简朴的组件。

当这些组件一起事情或者相互反抗，就可以获得一个更强大的模型。深度学习已经进入炒作阶段，而简化学习还没有获得太多关注，但很快就会泛起足够实用而且是以部署为中心的设计。

本文来源：hth华体会体育全站app-www.gangdugroup.com