丹·迪莫克在 Unsplash 上拍摄的照片
这个博客将着眼于自然语言处理方面的 5 篇论文，每个机器学习爱好者都应该阅读。我开始读报已经有一段时间了，但我还是会经常读报。我认为这是一个向 ML/NLP 爱好者介绍该领域一些核心论文的好机会。
关于 word2vec 及其在自然语言处理中的应用已经说了很多。然而，很少有人知道，word2vec 并不是第一次尝试创建单词向量。其实它只是众多代词向量模型中的一个。在本文中，我将简要描述词向量的历史，并提供它们的原始资料的链接，以便您可以探索它们并了解词向量模型的演变。
单词向量:语言处理新维度的诞生(Peters 等人)在这篇论文中，Peters 等人提出了一种使用 300 维空间来表示单词的新方法。这种方法可以用于广泛的自然语言处理应用中，例如单词类比任务、单词相似度和单词相似度。本文描述了如何在实践中使用它们，以及如何将它们应用到不同的 NLP 应用中。
我们研究了递归神经网络(RNNs)在句子分类、解析和生成中的应用。rnn 非常适合学习长期依赖，这对自然语言处理任务至关重要，但最近显示它们容易发生灾难性的遗忘。我们提出了各种方法来解决这一问题，从而大大提高了准确性。我们还表明，即使对于长输入序列，RNNs 也可以在语言建模任务中获得有竞争力的性能。
神经网络的最新进展是在自然语言处理(NLP)的背景下取得的，其中递归神经网络(RNN)通常用于表示输入句子的结构。本文调查了一些开创性的基于 RNN 的自然语言处理任务，包括无监督的情感分类，句子压缩和释义生成。本文还讨论了一些与 RNN 相关的挑战，并强调了最近在时间和语境蕴涵和结构化预测领域的工作。
递归神经网络最近已经成为自然语言处理(NLP)中几个新方向的焦点。本文探讨了用于语言理解的递归神经网络结构的优点和局限性。作者将递归神经网络架构与长短期记忆(LSTM)架构等进行了比较。他们还讨论了用于 NLP 的递归神经网络的优点。
深度学习正在彻底改变机器学习和人工智能的许多领域。在本文中，作者描述了一种使用深度神经网络解决围棋问题的新方法。由于大量潜在的棋盘位置、评估棋盘位置的难度以及需要考虑下一步走哪一步棋，围棋被认为是人工智能体最难玩的游戏之一。作者的方法是创建一个可以搜索可能的棋盘位置空间的神经网络，然后使用第二个神经网络来评估位置并选择要采取的行动。这种方法允许程序探索比评估所有位置更多的走法。作者使用监督学习和自我游戏的结合来训练他们的程序。
在这一页，我们回顾了最近在用电脑击败围棋最优秀的人类棋手方面的进展。我们首先介绍这个游戏的概况，它的历史意义，以及人工智能历史上几个值得注意的里程碑。然后，我们讨论 AlphaGo 的神经网络架构、训练方法和硬件实现。我们还研究了 AlphaGo 中使用的树搜索函数的细节。最后，我们讨论了 AlphaGo 的局限性以及对人工智能未来的展望。
本文介绍了神经机器翻译的思想。它表明神经网络能够在不需要双语数据的情况下将一种语言翻译成另一种语言(英语翻译成法语，反之亦然)。想法是首先使用神经网络对齐两种语言的输入句子，然后将对齐的句子输入到从一种语言翻译到另一种语言的神经网络。
最近，借助于大型并行语料库和强大的卷积神经网络，机器翻译(MT)系统已经在许多语言对上取得了最先进的性能。然而，训练这些系统是昂贵的，经常需要数周的 CPU 时间。一种在保持准确性的同时加速训练的方法是联合学习对齐和翻译，这减少了学习对齐和翻译组件所需的训练示例的数量。然而，联合学习对齐和翻译的现有方法缺乏将对齐合并到网络架构中的原则性方法，这阻止了它们捕获对齐的结构。在本文中，我们提出通过同时最小化对齐和平移之间的统计距离以及未对齐的损失来联合学习对齐和平移。我们提出了一种新的未对准损失，它易于训练，并在几个语言对上提供了最新的结果。
深度学习是一个流行词，几乎在每个企业和网站上都有。但这到底意味着什么呢？这和网站的改进或者给你的访问者带来更好的体验有什么关系？大多数人并没有意识到他们的网站对他们网站之外的生活有多大影响，但是出色的用户体验(UX)通常可以带来转化。深度学习是一系列学习算法，旨在模拟大脑的结构。这篇文章强调了自然语言处理(NLP)深度学习中最重要的五篇论文。
深度学习是今年 NLP 社区的热门话题。深度学习是一种特定风格的神经网络，据说能够从原始数据中学习高级功能。在本文中，作者在 ImageNet 的大图像数据集上训练了各种神经网络(包括递归神经网络)。他们训练各种网络，并在训练后比较它们在验证集上的性能。他们发现，在相对少量的数据上训练的深度神经网络比各种其他神经网络(如递归神经网络、长短期记忆网络和卷积神经网络)表现更好。作者还发现深层神经网络比浅层神经网络表现更好。作者认为，深层网络做得很好，因为它们能够识别视觉概念，这种能力对图像分类至关重要。
结论:
这些论文将帮助你理解自然语言处理的基础。