搜索
当前位置: 凤凰秒秒彩 > 读文本属性 >

一周论文 新论文解读(情感分析、机器阅读理解、知识图谱、文本

gecimao 发表于 2019-04-25 12:51 | 查看: | 回复:

  原标题:一周论文 新论文解读(情感分析、机器阅读理解、知识图谱、文本分类)

  本期的PaperWeekly一共分享四篇最近arXiv上发布的高质量paper,包括:情感分析、机器阅读理解、知识图谱、文本分类。人工智能及其相关研究日新月异,本文将带着大家了解一下以上四个研究方向都有哪些最新进展。四篇paper分别是:

  本文提出了一种新的基于语言资源约束和LSTM/Bi-LSTM的模型用于情感分类,并通过在MR和SST数据集上的实验和对RNN/RNTN,LSTM,Tree-LSTM,CNN的效果对比证明了这一模型的有效性。除此之外,本文还基于不同的约束进行了实验,证明的不同的约束在提高分类精度上的作用。本文实验丰富,效果的提升虽不显著,但新的模型确实在不同程度上克服了旧模型的一些不足。

  针对答案非定长的阅读理解任务,本文提出了DCR(dynamic chunk reader)模型,来从给定的文档中抽取可能的候选答案并进行排序。

  如图所示,这部分是用双向GRU分别对文档(Passage)和问题(Question)进行编码。

  该层采用的方法与相关工作中的mLSTM类似,文档每个时刻的状态hjp都与问题中的每个状态hkq进行匹配得到一个权重向量αk,然后再根据该权重向量对问题的GRU隐层输出hp进行加权求和,得到文档中该时刻状态hjp对应的上下文向量βj,两个向量hjp和βj拼接在一起作为该时刻新的表示vj。最后再将上述与问题相关的新文档表示v通过双向GRU,得到文档最终的表示γ。

  上一部分获得了与问题相关的文档表示γ,那么这部分则是考虑如何抽取候选答案,并获得候选答案的表示向量。本文提出了两种候选答案抽取方法,第一种方法是抽取所有满足训练数据中答案对应词性标注模式的候选项,第二种方法则是简单粗暴地确定一个候选项最大长度,然后遍历所有可能的候选项。至于候选答案的表示方式,本文将候选答案前向GRU的最后一个时刻状态和反向GRU第一个时刻状态拼接在一起作为最终候选项的表示。

  已经获得了所有候选项的表示,那么接着就是对所有候选项进行打分排序。本文中打分是采用问题的表示和候选项的表示计算内积的方式得到的,本文训练过程中没有采用常见于排序任务的Margin ranking loss,而是先用softmax对所有候选项计算一个概率值,然后采用交叉熵损失函数进行训练。

  本文在SQuAD数据集上进行实验,提出的方法效果比之前两篇SQuAD相关paper的方法有较大的提升。

  在对文档和问题编码阶段,本篇论文提出的模型与之前mLSTM那篇paper有些相似。两篇论文中模型的主要区别在于:mLSTM那篇论文采用预测起始、终止位置的方法来确定答案,而本文则是先采用一些规则或Pattern的方法来抽取一些候选答案,然后再对候选答案进行排序。

  解决方法:采用自动判别技术,领域知识库索引技术,利用实体和关系的语义去判别所给定知识库领域中的相关部分。

  解决方法:使用 human-in-the-loop模型在真实的临床数据和已有的知识库中去发现更多的实体与实体之间的关系。

  解决方法:在单个属性的表示中加入了三元组和软逻辑的解释能力及其相关概率值和理由。

  本文主要举例说明了知识将推动机器对内容的理解。总体来看本文像一篇综述性的文章,给出了在知识库创建过程中所遇到的问题的解决方案,同时以实际案例来阐述知识在我们实际问题中应用。

  本文提出了一个新的深度学习的模型–AC-BLSTM的模型(即:将ACNN和BLSTM组合在一起),用于句子和文章层面的分类。

  1、输入: 输入是一个sentence,使用 ( L d )的矩阵表示,其中L表示句子中的L个词,d表示每个词的词向量的维度

  这一层的输入是一个 ( L d ) 的矩阵,对于n个尺度为( 1 d ) 和( ki 1 )的卷积层的输出是一个 [ (L - ki + 1) n ]的矩阵,如下图所示,本文采用了3种不同的卷积核,所以输出是3种不同的[ (L - ki + 1) n ]的矩阵(图中一个彩色的小方块表示 (1 * n)的向量)

  5、Softmax层: 为了应用于分类问题,本文在最后使用全连接层和softmax函数来实现分类。

  3、Szegedy et al.于2015年在中提出了ACNN模型,这减少了参数的个数且提高了模型的表征

  这篇文章主要贡献就是提出了一个AC-BSLTM的模型用于文本分类,亮点就在于:ACNN可以在减少参数的个数的同时通过增加更多的非线性性来提高表达能力,而BLSTM能够捕捉输入的两端的信息。两者的结合就提高了分类的精度。但事实上,这两个网络模型都是现有的,本文的工作感觉只是两个网络的连接,在本质上没有太大的改进,且在分类精度上的提高也比较有限。

  PaperWeekly是一个分享知识和交流学问的学术组织,关注的领域是NLP的各个方向。如果你也经常读paper,也喜欢分享知识,也喜欢和大家一起讨论和学习的话,请速速来加入我们吧。

  微信交流群:微信+ zhangjun168305(请备注:加群交流或参与写paper note)返回搜狐,查看更多

本文链接:http://arnybarn.net/duwenbenshuxing/99.html
随机为您推荐歌词

联系我们 | 关于我们 | 网友投稿 | 版权声明 | 广告服务 | 站点统计 | 网站地图

版权声明:本站资源均来自互联网,如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

Copyright @ 2012-2013 织梦猫 版权所有  Powered by Dedecms 5.7
渝ICP备10013703号  

回顶部