Lesson 4
python2的数据类型与python3有一些不同,本节课使用python2做一做实验:
本文出自韩国 Naver Corporation 和 Seoul National University ,工作定义在句子匹配任务上。Sentence Matching的关键之处在于如何表示句子语义(目前感觉就是上下文信息和类似 POS 的特征信息,不能说是语义),如何理解句子之间的语义关系。查看相关工作可以得到,Attention 算法在刻画两个句子语义关系和对齐句子成分方面有很好的效果,但是也有不足之处。Attention 机制仅使用求和操作,这样来自于上层的特征信息就会被破坏,不能完整保留下来。作者借鉴了图像识别中的DenseNet的密集连接操作,旨在更好地利用原始特征信息。
本文是ACL 2017的一篇文章,用更细粒度的gated-attention对背景文章和问题进行计算。作者是CMU的Graduate Research Assistant: Bhuwan Dhingra。文章的相关工作部分总结的很好,代码实现可以参考[GitHub]。