问答系统(Question answering, QA)在自然语言处理中是一直是研究的重点领域。尽管这个领域已经拥有非常漫长的历史了,问答系统可以粗分为多个领域,例如文本问答系统,知识库问答系统,阅读理解系统,视觉问答系统,对话系统。更加细致一点的场景,问答系统还可以应用于信息检索和实体抽取。最近,QA也被用来开发对话系统和聊天机器人来进行模拟人类的交流。传统上来讲,此领域的大多数研究还都需要使用传统基于语义的自然语言处理技术(Natural Language Processing,NLP),例如分词,词性标记和指代消解。目前效果最好(2015年)的QA系统-IBM Watson 使用的就是这些技术。
然而,由于近些年在深度学习上的发展,神经网络模型已经展示了在QA上的一些突破。尽管这些系统仅涉及更加精简的学习过程,但是需要更大的训练量。GRU和LSTM允许RNNs针对QA处理更长的文本。更进一步的提升-例如注意力机制和记忆网络-允许网络去关注于最相关的事实。这些网络是当前深度学习QA中效果最好的。
本项目中,我们研究几个针对问答任务的深度学习模型。在描述两个基于RNN的基准模型后,我们会关注于端到端的记忆力网络,这个网络在一些QA任务中效果最好并且相对训练速度也很快