诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类
论文名称：How Context Affects Language Models’ Factual Predictions
ArXiv网址：https://arxiv.org/abs/2005.04611
2020年AKBC论文，作者来自脸书和UCL。
本文主要关注zero-shot cloze-style question answering任务，使用LM+无监督检索，考察需要检索出什么样的上下文。
用DrQA检索器（TF-IDF检索维基百科）检索的结果，LM在QA上的指标就能和无监督场景相媲美。
open–domain QA的传统做法是retriever+reader（生成回答）
1. 数据集
2. LM
BERT
RoBERTa（削减了LAMA数据集以使其全部在RoBERTa的词表中）
3. baseline
DrQA：TF-IDF检索维基百科→抽取答案
将完形填空格式问题改成QA对："X was born in [Mask]" to "Where was X born?"
4. 上下文设置
在BERT中用不同的segment embeddings区分问题（0）和上下文（1），中间再加个[SEP]
RoBERTa用EOS
后面的实验证明这个操作能提升效果。这可能是因为利用了BERT的NSP任务。
限长512
Wikipedia Snippet 是从 Wikipedia 页面上提取的一小段文本，通常用于快速展示相关条目的主要内容或概述。这种摘要可以帮助用户快速了解某个主题的核心信息，无需阅读整个条目。在搜索引擎结果中，Wikipedia Snippet 常常出现，以便用户在点击进入 Wikipedia 网站之前，就能获得关键信息。例如，如果你搜索一个历史人物、科学概念或者任何其他主题，搜索引擎可能会显示来自 Wikipedia 的简短摘要，这就是所谓的 “Snippet”。
5. 主实验结果
a：结果token经常不出现在检索上下文中
b：结果token是否出现在上下文中，如何影响模型预测结果。确实影响
每种上下文相比无上下文的改变量，是否加separation的效果对比：
证明NSP起作用：
不同方案在不同数据集上的NSP率
LM概率的变化与NSP概率的关系
↑这个图的纵坐标差别这么大还画成这样，感觉不好。虽然我知道是为了表现趋势相似，但是纵坐标完全不在一个量级上啊！
案例分析：
原文地址:https://blog.csdn.net/PolarisRisingWar/article/details/134597273
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_3355.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
