诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类
论文名称:How Can We Know What Language Models Know?
ArXiv网址:https://arxiv.org/abs/1911.12543
官方GitHub项目(prompt之类的都有):https://github.com/jzbjyb/LPAQA
本文是2020年TACL论文,作者来自卡耐基梅隆大学和博世北美研究所。
本文关注探索LM中蕴含的知识。以前已经有工作用完形填空的方式来探查知识(Obama is a __ by profession
),但是这些填空模版(prompt)都是手工做的,因此可能是sub-optimal的(在上一篇论文最后也提及了),不能充分发挥LM的能力。
本文的解决方案是自动挖掘prompt(远程监督、回译、集成)
这篇工作的实验真的多,这也太能做了。
1. 探查知识的方案
从数据库中获取知识是deterministic的,但从LM中获取知识(完形填空)是不可靠的。
本文用的都是双向LM,做填空题的那种。
- mining-based methods:远程监督:从维基百科中找三元组出现的句子。
- paraphrasing-based methods:对人工或挖掘得到的种子prompt进行回译
- 挑选和集成prompt
这篇paper里面还提及了BERT跟LM的标准定义严格来说不一样这一茬:
感觉现在已经没人在乎了=== 随便吧==
2. 实验
1. 数据集
2. LM
增强了外部的实体表征:
ERNIE
Know-Bert
3. baseline
- Majority
- Man:手工prompt
- Mine
- Mine+Man
- Mine+Para
- Man+Para
- TopK:求平均
- Opti.:加权平均
- Oracle:所有prompt中有一个能预测正确,就算LM知道这个知识
4. 实验设置
清洗噪音prompts
5. 主实验结果
集成权重:
K的选择:
在LAMA-HUN(一个比LAMA更难的benchmark)上的表现:
在Google-RE上的表现:
6. 实验分析
Prediction Consistency by Prompt
divergence是两个prompt预测结果不同的程度:
皮尔森相关系数是0.25,说明编辑距离和divergence之间确实存在弱相关性(prompt差别越大,预测结果差别越大)
POS-based Analysis
用排名分布而不是准确率分布,在脚注解释了一下是因为不同关系的准确率的量级不同
Cross-model Consistency
Linear vs. Log-linear Combination
求和的权重
7. 失败trick集合
这块真实诚啊
原文地址:https://blog.csdn.net/PolarisRisingWar/article/details/134591556
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_4987.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!