自动化计算文本文件TTR的bash脚本
简介
这是一个可以计算文本文件TTR
的bash脚本,文件名为:calculate_TTR.sh
。它会接收一个文件名作为参数,并输出总单词数、特异单词数和TTR
。
TTR是什么
TTR(Type-Token Ratio)是用来衡量文章复杂程度的,计算方法很简单,就是一篇文章中用了多少单词(种类,去重后的)比上总共的单词数量。
T
T
R
=
U
n
q
u
T
l
脚本代码
#!/bin/bash
# 读取文件
filename="$1"
if [ ! -f "$filename" ]; then
echo "文件不存在或无法读取!"
exit 1
fi
# 去除标点符号和空格,只保留单词
words=$(cat "$filename" | tr -cs '[:alnum:]' '[n*]' | tr '[:upper:]' '[:lower:]')
# 计算总单词数量和不同单词数量
total_words=$(echo "$words" | wc -w)
unique_words=$(echo "$words" | sort | uniq | wc -w)
# -w或--words 只显示词数。
# -l或--lines 显示行数。
# 计算TTR
ttr=$(echo "scale=4; $unique_words/$total_words" | bc)
# -c或--bytes或--chars 只显示Bytes数。
# 输出结果
echo "Total: $total_words"
echo "Unique: $unique_words"
echo "TTR: $ttr"
非脚本程序
cat pubmed-a.txt |tr -cs "[:alnum:]" "n" |tr [:upper:] [:lower:] >pubmed.a.pure.txt
wc pubmed.a.pure.txt
sort pubmed.a.pure.txt |uniq |wc
cat pubmed-a.txt
: 显示文件pubmed-a.txt的内容。tr -cs "[:alnum:]" "n"
:使用tr命令将pubmed-a.txt中的非字母数字字符替换为换行符,保留字母数字字符。tr [:upper:] [:lower:]
:使用tr命令将pubmed-a.txt中的大写字母转换为小写字母。> pubmed.a.pure.txt
:将上一条命令的输出结果重定向到pubmed.a.pure.txt文件中。wc pubmed.a.pure.txt
:统计pubmed.a.pure.txt文件中的行数、单词数和字符数。sort pubmed.a.pure.txt | uniq | wc
:将pubmed.a.pure.txt文件中的内容按字典序排序,去重后再统计行数、单词数和字符数。
这些命令的目的是将pubmed-a.txt文件中的文本处理成纯文本格式,并统计其中的单词数、行数和字符数。其中,排序和去重操作可以用来查看pubmed-a.txt文件中不同单词的数量。
计算代码
chmod 777 calculate_TTR.sh
./calculate_TTR.sh BROWN_A.txt
./calculate_TTR.sh pubmed-a.txt
结果
d-a.txt
## 结果
[外链图片转存中...(img-nhbxYC5u-1677841449710)]
原文地址:https://blog.csdn.net/dream_of_grass/article/details/129325781
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_35782.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。