1.安全模式
在安全模式下 不允许HDFS客户端进行任何修改文件的操作,包括上传文件，删除文件等操作。
#查看安全模式状态:
[root@node1 /]# hdfs dfsadmin -safemode get
Safe mode is OFF
#开启安全模式:
[root@node1 /]# hdfs dfsadmin -safemode enter
Safe mode is ON
#退出安全模式:
[root@node1 /]# hdfs dfsadmin -safemode leave
Safe mode is OFF
2.归档机制
归档原因: 每个小文件单独存放到hdfs中(占用一个block块),那么hdfs就需要依次存储每个小文件的元数据信息,相对来说浪费资源
归档格式: hadoop archive –archiveName 归档名.har –p 原始文件的目录 归档文件的存储目录
准备工作: HDFS上准备一个目录binzi,里面存储三个文件 1.txt 2.txt 3.txt …
[root@node1 /]# hadoop archive -archiveName test.har -p /binzi /
...
[root@node1 /]# hdfs dfs -ls /test1.har
Found 4 items
-rw-r--r-- 3 root supergroup 0 2022-12-27 15:56 /test.har/_SUCCESS
-rw-r--r-- 3 root supergroup 254 2022-12-27 15:56 /test.har/_index
-rw-r--r-- 3 root supergroup 23 2022-12-27 15:56 /test.har/_masterindex
-rw-r--r-- 3 root supergroup 47 2022-12-27 15:56 /test.har/part-0
[root@node1 /]# hdfs dfs -cat /test1.har/part-0
...
归档特性:
Hadoop Archives的URI是：har://scheme–hostname:port/路径/归档名.har
scheme–hostname格式为hdfs–域名:端口
如果没有提供scheme–hostname，它会使用默认的文件系统: har:///路径/归档名.har
[root@node1 /]# hdfs dfs -ls har:///test.har
Found 3 items
-rw-r--r-- 3 root supergroup 15 2022-12-27 15:55 har:///test.har/1.txt
-rw-r--r-- 3 root supergroup 16 2022-12-27 15:55 har:///test.har/2.txt
-rw-r--r-- 3 root supergroup 16 2022-12-27 15:55 har:///test.har/3.txt
[root@node1 /]# hdfs dfs -cat har:///test.har/1.txt
...
[root@node1 /]# hdfs dfs -cat har:///test.har/2.txt
...
[root@node1 /]# hdfs dfs -cat har:///test.har/3.txt
...
3.垃圾桶机制
在虚拟机中需要手动设置才能使用垃圾桶回收: 把删除的内容放到: /user/root/.Trash/Current/
先关闭服务： 在 node1 中执行 stop-all.sh 新版本不关闭服务也没有问题
再修改文件 core–site.xml : 进入/export/server/hadoop-3.3.0/etc/hadoop目录下进行修改
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
其中，1440 表示 1440分钟，也就是 24小时，一天的时间。
设置了垃圾桶机制好处: 文件不会立刻消失,可以去垃圾桶里把文件恢复,继续使用
# 没有开启垃圾桶效果
[root@node1 hadoop]# hdfs dfs -rm /binzi/hello.txt
Deleted /binzi/hello.txt
# 开启垃圾桶
[root@node1 ~]#cd /export/server/hadoop-3.3.0/etc/hadoop
[root@node1 hadoop]# vim core-site.xml
# 注意: 放到<configuration>内容</configuration>中间
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
# 开启垃圾桶效果
[root@node1 hadoop]# hdfs dfs -rm -r /test1.har
2023-05-24 15:07:33,470 INFO fs.TrashPolicyDefault: Moved: 'hdfs://node1.itcast.cn:8020/test1.har' to trash at: hdfs://node1.itcast.cn:8020/user/root/.Trash/Current/test1.har
# 开启垃圾桶后并没有真正删除,还可以恢复
[root@node1 hadoop]# hdfs dfs -mv /user/root/.Trash/Current/test1.har /
原文地址:https://blog.csdn.net/Yan_bigdata/article/details/134691571
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_42226.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
