hadoop集群环境搭建和常用命令

本文介绍: hadoop 集群搭建和常用命令

搭建 过程

1.集群配置

cat /etc/hosts

2.步骤安装 Jav a是否安装

whic h java 或者 echo $JAVA_HOME

3.解压安装包

tar -zx vf

4.修改配置文件

cd $HADOOP_HOME/etc/hadoop/

下面是需要修改的配置文件
 hadoop–env.s h
yarn–env.sh
hdfs–site.xml
core–site.xml
map red–site.xml
yarn–site.xml

5.配置环境变量(面试点！两种修改配置的命令有什么区别)

vim ~./bashrc 用户级别的

vim /etc/profile 全局生效的

6.刷新环境变量

source ~./bashrc

master环境变量拷贝到 slave1中，同时master和slave之间要进行两两免密登录（最好配置用户级别的）

scp -rp ~./bashrc  root@slave1:/root/.bashrc

scp -rp ~./bashrc  root@slave2:/root/.bashrc

7.拷贝安装包

8.集群启动

#初始化NameNode

hadoop name node –format

#启动/停止

 sh  $HADOOP_HOME/sbin/start-all.sh 

  sh  $HADOOP_HOME/sbin/stop-all.sh

9.验证

jps

常用命令

查看根目录 had oop fs -ls /
创建多级文件夹 had oop fs -mk dir –p /bd_29/aa/bb
查看文件路径 pwd
创建文件 touch
查看历史输入命令 history
删除全部已有命令 ctrl + u
快速回到第一个位置 Ctrl + a
关闭安全模式 had oop dfsadmin -safemode leave
查看硬盘空间 df -h

查看文件大小 du -sh * ：查看各个文件的大小

上传文件 had oop fs –put 当前文件路径目标文件路径
查看文件内容 had oop fs –cat(text/t ail) b.txt

查看文件内容前十行 hadoop fs –cat b.txt | head -10

查看文件大小 hadoop fs –du -s -h /test/a.txt

查看内容行数 hadoop fs –cat /b.txt | wc -l

查看文件个数 hadoop fs -ls /b.txt | wc -l
查看最近被修改的文件 ll –rt
查看隐藏的目录或者文件 ls -la
-rm -rf 使用之前先pwd ，删除必须指定文件名
:q! 强制退出

history 查看历史命令 history | grep move
vim中的常用命令

:set number 显示行号

:/HADOOP 查找关键字 HADOOP

gg 快速回到文件开始

shift + g 快速回到文件末尾

%s/ a /b / g 将 a 替换成 b

g+d 高亮单词
查看内容行数 hadoop fs –cat(text/tail) /bd_29/b.txt | wc -l
查看文件数量 hadoop fs -ls /bd_29/b.txt | wc -l
下载文件 hadoop fs –get /bd_29/b.txt .
删除文件放入回收站 hadoop fs -rmr /bd_29/