大数据基础 HDFS客户端操作

本文介绍: 我们之所以要使用Maven，是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制，这些功能可以使得我们的项目结构更加清晰，导入jar包的方式更加方便和标准，进而使得我们的开发更加的便捷高效。maven是Apa che的顶级项目，解释为“专家，内行”，它是一个项目管理的工具，maven自身是纯java 开发的，可以使用 m aven对java项目进行构建、依赖管理。

依赖管理
依赖指的就是我们项目中需要使用的第三方Jar包, 一个大一点的工程往往需要几十上百个Jar包,按照我们之前的方式,每使用一种Jar,就需要导入到工程中,还要解决各种Jar冲突的问题.
Maven可以对Jar包进行统一的管理,包括快速引入Jar包,以及对使用的 Jar包进行统一的版本控制
一键构建项目
之前我们创建项目,需要确定项目的目录结构,比如src 存放Java源码, re sources存放配置文件,还要配置环境比如JDK的版本等等,如果有多个项目那么就需要每次自己搞一套配置,十分麻烦
Maven为我们提供了一个标准化的Java项目结构,我们可以通过Maven快速创建一个标准的Java项目.

使用 Maven 管理工具，我们首先要到官网去下载它的安装软件。

Maven – Download Apache Maven

Maven 下载后，将 Maven 解压到一个没有中文没有空格的路径下，比如:H:softwaremaven 下面。解压后目录结构如下：

<dependencies&gt;
<dependency&gt;
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class hdfsapitest {
    @Test
    public void testMkdirs() throws URISyntaxException, IOException,InterruptedException
    {
        Configuration configuration=new Configuration();
        FileSystem fs=FileSystem.get(new URI("hdfs://hadoop101:8020"),configuration,"zhangna");
        fs.mkdirs(new Path("dashuju/class/"));
        fs.close();

    }
}