1 Hadoop简介

Hadoop一个开源大数据框架,是一个分布式计算解决方案Hadoop是由java语言编写的,在分布式服务器集群存储海量数据运行分布式分析应用开源框架,其核心部件是HDFS与MapReduce

        HDFS是一个分布式文件系统引入存放文件数据信息服务器Namenode和实际存放数据服务器Datanode,对数据进行分布式储存和读取

  MapReduce是一个分布式计算框架:MapReduce核心思想是把计算任务分配给集群内的服务器里执行通过对计算任务的拆分(Map计算/Reduce计算)再根据任务调度器(JobTracker)对任务进行分布式计算

2 Hadoop的特点

Hadoop是一个能够让用户轻松搭建使用分布式计算平台,能够让用户轻松地在Hadoop开发运行处理海量数据应用程序。Hadoop的主要特点如下

1)高可靠性Hadoop数据存储多个备份集群部署不同机器上,可以防止一个节点宕机造成集群损坏。当数据处理请求失败时,Hadoop自动重新部署计算任务。

2)高扩展性Hadoop是在可用计算机集群间分配数据并完成计算任务的。为集群添加新的节点并不复杂,因此可以很容易地对集群进行节点扩展

3)高效性。Hadoop可以在节点之间动态移动数据,在数据所在节点进行并行处理,并保证各个节点的动态平衡,因此处理速度非常快。

4)高容错性Hadoop分布式文件系统HDFS在存储文件时将在多台机器多个节点上存储文件备份副本,当读取文件出错或某一台机器宕机时,系统调用其他节点上的备份文件,保证程序顺利运行

5)低成本Hadoop开源的,即不需要支付任何费用即可下载安装使用节省了购买软件的成本。

6)可构建在廉价机器上。Hadoop不要求机器配置达到极高的标准,大部分普通商用服务即可满足要求,通过提供多个副本容错机制提高集群可靠性

7)Hadoop基本框架基于Java语言编写的。Hadoop是一个基于Java语言开发的框架,因此运行在Linux系统上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写,如C++和Python

3、windows上安装Hadoop.

下载对应源码

链接源码下载提取码:0103icon-default.png?t=N7T8https://pan.baidu.com/s/1tywqdaSJgjN-WYbIW_72WQ 

1、安装JDK

安装JDK详情icon-default.png?t=N7T8https://blog.csdn.net/qq_57335683/article/details/134750327?spm=1001.2014.3001.5502

2、配置环境变量

(配置HADOOP_HOME,环境变量path添加%HADOOP_HOME%bin

 添加环境变量名:HADOOP_HOME

变量值: 源码路径(根据自己的改变)

 在Path中添加:%HADOOP_HOME%bin

 3、使用快捷键win+R后输入cmd确认->弹出dos界面输入set确认是否配置成功

输入hadoop version验证环境变量

4、对hadoop-2.7.1etchadoophadoop-env.cmd中JDK路径进行修改:下面路径修改jdk安装路径

5、对hadoop-2.7.1etchadoophdfssite.xml的路径进行修改

红线是项目路径地址,后面保持一致不变。

 6、从项目路径hadoop-2.7.1bin拷贝hadoop.dll到 C:WindowsSystem32 。

管理员身份打开命令提示符

输入hdfs namenodeformat,看到如下所示说明format成功

7、转到hadoop-2.7.1sbin文件下,输入start-all启动hadoop集群

输入jps – 可以查看运行的所有节点

出现下面四个窗口表示启动hadoop集群成功

访问http://localhost:50070,访问hadoop的web界面

访问http://localhost:8088,访问yarnweb界面,有就表明已经成功

8、停止运行的所有节点的命令stop-all

原文地址:https://blog.csdn.net/qq_57335683/article/details/134753774

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_46456.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注