本站分享:AI、大数据、数据分析师培训认证考试,包括:Python培训Excel培训Matlab培训SPSS培训SAS培训R语言培训Hadoop培训Amos培训Stata培训Eviews培训

hadoop安装配置超详细步骤_hadoop安装配置

hadoop培训 cdadata 5159℃

hadoop安装配置超详细步骤_hadoop安装配置

上一期我们讲了什么是hadoop,这一期我们讲hadoop的安装部署。hadoop安装并不难,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。由于hadoop伪分布模式的工作原理和集群模式的工作原理一样,这里我们以伪分布模式为例进行讲解。

工具/原料

方法/步骤

  1. 1

    首先讲讲安装思路。一、搭建系统环境,配置ip,主机名,设置ssh无密码登录;二、配置jdk环境;三、安装部署hadoop。

  2. 2

    一、我们首先讲系统环境的配置。<1>为系统配置一个ip地址,由于较简单,这里不做赘述。我这里做了双网卡绑定,IP地址为192.168.142.10。

    hadoop安装配置超详细步骤_hadoop安装配置
  3. 3

    <2>为系统配置主机名。命令:vi /etc/sysconfig/network。(注:主机名修改完成后需要重启主机)

    hadoop安装配置超详细步骤_hadoop安装配置
  4. <3>添加hosts解析记录,命令:vi /etc/hosts,具体内容如图片中所示。

    hadoop安装配置超详细步骤_hadoop安装配置
  5. <4>配置ssh无密码认证。执行如下命令:ssh-keygen。此处如果不会可以一直敲回车。执行完之后,将密钥拷贝到认证文件中,命令:ssh-copy-id 192.168.142.10,然后根据提示进行操作。

    hadoop安装配置超详细步骤_hadoop安装配置
  6. 二、接下来配置jdk。<1>首先将下载下来的jdk-6u20-linux-i586.bin拷贝至rhel6.4系统中的/usr/local目录中。注:可以通过winscp这个工具进行拷贝,也可以通过xftp进行拷贝。

    hadoop安装配置超详细步骤_hadoop安装配置
  7. <2>解压缩jdk,首先赋予jkd文件执行权限。命令:chmod a+x /usr/local/jdk-6u20-linux-i586.bin;解压缩命令:./jdk-6u20-linux-i586.bin;然后依据提示进行操作。解压后会生成一个目录:jdk1.6.0_20,为了便于后期配置java环境变量,我们把这个目录重命名为jdk,命令:mv /usr/local/jdk1.6.0_20 /usr/local/jdk;

    hadoop安装配置超详细步骤_hadoop安装配置
  8. <3>接着配置jdk环境变量,编辑/etc/profile文件,添加图片中标红的内容。命令:vi /etc/profile

    hadoop安装配置超详细步骤_hadoop安装配置
  9. 三、安装部署hadoop。<1>首先从官网下载hadoop软件包,这里我们下载的是hadoop-1.2.1.tar.gz版本。然后拷贝rhel6.4的/usr/local目录下,并解压缩。命令:tar zxvf hadoop-1.2.1.tar.gz;解压后会生成一个名为 hadoop-1.2.1的目录,我们接着把这个目录重命名为hadoop。命令:mv /usr/local/hadoop-1.2.1 /usr/loca/hadoop;

    hadoop安装配置超详细步骤_hadoop安装配置
  10. <2>接着配置hadoop家目录环境变量。vi /etc/profile,添加图片所示内容。

    hadoop安装配置超详细步骤_hadoop安装配置
  11. <3>接下来我们需要改四个配置文件hadoop-env.sh;core-site.xml;hdfs-site.xml;mapred-site.xml;

    hadoop安装配置超详细步骤_hadoop安装配置
  12. <4>首先修改hadoop-env.sh文件,配置如图所示。

    hadoop安装配置超详细步骤_hadoop安装配置
  13. <5>接下来我们修改core-site.xml配置文件,具体如图所示。

    hadoop安装配置超详细步骤_hadoop安装配置
  14. 14

    <6>接下来修改hdfs-site.xml文件,具体如图所示。

    hadoop安装配置超详细步骤_hadoop安装配置
  15. 15

    <7>然后修改mapred-site.xml文件具体内容如图所示。

    hadoop安装配置超详细步骤_hadoop安装配置
  16. 16

    <8>接下来在启动hadoop之前需要格式化hdfs。命令:hadoop namenode -format;

    hadoop安装配置超详细步骤_hadoop安装配置
  17. 17

    <9>启动hadoop并验证。启动命令:start-all.sh;验证命令:jps

    hadoop安装配置超详细步骤_hadoop安装配置
  18. 18

    至此,hadoop伪分布模式就已经安装完成,不知对您是否有所启发。(来源:百度经验)

 

转载请注明:数据分析 » hadoop安装配置超详细步骤_hadoop安装配置

喜欢 (5)or分享 (0)