免费注册
帮助文档(华北一、二)

  • 出于安全性考虑,一般建议用户在非托管Hadoop集群机器上安装客户端进行任务提交与相关操作。

    利用安装脚本部署

    在任一master节点下的都有 /root/install_uhadoop_client.sh,用户可以利用此脚本进行客户端的安装部署

    也可以通过外网下载最新版本安装脚本:

     

    wget 

    "http://downloadupt.infile.inspurcloud.cn/install_uhadoop_client_new.sh"

    使用方法:

    在master节点/root目录下执行:

     

    sh /root/install_uhadoop_client_new.sh client_ip client_user password port

    client_ip: 客户机IP

    client_user: 客户机上需要安装客户端的用户名

    password: 客户机root密码

    port:客户机ssh连接端口

    安装完成后,请重新登录客户机或执行source ~/.bashrc

    自行安装

    ● 安装jdk,从集群master1节点上拷贝安装包到ECS:

     scp -r root@master_ip:/usr/java /usr/

    ● 安装hadoop客户端,从集群master1节点上拷贝安装包到ECS:

    注解:hadoop-<version>为hadoop具体对应的版本,可查看master的/home/hadoop/bin的软连接指向的版本,下同:

     

    #hadoop

    scp -r root@master_ip:/home/hadoop/.versions/hadoop-<version> /root/

    #hive

    scp -r root@master_ip:/home/hadoop/hive /root/

    #修改hive-site.xml jar包相对路径

    sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-site.xml

    #hbase

    scp -r root@master_ip:/home/hadoop/hbase /root/

    #spark

    scp -r root@master_ip:/home/hadoop/spark /root/

    #pig

    scp -r root@master_ip:/home/hadoop/pig /root/

    ● 修改配置

    –增加hosts映射,从集群master1节点上拷贝文件夹到ECS:

     

      scp root@master_ip:/etc/hosts /tmp/hosts

      cat /tmp/hosts | grep uhadoop >> /etc/hosts

    –修改环境变量

    修改/etc/profile或~/.bashrc,增加以下内容:

     

    # Environment variables required by hadoop

      export JAVA_HOME=/usr/java/latest

      export HADOOP_HOME_WARN_SUPPRESS=true

      export HADOOP_HOME=/root/hadoop-<version>