控制台
华北一（售罄） 华北二
华北三
华北一（售罄） 华北二 华北三
实名认证 备案
免费注册
帮助文档（华北一、二）
    当前位置:  浪潮云服务官网>>文档中心>>


  • 出于安全性考虑，一般建议用户在非托管Hadoop集群机器上安装客户端进行任务提交与相关操作。

    利用安装脚本部署

    在任一master节点下的都有 /root/install_uhadoop_client.sh，用户可以利用此脚本进行客户端的安装部署

    也可以通过外网下载最新版本安装脚本：

     

    wget 

    "http://downloadupt.infile.inspurcloud.cn/install_uhadoop_client_new.sh"

    使用方法：

    在master节点/root目录下执行：

     

    sh /root/install_uhadoop_client_new.sh client_ip client_user password port

    client_ip: 客户机IP

    client_user: 客户机上需要安装客户端的用户名

    password: 客户机root密码

    port：客户机ssh连接端口

    安装完成后，请重新登录客户机或执行source ~/.bashrc

    自行安装

    ● 安装jdk，从集群master1节点上拷贝安装包到ECS：

     scp -r root@master_ip:/usr/java /usr/

    ● 安装hadoop客户端，从集群master1节点上拷贝安装包到ECS：

    注解：hadoop-<version>为hadoop具体对应的版本，可查看master的/home/hadoop/bin的软连接指向的版本，下同:

     

    #hadoop

    scp -r root@master_ip:/home/hadoop/.versions/hadoop-<version> /root/

    #hive

    scp -r root@master_ip:/home/hadoop/hive /root/

    #修改hive-site.xml jar包相对路径

    sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-site.xml

    #hbase

    scp -r root@master_ip:/home/hadoop/hbase /root/

    #spark

    scp -r root@master_ip:/home/hadoop/spark /root/

    #pig

    scp -r root@master_ip:/home/hadoop/pig /root/

    ● 修改配置

    –增加hosts映射，从集群master1节点上拷贝文件夹到ECS：

     

      scp root@master_ip:/etc/hosts /tmp/hosts

      cat /tmp/hosts | grep uhadoop >> /etc/hosts

    –修改环境变量

    修改/etc/profile或~/.bashrc，增加以下内容：

     

    # Environment variables required by hadoop

      export JAVA_HOME=/usr/java/latest

      export HADOOP_HOME_WARN_SUPPRESS=true

      export HADOOP_HOME=/root/hadoop-<version>