控制台
华北一（售罄） 华北二
华北三
华北一（售罄） 华北二 华北三
实名认证
中国站
备案

 

免费注册
帮助文档（华北一、二）
    当前位置:  浪潮云服务官网>>文档中心>>


  • 出于安全性考虑，一般建议用户在非托管Hadoop集群机器上安装客户端进行任务提交与相关操作。

    利用安装脚本部署

    在任一master节点下的都有 /root/install_uhadoop_client.sh，用户可以利用此脚本进行客户端的安装部署

    也可以通过外网下载最新版本安装脚本：

     

    wget 

    "http://downloadupt.infile.inspurcloud.cn/install_uhadoop_client_new.sh"

    使用方法：

    在master节点/root目录下执行：

     

    sh /root/install_uhadoop_client_new.sh client_ip client_user password port

    client_ip: 客户机IP

    client_user: 客户机上需要安装客户端的用户名

    password: 客户机root密码

    port：客户机ssh连接端口

    安装完成后，请重新登录客户机或执行source ~/.bashrc

    自行安装

    ● 安装jdk，从集群master1节点上拷贝安装包到ECS：

     scp -r root@master_ip:/usr/java /usr/

    ● 安装hadoop客户端，从集群master1节点上拷贝安装包到ECS：

    注解：hadoop-<version>为hadoop具体对应的版本，可查看master的/home/hadoop/bin的软连接指向的版本，下同:

     

    #hadoop

    scp -r root@master_ip:/home/hadoop/.versions/hadoop-<version> /root/

    #hive

    scp -r root@master_ip:/home/hadoop/hive /root/

    #修改hive-site.xml jar包相对路径

    sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-site.xml

    #hbase

    scp -r root@master_ip:/home/hadoop/hbase /root/

    #spark

    scp -r root@master_ip:/home/hadoop/spark /root/

    #pig

    scp -r root@master_ip:/home/hadoop/pig /root/

    ● 修改配置

    –增加hosts映射，从集群master1节点上拷贝文件夹到ECS：

     

      scp root@master_ip:/etc/hosts /tmp/hosts

      cat /tmp/hosts | grep uhadoop >> /etc/hosts

    –修改环境变量

    修改/etc/profile或~/.bashrc，增加以下内容：

     

    # Environment variables required by hadoop

      export JAVA_HOME=/usr/java/latest

      export HADOOP_HOME_WARN_SUPPRESS=true

      export HADOOP_HOME=/root/hadoop-<version>

      #请将<version>改成指定路径

      export HADOOP_PREFIX=$HADOOP_HOME

      export HADOOP_MAPRED_HOME=$HADOOP_HOME

      export HADOOP_YARN_HOME=$HADOOP_HOME

      export HADOOP_COMMON_HOME=$HADOOP_HOME

      export HADOOP_HDFS_HOME=$HADOOP_HOME

      export YARN_HOME=$HADOOP_HOME

      export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

      export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

      # Hive

      export HIVE_HOME=/root/hive

      export HIVE_CONF_DIR=$HIVE_HOME/conf

      # HBase

      export HBASE_HOME=/root/hbase

      export HBASE_CONF_DIR=$HBASE_HOME/conf

      # spark

      export SPARK_HOME=/root/spark

      export SPARK_CONF_DIR=$SPARK_HOME/conf

      # pig

      export PIG_HOME=/root/pig

      export PIG_CONF_DIR=$PIG_HOME/conf

      export PIG_CLASSPATH=$HADOOP_HOME/conf

      export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SPARK_HOME/bin:$PIG_HOME/bin:$PATH

      export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:/usr/lib64:/usr/local/cuda/lib64:/usr/local/cuda/lib:$LD_LIBRARY_PATH

    –让环境生效

     source /etc/profile或者 source ~/.bashrc


文档是否已解决您的问题？

  已解决   未解决

如您有其它疑问，您也可以与我们技术专家联系探讨。

联系技术专家