Error

An error occurred.

Sorry, the page you are looking for is currently unavailable.
Please try again later.

If you are the system administrator of this resource then you should check the error log for details.

Faithfully yours, nginx.

帮助文档（华北一、二）
    当前位置:  浪潮云服务官网>>文档中心>>


  • 出于安全性考虑，一般建议用户在非托管Hadoop集群机器上安装客户端进行任务提交与相关操作。

    利用安装脚本部署

    在任一master节点下的都有 /root/install_uhadoop_client.sh，用户可以利用此脚本进行客户端的安装部署

    也可以通过外网下载最新版本安装脚本：

     

    wget 

    "http://downloadupt.infile.inspurcloud.cn/install_uhadoop_client_new.sh"

    使用方法：

    在master节点/root目录下执行：

     

    sh /root/install_uhadoop_client_new.sh client_ip client_user password port

    client_ip: 客户机IP

    client_user: 客户机上需要安装客户端的用户名

    password: 客户机root密码

    port：客户机ssh连接端口

    安装完成后，请重新登录客户机或执行source ~/.bashrc

    自行安装

    ● 安装jdk，从集群master1节点上拷贝安装包到ECS：

     scp -r root@master_ip:/usr/java /usr/

    ● 安装hadoop客户端，从集群master1节点上拷贝安装包到ECS：

    注解：hadoop-<version>为hadoop具体对应的版本，可查看master的/home/hadoop/bin的软连接指向的版本，下同:

     

    #hadoop

    scp -r root@master_ip:/home/hadoop/.versions/hadoop-<version> /root/

    #hive

    scp -r root@master_ip:/home/hadoop/hive /root/

    #修改hive-site.xml jar包相对路径

    sed -i 's/home\/hadoop/root/g' /root/hive/conf/hive-site.xml

    #hbase

    scp -r root@master_ip:/home/hadoop/hbase /root/

    #spark

    scp -r root@master_ip:/home/hadoop/spark /root/

    #pig

    scp -r root@master_ip:/home/hadoop/pig /root/

    ● 修改配置

    –增加hosts映射，从集群master1节点上拷贝文件夹到ECS：

     

      scp root@master_ip:/etc/hosts /tmp/hosts

      cat /tmp/hosts | grep uhadoop >> /etc/hosts

    –修改环境变量

    修改/etc/profile或~/.bashrc，增加以下内容：

     

    # Environment variables required by hadoop

      export JAVA_HOME=/usr/java/latest

      export HADOOP_HOME_WARN_SUPPRESS=true

      export HADOOP_HOME=/root/hadoop-<version>

      #请将<version>改成指定路径

      export HADOOP_PREFIX=$HADOOP_HOME

      export HADOOP_MAPRED_HOME=$HADOOP_HOME

      export HADOOP_YARN_HOME=$HADOOP_HOME

      export HADOOP_COMMON_HOME=$HADOOP_HOME

      export HADOOP_HDFS_HOME=$HADOOP_HOME

      export YARN_HOME=$HADOOP_HOME

      export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

      export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

      # Hive

      export HIVE_HOME=/root/hive

      export HIVE_CONF_DIR=$HIVE_HOME/conf

      # HBase

      export HBASE_HOME=/root/hbase

      export HBASE_CONF_DIR=$HBASE_HOME/conf

      # spark

      export SPARK_HOME=/root/spark

      export SPARK_CONF_DIR=$SPARK_HOME/conf

      # pig

      export PIG_HOME=/root/pig

      export PIG_CONF_DIR=$PIG_HOME/conf

      export PIG_CLASSPATH=$HADOOP_HOME/conf

      export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SPARK_HOME/bin:$PIG_HOME/bin:$PATH

      export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:/usr/lib64:/usr/local/cuda/lib64:/usr/local/cuda/lib:$LD_LIBRARY_PATH

    –让环境生效

     source /etc/profile或者 source ~/.bashrc


文档是否已解决您的问题？

  已解决   未解决

如您有其它疑问，您也可以与我们技术专家联系探讨。

联系技术专家