控制台
华北一（售罄） 华北二
华北三
华北一（售罄） 华北二 华北三
实名认证 备案
免费注册
帮助文档（华北一、二）
    当前位置:  浪潮云服务官网>>文档中心>>


  • 1.1 Sqoop的安装配置

    托管Hadoop中Sqoop默认与Oozie一起安装，如果您创建集群时勾选了Oozie，Sqoop将会安装在托管hadoop-******-master2节点上。如果需要单独安装Sqoop，可以参考以下步骤，否则可略过。

    A. 托管Hadoop中脚本安装

    以在master1节点安装为例。

    在master1节点上以root用户执行以下命令即可，默认安装到/home/hadoop/目录下

     sh /home/hadoop/.versions/umrAgent/script/install.sh sqoop 1.4.5 cdh5.4.9

    B. tar包安装

    以下示例为在托管Hadoop节点上下载tar包安装过程；若在非托管Hadoop节点上安装，需变更相关路径，可以适当参考。

    ● 在http://archive.cloudera.com/cdh5/cdh/5/

    下载sqoop-1.4.5-cdh5.4.9.tar.gz,

    并解压到/home/hadoop/.versions/。

     

      wget "http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.4.9.tar.gz"

      tar -zvxf sqoop-1.4.5-cdh5.4.9.tar.gz -C /home/hadoop/.versions/

    ● hadoop用户下建立软链

       ln -s /home/hadoop/.versions/sqoop-1.4.5-cdh5.4.9/ /home/hadoop/sqoop

    ● 加环境变量vim ~/.bashrc

     

    # sqoop

    export SQOOP_HOME=$HADOOP_HOME/sqoop

    export PATH=$PATH:$SQOOP_HOME/bin

    ● 配置sqoop环境变量

       cp $SQOOP_HOME/conf/sqoop-env-template.sh  $SQOOP_HOME/conf/sqoop-env.sh

    修改如下参数：

     

    #Set path to where bin/hadoop is available

    export HADOOP_COMMON_HOME=/home/hadoop

    #Set path to where hadoop-*-core.jar is available

    export HADOOP_MAPRED_HOME=/home/hadoop/share/hadoop/mapreduce

    #set the path to where bin/hbase is available

    export HBASE_HOME=/home/hadoop/hbase

    #Set the path to where bin/hive is available

    export HIVE_HOME=/home/hadoop/hive

    #Set the path for where zookeper config dir is

    export ZOOCFGDIR=/home/hadoop/zookeeper/conf

    ● 拷贝相关依赖

     

    cd /home/hadoop/sqoop

    cp /home/hadoop/hive/lib/mysql-connector-java-*.jar ./lib/

    cp /home/hadoop/share/hadoop/mapreduce/* ./lib/

    1.2 从MySQL导出到HDFS

    ● mysql信息如下：

    以MySQL 为例：10.10.50.79；database: hehe；用户：test；密码：test。

    表格信息如下：

    ● 执行语句。

     

    sqoop import --connect jdbc:mysql://10.10.50.79/hehe --username test --