免费注册
帮助文档(华北一、二)

  • 1.1 Sqoop的安装配置

    托管Hadoop中Sqoop默认与Oozie一起安装,如果您创建集群时勾选了Oozie,Sqoop将会安装在托管hadoop-******-master2节点上。如果需要单独安装Sqoop,可以参考以下步骤,否则可略过。

    A. 托管Hadoop中脚本安装

    以在master1节点安装为例。

    在master1节点上以root用户执行以下命令即可,默认安装到/home/hadoop/目录下

     sh /home/hadoop/.versions/umrAgent/script/install.sh sqoop 1.4.5 cdh5.4.9

    B. tar包安装

    以下示例为在托管Hadoop节点上下载tar包安装过程;若在非托管Hadoop节点上安装,需变更相关路径,可以适当参考。

    ● 在http://archive.cloudera.com/cdh5/cdh/5/

    下载sqoop-1.4.5-cdh5.4.9.tar.gz,

    并解压到/home/hadoop/.versions/。

     

      wget "http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.4.9.tar.gz"

      tar -zvxf sqoop-1.4.5-cdh5.4.9.tar.gz -C /home/hadoop/.versions/

    ● hadoop用户下建立软链

       ln -s /home/hadoop/.versions/sqoop-1.4.5-cdh5.4.9/ /home/hadoop/sqoop

    ● 加环境变量vim ~/.bashrc

     

    # sqoop

    export SQOOP_HOME=$HADOOP_HOME/sqoop

    export PATH=$PATH:$SQOOP_HOME/bin

    ● 配置sqoop环境变量

       cp $SQOOP_HOME/conf/sqoop-env-template.sh  $SQOOP_HOME/conf/sqoop-env.sh

    修改如下参数:

     

    #Set path to where bin/hadoop is available

    export HADOOP_COMMON_HOME=/home/hadoop

    #Set path to where hadoop-*-core.jar is available

    export HADOOP_MAPRED_HOME=/home/hadoop/share/hadoop/mapreduce

    #set the path to where bin/hbase is available

    export HBASE_HOME=/home/hadoop/hbase

    #Set the path to where bin/hive is available

    export HIVE_HOME=/home/hadoop/hive

    #Set the path for where zookeper config dir is

    export ZOOCFGDIR=/home/hadoop/zookeeper/conf

    ● 拷贝相关依赖

     

    cd /home/hadoop/sqoop

    cp /home/hadoop/hive/lib/mysql-connector-java-*.jar ./lib/

    cp /home/hadoop/share/hadoop/mapreduce/* ./lib/

    1.2 从MySQL导出到HDFS

    ● mysql信息如下:

    以MySQL 为例:10.10.50.79;database: hehe;用户:test;密码:test。

    表格信息如下:

    ● 执行语句。

     

    sqoop import --connect jdbc:mysql://10.10.50.79/hehe --username test --