控制台
实名认证
中国站
登录
- 计算
- 网络
- 存储与CDN
-
数据库
-
云数据库 RDS MySQL
- 产品概述
- 产品定价
- 快速入门
- 操作手册
- 案例实践
- API文档
-
常见问题
- 如何访问MySQL实例？
- MySQL实例的安全性如何？
- 如何向MySQL实例中导入数据？
- 如何向MySQL实例中导出数据？
- 如何创建新用户并授予权限?
- QPS是如何统计的？
- 什么是内存溢出?
- 默认的最大连接数是多少？
- 如何查看数据库运行状态?
- 如何查看MySQL实例的SlowLog?
- 如何修改MySQL实例的配置参数？
- 如何安装和卸载插件？
- 如何使用MySQL-Proxy使MySQL实例可以通过外网访问？
- 何查看MySQL实例的各项监控指标？
- 是否可以查看云数据库运行状态？
- 默认的配置是针对哪种存储引擎优化的？
- 如何在云主机上搭建云数据库从库并进行主从同步呢？
- 如何正确设置字符集？
- 如何查询MySQL实例的客户端和服务器端版本
- 相关协议
- 云数据库 RDS PostgreSQL
- 云数据库 Redis
- 云数据库 MongoDB
- 分布式数据库 InDDB
- 云数据库 Memcache
-
云数据库 RDS MySQL
- 安全
- 人工智能
-
大数据
- ES服务 Elasticsearch
- 数据仓库 DW
- 托管Hadoop
- 管理和监控
-
API
-
对象存储OSS
- 创建Bucket-CreateBucket
- 获取Bucket信息-DescribeBucket
- 更改Bucket属性-UpdateBucket
- 删除Bucket-DeleteBucket
- 前缀列表查询 – PrefixFileList
- 上传文件 – PutFile
- 表单上传 – PostFile
- 秒传文件-UploadHit
- 下载文件-GetFile
- 查询文件基本信息-HEADFile
- 删除文件 – DeleteFile
- 初始化分片 – InitiateMultipartUpload
- 上传分片 – UploadPart
- 完成分片 – FinishMultipartUpload
- 放弃分片 – AbortMultipartUpload
- 查看配额状态-GetUFileQuota
- 查询配额支付价格-GetUFileQuotaPrice
- 查看配额使用报表-GetUFileReport
- 获取配额信息-GetUFileQuotaInfo
- 获取已上传成功的分片列表-GetMultiUploadPart
- 更新令牌-UpdateUFileToken
- 删除令牌-DeleteUFileToken
- 获取令牌信息-DescribeUFileToken
- OSS 错误码列表
- 操作文件的Meta信息 – OpMeta
- API文档综述
-
弹性公网IP EIP
- 1、申请弹性IP-AllocateEIP
- 2、获取弹性IP信息-DescribeEIP
- 3、更新弹性IP属性-UpdateEIPAttribute
- 4、释放弹性IP-ReleaseEIP
- 5、绑定弹性IP-BindEIP
- 6、解绑弹性IP-UnBindEIP
- 7、调整弹性IP带宽-ModifyEIPBandwidth
- 8. 修改弹性IP出口权重-ModifyEIPWeight
- 9. 获取弹性IP价格-GetEIPPrice
- 10. 获取弹性IP带宽改动价格-GetEIPUpgradePrice
- 11. 获取弹性IP计费方式-GetEIPPayMode
- 12. 设置弹性IP计费方式-SetEIPPayMode
- 13. 申请内网虚拟IP-AllocateVIP
- 14. 获取内网虚拟IP信息-DescribeVIP
- 15. 释放内网虚拟IP- ReleaseVIP
- 16. 创建带宽包-CreateBandwidthPackage
- 17. 获取带宽包信息-DescribeBandwidthPackage
- 18. 删除带宽包-DeleteBandwidthPackage
- 19. 开通共享带宽-AllocateShareBandwidth
- 20. 获取共享带宽信息-DescribeShareBandwidth
- 21. 调整共享带宽-ResizeShareBandwidth
- 22. 关闭共享带宽-ReleaseShareBandwidth
- 23. 将EIP加入共享带宽-AssociateEIPWithShareBandwidth
- 24. 将EIP移出共享带宽-DisassociateEIPWithShareBandwidth
- 25. 获取带宽用量-DescribeBandwidthUsage
- 26. 更新防火墙属性-UpdateFirewallAttribute
- 27. 获取防火墙信息-DescribeFirewall
- 28. 应用防火墙-GrantFirewall
- 29. 错误码
-
云服务器ECS
- 1、获取VNC登录信息-GetUHostInstanceVncInfo
- 2、启动云服务器-StartUHostInstance
- 3、重启云服务器-RebootUHostInstance
- 4、关闭云服务器-StopUHostInstance
- 5、获取云服务器业务组列表-DescribeUHostTags
- 6、字段规范
- 7、删除云服务器-TerminateUHostInstance
- 8、重置云服务器密码-ResetUHostInstancePassword
- 9、修改云服务器业务组-ModifyUHostInstanceTag
- 10、修改云服务器名-ModifyUHostInstanceName
- 11、获取挂载磁盘的升级价格-GetAttachedDiskUpgradePrice
- 12、修改云服务器配置-ResizeUHostInstance
- 13、获取升级配置价格-GetUHostUpgradePrice
- 14、创建云服务器-CreateUHostInstance
- 15、移除硬件隔离组-LeaveIsolationGroup
- 16、创建硬件隔离组-CreateIsolationGroup
- 17、删除自制镜像-TerminateCustomImage
- 18、创建自制镜像-CreateCustomImage
- 19、导入镜像-ImportCustomImage
- 20、修改云服务器备注-ModifyUHostInstanceRemark
- 21、修改挂载的磁盘大小-ResizeAttachedDisk
- 22、模拟服务器掉电-PoweroffUHostInstance
- 23、重装系统-ReinstallUHostInstance
- 24、获取镜像列表-DescribeImage
- 25、获取云服务器价格-GetUHostInstancePrice
- 26、获取云服务器信息-DescribeUHostInstance
- 27、普通机型开启CDP-UpgradeToArkUHostInstance
-
对象存储OSS
- 用户提醒
- 服务等级协议(SLA)
- 企业上云常见问题
- 其他协议
- 云市场
- 开发者
- 账户管理
-
1.1 Sqoop的安装配置
托管Hadoop中Sqoop默认与Oozie一起安装，如果您创建集群时勾选了Oozie，Sqoop将会安装在托管hadoop-******-master2节点上。如果需要单独安装Sqoop，可以参考以下步骤，否则可略过。
A. 托管Hadoop中脚本安装
以在master1节点安装为例。
在master1节点上以root用户执行以下命令即可，默认安装到/home/hadoop/目录下
sh /home/hadoop/.versions/umrAgent/script/install.sh sqoop 1.4.5 cdh5.4.9 B. tar包安装
以下示例为在托管Hadoop节点上下载tar包安装过程；若在非托管Hadoop节点上安装，需变更相关路径，可以适当参考。
● 在http://archive.cloudera.com/cdh5/cdh/5/
下载sqoop-1.4.5-cdh5.4.9.tar.gz,
并解压到/home/hadoop/.versions/。
wget "http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.4.9.tar.gz"
tar -zvxf sqoop-1.4.5-cdh5.4.9.tar.gz -C /home/hadoop/.versions/
● hadoop用户下建立软链
ln -s /home/hadoop/.versions/sqoop-1.4.5-cdh5.4.9/ /home/hadoop/sqoop ● 加环境变量vim ~/.bashrc
# sqoop
export SQOOP_HOME=$HADOOP_HOME/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
● 配置sqoop环境变量
cp $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.sh 修改如下参数：
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/share/hadoop/mapreduce
#set the path to where bin/hbase is available
export HBASE_HOME=/home/hadoop/hbase
#Set the path to where bin/hive is available
export HIVE_HOME=/home/hadoop/hive
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/home/hadoop/zookeeper/conf
● 拷贝相关依赖
cd /home/hadoop/sqoop
cp /home/hadoop/hive/lib/mysql-connector-java-*.jar ./lib/
cp /home/hadoop/share/hadoop/mapreduce/* ./lib/
1.2 从MySQL导出到HDFS
● mysql信息如下：
以MySQL 为例：10.10.50.79；database: hehe；用户：test；密码：test。
表格信息如下：
● 执行语句。
sqoop import --connect jdbc:mysql://10.10.50.79/hehe --username test --
password test --table t_hadoop_version --target-dir /tmp/sqoop-import-hdfs
注解
10.10.50.79 mysql的ip；
--username 访问数据的用户名称；
--password 访问数据的密码；
--table t_hadoop_version 数据表名称；
--target-dir 数据导入到hdfs中的目标目录。
● 查看结果
1.3 从MySQL导出到Hive
● mysql信息如下：
● 执行语句
sqoop import --connect jdbc:mysql://10.10.50.79/hehe --username test --
password test --table t_hadoop_version --warehouse-dir
/user/hive/warehouse --hive-import --create-hive-table
注解：
10.10.50.79是mysql的ip；
--username test 访问数据的用户名称；
--password test 访问数据的密码；
--table t_hadoop_version 数据表名称；
--warehouse-dir hive数据库的hdfs目录。
● 查看结果
如图所示，mysql中的表格t_hadoop_version已经导入hive中
1.4 从Hive导出到MySQL
● hive表格中数据如下所示：
● 执行语句
sqoop export --connect jdbc:mysql://10.10.50.79/hehe --username test --
password test --table t_hadoop_version --export-dir
/user/hive/warehouse/t_hadoop_version --fields-terminated-by "\t"
注解
10.10.50.79是mysql的ip；
--username test 访问数据的用户名称；
--password test 访问数据的密码；
--table t_hadoop_version 数据表名称；
--export-dir 要导出的数据目录；
--fields-terminated-by 数据分割方式；
● 查看结果
之前mysql数据库中的结果+hive数据创库的结果，显示如下所示：
