- 计算
- 网络
- 存储与CDN
-
数据库
-
云数据库 RDS MySQL
- 产品概述
- 产品定价
- 快速入门
- 操作手册
- 案例实践
- API文档
-
常见问题
- 如何访问MySQL实例?
- MySQL实例的安全性如何?
- 如何向MySQL实例中导入数据?
- 如何向MySQL实例中导出数据?
- 如何创建新用户并授予权限?
- QPS是如何统计的?
- 什么是内存溢出?
- 默认的最大连接数是多少?
- 如何查看数据库运行状态?
- 如何查看MySQL实例的SlowLog?
- 如何修改MySQL实例的配置参数?
- 如何安装和卸载插件?
- 如何使用MySQL-Proxy使MySQL实例可以通过外网访问?
- 何查看MySQL实例的各项监控指标?
- 是否可以查看云数据库运行状态?
- 默认的配置是针对哪种存储引擎优化的?
- 如何在云主机上搭建云数据库从库并进行主从同步呢?
- 如何正确设置字符集?
- 如何查询MySQL实例的客户端和服务器端版本
- 相关协议
- 云数据库 RDS PostgreSQL
- 云数据库 Redis
- 云数据库 MongoDB
- 分布式数据库 InDDB
- 云数据库 Memcache
-
云数据库 RDS MySQL
- 安全
- 人工智能
-
大数据
- ES服务 Elasticsearch
- 数据仓库 DW
- 托管Hadoop
- 管理和监控
-
API
-
对象存储OSS
- 创建Bucket-CreateBucket
- 获取Bucket信息-DescribeBucket
- 更改Bucket属性-UpdateBucket
- 删除Bucket-DeleteBucket
- 前缀列表查询 – PrefixFileList
- 上传文件 – PutFile
- 表单上传 – PostFile
- 秒传文件-UploadHit
- 下载文件-GetFile
- 查询文件基本信息-HEADFile
- 删除文件 – DeleteFile
- 初始化分片 – InitiateMultipartUpload
- 上传分片 – UploadPart
- 完成分片 – FinishMultipartUpload
- 放弃分片 – AbortMultipartUpload
- 查看配额状态-GetUFileQuota
- 查询配额支付价格-GetUFileQuotaPrice
- 查看配额使用报表-GetUFileReport
- 获取配额信息-GetUFileQuotaInfo
- 获取已上传成功的分片列表-GetMultiUploadPart
- 更新令牌-UpdateUFileToken
- 删除令牌-DeleteUFileToken
- 获取令牌信息-DescribeUFileToken
- OSS 错误码列表
- 操作文件的Meta信息 – OpMeta
- API文档综述
-
弹性公网IP EIP
- 1、申请弹性IP-AllocateEIP
- 2、获取弹性IP信息-DescribeEIP
- 3、更新弹性IP属性-UpdateEIPAttribute
- 4、释放弹性IP-ReleaseEIP
- 5、绑定弹性IP-BindEIP
- 6、解绑弹性IP-UnBindEIP
- 7、调整弹性IP带宽-ModifyEIPBandwidth
- 8. 修改弹性IP出口权重-ModifyEIPWeight
- 9. 获取弹性IP价格-GetEIPPrice
- 10. 获取弹性IP带宽改动价格-GetEIPUpgradePrice
- 11. 获取弹性IP计费方式-GetEIPPayMode
- 12. 设置弹性IP计费方式-SetEIPPayMode
- 13. 申请内网虚拟IP-AllocateVIP
- 14. 获取内网虚拟IP信息-DescribeVIP
- 15. 释放内网虚拟IP- ReleaseVIP
- 16. 创建带宽包-CreateBandwidthPackage
- 17. 获取带宽包信息-DescribeBandwidthPackage
- 18. 删除带宽包-DeleteBandwidthPackage
- 19. 开通共享带宽-AllocateShareBandwidth
- 20. 获取共享带宽信息-DescribeShareBandwidth
- 21. 调整共享带宽-ResizeShareBandwidth
- 22. 关闭共享带宽-ReleaseShareBandwidth
- 23. 将EIP加入共享带宽-AssociateEIPWithShareBandwidth
- 24. 将EIP移出共享带宽-DisassociateEIPWithShareBandwidth
- 25. 获取带宽用量-DescribeBandwidthUsage
- 26. 更新防火墙属性-UpdateFirewallAttribute
- 27. 获取防火墙信息-DescribeFirewall
- 28. 应用防火墙-GrantFirewall
- 29. 错误码
-
云服务器ECS
- 1、获取VNC登录信息-GetUHostInstanceVncInfo
- 2、启动云服务器-StartUHostInstance
- 3、重启云服务器-RebootUHostInstance
- 4、关闭云服务器-StopUHostInstance
- 5、获取云服务器业务组列表-DescribeUHostTags
- 6、字段规范
- 7、删除云服务器-TerminateUHostInstance
- 8、重置云服务器密码-ResetUHostInstancePassword
- 9、修改云服务器业务组-ModifyUHostInstanceTag
- 10、修改云服务器名-ModifyUHostInstanceName
- 11、获取挂载磁盘的升级价格-GetAttachedDiskUpgradePrice
- 12、修改云服务器配置-ResizeUHostInstance
- 13、获取升级配置价格-GetUHostUpgradePrice
- 14、创建云服务器-CreateUHostInstance
- 15、移除硬件隔离组-LeaveIsolationGroup
- 16、创建硬件隔离组-CreateIsolationGroup
- 17、删除自制镜像-TerminateCustomImage
- 18、创建自制镜像-CreateCustomImage
- 19、导入镜像-ImportCustomImage
- 20、修改云服务器备注-ModifyUHostInstanceRemark
- 21、修改挂载的磁盘大小-ResizeAttachedDisk
- 22、模拟服务器掉电-PoweroffUHostInstance
- 23、重装系统-ReinstallUHostInstance
- 24、获取镜像列表-DescribeImage
- 25、获取云服务器价格-GetUHostInstancePrice
- 26、获取云服务器信息-DescribeUHostInstance
- 27、普通机型开启CDP-UpgradeToArkUHostInstance
-
对象存储OSS
- 用户提醒
- 服务等级协议(SLA)
- 企业上云常见问题
- 其他协议
- 云市场
- 开发者
- 账户管理
-
HDFS是一个高度容错性和高吞吐量的分布式文件系统。它被设计的易于扩展也易于使用,适合海量文件的存储。
HDFS基础操作
● 查询文件
Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]
● 上传文件
Usage: hadoop fs [generic options] -put [-f] [-p] [-l] <localsrc> … <dst>
● 下载文件
Usage: hadoop fs [generic options] -get [-p] [-ignoreCrc] [-crc] <src> … <localdst>
更多请参考: hadoop fs –help
WebHDFS
WebHDFS提供HDFS的RESTful接口,可通过此接口进行HDFS文件操作。使用WebHDFS时,客户端是先通过Namenode节点获取文件所在的Datanode地址,再通过与Datanode节点进行数据交互。
上传文件
托管Hadoop默认配置2个Master节点,同一时刻只有一个节点Namenode处于Active状态,另一个处于Standby状态。下面以uhadoop-******-master1的Namenode为Active为例。
● 数据准备
touch uhadoop.txt
echo "uhadoop" > uhadoop.txt
● 创建文件请求
curl -i -X PUT "http://uhadoop-******-
master1:50070/webhdfs/v1/tmp/uhadoop.txt?op=CREATE"
注解:
1. 需要在执行此命令机器加上集群所有节点host
2. 若提示Operation category READ is not supported in state standby,请更换uhadoop-******-master2尝试
HTTP/1.1 307 TEMPORARY_REDIRECT
Location: http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?op=CREATE...
Content-Length: 0
● 使用上述Location地址上传文件
curl -i -X PUT -T uhadoop.txt "http://uhadoop-******-
core*:50075/webhdfs/v1/tmp/uhadoop.txt?op=CREATE&namenoderpcaddress=Ucluste
r&overwrite=false"
append文件
● 数据准备
touch append_uhadoop.txt
echo "inspurcloud" > append_uhadoop.txt
● 获取被append文件地址
curl -i -X POST "http://uhadoop-hfygbg-
master1:50070/webhdfs/v1/tmp/uhadoop.txt?op=APPEND"
执行上述命令将获取到Location地址,即文件的Datanode地址。
HTTP/1.1 307 TEMPORARY_REDIRECT
Location: http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?op=CREATE...
Content-Length: 0
● 追加文件
curl -i -X POST -T append_uhadoop.txt "http://uhadoop-******-
core*:50075/webhdfs/v1/tmp/uhadoop.txt?op=APPEND&namenoderpcaddress=Ucluster"
打开读取文件
curl -i -L "http://uhadoop-******-
master1:50070/webhdfs/v1/tmp/uhadoop.txt?op=OPEN"
删除文件
curl -i -X DELETE "http://uhadoop-******-
master1:50070/webhdfs/v1/tmp/uhadoop.txt?op=DELETE"
HttpFS
Httpfs是cloudera提供的一个HDFS的http接口,可以通过WebHDFS REST API对HDFS进行读写等访问。与WebHDFS的区别是,Httpfs不需要客户端访问集群的每一个节点,只需授权访问启动了Httpfs服务的单台机器即可(Hadoop默认在master1:14000开启Httpfs)。由于Httpfs是在内嵌的tomcat中一个Web应用,因此性能上会受到一些限制。
上传文件
● 数据准备
touch httpfs_uhadoop.txt
echo "httpfs_uhadoop" > httpfs_uhadoop.txt
● 上传数据
curl -i -X PUT -T httpfs_uhadoop.txt --header "Content-Type:
application/octet-stream" "http://uhadoop-******-
master1:14000/webhdfs/v1/tmp/httpfs_uhadoop.txt?op=CREATE&user.name=root&da
ta=true"
注解:
1. 需要在执行此命令机器加上集群master1的host;
2. url中需添加user.name,否则会报"HTTP Status 401 - Authentication required"错误。
append文件
● 数据准备
touch append_httpfs.txt
echo "append_httpfs" > append_httpfs.txt
● 追加文件
curl -i -X POST -T append_httpfs.txt --header "Content-Type:
application/octet-stream" "http://uhadoop-******-
master1:14000/webhdfs/v1/tmp/httpfs_uhadoop.txt?op=APPEND&user.name=root&da
ta=true"
打开并读取文件
curl -i -L http://uhadoop-******-
master1:14000/webhdfs/v1/tmp/httpfs_uhadoop.txt?op=OPEN&user.name=root
curl -i -X DELETE "http://uhadoop-******-
master1:14000/webhdfs/v1/tmp/uhadoop.txt?op=DELETE"
删除文件
curl -i -X DELETE "http://uhadoop-******-
master1:14000/webhdfs/v1/tmp/httpfs_uhadoop.txt?op=DELETE&user.name=root"
MapReduce Job
以terasort为例,说明如何提交一个MapReduce Job
● 生成官方terasort input数据集
hadoop jar /home/hadoop/hadoop-examples.jar teragen 100 /tmp/terasort_input ● 提交任务
hadoop jar /home/hadoop/hadoop-examples.jar terasort /tmp/terasort_input /tmp/terasort_output 5、HDFS日常运维
重启服务
重启Namenode:service hadoop-hdfs-namenode restart
重启Datanode:service hadoop-hdfs-datanode restart
重启ResourceManager: service hadoop-yarn-resourcemanager restart
重启NodeManager:service hadoop-yarn-nodemanager restart
重启整个Hadoop服务:请通过inspurcloud控制台集群服务管理页面操作
查看HDFS状态,节点信息
hdfs dfsadmin -report 修改HDFS文件副本数量
hdfs dfs -setrep -R [replication-factor] [targetDir] 示例:修改HDFS 根目录下文件副本数量为2,hdfs dfs -setrep -R 2 /
查看HDFS文件系统状态
hadoop fsck / 返回结果示例如下:
Total size: 455660769497 B (Total open files size: 44723814 B)Total dirs: 47975Total files: 70456Total symlinks: 0 (Files currently being written: 11)Total blocks (validated): 69916 (avg. block size 6517260 B) (Total open file blocks (not validated): 10)Minimally replicated blocks: 69916 (100.0 %)Over-replicated blocks: 0 (0.0 %)Under-replicated blocks: 87 (0.12443504 %)Mis-replicated blocks: 0 (0.0 %)Default replication factor: 3Average block replication: 3.0011585Corrupt blocks: 0Missing replicas: 522 (0.24815665 %)Number of data-nodes: 4Number of racks: 1FSCK ended at Thu Nov 24 16:08:12 CST 2016 in 2044 millisecondsThe filesystem under path '/' is HEALTHY上述HEALTHY表示当前HDFS文件系统正常,无坏块或者数据丢失。