控制台
实名认证
中国站
登录
- 计算
- 网络
- 存储与CDN
-
数据库
-
云数据库 RDS MySQL
- 产品概述
- 产品定价
- 快速入门
- 操作手册
- 案例实践
- API文档
-
常见问题
- 如何访问MySQL实例？
- MySQL实例的安全性如何？
- 如何向MySQL实例中导入数据？
- 如何向MySQL实例中导出数据？
- 如何创建新用户并授予权限?
- QPS是如何统计的？
- 什么是内存溢出?
- 默认的最大连接数是多少？
- 如何查看数据库运行状态?
- 如何查看MySQL实例的SlowLog?
- 如何修改MySQL实例的配置参数？
- 如何安装和卸载插件？
- 如何使用MySQL-Proxy使MySQL实例可以通过外网访问？
- 何查看MySQL实例的各项监控指标？
- 是否可以查看云数据库运行状态？
- 默认的配置是针对哪种存储引擎优化的？
- 如何在云主机上搭建云数据库从库并进行主从同步呢？
- 如何正确设置字符集？
- 如何查询MySQL实例的客户端和服务器端版本
- 相关协议
- 云数据库 RDS PostgreSQL
- 云数据库 Redis
- 云数据库 MongoDB
- 分布式数据库 InDDB
- 云数据库 Memcache
-
云数据库 RDS MySQL
- 安全
- 人工智能
-
大数据
- ES服务 Elasticsearch
- 数据仓库 DW
- 托管Hadoop
- 管理和监控
-
API
-
对象存储OSS
- 创建Bucket-CreateBucket
- 获取Bucket信息-DescribeBucket
- 更改Bucket属性-UpdateBucket
- 删除Bucket-DeleteBucket
- 前缀列表查询 – PrefixFileList
- 上传文件 – PutFile
- 表单上传 – PostFile
- 秒传文件-UploadHit
- 下载文件-GetFile
- 查询文件基本信息-HEADFile
- 删除文件 – DeleteFile
- 初始化分片 – InitiateMultipartUpload
- 上传分片 – UploadPart
- 完成分片 – FinishMultipartUpload
- 放弃分片 – AbortMultipartUpload
- 查看配额状态-GetUFileQuota
- 查询配额支付价格-GetUFileQuotaPrice
- 查看配额使用报表-GetUFileReport
- 获取配额信息-GetUFileQuotaInfo
- 获取已上传成功的分片列表-GetMultiUploadPart
- 更新令牌-UpdateUFileToken
- 删除令牌-DeleteUFileToken
- 获取令牌信息-DescribeUFileToken
- OSS 错误码列表
- 操作文件的Meta信息 – OpMeta
- API文档综述
-
弹性公网IP EIP
- 1、申请弹性IP-AllocateEIP
- 2、获取弹性IP信息-DescribeEIP
- 3、更新弹性IP属性-UpdateEIPAttribute
- 4、释放弹性IP-ReleaseEIP
- 5、绑定弹性IP-BindEIP
- 6、解绑弹性IP-UnBindEIP
- 7、调整弹性IP带宽-ModifyEIPBandwidth
- 8. 修改弹性IP出口权重-ModifyEIPWeight
- 9. 获取弹性IP价格-GetEIPPrice
- 10. 获取弹性IP带宽改动价格-GetEIPUpgradePrice
- 11. 获取弹性IP计费方式-GetEIPPayMode
- 12. 设置弹性IP计费方式-SetEIPPayMode
- 13. 申请内网虚拟IP-AllocateVIP
- 14. 获取内网虚拟IP信息-DescribeVIP
- 15. 释放内网虚拟IP- ReleaseVIP
- 16. 创建带宽包-CreateBandwidthPackage
- 17. 获取带宽包信息-DescribeBandwidthPackage
- 18. 删除带宽包-DeleteBandwidthPackage
- 19. 开通共享带宽-AllocateShareBandwidth
- 20. 获取共享带宽信息-DescribeShareBandwidth
- 21. 调整共享带宽-ResizeShareBandwidth
- 22. 关闭共享带宽-ReleaseShareBandwidth
- 23. 将EIP加入共享带宽-AssociateEIPWithShareBandwidth
- 24. 将EIP移出共享带宽-DisassociateEIPWithShareBandwidth
- 25. 获取带宽用量-DescribeBandwidthUsage
- 26. 更新防火墙属性-UpdateFirewallAttribute
- 27. 获取防火墙信息-DescribeFirewall
- 28. 应用防火墙-GrantFirewall
- 29. 错误码
-
云服务器ECS
- 1、获取VNC登录信息-GetUHostInstanceVncInfo
- 2、启动云服务器-StartUHostInstance
- 3、重启云服务器-RebootUHostInstance
- 4、关闭云服务器-StopUHostInstance
- 5、获取云服务器业务组列表-DescribeUHostTags
- 6、字段规范
- 7、删除云服务器-TerminateUHostInstance
- 8、重置云服务器密码-ResetUHostInstancePassword
- 9、修改云服务器业务组-ModifyUHostInstanceTag
- 10、修改云服务器名-ModifyUHostInstanceName
- 11、获取挂载磁盘的升级价格-GetAttachedDiskUpgradePrice
- 12、修改云服务器配置-ResizeUHostInstance
- 13、获取升级配置价格-GetUHostUpgradePrice
- 14、创建云服务器-CreateUHostInstance
- 15、移除硬件隔离组-LeaveIsolationGroup
- 16、创建硬件隔离组-CreateIsolationGroup
- 17、删除自制镜像-TerminateCustomImage
- 18、创建自制镜像-CreateCustomImage
- 19、导入镜像-ImportCustomImage
- 20、修改云服务器备注-ModifyUHostInstanceRemark
- 21、修改挂载的磁盘大小-ResizeAttachedDisk
- 22、模拟服务器掉电-PoweroffUHostInstance
- 23、重装系统-ReinstallUHostInstance
- 24、获取镜像列表-DescribeImage
- 25、获取云服务器价格-GetUHostInstancePrice
- 26、获取云服务器信息-DescribeUHostInstance
- 27、普通机型开启CDP-UpgradeToArkUHostInstance
-
对象存储OSS
- 用户提醒
- 服务等级协议(SLA)
- 企业上云常见问题
- 其他协议
- 云市场
- 开发者
- 账户管理
-
使用hadoop自带的hadoop-example.jar的teragen生成200GB数据。从10GB开始，每次增加10GB数据作为测试数据源，测试terasort排序时间。生成数据和测试代码如下：
● terasort生成数据和测试代码
#!/bin/bash/home/hadoop/bin/hadoop jar /home/hadoop/hadoop-examples.jar teragen -Dmapred.map.tasks=200 10737418240 /terasort/200G-input${HADOOP_HOME}/bin/hadoop fs -mkdir -p /terasort/in/${HADOOP_HOME}/bin/hadoop fs -mv /terasort/in/* /terasort/200G-input/for i in {1..20}dofor f in `${HADOOP_HOME}/bin/hadoop fs -ls /terasort/200G-input/ |grep part | awk '{print $NF}' | head -n 10`do${HADOOP_HOME}/bin/hadoop fs -mv $f /terasort/in/done${HADOOP_HOME}/bin/hadoop fs -rmr /terasort/outputecho -n "file count = "${HADOOP_HOME}/bin/hadoop fs -ls /terasort/in/ | grep part | wc –lecho ""time ${HADOOP_HOME}/bin/hadoop jar /home/hadoop/hadoop-examples.jarterasort -Dmapred.reduce.tasks=50 /terasort/in /terasort/outputdone对4个集群的测试结果如下：
● 表3.1 yarn集群terasort测试结果
耗时（s）
处理速度（MB/s）
B2
B2-x
D1
D1-x
B2
B2-x
D1
D1-x
10G
263
135
261
146
38.94
75.85
39.23
70.14
20G
440
218
473
275
46.55
93.94
43.30
74.47
30G
685
368
721
440
44.85
83.48
42.61
69.82
40G
834
483
1001
627
49.11
84.80
40.92
65.33
50G
1103
594
1251
824
46.42
86.20
40.93
62.14
60G
1352
796
1523
1036
45.44
77.19
40.34
59.31
70G
1635
948
1851
1144
43.84
75.61
38.73
62.66
80G
1851
1077
2092
1389
44.26
76.06
39.16
58.98
90G
2177
1357
2377
1589
42.33
67.91
38.77
58.00
100G
2500
1478
2603
1906
40.96
69.28
39.34
53.73
110G
2784
1536
2977
1990
40.46
73.33
37.84
56.60
120G
3075
1769
3158
2149
39.96
69.46
38.91
57.18
130G
3163
1874
3579
2425
42.09
71.04
37.19
54.89
140G
3423
2234
3817
2767
41.88
64.17
37.56
51.81
150G
3950
2058
4082
2828
38.89
74.64
37.63
54.31
160G
4336
2411
4428
3131
37.79
67.96
37.00
52.33
170G
4461
2573
4652
3249
39.02
67.66
37.42
53.58
180G
4842
2711
5077
3733
38.07
67.99
36.30
49.38
190G
4945
2826
5394
4001
39.34
68.85
36.07
48.63
200G
5306
3132
5778
4240
38.60
65.39
35.44
48.30
● 图3.1 yarn集群terasort处理耗时
● 图3.2 yarn集群terasort处理速度
terasort算法简介参见：
http://dongxicheng.org/mapreduce/hadoop-terasort-analyse/