控制台
实名认证
中国站
登录
- 计算
- 网络
- 存储与CDN
-
数据库
-
云数据库 RDS MySQL
- 产品概述
- 产品定价
- 快速入门
- 操作手册
- 案例实践
- API文档
-
常见问题
- 如何访问MySQL实例？
- MySQL实例的安全性如何？
- 如何向MySQL实例中导入数据？
- 如何向MySQL实例中导出数据？
- 如何创建新用户并授予权限?
- QPS是如何统计的？
- 什么是内存溢出?
- 默认的最大连接数是多少？
- 如何查看数据库运行状态?
- 如何查看MySQL实例的SlowLog?
- 如何修改MySQL实例的配置参数？
- 如何安装和卸载插件？
- 如何使用MySQL-Proxy使MySQL实例可以通过外网访问？
- 何查看MySQL实例的各项监控指标？
- 是否可以查看云数据库运行状态？
- 默认的配置是针对哪种存储引擎优化的？
- 如何在云主机上搭建云数据库从库并进行主从同步呢？
- 如何正确设置字符集？
- 如何查询MySQL实例的客户端和服务器端版本
- 相关协议
- 云数据库 RDS PostgreSQL
- 云数据库 Redis
- 云数据库 MongoDB
- 分布式数据库 InDDB
- 云数据库 Memcache
-
云数据库 RDS MySQL
- 安全
- 人工智能
-
大数据
- ES服务 Elasticsearch
- 数据仓库 DW
- 托管Hadoop
- 管理和监控
-
API
-
对象存储OSS
- 创建Bucket-CreateBucket
- 获取Bucket信息-DescribeBucket
- 更改Bucket属性-UpdateBucket
- 删除Bucket-DeleteBucket
- 前缀列表查询 – PrefixFileList
- 上传文件 – PutFile
- 表单上传 – PostFile
- 秒传文件-UploadHit
- 下载文件-GetFile
- 查询文件基本信息-HEADFile
- 删除文件 – DeleteFile
- 初始化分片 – InitiateMultipartUpload
- 上传分片 – UploadPart
- 完成分片 – FinishMultipartUpload
- 放弃分片 – AbortMultipartUpload
- 查看配额状态-GetUFileQuota
- 查询配额支付价格-GetUFileQuotaPrice
- 查看配额使用报表-GetUFileReport
- 获取配额信息-GetUFileQuotaInfo
- 获取已上传成功的分片列表-GetMultiUploadPart
- 更新令牌-UpdateUFileToken
- 删除令牌-DeleteUFileToken
- 获取令牌信息-DescribeUFileToken
- OSS 错误码列表
- 操作文件的Meta信息 – OpMeta
- API文档综述
-
弹性公网IP EIP
- 1、申请弹性IP-AllocateEIP
- 2、获取弹性IP信息-DescribeEIP
- 3、更新弹性IP属性-UpdateEIPAttribute
- 4、释放弹性IP-ReleaseEIP
- 5、绑定弹性IP-BindEIP
- 6、解绑弹性IP-UnBindEIP
- 7、调整弹性IP带宽-ModifyEIPBandwidth
- 8. 修改弹性IP出口权重-ModifyEIPWeight
- 9. 获取弹性IP价格-GetEIPPrice
- 10. 获取弹性IP带宽改动价格-GetEIPUpgradePrice
- 11. 获取弹性IP计费方式-GetEIPPayMode
- 12. 设置弹性IP计费方式-SetEIPPayMode
- 13. 申请内网虚拟IP-AllocateVIP
- 14. 获取内网虚拟IP信息-DescribeVIP
- 15. 释放内网虚拟IP- ReleaseVIP
- 16. 创建带宽包-CreateBandwidthPackage
- 17. 获取带宽包信息-DescribeBandwidthPackage
- 18. 删除带宽包-DeleteBandwidthPackage
- 19. 开通共享带宽-AllocateShareBandwidth
- 20. 获取共享带宽信息-DescribeShareBandwidth
- 21. 调整共享带宽-ResizeShareBandwidth
- 22. 关闭共享带宽-ReleaseShareBandwidth
- 23. 将EIP加入共享带宽-AssociateEIPWithShareBandwidth
- 24. 将EIP移出共享带宽-DisassociateEIPWithShareBandwidth
- 25. 获取带宽用量-DescribeBandwidthUsage
- 26. 更新防火墙属性-UpdateFirewallAttribute
- 27. 获取防火墙信息-DescribeFirewall
- 28. 应用防火墙-GrantFirewall
- 29. 错误码
-
云服务器ECS
- 1、获取VNC登录信息-GetUHostInstanceVncInfo
- 2、启动云服务器-StartUHostInstance
- 3、重启云服务器-RebootUHostInstance
- 4、关闭云服务器-StopUHostInstance
- 5、获取云服务器业务组列表-DescribeUHostTags
- 6、字段规范
- 7、删除云服务器-TerminateUHostInstance
- 8、重置云服务器密码-ResetUHostInstancePassword
- 9、修改云服务器业务组-ModifyUHostInstanceTag
- 10、修改云服务器名-ModifyUHostInstanceName
- 11、获取挂载磁盘的升级价格-GetAttachedDiskUpgradePrice
- 12、修改云服务器配置-ResizeUHostInstance
- 13、获取升级配置价格-GetUHostUpgradePrice
- 14、创建云服务器-CreateUHostInstance
- 15、移除硬件隔离组-LeaveIsolationGroup
- 16、创建硬件隔离组-CreateIsolationGroup
- 17、删除自制镜像-TerminateCustomImage
- 18、创建自制镜像-CreateCustomImage
- 19、导入镜像-ImportCustomImage
- 20、修改云服务器备注-ModifyUHostInstanceRemark
- 21、修改挂载的磁盘大小-ResizeAttachedDisk
- 22、模拟服务器掉电-PoweroffUHostInstance
- 23、重装系统-ReinstallUHostInstance
- 24、获取镜像列表-DescribeImage
- 25、获取云服务器价格-GetUHostInstancePrice
- 26、获取云服务器信息-DescribeUHostInstance
- 27、普通机型开启CDP-UpgradeToArkUHostInstance
-
对象存储OSS
- 用户提醒
- 服务等级协议(SLA)
- 企业上云常见问题
- 其他协议
- 云市场
- 开发者
- 账户管理
-
使用BigDataBench的数据源，从10GB开始，每次增加10GB，直至200GB。生成数据源代码如下：
● yarn-wordcount数据源生成代码
wgethttp://prof.ict.ac.cn/bdb_uploads/bdb_3_1/packages/BigDataBench_V3.2.1_Hadoop.tar.gztar zxf BigDataBench_V3.2.1_Hadoop.tar.gzcd BigDataBench_V3.2.1_Hadoop_Hive/MicroBenchmarks sh genData_MicroBenchmarks.sh 200依次从数据源取数据，进行wordcount测试，并打印结果，代码如下：
● yarn-wordcount-run.sh
#!/bin/bashsource /home/hadoop/.bashrcWORK_DIR=`pwd`echo "WORK_DIR=$WORK_DIR data should be put in $WORK_DIR/data-MicroBenchmarks/in"${HADOOP_HOME}/bin/hadoop fs -mkdir -p /MicroBenchmarks/in/${HADOOP_HOME}/bin/hadoop fs -mv /MicroBenchmarks/in/* ${WORK_DIR}/data-MicroBenchmarks/in/for i in {1..20}do#move 10GB file from ${WORK_DIR}/data-MicroBenchmarks/in/ to /MicroBenchmarks/in/for f in `${HADOOP_HOME}/bin/hadoop fs -ls ${WORK_DIR}/data-MicroBenchmarks/in/ | grep lda_wiki1w | awk '{print $NF}' | head -n 20`do${HADOOP_HOME}/bin/hadoop fs -mv $f /MicroBenchmarks/in/Done${HADOOP_HOME}/bin/hadoop fs -rmr ${WORK_DIR}/data-MicroBenchmarks/out/wordcountecho -n "file count = "${HADOOP_HOME}/bin/hadoop fs -ls /MicroBenchmarks/in/ | grep lda_wiki1w | wc -ltime ${HADOOP_HOME}/bin/hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jarwordcount /MicroBenchmarks/in/ ${WORK_DIR}/data-MicroBenchmarks/out/wordcountdone对四个集群的测试结果如下：
● 表2.1 yarn集群wordcount测试结果：
耗时（s）
处理速度（MB/s）
B2
B2-x
D1
D1-x
B2
B2-x
D1
D1-x
10G
332
176
319
177
30.84
58.18
32.10
57.85
20G
624
319
618
322
32.82
64.20
33.14
63.60
30G
990
455
922
462
31.03
67.52
33.32
66.49
40G
1267
599
1210
613
32.33
68.38
33.85
66.82
50G
1536
752
1518
757
33.33
68.09
33.73
67.64
60G
1834
903
1840
925
33.50
68.04
33.39
66.42
70G
2113
1041
2111
1064
33.92
68.86
33.96
67.37
80G
2504
1184
2411
1215
32.72
69.19
33.98
67.42
90G
2785
1334
2746
1360
33.09
69.09
33.56
67.76
100G
3073
1476
3006
1469
33.32
69.38
34.07
69.71
110G
3290
1624
3312
1625
34.24
69.36
34.01
69.32
120G
3633
1797
3619
1793
33.82
68.38
33.95
68.53
130G
3986
1910
3915
1930
33.40
69.70
34.00
68.97
140G
4200
2053
4218
2090
34.13
69.83
33.99
68.59
150G
4562
2208
4517
2226
33.67
69.57
34.00
69.00
160G
4813
2356
4732
2369
34.04
69.54
33.91
69.16
170G
5146
2496
5120
2521
33.83
69.74
34.00
69.05
180G
5453
2686
5413
2662
33.80
68.62
34.05
69.24
190G
5712
2795
5723
2804
34.06
69.61
34.00
69.39
200G
6147
2938
6031
2953
33.32
69.71
33.96
69.35
● 图2.1 yarn集群wordcount处理耗时
● 图2.2 yarn集群wordcount处理速度
BigDataBench介绍内容与下载链接：
http://prof.ict.ac.cn/BigDataBench/dowloads/