- 计算
- 网络
- 存储与CDN
-
数据库
-
云数据库 RDS MySQL
- 产品概述
- 产品定价
- 快速入门
- 操作手册
- 案例实践
- API文档
-
常见问题
- 如何访问MySQL实例?
- MySQL实例的安全性如何?
- 如何向MySQL实例中导入数据?
- 如何向MySQL实例中导出数据?
- 如何创建新用户并授予权限?
- QPS是如何统计的?
- 什么是内存溢出?
- 默认的最大连接数是多少?
- 如何查看数据库运行状态?
- 如何查看MySQL实例的SlowLog?
- 如何修改MySQL实例的配置参数?
- 如何安装和卸载插件?
- 如何使用MySQL-Proxy使MySQL实例可以通过外网访问?
- 何查看MySQL实例的各项监控指标?
- 是否可以查看云数据库运行状态?
- 默认的配置是针对哪种存储引擎优化的?
- 如何在云主机上搭建云数据库从库并进行主从同步呢?
- 如何正确设置字符集?
- 如何查询MySQL实例的客户端和服务器端版本
- 相关协议
- 云数据库 RDS PostgreSQL
- 云数据库 Redis
- 云数据库 MongoDB
- 分布式数据库 InDDB
- 云数据库 Memcache
-
云数据库 RDS MySQL
- 安全
- 人工智能
-
大数据
- ES服务 Elasticsearch
- 数据仓库 DW
- 托管Hadoop
- 管理和监控
-
API
-
对象存储OSS
- 创建Bucket-CreateBucket
- 获取Bucket信息-DescribeBucket
- 更改Bucket属性-UpdateBucket
- 删除Bucket-DeleteBucket
- 前缀列表查询 – PrefixFileList
- 上传文件 – PutFile
- 表单上传 – PostFile
- 秒传文件-UploadHit
- 下载文件-GetFile
- 查询文件基本信息-HEADFile
- 删除文件 – DeleteFile
- 初始化分片 – InitiateMultipartUpload
- 上传分片 – UploadPart
- 完成分片 – FinishMultipartUpload
- 放弃分片 – AbortMultipartUpload
- 查看配额状态-GetUFileQuota
- 查询配额支付价格-GetUFileQuotaPrice
- 查看配额使用报表-GetUFileReport
- 获取配额信息-GetUFileQuotaInfo
- 获取已上传成功的分片列表-GetMultiUploadPart
- 更新令牌-UpdateUFileToken
- 删除令牌-DeleteUFileToken
- 获取令牌信息-DescribeUFileToken
- OSS 错误码列表
- 操作文件的Meta信息 – OpMeta
- API文档综述
-
弹性公网IP EIP
- 1、申请弹性IP-AllocateEIP
- 2、获取弹性IP信息-DescribeEIP
- 3、更新弹性IP属性-UpdateEIPAttribute
- 4、释放弹性IP-ReleaseEIP
- 5、绑定弹性IP-BindEIP
- 6、解绑弹性IP-UnBindEIP
- 7、调整弹性IP带宽-ModifyEIPBandwidth
- 8. 修改弹性IP出口权重-ModifyEIPWeight
- 9. 获取弹性IP价格-GetEIPPrice
- 10. 获取弹性IP带宽改动价格-GetEIPUpgradePrice
- 11. 获取弹性IP计费方式-GetEIPPayMode
- 12. 设置弹性IP计费方式-SetEIPPayMode
- 13. 申请内网虚拟IP-AllocateVIP
- 14. 获取内网虚拟IP信息-DescribeVIP
- 15. 释放内网虚拟IP- ReleaseVIP
- 16. 创建带宽包-CreateBandwidthPackage
- 17. 获取带宽包信息-DescribeBandwidthPackage
- 18. 删除带宽包-DeleteBandwidthPackage
- 19. 开通共享带宽-AllocateShareBandwidth
- 20. 获取共享带宽信息-DescribeShareBandwidth
- 21. 调整共享带宽-ResizeShareBandwidth
- 22. 关闭共享带宽-ReleaseShareBandwidth
- 23. 将EIP加入共享带宽-AssociateEIPWithShareBandwidth
- 24. 将EIP移出共享带宽-DisassociateEIPWithShareBandwidth
- 25. 获取带宽用量-DescribeBandwidthUsage
- 26. 更新防火墙属性-UpdateFirewallAttribute
- 27. 获取防火墙信息-DescribeFirewall
- 28. 应用防火墙-GrantFirewall
- 29. 错误码
-
云服务器ECS
- 1、获取VNC登录信息-GetUHostInstanceVncInfo
- 2、启动云服务器-StartUHostInstance
- 3、重启云服务器-RebootUHostInstance
- 4、关闭云服务器-StopUHostInstance
- 5、获取云服务器业务组列表-DescribeUHostTags
- 6、字段规范
- 7、删除云服务器-TerminateUHostInstance
- 8、重置云服务器密码-ResetUHostInstancePassword
- 9、修改云服务器业务组-ModifyUHostInstanceTag
- 10、修改云服务器名-ModifyUHostInstanceName
- 11、获取挂载磁盘的升级价格-GetAttachedDiskUpgradePrice
- 12、修改云服务器配置-ResizeUHostInstance
- 13、获取升级配置价格-GetUHostUpgradePrice
- 14、创建云服务器-CreateUHostInstance
- 15、移除硬件隔离组-LeaveIsolationGroup
- 16、创建硬件隔离组-CreateIsolationGroup
- 17、删除自制镜像-TerminateCustomImage
- 18、创建自制镜像-CreateCustomImage
- 19、导入镜像-ImportCustomImage
- 20、修改云服务器备注-ModifyUHostInstanceRemark
- 21、修改挂载的磁盘大小-ResizeAttachedDisk
- 22、模拟服务器掉电-PoweroffUHostInstance
- 23、重装系统-ReinstallUHostInstance
- 24、获取镜像列表-DescribeImage
- 25、获取云服务器价格-GetUHostInstancePrice
- 26、获取云服务器信息-DescribeUHostInstance
- 27、普通机型开启CDP-UpgradeToArkUHostInstance
-
对象存储OSS
- 用户提醒
- 服务等级协议(SLA)
- 企业上云常见问题
- 其他协议
- 云市场
- 开发者
- 账户管理
-
1、集群创建好后,我该怎么使用?
如果已购买同一可用区下带有外网IP的ECS,可登陆ECS,再通过ssh方式连接集群任一节点的内网IP。
将集群的master节点绑定外网IP,ssh连接此外网IP。集群节点上可直接使用hdfs、hive、hbase、spark相关命令。
2、提交的任务跑失败了,我需要怎样查看任务日志?
A. 通过浏览器连接绑定在master1/master2上的外网IP的23188端口查看任务详情(需将所绑定的外网防火墙开放23188端口)
B. 通过Hue页面查看任务详情
C.任务的日志默认存储在hdfs的/var/log/hadoop-yarn/apps/[submintuser]/logs(submituser为提交任务的用户名),可通过web方式查看hdfs文件,或通过hdfs命令将相应Job日志下载到本地查看
3、客户端提交任务时,提示UnkownHostException,如何处理?
集群节点间默认使用Hostname的方式通信,需要将master1的/etc/hosts中关于hadoop节点的host拷贝到其它节点本地的/etc/hosts中
4、我收到了磁盘告警通知,磁盘使用率大于95%,该怎么处理?
首先确认是系统盘还是数据盘告警。系统盘告警的请在/目录下执行 du --max-depth=1 -h,数据盘告警请在/data目录下执行,可深入一层层查看具体哪个文件占用了空间,做下清除即可。
5、HDFS满了,我收到了HDFS使用告警通知,HDFS使用率大于80%,该怎么处理?
首先登录master1节点,切换到hadoop用户,执行 hadoop fs -du -h / 查看哪个目录占用较大。
如果是/var目录,可继续执行hadoop fs -du -h /var/log 查看;若查看是 /var/log/hadoop-yarn/, 可以根据自己的需求在控制台修改这两个参数,需要重启集群
yarn.log-aggregation.retain-seconds (保存时长,建议值:2592000, 即30天)yarn.log-aggregation.retain-check-interval-seconds (检查周期:86400,即1天)如果是/var/log/spark目录,一般是spark任务日志堆积,暂未能自动清理,可通过以下方式解决:
在/etc/cron.daily/下创建clear-spark-logs.sh文件,并给设置权限 chmod 777 /etc/cron.daily/clear-spark-logs.sh
第一次可通过执行 sh /etc/cron.daily/clear-spark-logs.sh手动清理,后面每天会自动
#!/bin/bash# 删除过期数据(默认30天)days=30old_file_list=$(hadoop fs -ls /var/log/spark/ | awk'BEGIN{ days_ago=strftime("%F", systime()-"'$days'"*24*3600) }{ split($8,arr,"/"); if(arr[7]<days_ago){printf "%s\n", $8} }')arr=(${old_file_list// / })for file in ${arr[@]}dosu -s /bin/bash hadoop -c "hadoop fs -rm -r $file"done6、我收到了节点内存告警通知,内存使用率大于95%,该怎么处理?
1. 首先确认是Master节点,还是Core节点告警。
若是Master节点,可以登录到该节点,通过ps命令找到内存占用较高的进程,如果确认该进程为自己业务启动的且不需要的,可以直接kill掉。如果是hadoop集群相关进程,建议升级Master节点来彻底解决。
2. 若是Core节点,如果未自行安装服务,一般为DataNode、HBase-Regionserver和Yarn使用内存较多。可通过下列步骤解决:
– 若不使用HBase,可通过inspurcloud管理控制台Hadoop下的“集群服务管理”页面关闭不使用服务;
– 若关闭后未恢复,可通过修改Hadoop的yarn.nodemanager.resource.memory-mb参数来降低节点分配给Yarn的内存(可通过inspurcloud管理控制台Hadoop下的Hadoop Tab下的“参数配置”功能修改);
– 若业务上需求更多内存资源,可适当添加Core/Task节点
– 若是单节点CPU、MEM不足,可参考集群单个节点配置不够,如CPU,MEM或者磁盘,需要怎么升级
7、集群单个节点配置不够,如CPU,MEM或者磁盘,需要怎么升级?
升级Master:请通过工单形式,需提供(集群ID,原Master机型,待升级Master机型,可以执行操作时间),我们目前支持非标升级,且须同时升级2个Master,升级过程中Master节点需要重启,停止服务大概1分钟之内,注意需要保证集群不欠费,且账户内有足够余额满足升级费用。
若为Core节点,默认不支持单个节点纵向升级,如果需要扩充资源,可以横向添加节点;如果遇到内存或其它单个节点的资源瓶颈,可以联系我们提供后台升级,升级是通过用高配节点替换低配节点完成,期间需要迁移大量数据,可能影响到集群业务,数据量大集群不建议此操作。
8、我想关闭某台机器上的某个服务,或者关闭服务开机启动,怎么办?
● 停止服务:
通常情况下,可使用 “service 服务名称 stop” 命令停止正在运行的服务进程。如服务无法停止,可在无任务时使用kill命令进行强制停止服务进程。
● 关闭服务自动拉起:
将/etc/default/static_conf.json里startmonitor的值修改为0即可。
● 关闭服务并关闭开机自启:
执行以上动作,并备份/etc/default/services。备份后,在原文件中删除掉相关服务字段内容即可。