- 计算
- 网络
- 存储与CDN
-
数据库
-
云数据库 RDS MySQL
- 产品概述
- 产品定价
- 快速入门
- 操作手册
- 案例实践
- API文档
-
常见问题
- 如何访问MySQL实例?
- MySQL实例的安全性如何?
- 如何向MySQL实例中导入数据?
- 如何向MySQL实例中导出数据?
- 如何创建新用户并授予权限?
- QPS是如何统计的?
- 什么是内存溢出?
- 默认的最大连接数是多少?
- 如何查看数据库运行状态?
- 如何查看MySQL实例的SlowLog?
- 如何修改MySQL实例的配置参数?
- 如何安装和卸载插件?
- 如何使用MySQL-Proxy使MySQL实例可以通过外网访问?
- 何查看MySQL实例的各项监控指标?
- 是否可以查看云数据库运行状态?
- 默认的配置是针对哪种存储引擎优化的?
- 如何在云主机上搭建云数据库从库并进行主从同步呢?
- 如何正确设置字符集?
- 如何查询MySQL实例的客户端和服务器端版本
- 相关协议
- 云数据库 RDS PostgreSQL
- 云数据库 Redis
- 云数据库 MongoDB
- 分布式数据库 InDDB
- 云数据库 Memcache
-
云数据库 RDS MySQL
- 安全
- 人工智能
- 大数据
- 管理和监控
-
API
-
对象存储OSS
- 创建Bucket-CreateBucket
- 获取Bucket信息-DescribeBucket
- 更改Bucket属性-UpdateBucket
- 删除Bucket-DeleteBucket
- 前缀列表查询 – PrefixFileList
- 上传文件 – PutFile
- 表单上传 – PostFile
- 秒传文件-UploadHit
- 下载文件-GetFile
- 查询文件基本信息-HEADFile
- 删除文件 – DeleteFile
- 初始化分片 – InitiateMultipartUpload
- 上传分片 – UploadPart
- 完成分片 – FinishMultipartUpload
- 放弃分片 – AbortMultipartUpload
- 查看配额状态-GetUFileQuota
- 查询配额支付价格-GetUFileQuotaPrice
- 查看配额使用报表-GetUFileReport
- 获取配额信息-GetUFileQuotaInfo
- 获取已上传成功的分片列表-GetMultiUploadPart
- 更新令牌-UpdateUFileToken
- 删除令牌-DeleteUFileToken
- 获取令牌信息-DescribeUFileToken
- OSS 错误码列表
- 操作文件的Meta信息 – OpMeta
- API文档综述
-
弹性公网IP EIP
- 1、申请弹性IP-AllocateEIP
- 2、获取弹性IP信息-DescribeEIP
- 3、更新弹性IP属性-UpdateEIPAttribute
- 4、释放弹性IP-ReleaseEIP
- 5、绑定弹性IP-BindEIP
- 6、解绑弹性IP-UnBindEIP
- 7、调整弹性IP带宽-ModifyEIPBandwidth
- 8. 修改弹性IP出口权重-ModifyEIPWeight
- 9. 获取弹性IP价格-GetEIPPrice
- 10. 获取弹性IP带宽改动价格-GetEIPUpgradePrice
- 11. 获取弹性IP计费方式-GetEIPPayMode
- 12. 设置弹性IP计费方式-SetEIPPayMode
- 13. 申请内网虚拟IP-AllocateVIP
- 14. 获取内网虚拟IP信息-DescribeVIP
- 15. 释放内网虚拟IP- ReleaseVIP
- 16. 创建带宽包-CreateBandwidthPackage
- 17. 获取带宽包信息-DescribeBandwidthPackage
- 18. 删除带宽包-DeleteBandwidthPackage
- 19. 开通共享带宽-AllocateShareBandwidth
- 20. 获取共享带宽信息-DescribeShareBandwidth
- 21. 调整共享带宽-ResizeShareBandwidth
- 22. 关闭共享带宽-ReleaseShareBandwidth
- 23. 将EIP加入共享带宽-AssociateEIPWithShareBandwidth
- 24. 将EIP移出共享带宽-DisassociateEIPWithShareBandwidth
- 25. 获取带宽用量-DescribeBandwidthUsage
- 26. 更新防火墙属性-UpdateFirewallAttribute
- 27. 获取防火墙信息-DescribeFirewall
- 28. 应用防火墙-GrantFirewall
- 29. 错误码
-
云服务器ECS
- 1、获取VNC登录信息-GetUHostInstanceVncInfo
- 2、启动云服务器-StartUHostInstance
- 3、重启云服务器-RebootUHostInstance
- 4、关闭云服务器-StopUHostInstance
- 5、获取云服务器业务组列表-DescribeUHostTags
- 6、字段规范
- 7、删除云服务器-TerminateUHostInstance
- 8、重置云服务器密码-ResetUHostInstancePassword
- 9、修改云服务器业务组-ModifyUHostInstanceTag
- 10、修改云服务器名-ModifyUHostInstanceName
- 11、获取挂载磁盘的升级价格-GetAttachedDiskUpgradePrice
- 12、修改云服务器配置-ResizeUHostInstance
- 13、获取升级配置价格-GetUHostUpgradePrice
- 14、创建云服务器-CreateUHostInstance
- 15、移除硬件隔离组-LeaveIsolationGroup
- 16、创建硬件隔离组-CreateIsolationGroup
- 17、删除自制镜像-TerminateCustomImage
- 18、创建自制镜像-CreateCustomImage
- 19、导入镜像-ImportCustomImage
- 20、修改云服务器备注-ModifyUHostInstanceRemark
- 21、修改挂载的磁盘大小-ResizeAttachedDisk
- 22、模拟服务器掉电-PoweroffUHostInstance
- 23、重装系统-ReinstallUHostInstance
- 24、获取镜像列表-DescribeImage
- 25、获取云服务器价格-GetUHostInstancePrice
- 26、获取云服务器信息-DescribeUHostInstance
- 27、普通机型开启CDP-UpgradeToArkUHostInstance
-
对象存储OSS
- 用户提醒
- 服务等级协议(SLA)
- 企业上云常见问题
- 其他协议
- 云市场
- 开发者
- 账户管理
-
Elasticsearch 会输出很多日志,默认的日志记录等级是 INFO 。它提供了适度的信息,但是又设计好了不至于让你的日志太过庞大。
当调试问题的时候,特别是节点发现相关的问题(因为这个经常依赖于各式过于繁琐的网络配置),提高日志记录等级到 DEBUG 是很有帮助的。
调高节点发现的日志记录级别:
PUT /_cluster/settings{"transient" : {"logger.discovery" : "DEBUG"}}慢日志
还有另一个日志叫 慢日志 。这个日志的目的是捕获那些超过指定时间阈值的查询和索引请求。这个日志用来追踪由用户产生的很慢的请求很有用。
默认情况,慢日志是不开启的。要开启它,需要定义具体动作(query,fetch 还是 index),你期望的事件记录等级( WARN 、 DEBUG 等),以及时间阈值。
这是一个索引级别的设置,也就是说可以独立应用给单个索引:
PUT /my_index/_settings
{
"index.search.slowlog.threshold.query.warn" : "10s",
"index.search.slowlog.threshold.fetch.debug": "500ms",
"index.indexing.slowlog.threshold.index.info": "5s"
}
# 查询慢于 10 秒输出一个 WARN 日志
# 获取慢于 500 毫秒输出一个 DEBUG 日志
# 索引慢于 5 秒输出一个 INFO 日志
一旦阈值设置过了,你可以和其他日志器一样切换日志记录等级:
PUT /_cluster/settings{"transient" : {"logger.index.search.slowlog" : "DEBUG","logger.index.indexing.slowlog" : "WARN"}}# 设置搜索慢日志为 DEBUG 级别# 设置索引慢日志为 WARN 级别历史数据清理
随着数据的不断写入,节点的磁盘使用率就会不断攀升,超过一定阀值就会出现不能分配分片的现象。一种解决方法就是删除部分索引数据来使集群节点的磁盘使用率保持在一种合理状态。
删除历史数据,可以通过网络互通的云服务器 ECS或 ES服务的 Kibana 来实现。通过API可以删除通配符的一类索引或特定索引,也可以借助脚本来定时清理。
获取集群索引信息:
# Inspur
curl -s -XGET 'http://<host>:9200/_cat/indices?v'
# Kibana
GET /_cat/indices?v删除索引:
# UHostcurl -s -XDELETE 'http://<host>:9200/index'
# Kibana
DELETE /index定时清理脚本(此脚本适用于logstash写入索引有时间标记的情况,其他情况可参考修改):
#!/bin/bash#author: UCloud
#created at 2017/08/30 19:00
if test ! -f "/var/log/elkDailyDel.log"; then
touch /var/log/elkDailyDel.log
fi
# 获取索引信息
# 请将下行当中的localhost改成自己elasticsearch服务对应的Ip
indices=$(curl -s -XGET "localhost:9200/_cat/indices?v" |grep 'logstash'
|awk '{print $3}')
# 设置保留索引的时间线
thirtyDaysAgo=$(date -d "$(date +%Y%m%d) -30 days" "+%s")
function DelOrNot(){
if [ $(($1-$2)) -ge 0 ]; then
echo 1
else
echo 0
fi
}
for index in ${indices}
do
indexDate=`echo ${index##*-} |sed 's/\./-/g'`
indexTime=`date -d "${indexDate}" "+%s"`
if [ `DelOrNot ${indexTime} ${thirtyDaysAgo}` -eq 0 ]; then
# 索引时间在时间线之前执行删除操作
# 请将下行当中的localhost改成你自己elasticsearch服务对应的Ip
result=`curl -s -XDELETE "localhost:9200/${index}"`
echo "delResult is ${result}" >> /var/log/elkDailyDel.log
if [ `echo ${result} |grep 'acknowledged' |wc -l` -eq 1 ]; then
echo "${index} had already been deleted!" >>
/var/log/elkDailyDel.log
else
echo "there is something wrong happend when deleted ${index}" >>
/var/log/elkDailyDel.log
fi
fi
done
echo $?数据冷热分离
SSD磁盘类型的集群随着数据的不断写入,节点的磁盘数据逐渐增大。可能对于一些较老的数据,不需要太多的查询或不再做查询使用,那么这些数据就会占用大量的SSD性能资源和存储空间。数据冷热分离通过配置使最新的数据保存在ssd磁盘节点上,较老的数据自动迁移到廉价sata节点,使用有限的ssd节点资源来实现同时支持高并发读写和大数据量的存储。
ES服务也给出了数据冷热分离的策略,过程如下:
● 准备
集群实例:
SSD(愿集群):ues-qwerty,前三个节点ip分别为 ues-qwerty-ip1、ues-qwerty-ip2、ues-qwerty-ip3
SATA(新集群):ues-asdfgh
1、愿集群(ues-qwerty)修改配置。
控制台上修改 参数管理 中 node.attr.tag 项为 hot 。
2、线性重启原集群(ues-qwerty)
3、固定原索引在原集群节点上(ues-qwerty)
# Ecs
curl -XPUT localhost:9200/*/_settings -d '{"settings":
{"index.routing.allocation.require.tag": "hot"}}'
# Kibana
PUT /*/_settings
{
"settings": {
"index.routing.allocation.require.tag": "hot"
}
}
4、新集群(ues-asdfgh)修改配置,同1
cluster.name: ues-qwerty
discovery.zen.ping.unicast.hosts: [ues-qwerty-ip1,ues-qwerty-ip2,ues-qwerty-ip3]
node.attr.tag: cold
5、重启新集群(ues-asdfgh)
6、老数据迁移到 cold 节点
# Ecscurl -XPUT localhost:9200/cold_index/_settings -d '{"settings":{"index.routing.allocation.require.tag": "cold"}}'# KibanaPUT /cold_index/_settings{"settings": {"index.routing.allocation.require.tag": "cold"}}定时迁移脚本示例:
#!/bin/bash#author: Inspur#created at 2017/08/30 19:00time=`date -d last-day "+%Y.%m.%d"`# 请将下行当中的localhost改成自己elasticsearch服务对应的Ipcurl -XPUT http://localhost:9200/*-${time}/_settings -d'{"index.routing.allocation.require.tag": "cold"}'本章主要参考:
https://www.elastic.co/guide/cn/elasticsearch/guide/current/administration.html