日志管理

管理日志相关的服务及其操作

OpenSearch 服务管理

用 system 登录控制台，在运维管理菜单下点击 Kube 控制面板；OpenSearch 服务在 K8S 下是一个有状态副本集

如果要管理 OpenSearch 服务，需要先得到 admin 用户的密码

在容器组中搜索 master，找到一个 OpenSearch 的实例，进入运行终端

一些常用的命令

export ADMIN_PASSWORD=xxxx
# 查看系统中的索引
curl -k -u admin:$ADMIN_PASSWORD -XGET http://localhost:9200/_cat/indices?v 
# 查看集群状态
curl -k -u admin:$ADMIN_PASSWORD -XGET http://localhost:9200/_cluster/health?pretty
# 设置返回记录数
curl -k -u admin:$ADMIN_PASSWORD -XPUT http://localhost:9200/index/_settings -d '{ "index":{ "max_result_window":100000000 } }'  -H "Content-Type: application/json" 
# 设置索引复本数
curl  -k -u admin:$ADMIN_PASSWORD -XPUT "http://localhost:9200/_template/index_defaults" -H 'Content-Type: application/json' -d'{ "template": "*", "settings": { "number_of_replicas": 0 } }'

OpenSearch 服务重启注意事项

如果要重启 OpenSearch 集群，需要先将使用到 OpenSearch 的服务停止，否则启动可能会失败；如：newdao-common 名字空间下的

1. 部署 newdao-common-opensearch-dashboards （复本数设置成0）
2. 守护进程集 fluent-bit （修改节点选择的 matchExpressions）

在所有名字空间下搜索 oap 部署（属于 Skywalking 的服务）（复本数设置成0）

所有依赖的服务全部停止后，将 OpenSearch 的复本数改为0

OpenSearch 实例全部停止后，再将 OpenSearch 的复本数改为原来的值

在确认 OpenSearch 启动完成后，再将之前停止的依赖服务重新启动

OpenSearch 日志清理任务

newdao-common 名字空间下有一个定时任务，在每天凌晨删除大于指定天数（缺省值30）的日志 指定天数是定时任务的一个配置值，可以按需要修改

fluent-bit 守护程序集

用来收集 POD 中的日志，然后发送给 OpenSearch 服务生成索引；要查看某个容器的日志收集情况，先找出容器在哪个节点，然后看这个节点的 fluent-bit 的日志