Z.S.K.'s Records

Grafana学习(Loki踩坑记)

grafana出品的loki日志框架完美地与kubernetes的label理念结合,相对于EFK来说更加轻量级,非常适合不需要日志聚合的场景.目前新上集群考虑都彩loki做为基础工具, 直接在grafana中展示

在这里记录下使用Loki踩过的坑, 不定期更新

promtail: too many open files

原因: /var/log/pods下面的文件数量太多,导致超过内核参数(fs.inotify.max_user_instances)设置配置.

解决:

1
2
3
4
5
6
7
8
# 先查看当前机器设置的配置
cat /proc/sys/fs/inotify/max_user_instances
# 再查看promtail启动时watch的文件数
cat /run/promtail/positions.yaml | wc -l
# 如果这个值比max_user_instances要大,则会出现上面的错误,可以通过修改内核参数进行调整
sysctl -w fs.inotify.max_user_instances=512
# 生效
sysctl -p

参考: https://github.com/grafana/loki/issues/1153

promtail: no such file ro directory

原因: promtail daemonset启动时会自动挂载好几个hostpath,如果docker containers的配置调整过,则需要volume跟volumemount都需要对应上.

未完待续

参考文章:

转载请注明出处https://izsk.me

Z.S.K. wechat
Scan Me To Read on Phone
I know you won't do this,but what if you did?