Grafana学习(Loki踩坑记)

grafana出品的loki日志框架完美地与kubernetes的label理念结合，相对于EFK来说更加轻量级，非常适合不需要日志聚合的场景.目前新上集群考虑都彩loki做为基础工具, 直接在grafana中展示

在这里记录下使用Loki踩过的坑, 不定期更新

Please verify permissions

原因: 这条其实是warn,不影响logtail的正常工作，如果调整过日志的路径的话要确认logtail挂载的路径是否正常

loki: invalid schema config

原因: loki的配置文件格式错误.

promtail: too many open files

原因: /var/log/pods下面的文件数量太多，导致超过内核参数(fs.inotify.max_user_instances)设置配置.

解决：

# 先查看当前机器设置的配置
cat /proc/sys/fs/inotify/max_user_instances
# 再查看promtail启动时watch的文件数
cat /run/promtail/positions.yaml | wc -l
# 如果这个值比max_user_instances要大，则会出现上面的错误，可以通过修改内核参数进行调整
sysctl -w fs.inotify.max_user_instances=1024
# 生效
sysctl -p

参考: https://github.com/grafana/loki/issues/1153