grafana出品的loki日志框架完美地与kubernetes的label理念结合,相对于EFK来说更加轻量级,非常适合不需要日志聚合的场景.目前新上集群考虑都彩loki做为基础工具, 直接在grafana中展示
在这里记录下使用Loki踩过的坑, 不定期更新
Please verify permissions
原因: 这条其实是warn,不影响logtail的正常工作,如果调整过日志的路径的话要确认logtail挂载的路径是否正常
loki: invalid schema config
原因: loki的配置文件格式错误.
promtail: too many open files
原因: /var/log/pods下面的文件数量太多,导致超过内核参数(fs.inotify.max_user_instances)设置配置.
解决:
1 | # 先查看当前机器设置的配置 |
参考: https://github.com/grafana/loki/issues/1153
promtail: no such file ro directory
原因: promtail daemonset启动时会自动挂载好几个hostpath,如果docker containers的配置调整过,则需要volume跟volumemount都需要对应上.