在使用python写web框架时,经常会碰到需要对request参数进行检验或者过滤,如果将诸多的校验逻辑都堆积在业务逻辑中,会显得很臃肿,在flask中,推荐一个很棒的库,可以写法变得很清晰.

阅读全文 »

模型训练除了算法侧需要优化之外,工程师也可以做很多落地来加速这个过程,今天就结合作者在落地训练平台的经验来聊一聊其中常用技术.

阅读全文 »

业务中使用的日志架构是基于Loki来搭建的,最近发现了一个很诡异的问题,有些log的label与label之间对应不上,经过一番尝试后虽然解决了问题,但不知道原由。

阅读全文 »

grafana出品的loki日志框架完美地与kubernetes的label理念结合,相对于EFK来说更加轻量级,非常适合不需要日志聚合的场景.目前新上集群考虑都彩loki做为基础工具, 直接在grafana中展示

在这里记录下使用Loki踩过的坑, 不定期更新

阅读全文 »

Mpi: Message Passing Interface,消息传递接口

由于AI业务中使用到了MPI, 网上看MPI教程写的也是云里雾里,很难理解清楚,作者这里结合自身负责的业务来理解MPI的实现方式.

如果有理解存在有遗留或者错误的地方,请各位过客不吝赐教.

阅读全文 »

flannel在kubernetes中算是比较常用的cni, 其中vxlan又是flannel中常用的模式,最近又详细地看了一遍vxlan的实现方式, 每看一次都会发现新大陆,听的太多人说flannel的vxlan需要封包解包,但并不是所有的人都知道到底是把什么封到包里,包指的又是什么?

阅读全文 »

今天在排查集群一个问题时,发现相关的pod的状态为UnexpectedAdmissionError,在这之前从未没遇到过pod还有这种状态的,一脸好奇,在解决问题的过程中,发现越挖越深, 里面涉及到的信息也是相当的多,特此记录一下.

阅读全文 »

历史文章:

可观测性到底在说什么

opentelemetry架构及名词介绍

全链路追踪的TraceID与SpanID

整个opentelemetry体系还是相当复杂的,这里没办法将所有opentelemetry的东西讲清楚,直接通过case顺带opentelemetry里的概念来拆解会比较直观

这里通过一个简单的golang demo来介绍怎么接入opentelemetry以实现Metrics跟Trace的传递

阅读全文 »
0%