国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

一个系统,搞定闲鱼服务端复杂问题告警-定位

发布时间:2019/07/29标签:   数据    点击量:

原标题:一个系统,搞定闲鱼服务端复杂问题告警-定位
弁言效劳端成绩排查(效劳稳固性/基本设备异样/营业数据不合乎预期等)关于开辟而言是家常便饭,成绩并弗成怕,然而天天都要花大批时光行止理成绩会很恐怖;另一方面毛病的疾速处理相当主要。那末现在成绩排查最大的阻碍是甚么呢?咱们以为有几个起因招致: 大批的告警信息。 链路的庞杂性。 排查进程简约。 依靠教训。 但是现实任务中的排查进程并非无迹可寻,其排查思绪和手腕是能够积淀出一套教训模子。积淀门路上面是我的定单列表的简略形象,其履行进程是先拿到我买到的定单列表。定单列表中又用到了卖家,商品以及店肆信息效劳,每个效劳又关系着单次恳求中供给效劳对应的主机信息。

一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理
以线上罕见的效劳超时为例,上图中由于127.123.12.12这台呆板呈现异样招致商品效劳超时,进而招致我的定单列表效劳超时。依据平常中排查思绪能够总结出以下剖析范式:
一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理
下面这类剖析范式看起来很简略清楚,然而它起首面对着以下成绩: 怎样正确界定超时/异样。 高低游挪用链路怎样天生。 本人和卑鄙,怎样断定谁的成绩(超时&异样)。 卑鄙异样时,怎样辨别超时/线程池满/未知异样。 以上成绩实质上是底层数据埋点成绩,荣幸的是阿里团体齐备的数据建立使得这些成绩基础都能找到很好的处理计划。有了底层数据支持再共同下层形象进去的如许一套剖析模子,计划并完成一套完整主动化成绩定位体系是完整有能够的。体系架构咱们以为如许一套成绩主动定位的体系必定要满意4个目的,这同时也是全部体系的难点地点。 准(定位正确率不亚于开辟职员) 定位成果与实在起因哪怕有一点收支,影响的都是开辟对体系自身的信念,以是准是一大条件。 快(定位成果早于监控发觉) 监控作为发觉成绩最主要的手腕,只要监控发觉成绩时能立马定位出成果,才真正存在有用代价。 简略(从成绩发觉到定位成果之间的最短链路) 线上成绩/毛病定位争分夺秒,操纵门路越简略越有代价。 主动化 全程不需开辟职员参加。
一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

版权信息Copyright ? IT技术教程 版权所有??? ICP备案编号:鲁ICP备09013610号