国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

每秒千万级实时数据处理系统是如何设计的?

发布时间:2019/08/28标签:   数据    点击量:

原标题:每秒千万级实时数据处理系统是如何设计的?
闲鱼现在现实出产安排情况越来越庞杂,横向依靠种种效劳盘根错节,纵向依靠的运转情况也越来越庞杂。图片来自 Pexels当效劳呈现成绩的时间,是否实时在海量的数据中定位到成绩根因,成为磨练闲鱼效劳才能的一个严格挑衅。线上呈现成绩经常常须要十多分钟,乃至更长时光才干找到成绩起因,因而一个可能疾速停止主动诊断的体系需要就应运而生,而疾速诊断的基本是一个高机能的及时数据处置体系。这个及时数据处置体系须要具有以下的才能: 数据及时收罗、及时剖析、庞杂盘算、剖析成果长久化。 能够处置多种多样的数据。包括利用日记、主机机能监控目标、挪用链路图。 高牢靠性。体系不出成绩且数据不能丢。 高机能,低延时。数据处置的延时不超越 3 秒,支撑每秒万万级的数据处置。本文不波及成绩主动诊断的详细剖析模子,只探讨团体及时数据处置链路的计划。输出输入界说为了便于懂得体系的运行,咱们界说该体系团体输出和输入。输出效劳恳求日记(包括 traceid、时光戳、客户端 IP、效劳端 IP、耗时、前往码、效劳名、方式名)。情况监控数据(目标称号、IP、时光戳、目标值)。比方 CPU、 JVM GC 次数、JVM GC 耗时、数据库目标。输入一段时光内的某个效劳呈现过错的根因,每个效劳的过错剖析成果用一张有向无环图表白。(根节点等于被剖析的过错节点,叶子节点等于过错根因节点。叶子节点能够是一个内部依靠的效劳过错也能够是 JVM 异样等等)。架构计划在现实的体系运转进程中,跟着时光的推移,日记数据以及监控数据是源源一直的在发生的。每条发生的数据都有一个本人的时光戳。而及时传输这些带偶然间戳的数据就像水在差别的管道中流淌一样。假如把源源一直的及时数据比作流水,那数据处置进程和自来水出产的进程也是相似的:天然地,咱们也将及时数据的处置进程剖析成收罗、传输、预处置、盘算、存储、盘算与长久化几个阶段。团体的体系架构计划以下:收罗采纳阿里自研的 SLS 日记效劳产物(包括 Logtail+LogHub 组件),Logtail 是收罗客户端。之以是抉择 Logtail 是由于其优良的机能、高牢靠性以及其机动插件扩大机制,闲鱼能够定制本人的收罗插件完成种种百般数据的及时收罗。传输Loghub 能够懂得为一个数据公布定阅组件,和 Kafka 的功效相似,作为一个数据传输通道其更稳固、更保险。具体对照文章参考:https://yq.aliyun.com/articles/35979?spm=5176.10695662.1996646101.searchclickresult.6f2c7fbe6g3xgP

版权信息Copyright ? IT技术教程 版权所有??? ICP备案编号:鲁ICP备09013610号