聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

常见分布式应用系统设计图解(十一):数据监控系统

2020-11-18 07:20 浏览: 2309154 次 我要评论(0 条) 字号:

这篇是讲数据监控系统的,常见的包括 Datadog 和 Prometheus 等等。一个比较完整的数据监控系统要包括数据采集和数据展示两个部分。在此基础上,还可以具备告警和其它数据处理的功能。

对于监控的数据, 通常包括两类,一类是操作系统层面的数据,比如 CPU、内存、IO 等等;还有一类是应用相关的数据,这些数据就具备明确的业务意义了。

  • 大体上,图中虚线表示控制流,而实现表示实际的统计数据流向。
  • 用户通过 Web UI 来查看数据、定义规则,这些元信息存储在图中上方的元数据库中。
  • Cluster Manager 和不同集群内的 cluster agent 通信,agent 通过心跳的方式和 manager 保持连接。
  • 每个集群中,每个节点都有 node agent 负责采集数据,并将它们汇报给 cluster agent,cluster agent 汇总后写到一个队列中,也可以使用专门的数据流处理服务,后者实时性更高。
  • 这个队列或是数据流有多个订阅者,它们从中读取数据并执行相应的操作,比如生成压缩数据,或者生成时序数据。
  • 时序数据既可以被用作主要的数据展示数据来源,又可以被 Monitoring Service 拿来用作告警的判断之用。

文章未经特殊标明皆为本人原创,未经许可不得用于任何商业用途,转载请保持完整性并注明来源链接



网友评论已有0条评论, 我也要评论

发表评论

*

* (保密)

Ctrl+Enter 快捷回复