聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

  • 138 views阅读

    常见分布式基础设施系统设计图解(七):分布式实时流处理系统

    今天这篇是关于实时流处理(real-time stream processing)的,这一类的系统这几年比较多了,但相对而言并没有之前提到的几类基础设施系统常见。为什么说这类系统如今更为常见呢?因为一般说来,或者说曾经有一个普遍的认知,就是 through...

    分类:技术文章 时间:2020-11-20 09:31 我要评论(0个)

  • 186 views阅读

    常见分布式应用系统设计图解(十一):数据监控系统

    这篇是讲数据监控系统的,常见的包括 Datadog 和 Prometheus 等等。一个比较完整的数据监控系统要包括数据采集和数据展示两个部分。在此基础上,还可以具备告警和其它数据处理的功能。 对于监控的数据, 通常包括两类,一类是操作系统层面的数据...

    分类:技术文章 时间:2020-11-18 07:20 我要评论(0个)

  • 196 views阅读

    常见分布式应用系统设计图解(十):电商秒杀系统

    这篇是关于电商平台秒杀系统的。 首先,我觉得 “秒杀” 是一个中国色彩浓重的词,这样的概念在西方电商系统中也有,但只有在中国,本来业务量就已经如此之巨大了,还将其如此发扬开来。因此顶尖的秒杀高并发场景,还真是基本上只有在中国的电商平台系统中,才能见得...

    分类:技术文章 时间:2020-11-17 04:18 我要评论(0个)

  • 265 views阅读

    常见分布式应用系统设计图解(九):协同编辑系统

    这里讲的 “协同编辑”,指的是 “Collaborative Editing”,多个人同时一起编辑同一个文件,比如说 Google Docs,国内的有有道云协作、石墨文档之类的。这样的系统倒不如我们前面提到的那些应用系统那么 “火”,但是,依然具备相当的典...

    分类:技术文章 时间:2020-11-13 03:45 我要评论(0个)

  • 386 views阅读

    常见分布式基础设施系统设计图解(六):分布式 MR 系统

    其实对于 MR(Map Reduce)系统来说,可能更重要的是分治和分步处理的思想,因为现在的基于 MR 的数据处理框架或者平台,在实现上数据处理往往已经和最经典的对于 MR 的理解(最早应该是来自 Google 的那篇论文)有了不少区别。当然,我还是按照...

    分类:技术文章 时间:2020-11-03 04:20 我要评论(0个)

  • 335 views阅读

    美团内部讲座|北航全权:一种城市空中移动性管理分布式控制框架

    无人机交通以及最近兴起的空中移动性管理得到了广泛的关注。为此,波音、空客、霍尼韦尔和贝尔等传统航空巨头以及Uber等新兴世界级影响力的企业纷纷加入。本报告提出了空中高速公路方案以及仿真测试。该方案基于时空大数据,考虑了交通网络、航线规划和分布式控制设计。在...

    分类:技术文章 时间:2020-10-30 15:38 我要评论(0个)

  • 384 views阅读

    常见分布式基础设施系统设计图解(五):分布式流控系统

    这一篇记录分布式的流量控制系统。 首先,关于流量控制系统,从功能性需求上考虑,它涉及到使用怎样的规则去限制流量,以及,流量超出限制以后的策略是怎样的。 其次,从非功能性需求上考虑,对于单机系统,有一些比较成熟的流量控制算法,比如 Leaky B...

    分类:技术文章 时间:2020-10-30 03:48 我要评论(0个)

  • 427 views阅读

    常见分布式基础设施系统设计图解(四):分布式工作流系统

    这一篇是记录分布式工作流系统的。我这些年来参与了几个不同的分布式工作流系统的工作(以前从另外的角度写了一些总结放在这里),大部分是基于基础分布式工作流引擎二次开发的,但也有从头开始实现一个的。总的来说,从原理上看可以说它们的实现是大同小异,大致是基于 Am...

    分类:技术文章 时间:2020-10-27 02:26 我要评论(0个)

  • 689 views阅读

    常见分布式基础设施系统设计图解(三):分布式消息队列

    这篇的内容是关于分布式消息队列的,无论是在实时系统,还是在非实时系统中,它都有广泛的应用。作为一个消息队列,基本的功能需求相对好描述,简单说有两条: 首先,围绕着 pub-sub 这样的机制,允许消息发布者发布的特定主题下的消息,能够投递到若干个订阅...

    分类:技术文章 时间:2020-10-19 09:06 我要评论(0个)

  • 583 views阅读

    常见分布式基础设施系统设计图解(二):分布式数据库

    从大致的非功能需求角度来说,作为一般的分布式持久化存储系统,这样三个需求从重要性依次排列: Durability > Availability > Performance 即最重要的是,数据绝对不能丢失,其次是要一直提供服务,最后才...

    分类:技术文章 时间:2020-10-09 00:46 我要评论(0个)

  • 814 views阅读

    常见分布式基础设施系统设计图解(一):分布式文件系统

    继续分布式系统的设计图解,下半部分是基础设施,此篇是分布式文件系统。这里面典型就是 GFS,对应开源的版本就是 HDFS。 既然谈到分布式文件系统,我觉得需要从需求层面做一个简单的说明: 这里的文件,通常以 “大” 文件为主,越大效率越高,而...

    分类:技术文章 时间:2020-10-05 00:15 我要评论(0个)

  • 626 views阅读

    常见分布式应用系统设计图解(六):流媒体系统

    流媒体系统,主要是视频流媒体系统。比如 YouTube,比如 Netflix,比如爱奇艺,还有优酷。再一个许多大型的社交平台上,几乎是一定要内嵌流媒体服务的,以支持用户上传视频类型的内容。 这类系统我们需要考虑的不只有单纯视频文件的存储和传输,还有文...

    分类:技术文章 时间:2020-10-01 00:07 我要评论(0个)