聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

  • 1188 views阅读

    常见分布式基础设施系统设计图解(一):分布式文件系统

    继续分布式系统的设计图解,下半部分是基础设施,此篇是分布式文件系统。这里面典型就是 GFS,对应开源的版本就是 HDFS。 既然谈到分布式文件系统,我觉得需要从需求层面做一个简单的说明: 这里的文件,通常以 “大” 文件为主,越大效率越高,而...

    分类:技术文章 时间:2020-10-05 00:15 我要评论(0个)

  • 811 views阅读

    常见分布式应用系统设计图解(六):流媒体系统

    流媒体系统,主要是视频流媒体系统。比如 YouTube,比如 Netflix,比如爱奇艺,还有优酷。再一个许多大型的社交平台上,几乎是一定要内嵌流媒体服务的,以支持用户上传视频类型的内容。 这类系统我们需要考虑的不只有单纯视频文件的存储和传输,还有文...

    分类:技术文章 时间:2020-10-01 00:07 我要评论(0个)

  • 759 views阅读

    常见分布式应用系统设计图解(七):爬虫搜索系统

    互联网搜索引擎都有爬虫系统,无论是 Google 还是百度。当然这里我们讨论的只是一个极其简单的版本。 对于爬到的资源,我们这里其实讨论的只是文本而已,还有图片、音频、视频这些媒体,如果我们也需要存下来,那就需要专门的媒体服务。对于媒体文件的存放,在...

    分类:技术文章 时间:2020-10-01 00:07 我要评论(0个)

  • 646 views阅读

    常见分布式应用系统设计图解(八):文件同步分享系统

    文件同步分享系统包括 Dropbox、Google Drive,也包括国内的各种网盘,比如百度网盘。总的来说,这里讨论的这个系统包含这样几个基本功能: 文件变更检测;文件增量上传和下载;文件分享和同步。 总体来说,上半部分是文件变化的检...

    分类:技术文章 时间:2020-10-01 00:07 我要评论(0个)

  • 863 views阅读

    常见分布式系统设计图解(汇总)

    这一篇是给我记录的那些常见分布式系统设计图解系列的文章做一个汇总,也提供一个访问入口。 如同我在第一篇文中说的那样,自己在学习各种各样分布式系统的过程中,做了一些笔记,也有自己的理解,把它们放到一起,用一张图选择最主要的部分来阐释,从我的角度来说,是...

    分类:技术文章 时间:2020-10-01 00:07 我要评论(0个)

  • 1154 views阅读

    常见分布式应用系统设计图解(五):Proximity 系统

    今天是介绍 Proximity 系统,我不知道怎么翻译恰当,就保留英文原文。虽说词义上说的只是 “相似度”,但多数说的是 “地理” 上的相似度。因此,这一类系统多为基于地理上的邻近程度来提供服务的,核心功能就是要找到某人、物或地点地理位置附近的其它人、物或...

    分类:技术文章 时间:2020-09-16 02:00 我要评论(0个)

  • 1226 views阅读

    常见分布式应用系统设计图解(四):输入提示系统

    输入提示系统,指的就是 “typeahead”,比如 Google 搜索,输入一个单词的前几个字母,后面最常用的几个搜索词会被联想出来。有时,它也需要具备一定程度的字符拼写错误自动更正能力。 比如上面这张截图,我输入了 “goog”,在输入框...

    分类:技术文章 时间:2020-09-13 01:05 我要评论(0个)

  • 1149 views阅读

    常见分布式应用系统设计图解(三):Top K 系统

    “ Top K 系统 ” 是非常常见的一种子系统,基本上,就是从全量巨大的统计数据中,筛选出数值最大的 K 个来并按序展示。这样的筛选可以是全时间内的,也可以是最近某一段时间内的;可以是全分类的,也可以是某个特定分类的。 具体来说,像 Twitter...

    分类:技术文章 时间:2020-09-04 04:50 我要评论(0个)

  • 1502 views阅读

    2PC之踵?是时候升级二阶段提交协议了

    感谢读者,能看到这篇文章,也许是通过 RSS 订阅或者是博客首页来的。博客过去很长时间没有更新,大部分随想都发表在微博,由于发的内容大多是碎碎念,建议大家也不用专门去拜访。在 2010 年时候,曾写过一篇多IDC的数据分布设计的文章提到过 2PC 等协议,...

    分类:技术文章 时间:2020-02-09 21:33 我要评论(0个)

  • 2547 views阅读

    巧用 Nginx 实现大规模分布式集群的高可用性

    本文是我对2019年GOPS深圳站演讲的文字整理。这里我希望带给各位读者的是,如何站在整个互联网背景下系统化地理解Nginx,因为这样才能解决好大流量分布式网络所面临的高可用问题。 标题里有“巧用”二字,何谓巧用?同一个问题会有很多种解决方案,但是,...

    分类:技术文章 时间:2019-10-18 23:05 我要评论(0个)

  • 3395 views阅读

    保障IDC安全:分布式HIDS集群架构设计

    背景 近年来,互联网上安全事件频发,企业信息安全越来越受到重视,而IDC服务器安全又是纵深防御体系中的重要一环。保障IDC安全,常用的是基于主机型入侵检测系统Host-based Intrusion Detection System,即HIDS。在HIDS...

    分类:技术文章 时间:2019-10-18 16:40 我要评论(0个)

  • 6095 views阅读

    美团即时物流的分布式系统架构设计

    本文根据美团资深技术专家宋斌在ArchSummit架构师峰会上的演讲整理而成。 背景 美团外卖已经发展了五年,即时物流探索也经历了3年多的时间,业务从零孵化到初具规模,在整个过程中积累了一些分布式高并发系统的建设经验。最主要的收获包括两点: 即时物流...

    分类:技术文章 时间:2018-11-22 21:21 我要评论(0个)