聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

  • 2879566 views阅读

    关于memcache内核,全网最通俗的讲解!(由浅入深,值得收藏)

    发表于 收录于合集 #架构 75 个 #数据库 30 个 #缓存 5 个 memcache曾经是互联网分层架构中,使用最多的的KV缓存,如今却几乎被 redis 替代。画外音:你还在用mc吗,还是redis?但memcache的内核设计,却值得每一个技术人学习和借鉴。第一部分:知其然关于memcache一些基础特性,使用过的小伙伴必须知道:(1)mc的核心职能是KV内存管理,value存储...

    分类:技术文章 时间:2022-06-16 02:17 我要评论(0个)

  • 3023420 views阅读

    穿透类缓存Cache使用,这一篇就够了!

    #缓存 3 个 #互联网 42 个 #架构 61 个 #微服务 15 个 有些成熟的技术方案,用不着创新,固化下来的模式(pattern),学就完了。例如,穿透类缓存的使用,“Cache Aside Pattern”就是很好的实践沉淀,故今天聊一聊Cache Aside Pattern。画外音:就好像“设计模式”,它就是沉淀下来的设计方法。什么是“Cache Aside Pattern”...

    分类:技术文章 时间:2021-12-24 02:12 我要评论(0个)

  • 3395998 views阅读

    爱奇艺本地实时Cache方案

    以下文章来源于爱奇艺技术产品团队 ,作者爱奇艺后台团队 爱奇艺技术产品团队 . 爱奇艺的技术产品团队 高并发系统离不开Cache,通过采用更多的本地Cache来提升系统吞吐量和稳定性是必然的,这其中的最大难点就是解决分布式本地Cache数据的实时性和一致性问题,否则本地Cache就无法更普遍应用于频繁变更的数据上。没有最完美的方案,只有更合适的方案。本文将详细讲解爱奇艺TV后台分布式实时...

    分类:技术文章 时间:2021-09-15 00:50 我要评论(0个)

  • 3230594 views阅读

    cache server 问题总结

    这周,我们的 cache server 服务面临了很多的挑战。项目资源超过了 30G ,有几十个用户在同时使用。每天都有版本切换工作(导致重新上传下载 30G 的数据)。在这个过程中,我对 cache server 程序修修补补,终于没有太大的问题了。 总结一下,我认为 cache server 的协议设计,以及 Unity 客户端实现,均存在很大的问题。这些问题是无法通过改进服务器的实...

    分类:技术文章 时间:2020-10-18 12:43 我要评论(0个)

  • 1876405 views阅读

    skynet 版的 cache server 引出的一点改进

    我们自己做的 cache server 已经工作了很长时间了。上次出问题是在 2 月在家工作期间。 这个月又出了一起事故,依旧是 OOM 导致的崩溃。一开始,我百思不得其解,感觉上次已经处理完了所有极限情况,按道理,这是个重 IO 而轻内存的业务,不太可能出现 OOM 的。 通过增加一些 log 以及事后的分析,我才理解了问题。并对应做了修改。 上次的问题出在服务器发送的过载。即,...

    分类:技术文章 时间:2020-09-30 23:11 我要评论(0个)

  • 2877031 views阅读

    Hadoop 2.6.x 下Distributed Cache的用法

    仔细记录一下Java的Map-Reduce job使用distributed cache的方法,毕竟以前一直都是copy paste ~ ✓ 适用的Hadoop版本 CDH 5.8.0(Hadoop 2.6.0) 别的版本没有测试过,但后面相近的版本应该也能用。 ✓ 准备工作:上传本地文件到HDFS 为了在Java代码中把一个文件加入 distributed cache...

    分类:技术文章 时间:2020-07-29 04:35 我要评论(0个)

  • 2688442 views阅读

    [原]关于cache miss和prefetch miss的实验

    内存连续就一定会获得高性能吗?是的! 连续内存访问优于矩阵按列内存访问,矩阵按列访问优于随机访问。 但其背后仅仅是prefetch的功劳吗?不一定! #include <stdio.h> #include <stdlib.h> #include <unistd.h> #define MAX 0xfffff unsigned int next_seq(...

    分类:技术文章 时间:2020-04-18 19:26 我要评论(0个)

  • 2940662 views阅读

    与程序员相关的CPU缓存知识

    好久没有写一些微观方面的文章了,今天写一篇关于CPU Cache相关的文章,这篇文章比较长,主要分成这么几个部分:基础知识、缓存的命中、缓存的一致性、相关的代码示例和延伸阅读。其中会讲述一些多核 CPU 的系统架构以及其原理,包括对程序性能上的影响,以及在进行并发编程的时候需要注意到的一些问题。这篇文章我会尽量地写简单和通俗易懂一些,主要是讲清楚相关的原理和问题,而对于一些细节和延伸阅读我...

    分类:技术文章 时间:2020-03-01 22:20 我要评论(0个)

  • 2562202 views阅读

    skynet 版的 cache server 改进

    去年我实现的 Unity cache server 的替代品 已经逐渐在公司内部取代 Unity 官方的版本。反应还不错,性能,可维护性以及稳定性都超过官方版本。 最近疫情严重,公司安排所有人员在家办公,今天是开工第三天。前两天比较混乱,毕竟在家办公的决定是在假期中间做出的,并没有预先准备,我们的这个 cacheserver 也在第一天受到了极大的考验,暴露出一个问题,好在只是内存用量预...

    分类:技术文章 时间:2020-02-09 21:30 我要评论(0个)

  • 2791431 views阅读

    [原]OpenVSwitch数据面流表cache机制浅谈

    稍许笔墨写了一篇关于OpenVSwitch(以下简称OVS)的文章: https://blog.csdn.net/dog250/article/details/103492099 但有些事情并没有说清楚。 关于OVS的流表是如何映射成数据平面的Flow cache的,有必要单独写一篇文章来说一下。 下面的Paper描述了整个过程的来龙去脉,不可不读: http://www.openvswi...

    分类:技术文章 时间:2019-12-12 23:45 我要评论(0个)

  • 2370864 views阅读

    实现一个memcache proxy

    通常我们会使用多台memcached构成一个集群,通过客户端库来实现缓存数据的分片(replica)。这会带来2个主要问题: memcached机器连接数过多 不利于做整体的服务化;缺少可运维性。例如想对接入的客户端做应用级隔离;或者对缓存数据做多区域(机房)的冗余 实现一个memcache proxy,相对于减少连接数来说,主要可以提供更多的扩展性。目前已经存在一些不错的mem...

    分类:技术文章 时间:2017-05-19 06:45 我要评论(0个)

  • 2494350 views阅读

    Xmemcached源码阅读

    Xmemcached 是一个memcached客户端库。由于它提供的是同步API,而我想看下如何增加异步接口。所以就大致浏览了下它的源码。 主要结构 针对memcache客户端的实现,主要结构如下: XMemcachedClient 是应用主要使用的类,所有针对memcache的接口都在这里 Command 用于抽象二进制协议或文本协议下各个操作,这里称为Command。Com...

    分类:技术文章 时间:2017-05-14 00:45 我要评论(0个)