聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

  • 168 views阅读

    内存计算系统系列成果之八:Gengar:基于RDMA的分布式异构内存池

    非易失性内存具有存储密度高、低功耗、字节可寻址、接近DRAM的读写性能等优良特性,为数据中心应用构建大型分布式共享内存系统提供了可能。尽管有许多关于在单节点中使用NVM的研究,但在分布式数据中心环境中如何有效利用NVM仍然存在挑战。我们提出了支持RDMA的分布式异构内存池Gengar,使应用程序可通过简单的API对全局内存空间中的远端NVM和DRAM进行高效利用。Gengar在应用端监控...

    分类:技术文章 时间:2022-01-20 10:46 我要评论(0个)

  • 143 views阅读

    解析高效分布式训练系统 PERSIA:可用于训练百万亿参数的超大规模深度学习推荐模型

    作者 | G Chaithali译者 | 王强策划 | 刘燕基于深度学习技术的模型主导了现代工业级推荐系统的行业格局。现代推荐系统在大量场景中获得了实际应用。在规模不断扩大的深度神经网络模型的推动下,它们取得了一系列令人难以置信的成果和进步。然而,即使在工业级规模的数据中心内,此类模型的训练工作也是一大挑战。这一挑战的根源在于训练工作的计算过程所具备的极高异质性 —— 模型的嵌入层可能占...

    分类:技术文章 时间:2022-01-14 14:38 我要评论(0个)

  • 319 views阅读

    DC 2021 分布式数据库开发者大会成功举办,“数聚时代”,共建分布式数据库未来 | Q推荐

    作者 | 李冬梅 2022 年 1 月 6 日,由中国电子技术标准化研究院指导、 CSDN 主办、OceanBase 承办,InfoQ、木兰开源社区、开源中国、51CTO、思否、dbaplus、墨天轮、稀土掘金协办的【DC2021 分布式数据库开发者大会】正式开幕。受疫情影响,本场大会采用了线上的方式与数据库开发者共话当下最前沿的技术趋势,分析企业技术实践,共创“数聚未来”。2...

    分类:技术文章 时间:2022-01-07 14:37 我要评论(0个)

  • 803 views阅读

    微服务下分布式事务模式的详细对比

    作者 | Bilgin Ibryam译者 | 张卫滨策划 | 万佳审校 | 万佳本文最初发表于 RedHat 博客网站,经原作者 Bilgin Ibryam 授权由 InfoQ 中文站翻译分享。作为 Red Hat 咨询架构师,我有幸参与了大量客户项目。虽然每个客户都面临自己特有的挑战,但是我发现其中有一些共同点。大多数项目都想知道如何协调对多个记录系统的写入。要回答这个问题,一般会涉及...

    分类:技术文章 时间:2021-12-12 14:37 我要评论(0个)

  • 875 views阅读

    TensorFlow在推荐系统中的分布式训练优化实践

    1 背景TensorFlow(下文简称TF)是谷歌推出的一个开源深度学习框架,在美团推荐系统场景中得到了广泛的使用。但TensorFlow官方版本对工业级场景的支持,目前做得并不是特别的完善。美团在大规模生产落地的过程中,遇到了以下几方面的挑战:所有参数都是用Variable表达, 对于百亿以上的稀疏参数开辟了大量的内存,造成了资源的浪费;只支持百级别Worker的分布式扩展,对上千Wor...

    分类:技术文章 时间:2021-12-10 18:31 我要评论(0个)

  • 709 views阅读

    如何用Netty写一个高性能的分布式服务框架?

    以下文章来源于阿里技术 ,作者家纯 阿里技术 . 阿里巴巴官方技术号,关于阿里的技术创新均呈现于此。 点击上方蓝色“石杉的架构笔记”,选择“设为星标”回复“PDF”获取独家整理的学习资料!代码托管仓库:https://gitee.com/suzhou-mopdila-information/ruyuan-dfs长按扫描上方免费参加来源:公众号【阿里技术】| 什么是 Netty?...

    分类:技术文章 时间:2021-12-08 14:37 我要评论(0个)

  • 1076 views阅读

    分布式数据库如何平衡一致性和读写延迟?

    作者 | 刘继聪审校 | 蔡芳芳  为了提供高可用能力、避免数据丢失,在分布式数据库或存储系统中需要设立数据副本机制,而副本的引入,可以说是分布式存储中的“万恶之源”。多副本之间应该满足强一致吗?强一致会导致请求延迟增加多少?强一致约束下能提供哪些可用性?诸如此类,种种问题,不一而足。此外,分布式系统中的 CAP 原理可以被表述为:在网络分区存在的情况下,强一致与可用...

    分类:技术文章 时间:2021-11-14 14:36 我要评论(0个)

  • 1086 views阅读

    Kubernetes 上分布式系统的演化

    作者 | Bilgin Ibryam译者 | 张卫滨策划 | 丁晓昀1 现代分布式应用我想为这次演讲预先设置一些背景,在这里当我提到分布式系统时,我所指的是由多个组件组成的系统,可能会有数百个这样的组件。这些组件可能是有状态的、无状态的或者是无服务器的。除此之外,这些组件可以使用不同的语言创建,运行在混合环境之中,开发时使用的是开源技术和开发标准,支持互操作性。我相信你也可以使用闭源的软...

    分类:技术文章 时间:2021-10-17 16:07 我要评论(0个)

  • 1603 views阅读

    畅谈数据库,云原生、分布式和开源

    行业底层技术焕发生机总是令人感到惊喜和可贵。数据库作为基础软件的主要组成部分,在行业内的话题度也在一路走高,如今已是最火的一个板块。云原生、分布式、开源,如今谈数据库离不开这些关联词。10 月 14 日,一档专为数据库行业制作的《数据 cool 谈》栏目,邀请华东师范大学副校长、资深数据库学者周傲英、PingCap 联合创始人兼 CTO 黄东旭、阿里云数据库产品事业部负责人李飞飞、Inf...

    分类:技术文章 时间:2021-10-15 16:06 我要评论(0个)

  • 1524 views阅读

    值75亿美金的GitHub都不用分布式,你的数据库也不需要

    前两天 GitHub 的博客上发布了一篇题为「Partitioning GitHub’s relational databases to handle scale」[1] 讲述他们如何拆分自己的数据库。相关内容在 Hacker News[2] 上也引起了大家的关注。拆分前的 GitHub一直以来 GitHub 上几乎所有的元数据信息(不包括存放的代码仓库本身)都是存在一个叫 mysql1...

    分类:技术文章 时间:2021-10-10 16:06 我要评论(0个)

  • 1559 views阅读

    分布式计算的 8 大谬误

    作者 | Sergio De Simone译者 | 平川策划 | 赵钰莹在 Ably 博客最近的一篇文章中,Alex Diaconu 回顾了分布式计算的 8 大谬误,并提供了一些应对建议。InfoQ 借此机会与 Diaconu 进行了交流,以了解更多关于 Ably 工程师如何处理这些谬误的信息。在 Ably 博客最近的一篇文章中,Alex Diaconu 回顾了分布式计算的 8 大谬误,...

    分类:技术文章 时间:2021-09-26 17:06 我要评论(0个)

  • 2121 views阅读

    细说Redis分布式锁

    点击上方蓝色“石杉的架构笔记”,选择“设为星标”回复“PDF”获取独家整理的学习资料!长按扫描上方一元购买来源:https://juejin.cn/post/6844904082860146695| 序-碎碎叨叨在家办公的第N周,也不知道笔者工位上的键盘和显示器有没有想我,不知道会不会落灰太严重,被保洁阿姨扔掉了。笔者今天带来一篇关于redis锁的文章。连敲带画码出此文,有一些细节,对r...

    分类:技术文章 时间:2021-08-28 17:05 我要评论(0个)