聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

  • 33710 views阅读

    ​58大数据任务调度和智能运维实践

    #原创经典 226 个 #58同城 9 个 #AIOPs 2 个 #大数据基础设施 10 个 #资源调度 1 个 导读:随着大数据的进一步发展,大数据运维变得非常重要。要做好大数据运维的工作,需要对集群进行技术上和业务上的合理规划,从技术上,充分利用和理解现有的资源调度系统。今天和大家分享下 58 同城自研的星河-数据开发平台。今天的介绍会围绕下面三点展开:调度系统的定位与挑战架构设计与...

    分类:技术文章 时间:2022-12-04 23:50 我要评论(0个)

  • 192692 views阅读

    vivo大数据日志采集Agent设计实践

    以下文章来源于vivo互联网技术 ,作者Qiu Sidi vivo互联网技术 . 分享 vivo 互联网技术干货与沙龙活动,推荐最新行业动态与热门会议。 作者:vivo 互联网存储技术团队- Qiu Sidi在企业大数据体系建设过程中,数据采集是其中的首要环节。然而,当前行业内的相关开源数据采集组件,并无法满足企业大规模数据采集的需求与有效的数据采集治理,所以大部分企业都采用自研开发采集...

    分类:技术文章 时间:2022-11-30 19:57 我要评论(0个)

  • 183495 views阅读

    华为、eBay、News Break是如何实现大数据和人工智能融合的 | ArchSummit

    编辑 | 薛梁目前,在大数据应用领域,大家遇到的问题也很集中,首先是数据治理难,企业数据治理成本高,投入大;其次是技术门槛高,企业 IT 平台技术门槛高,技术架构复杂,数据孤岛和业务孤岛严重。再次是成就业务难,IT 团队数据团队成就业务压力大,如何体现数据的价值,如何体现数据平台的价值。最后是业务仿真难,数据与业务割裂,如何基于数据实现对业务的仿真、模拟、验证、预测。针对以上这些问题,我...

    分类:技术文章 时间:2022-11-15 11:23 我要评论(0个)

  • 359411 views阅读

    ​翼支付大数据 BI 分析平台建设实践

    #原创经典 210 个 #翼支付 1 个 #BI 1 个 #多维分析 12 个 导读:本文将介绍翼支付大数据 BI 分析平台的建设实践。分享主要分为四个部分:翼支付大数据在金融大数据分析的应用翼支付大数据 BI 分析平台架构OLAP 引擎技术的实践未来规划分享嘉宾|吴晓兵/唐晔 翼支付 大数据开发工程师编辑整理|Faye出品平台|DataFunSummit01翼支付大...

    分类:技术文章 时间:2022-11-08 16:05 我要评论(0个)

  • 247978 views阅读

    开源“摩尔定律”即将打破,《2022开源大数据热力报告》重磅发布

    导读:11月5日,在2022云栖大会一体化大数据智能峰会上,由开放原子开源基金会、X-lab开放实验室和阿里巴巴开源委员会联合出品的《2022年开源大数据热力报告》重磅发布。开放原子开源基金会副秘书长刘京娟女士对报告进行了深度解读。报告基于公开数据研究最活跃的102个开源大数据项目,探寻出开源大数据技术发展背后的“摩尔定律”:每隔40个月,开源项目热力值就会翻一倍,技术完成一轮更新迭代。...

    分类:技术文章 时间:2022-11-06 23:48 我要评论(0个)

  • 458078 views阅读

    限时免费赠送|字节跳动大数据技术干货

    从文字到图片、语音再到动画、视频,数据的类型越来越多,人们对数据的需求越来越复杂。同时,企业也越来越看重这些“大数据”的价值,希望把他们存好、用好。于是,以数据湖为代表的一系列大数据技术应运而生。不过,很多企业在刚开始应用这些技术时,通常都“带有很有问号”,比如怎么构建数据湖?怎么做数据ETL?怎么高效存储和使用数据?怎么做查询优化...... 字节跳动旗下有抖音、今日头条、火...

    分类:技术文章 时间:2022-10-31 23:48 我要评论(0个)

  • 558737 views阅读

    近百个大数据开源项目,你该如何选型?|《开源大数据热力报告2022》入围项目公示

    在开源大数据技术飞速发展的十数年,我们见证了多元化技术的兴起和变迁。如何从海量数据中,通过数据处理和可视化的手段,对开源大数据技术的过去、现在和未来,做出深刻洞察?如何为开发者在开源大数据技术领域的学习、选型和技术研发提供有益参考?带着这样的思考,开放原子开源基金会、X-Lab 开放实验室、阿里巴巴开源委员会共同发起了「2022 开源大数据热力报告」项目, InfoQ 作为战略...

    分类:技术文章 时间:2022-10-10 16:01 我要评论(0个)

  • 373520 views阅读

    年均节省千万元的大数据成本管控体系,是如何构建的?| ArchSummit

    企业降本增效是越来越热门的话题,除去较为粗暴的“毕业”之外,企业还可以在许多地方下功夫,例如降低大数据成本、营销成本、运营成本等等。在 ArchSummit 全球架构师峰会深圳站上,我们邀请了货拉拉大数据架构负责人王海华,他为我们分享了《货拉拉基于混合云的大数据成本管控体系建设实践》,本文为其演讲整理,期待你可以有所收获。大家好,我是王海华,货拉拉基础架构负责人,我将从以下几方面展开分享...

    分类:技术文章 时间:2022-09-12 12:09 我要评论(0个)

  • 438288 views阅读

    算力规模突破千万核,腾讯云大数据产品全景图长啥样?| Q推荐

    腾讯云大数据技术已经从第一代的离线计算,第二代的实时计算,第三代的机器学习,发展到如今以隐私计算、数智融合以及云原生为代表的第四代。腾讯云今天在首届大数据峰会上公布,其大数据平台算力规模已经突破千万核,日实时计算量达百万亿级、日运行容器数超亿级,日计算数据量数百 PB,服务的企业客户数超 2 万家,开源社区代码贡献量超 800 万行,进一步呈现了自身在大数据领域的顶级实力。腾讯云副总裁黄...

    分类:技术文章 时间:2022-08-22 15:53 我要评论(0个)

  • 381099 views阅读

    突发!Google 最大数据中心发生爆炸,三名技术人员受伤

    作者 | 苏宓出品 | CSDN(ID:CSDNnews)据外媒报道,Google 位于美国爱荷华州康瑟尔布拉夫斯的数据中心突然发生爆炸,导致三名现场技术人员受伤。当前,三名受伤的技术人员其中一人被直升机送往距离康瑟尔布拉夫斯不远的内布拉斯加州医疗中心救治,另外两名被救护车带走。根据外媒援引 Concert Bluffs 警方的说法,该事件是由电力引起的电弧闪光(电气爆炸),发...

    分类:技术文章 时间:2022-08-09 21:12 我要评论(0个)

  • 555602 views阅读

    腾讯云大数据 TBDS 在私有化场景万节点集群的实践

    作者 | 杨鹏程策划 | 凌敏4 月 15 日 -16 日,由 InfoQ 主办的 DIVE 全球基础软件创新大会 通过云上展厅的形式成功召开。在 腾讯云基础软件创新实践专场,来自腾讯云的 TBDS 大数据引擎研发负责人杨鹏程带来了主题为《腾讯云⼤数据 TBDS 在私有化场景万节点集群的实践》的演讲,以下为主要内容。本次分享主要分为三个部分展开:第一部分是 Hadoop 体系下存算⼀体存...

    分类:技术文章 时间:2022-08-08 17:21 我要评论(0个)

  • 502449 views阅读

    云上如何不停机更换关键大数据服务?

    发表于 收录于合集 作者 | 肖红梅大家在日常工作中可能会经常遇到系统更新迭代与集群重建等需求,不可避免会涉及到服务的迁移更换操作。针对不同场景和诉求,具体的处理方式会不太一样,但大致的思想和方法还是具有一定的普适意义。本文主要想和大家分享一下团队最近经历的在保障大数据高并发、低延时、高吞吐读写的同时,如何不停机地在 AWS 上更换关键大数据服务的实践,供感兴趣的同学参考。  &...

    分类:技术文章 时间:2022-05-30 14:41 我要评论(0个)