聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

  • 522 views阅读

    云上如何不停机更换关键大数据服务?

    发表于 收录于合集 作者 | 肖红梅大家在日常工作中可能会经常遇到系统更新迭代与集群重建等需求,不可避免会涉及到服务的迁移更换操作。针对不同场景和诉求,具体的处理方式会不太一样,但大致的思想和方法还是具有一定的普适意义。本文主要想和大家分享一下团队最近经历的在保障大数据高并发、低延时、高吞吐读写的同时,如何不停机地在 AWS 上更换关键大数据服务的实践,供感兴趣的同学参考。  &...

    分类:技术文章 时间:2022-05-30 14:41 我要评论(0个)

  • 1146 views阅读

    破解数据孤岛难题,企业需要什么样的大数据平台?| Q推荐

    收录于合集 随着数字经济加速发展,企业数字化转型正向更深层次推进。基于数字技术,企业通过数据驱动,有望实现创新产品服务、变革运营方式和迭代资源组织模式。而这一切都是建立在企业 IT 基础设施之上。对企业而言,当今正值新一轮科技革命迅猛发展阶段,数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化,数据库 / 大数据平台在企业 IT 基础设施中发挥着越来越重要的作用。1 单模型数据库“落...

    分类:技术文章 时间:2022-04-29 14:40 我要评论(0个)

  • 2147 views阅读

    开源分布式查询引擎Presto

    h2>Presto是什么? Presto是Facebook开源的MPP(Massive Parallel Processing)SQL引擎,其理念来源于一个叫Volcano的并行数据库,该数据库提出了一个并行执行SQL的模型,它被设计为用来专门进行高速、实时的数据分析。Presto是一个SQL计算引擎,分离计算层和存储层,其不存储数据,通过Connector SPI实现对各种数据源(Sto...

    分类:技术文章 时间:2022-03-30 00:44 我要评论(0个)

  • 1885 views阅读

    途家大数据平台基于 Apache DolphinScheduler 的探索与实践

    作者 | 昝绪超途家在 2019 年引入 Apache DolphinScheduler,在不久前的 Apache DolphinScheduler 2 月份的 Meetup 上,途家大数据工程师昝绪超详细介绍了途家接入 Apache DolphinScheduler 的历程,以及进行的功能改进。本文主要包括 4 个部分。第一部分是途家的平台的现状,介绍途家的数据的流转过程,如何提供数据...

    分类:技术文章 时间:2022-03-20 14:40 我要评论(0个)

  • 2520 views阅读

    百亿级监控场景大数据分位值计算实践

    以下文章来源于商业平台技术实践 ,作者荆佳颉 商业平台技术实践 . 百度商业平台研发部致力于用平台化的技术服务让客户及生态伙伴持续成长,成为客户最为依赖的商业服务平台,主要负责百度商业产品的平台建设,包括广告投放、落地页托管、全域数据洞察等核心业务方向。 全文3286字,预计阅读时间7分钟一、背景百度广告业务系统建立在分布式系统之上,面向商业服务,每天发生各类接口调用PV达到百亿次,产生...

    分类:技术文章 时间:2022-01-28 14:38 我要评论(0个)

  • 1067 views阅读

    大数据平台如何进行云原生改造

    作者 | 褚杏娟  如今,企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时,云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力,受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢?为此,我们连线了智领云联合创始人兼 CEO 彭锋博士,一起来探讨大数据平台如何进行云原生改造。以下根据直...

    分类:技术文章 时间:2022-01-26 14:38 我要评论(0个)

  • 1150 views阅读

    工商银行实时大数据平台建设历程及展望

    分享人 | 袁一 中国工商银行大数据平台负责人  本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。一、工行实时大数据平台建设历程二、工行实时大数据平台建设思路三、展望一、工行实时大数据平台建设历程工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加,开始引入 TD、ED 等国外高端一体机。2...

    分类:技术文章 时间:2022-01-20 18:30 我要评论(0个)

  • 2578 views阅读

    大数据基础:HIVE

    Hive简介 Hive 由 Facebook 实现并开源,是基于 Hadoop 的一个数据仓库工具。可以将结构化的数据映射为一张数据库表并提供 HQL(Hive SQL)查询功能。底层数据是存储在 HDFS 上,Hive的本质是将 SQL 语句转换为 MapReduce 任务运行,使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据,适用于离线的...

    分类:技术文章 时间:2022-01-14 09:10 我要评论(0个)

  • 2468 views阅读

    LDCF:一种可扩展的流式大数据集合表示和管理结构

    如何对大数据集合进行高效的表示、管理与查询是一个基础性问题。众多大数据应用需要对快速增长规模庞大的大数据基于有限的内存空间进行高效的表示,以支撑快速的数据插入、删除与查询等操作。为了满足以上需求,现有的近似集合成员表示结构使用布尔标签或指纹来代替原始的数据进行存储,提升了集合的存储和查询效率,因此被广泛应用在各种大数据系统当中。例如,云存储系统中可以利用上述近似集合成员表示结构对已存储的...

    分类:技术文章 时间:2022-01-13 10:46 我要评论(0个)

  • 2534 views阅读

    大数据基础:Hadoop

    这篇一开始文章整理于2014年,在此的7~8年时间里,Hadoop已经发生了很多变化,但最为核心的内容并没有变化那么多,当时的文章还是有一定的参考意义。再次重新做下整理。 Hadoop的概要介绍 Hadoop,是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易...

    分类:技术文章 时间:2022-01-06 09:09 我要评论(0个)

  • 2806 views阅读

    大数据基础:Google MapReduce

    Google,作为全球最大的搜索引擎公司,其伟大之处不仅在于建立了一个强大的搜索引擎,还在于它创造了3项革命性的技术,即:GFS、MapReduce 和 BigTable。作为 Google 早期三驾马车,这三项革命性的技术不仅在大数据领域广为人知,更直接或间接性的推动了大数据、云计算、乃至如今火爆的人工智能领域的发展。 2004年12月5日,Google 在美国旧金山召开的第6届操作系统...

    分类:技术文章 时间:2022-01-05 13:00 我要评论(0个)

  • 1626 views阅读

    大数据基础:Google GFS

    GFS系统简介 Google 文件系统(Google File System,缩写为 GFS 或 GoogleFS),一种由 Google 公司开发专有分布式文件系统。 它与传统文件系统的的区别在于: 分布式 – 提供很高的横向扩展性 使用大量廉价的普通机器组成网络 – 允许单机故障 不允许任意更改已有文件 (No Random Write) Google并没...

    分类:技术文章 时间:2022-01-01 16:52 我要评论(0个)