聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

  • 171 views阅读

    工商银行实时大数据平台建设历程及展望

    分享人 | 袁一 中国工商银行大数据平台负责人  本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。一、工行实时大数据平台建设历程二、工行实时大数据平台建设思路三、展望一、工行实时大数据平台建设历程工商银行从 2002 年开始建设数据集市,当时主要使用 Oracle 类单机版的关系型数据库。随着数据量不断增加,开始引入 TD、ED 等国外高端一体机。2...

    分类:技术文章 时间:2022-01-20 18:30 我要评论(0个)

  • 236 views阅读

    大数据基础:HIVE

    Hive简介 Hive 由 Facebook 实现并开源,是基于 Hadoop 的一个数据仓库工具。可以将结构化的数据映射为一张数据库表并提供 HQL(Hive SQL)查询功能。底层数据是存储在 HDFS 上,Hive的本质是将 SQL 语句转换为 MapReduce 任务运行,使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据,适用于离线的...

    分类:技术文章 时间:2022-01-14 09:10 我要评论(0个)

  • 168 views阅读

    LDCF:一种可扩展的流式大数据集合表示和管理结构

    如何对大数据集合进行高效的表示、管理与查询是一个基础性问题。众多大数据应用需要对快速增长规模庞大的大数据基于有限的内存空间进行高效的表示,以支撑快速的数据插入、删除与查询等操作。为了满足以上需求,现有的近似集合成员表示结构使用布尔标签或指纹来代替原始的数据进行存储,提升了集合的存储和查询效率,因此被广泛应用在各种大数据系统当中。例如,云存储系统中可以利用上述近似集合成员表示结构对已存储的...

    分类:技术文章 时间:2022-01-13 10:46 我要评论(0个)

  • 441 views阅读

    大数据基础:Hadoop

    这篇一开始文章整理于2014年,在此的7~8年时间里,Hadoop已经发生了很多变化,但最为核心的内容并没有变化那么多,当时的文章还是有一定的参考意义。再次重新做下整理。 Hadoop的概要介绍 Hadoop,是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易...

    分类:技术文章 时间:2022-01-06 09:09 我要评论(0个)

  • 488 views阅读

    大数据基础:Google MapReduce

    Google,作为全球最大的搜索引擎公司,其伟大之处不仅在于建立了一个强大的搜索引擎,还在于它创造了3项革命性的技术,即:GFS、MapReduce 和 BigTable。作为 Google 早期三驾马车,这三项革命性的技术不仅在大数据领域广为人知,更直接或间接性的推动了大数据、云计算、乃至如今火爆的人工智能领域的发展。 2004年12月5日,Google 在美国旧金山召开的第6届操作系统...

    分类:技术文章 时间:2022-01-05 13:00 我要评论(0个)

  • 516 views阅读

    大数据基础:Google GFS

    GFS系统简介 Google 文件系统(Google File System,缩写为 GFS 或 GoogleFS),一种由 Google 公司开发专有分布式文件系统。 它与传统文件系统的的区别在于: 分布式 – 提供很高的横向扩展性 使用大量廉价的普通机器组成网络 – 允许单机故障 不允许任意更改已有文件 (No Random Write) Google并没...

    分类:技术文章 时间:2022-01-01 16:52 我要评论(0个)

  • 481 views阅读

    大数据基础:Google BigTable

    Bigtable是2005年谷歌的论文:《Bigtable: A Distributed Storage System for Structured Data》中介绍的一种分布式存储系统,后来被Hadoop社区实现为HBase。读懂这篇论文,那么理解HBase也就非常容易了。 摘要(Abstract) Bigtable是一个分布式存储系统,它被设计来为近万台商用服务器规模的、PB级别的数...

    分类:技术文章 时间:2022-01-01 16:52 我要评论(0个)

  • 460 views阅读

    开源80万行代码,微众银行如何在小团队规模下炼出一套一站式大数据平台 | 卓越技术团队访谈录

    #卓越技术团队访谈录 14个内容 采访嘉宾 | 微众银行 WeDataSphere 主创团队,邸帅、尹强整理 | Tina国家 2035 远景规划提出要加快全面数字化转型的步伐,而“大数据平台”是数字化转型的基础技术之一。经过六年多的探索和实践,微众银行打造了一套在金融领域“自主可控”的开源大数据平台。对于任何企业来说,建立和维护一个大数据平台都不是一件容易的事情,而建设一个有特色的、完...

    分类:技术文章 时间:2021-12-21 10:45 我要评论(0个)

  • 1459 views阅读

    大数据新一轮革命开启:数据云才是真正的未来

    嘉宾 |孙元浩采访 |霍太稳编辑 |赵钰莹“2017 年之前,数据大多在本地;2017 年之后,越来越多的人开始在云上使用大数据。转年,我们发布了数据云的第一个版本。”“2020 年,Snowflake 上市,股价曾一度飙涨到每股 400 多美金,越来越多的人开始注意到这家公司的数据云平台。此时,我们的数据云平台已经迭代了几个版本,并均付诸实践。”在此之后,我们看到越来越多的大数据厂商开...

    分类:技术文章 时间:2021-11-01 16:09 我要评论(0个)

  • 762 views阅读

    这场开源大数据大会,有哪些亮点值得开发者关注?| Q推荐

    数据是 DT 时代新的“石油”,这句话,大家已经耳熟能详。当数据成为石油,其价值则依靠大数据技术的挖掘和变现。从网购、叫车、订外卖到看电影,人们生活和工作诸多场景的背后都离不开大数据技术。经过十几年的发展,它已经成为互联网企业的基础设施。通过大数据技术,企业可以洞察用户,发现新需求,找到增长点,同时基于大数据实现降本增效,并进行业务决策。因此,无论是业务发展,还是自身转型,大数据技术能力...

    分类:技术文章 时间:2021-10-12 16:06 我要评论(0个)

  • 1678 views阅读

    2021年毕业生成果展示系列 之三 大数据研究室

    一分耕耘,一分收获。天才之舟,在汗水的河流里启程。成功不是将来才有的,而是从决定去做的那一刻起,持续累积而成。今天的毕业生成果展示系列将向大家介绍“大数据研究室”的24名毕业生。宋宇论文标题:基于多阶段非负矩阵分解的异质边表示学习研究论文发表在ACM Transactions on Knowledge Discovery from Data和IEEE Transactions on Ne...

    分类:技术文章 时间:2021-10-07 16:06 我要评论(0个)

  • 1789 views阅读

    后Hadoop时代,爱奇艺如何有效整合大数据和AI平台?

    采访嘉宾 | 刘骋昺编辑 | Tina大数据是人工智能的基础。从大数据到数据分析再到 AI 应用的转变,这也是一个很自然的发展过程。但是只有在数据、算法、企业的场景应用三者紧密配合的前提下,才可以有效地提升整个 AI 业务的流程。因此,爱奇艺在原来的数据积累基础上,进一步的完善了技术平台,形成了大数据 +AI 的统一架构,同时兼顾了数据、算法训练、人力物力算力等多方面的因素。那么爱奇艺在...

    分类:技术文章 时间:2021-09-21 17:06 我要评论(0个)