流式图计算在蚂蚁大数据场景的应用
发表于 #蚂蚁 1 个 #原创精选 454 个 #大数据 10 个 导读 在大数据领域中，流式图计算（Streaming Graph Processing）作为一种用于处理实时数据流的计算模型和技术，结合了图计算和流式数据处理的概念，旨在处理数据流中的节点（vertices）和边（edges）之间的关系，以实时分析、处理和理解不断涌现的数据。蚂蚁集团对于流式图计算在实时数据处理与...
-
58547 views阅读
-
96831 views阅读
数据编排在壹钱包大数据平台架构演变中的应用
发表于 Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。在大数据生态系统中，Alluxio 位于数据驱动框架或应用（例如Presto）和各种持久化存储系统之间。Alluxio 统一了存储在这些不同存储系统中的数据，为其上层数据驱动型应用提供统一的客户端 API 和全局命名空间。在本期Alluxio Day21主题直播中，来自翼支付、壹钱包的闻一波...
-
162814 views阅读
腾讯大数据云原生化的思考与实践
发表于 #原创精选 433 个 #腾讯 38 个 #云原生 18 个 导读 今天分享的主题是当大数据遇见云原生，即腾讯大数据云原生化的思考实践。分享内容主要分为三个部分：1. 第一部分简单介绍大数字云原生化的机遇和挑战。2. 第二部分介绍腾讯云原生大数据的架构，主要分享腾讯内部的峰峦大数据底座。3. 第三部分介绍峰峦在腾讯内部的落地情况，以及腾讯在大...
-
512417 views阅读
没有10年大数据架构经验，总结不出这么多干货！
在存算分离架构、容器化、弹性化、一体化的多种趋势下，如何设计大数据平台的体系架构？如何能满足稳定性、隔离性、可用性、规模效率的保障需求？当AI、湖仓、大数据引擎上云后，如何降低整体成本，加速数据价值变现，在大数据时代快人一步？2023年8月5-6日，09:00-12:30，DataFun将举办DataFunSummit2023：云原生大数据峰会。本次峰会由2位主席、3位专家团成员与8位论...
-
503121 views阅读
2023年毕业生成果展示系列 之三 大数据研究室
时光如梭又如歌，在盛夏里的蝉鸣声中，实验室迎来了2023届毕业生，回首往昔，奋斗的辛劳成为丝丝记忆，欢笑与甜蜜也都尘埃落定。正如他们在致谢感言中提到的——求学数十载，如今终要在华中科技大学在良师益友的陪伴下，从容中带着些许慌张地度过最后的学生岁月。这三年来，所得所获绝不是一纸成绩单一篇毕业论文所能囊括的，诚然，我感谢这些东西一直在激励我向前，但于我而言，追寻这一切的心路历程和陪我一起赶路...
-
529091 views阅读
大数据处理“化繁为简”的思路与方法
数据化运营时代，在业务系统中如何高效地使用数据，让业务系统处理数据能够化繁为简，数据服务化是必经之路。底层分析引擎如何针对数据服务进行优化，搭建一个好的数据服务平台，本期公开课将围绕“数据服务的优化实践”分享数据服务的技术核心、优化策略与落地实践。欢迎大家扫码报名免费看直播～...
-
765950 views阅读
最高年薪近56万！猎聘重磅发布2023最新AIGC就业趋势大数据报告
#AIGC 3个 ©作者 | 编辑部来源 | 新智元猎聘大数据研究院重磅发布《AIGC就业趋势大数据报告2023》，招聘平均年薪已达40万，博士需求量同比增长超100%。不用赘述，大家都知道，最近半年ChatGPT是有多么火爆。随着ChatGPT的全球爆火，AIGC也已成功从科技领域破圈，成为跨越所有圈层的全民话题。AIGC对图文、视频创作的颠覆，对相关行业已经产生了...
-
2224358 views阅读
大数据存储的选型、实践与性能优化之道
数据存储技术在适应大数据时代的规模需求基础之上，持续优化可用性、可靠性、存算分离、事务性等能力，演变出分布式文件系统、分布式对象存储、分布式块存储三大类型，数据库也通过存储格式等方面的改进助力数据处理的加速等应用需求。为适应AI的迅速发展，对非结构化数据、图数据等原始数据形式的存储支持以提高数据表达能力，或者对AI算法架构中间产物向量表示的存储支持以提高处理效率，都是不可小视的发展趋势，...
-
717718 views阅读
大数据存储专题资料限时免费领取
【资料简介】1.《数据存储与数据库》业务高速发展，存储系统如何演进以支撑指数增长的流量洪峰？随着流量进一步暴增，如何设计一套稳定可靠易拓展的系统，来满足未来进一步增长的业务诉求？这是目前很多企业或技术团队都面临的问题。电子书《数据存储与数据库》总结了B站、京东、美团、蚂蚁集团等企业存储、处理海量数据的经验，同时也介绍了BookKeeper、Flink Table Store 、TiDB、...
-
744080 views阅读
腾讯天穹 SuperSQL：统一大数据自适应计算平台技术解析
#原创精选 351 个 #腾讯 33 个 #大数据计算 18 个 导读 本次分享主要介绍腾讯天穹 SuperSQL 统一大数据自适应计算平台的相关的工作。主要分为四个部分：1. 背景：大数据普惠时代的困扰2. 系统：SuperSQL 自适应计算架构3. 方案：SuperSQL 核心技术特性4. 成果：SuperSQL 落地与影响力分享嘉宾｜薛文伟博士 腾讯 专家工程师...
-
998891 views阅读
跨多云大数据平台DataCake详解
#原创精选 326 个 #茄子科技 2 个 #数据治理 17 个 #大数据平台 2 个 导读 茄子科技（海外 SHAREit Group）作为穿越周期的新一代全球化互联网科技公司，在全球市场一路高歌猛进，短短两年时间，茄子科技旗下产品 SHAREit（国内茄子快传）全球用户超 12 亿，2019 年，SHAREit 全球用户超 18 亿。截至目前，茄子科技产品矩阵全球累计安装用...
-
1116439 views阅读
大数据架构平台搭建避坑指南
虽然大数据平台组件很多，但是对于没有参与建设过大数据平台的同学来说，当前众多的大数据组件和平台架构容易让人眼花缭乱。为此，DataFun 访谈了几位大数据平台的专家，让他们点评大数据平台架构，指出当前的重点、难点和趋势，让读者在了解大数据平台时，可以更好的抓住重点，提升自我。我们在文章中减少了常识的部分，着重表达 DataFun 独家访谈专家后得到的观点。本文首先介绍了大数据架...
