聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

集群QPS 2-3倍吞吐提升,蚂蚁大规模训练优化方案详解

2022-12-09 23:50 浏览: 2684990 次 我要评论(0 条) 字号:

以下文章来源于Alluxio服务号 ,作者大咖云集的

Alluxio服务号 .

Alluxio

大数据时代,机器学习已经成为诸多企业绕不开的话题。Alluxio希望成为通用的缓存层,能连接任意的存储引擎和计算引擎,从而支持包括机器学习在内的大量数据服务。如今,Alluxio已经能支持不同版本的HDFS、NFS、Ceph、Amazon S3、Google Cloud等不同类型的存储引擎,Presto、Impala等计算引擎,以及Tensorflow、Pytorch等深度学习框架,并仍在持续扩展和优化接口支持。


本期Alluxio Day 17

我们邀请了来自

网易、蚂蚁集团的两位大咖

与Alluxio工程师一起

为大家带来

《Alluxio在网易和蚂蚁集团的应用与优化》

主题分享


共同探索大数据技术的新面貌

以及新面貌之下

如何借力Alluxio赋能企业的数据处理


主题一

(活动主题&分享嘉宾)

关于嘉宾:

范禹辰  网易(杭州)网络有限公司  服务端开发工程师

2020年加入网易至今,负责网易杭研大数据团队分布式查询引擎Impala和分布式数据编排系统Alluxio的功能开发和线上服务保障工作。


主题二:

(活动主题&分享嘉宾)

关于嘉宾:

陈传迎  蚂蚁集团  高级开发工程师

- 曾参与底层分布式文件存储系统的构建;

- 参与公司底层存储平台的开发和维护,大规模文件加速存储优化;

- 兴趣领域包括:分布式文件存储、KV存储、对象存储等存储相关领域。


主题三

(活动主题&分享嘉宾)

关于嘉宾:

王宇阳  Alluxio  软件工程师

曾就职于华为、BIGO,多年分布式对象存储和大数据存储系统的设计、开发及维护经验。


12.10(周六)上午10:00-12:10

Alluxio Day 17直播间

一起来聊聊大数据时代的那些技术话题



网友评论已有0条评论, 我也要评论

发表评论

*

* (保密)

Ctrl+Enter 快捷回复