聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

敲重点!万字详解AI基础软件架构最新技术探索与落地实践!

2022-11-16 23:48 浏览: 2878733 次 我要评论(0 条) 字号:


2022年11月19日,DataFunSummit2022:AI基础软件架构峰会将如约而至。本次峰会由3位主席与5位出品人精心策划而成,共包含了:深度学习框架、超大规模模型训练、AI芯片及编译器、新一代AI基础架构及应用、MLOps及AI工程化落地、端侧推理等6大主题论坛,邀请30余位来自国内外一线的AI基础软件技术专家,进行深度分享交流。本次峰会将全程直播,欢迎大家届时收看。

扫码入群收看直播

▌峰会日程

▌论坛日程

▌详细介绍


峰会主席

林伟 阿里云智能研究员

阿里云机器学习PAI平台和大数据平台

技术负责人

个人介绍:林伟,阿里云智能研究员,阿里云机器学习 PAI 平台和大数据平台技术负责人,主攻大规模分布式训练加速、编译优化、大数据计算、分布式系统等技术工程建设和性能优化。具有16年的系统架构设计及研发经验,并在国际一流 ODSI、NSDI、SIGMOD 会议上多次发表论文。原微软大数据平台组的核心成员,曾在微软亚洲研究院和微软美国工作10年。


袁进辉 一流科技 创始人

个人介绍:袁进辉,2008年于清华大学计算机系获得工学博士学位(优秀博士学位论文奖),原微软亚洲研究院主管研究员(院长特别奖获得者),于2017年创立北京一流科技有限公司,致力于打造新一代深度学习框架OneFlow。兼任之江实验室天枢开源开放平台架构师,北京智源人工智能研究院大模型技术委员会委员。


于佃海 百度飞桨 总架构师

个人介绍:于佃海,现任飞桨(PaddlePaddle)总架构师、百度集团机器学习平台 TOC 主席,CCF 高级会员。2008年从北京大学毕业后加入百度,长期机器学习相关的技术研发、平台建设和产品应用工作,相关成果在广泛业务中发挥重要影响。在人工智能领域已获授权专利50余件。作为骨干成员参与多项国家重点研发计划项目课题。曾获中国电子学会科技进步一等奖、北京市科学技术进步奖一等奖 、CCF 杰出工程师奖。



① 深度学习框架论坛

出品人:袁进辉 一流科技 创始人

个人介绍:袁进辉,2008年于清华大学计算机系获得工学博士学位(优秀博士学位论文奖),原微软亚洲研究院主管研究员(院长特别奖获得者),于2017年创立北京一流科技有限公司,致力于打造新一代深度学习框架OneFlow。兼任之江实验室天枢开源开放平台架构师,北京智源人工智能研究院大模型技术委员会委员。


陈其友 旷视科技 端侧推理负责人

个人介绍:旷视科技 MegEngine 端侧推理负责人,硕士毕业于电子科技大学,一直从事于高性能计算以及深度学习推理框架开发以及优化,在旷视期间带领团队完成 MegEngine 端上 GPU 和 CPU 推理性能优化并赋能多个公司业务团队,并主导研发了 MegCC 深度学习编译器并开源。

演讲主题:MegCC 用模型编译的方式实现超轻量端上高性能推理

演讲提纲:

1. 概述目前端上推理的现状,主要是推理引擎体积方面的情况

2. 介绍 MegCC 的编译器方案

3. 分享「超轻量、高性能、扩展性强」等特性的实现思路

4. 总结 MegCC 的现状、优势以及未来的计划

听众收益:

1. 使用MegCC可以最大程度减少推理引擎的二进制体积

2. 在手机平台上高效完成推理

3. 使用MLIR基础组件完成模型编译

4. 跨平台移植方便


吕昱峰 华为 2012实验室

MindSpore生态技术架构师

个人介绍:吕昱峰,MindSpore生态技术SE,研究方向为自然语言处理,长期从事MindSpore框架研发与模型开发工作,丰富的AI相关经验。

演讲主题:下一代 AI 框架范式:函数式与面向对象融合编程

演讲提纲:

1. Pytorch 与面向对象编程

2. Jax 与函数式编程

3. AI + 科学计算融合趋势

4. MindSpore 融合编程范式

5. 易用性和性能收益

听众收益:

1. AI 框架到 AI + 科学计算融合框架的演进

2. 函数式与面向对象融合编程的优势

3. 新范式下如何做到易用性和性能兼备


孔维丹 阿里云 高级技术专家

个人介绍:目前在阿里巴巴计算平台事业部任高级技术专家,专注于AutoML领域,包括HPO、AutoFE、NAS等方面的工作,负责阿里巴巴AutoML服务。此前先后就职于微软、小米等公司。

演讲主题:阿里云机器学习 AutoML

演讲提纲:HPO/AutoFE/NAS 等各项 AutoML 技术实现的机器学习个阶段的自动化,大大降低了普通民众机器学习的门槛,提高了专业人士运用AI的效率。演讲针对于三个热门领域,讲解了主要的 AutoML 方法,及运用成果,抛砖引玉,给出启发的同时,期望获得大家的支持,共同挖掘 AutoML 的潜力。

主要内容包括:

1. AutoML 现状

2. HPO 的方法与应用

3. AutoFE 的方法应用

4. NAS 现状及部分应用

听众收益:

1. HPO:超惨调优 - 机器可以做得更好

2. AutoFE:表格数据特征工程利器

3. NAS:one-shot与zero-shot


张建浩 一流科技 框架开发工程师

个人介绍:毕业于中国科学技术大学,现在在一流科技从事 OneFlow 神经网络训练框架开发工作,也是多个开源项目(如 ONNX)的贡献者/维护者。

演讲主题:Coop —— 动态图重计算策略和显存分配机制的联合优化

演讲提纲:动态图重计算(DTR)技术为使用 PyTorch 等动态图框架的炼丹师提供了在有限显存容量下训练大规模模型的方法,它在运行时舍弃一部分中间特征,并在需要时重新计算,也就是以计算换显存。然而已有的 DTR 方法都是以一种“循环释放 cost 最小的 tensor 直到显存申请成功”的方式实现,忽视了对空闲显存的连续性要求,带来了非最优的决策和额外的重计算开销。我们提出了 Coop 技术,通过对重计算策略和显存分配机制的联合优化,解决了上述的连续性问题,同时进一步提升了重计算的效果。根据实验 Coop 在多个经典网络上都取得了大大优于已有的 DTR 方法的效果,如对 ResNet-50 和 BERT 模型,Coop 可以在只引入 10% 额外计算量的情况下节省近 50% 的显存占用量。

听众收益:

1. 如何在显存有限的设备上训练大模型?

2. 为什么已有的动态图重计算方法是有缺陷的?

3. 怎么样通过和显存分配机制的联合优化来提升重计算的效果?


赵军平 蚂蚁集团 异构计算团队负责人

个人介绍:赵军平,蚂蚁科技集团异构计算团队负责人。负责GPU训练-推理集群、GPU虚拟化与优化等。CCF HPC和存储专委委员,《数据密集型应用设计》译者,拥有中美180+发明专利。之前在EMC、Dell EMC担任首席架构师和研发经理,参与并负责文件系统、数据存储与保护、cloud-native GPUaaS等技术研发。

演讲主题:GPU 虚拟化的优化探索与实践

演讲介绍:针对数据中心或云环境下不同场景(包括研发-调试、训练、推理等)对 GPU 的需求,介绍典型 GPU 虚拟化技术,以及蚂蚁 GPU 虚拟化和优化方案、规模化实践和技术探索,以提供更多资源、或提高资源效率。

演讲提纲:

1. 不同场景下对 GPU 调度、算力和显存的需求分析

2. 典型 GPU 虚拟化技术对比介绍

3. 蚂蚁 GPU 虚拟化和优化实践:包括方案演进、规模化落地和当前一些前沿探索

听众收益:

1. 场景不同,需求有差异,如何明确需求设计方案

2. 不同虚拟化探索的方案差异和影响

3. 虚拟化与优化共同演进


敖玉龙 百度 资深工程师

个人介绍:敖玉龙,百度资深工程师,中国科学院大学博士,目前主要从事飞桨自动并行方向研发,曾参与中国历史首个 ACM “戈登•贝尔”奖工作、2017年7月国际超算 HPCG 基准测试第三工作和中国 AITISA 联盟算子接口标准研制,研究兴趣为面向人工智能和科学计算应用的高性能计算和大规模并行计算。

演讲题目:飞桨面向异构场景下的自动并行设计与实践

演讲提纲:

1. 关于自动并行技术的发展分析与洞察

2. 飞桨自适应架构中自动并行设计理念与架构设计

3. 飞桨自动并行关键技术和整体流程

4. 飞桨自动并行接口体系和实际套件应用

5. 关于飞桨自动并行技术的思考和未来规划

听众收益:

1. 了解自动并行相关工作

2. 了解飞桨自动并行的设计理念和关键技术

3. 了解如何使用飞桨自动并行接口进行分布式训练


邱璐 Alluxio

Machine Learning Engineer

个人介绍:邱璐,毕业于乔治华盛顿大学数据科学专业,有多年开源社区贡献经验,是 Alluxio 项目的 PMC 成员。主要负责为人工智能/机器学习训练提供大数据解决方案。在此之前,邱璐负责 Alluxio 包括选举机制,日志管理,监控系统等核心组件的开发工作。

演讲题目:Alluxio 加速云上深度学习训练 Accelerating cloud training with Alluxio

演讲提纲:本次讲座会介绍 Alluxio 加速云上深度学习训练的三级玩法,并以微软,阿里巴巴以及 boss 直聘的生产案例加以深度解析。

第一级:加速获取远端训练数据

第二级:加速数据预处理到训练的数据流

第三级:全训练加速

听众收益:

1. 微软,阿里巴巴等企业如何为其大规模训练进行数据加速?

2. Boss 直聘如何连接并加速数据预处理与训练?

3. MOMO 如何为数据分析和训练提供统一数据抽象层与加速服务?




② 超大规模模型训练论坛

出品人:李永 阿里云 资深技术专家

个人介绍:阿里巴巴机器学习平台资深技术专家,长期参与超大规模模型训练、异构资源调度、MLOPS等领域的研发。


贾贤艳 阿里云 技术专家

个人介绍:先后在 Intel,腾讯和阿里巴巴从事分布式 AI 系统的研发和优化。在 AI 框架研发,分布式计算优化,大规模训练等方向上有着丰富经验。

演讲主题:阿里云机器学习平台大模型训练框架 EPL

演讲提纲:

1. 大模型训练背景

2. 训练大模型的挑战

3. EPL 高效大模型分布式训练框架设计

4. 训练案例分享

听众收益:

1. 统一训练框架的设计。

2. 如何使用 EPL 通过添加几行代码,实现模型的高效分布式训练。

3. 如何使用 EPL 的优化技术,在有限的资源上训练大模型。


黄雪/陈依依 NVIDIA 解决方案架构师

个人介绍:

黄雪,NVIDIA 解决方案架构师,硕士毕业于哈尔滨工业大学,主要负责深度学习训练和推理加速方面工作,在深度学习框架、超大规模模型训练,分布式模型训练加速优化,模型推理优化等技术方向有丰富的研究经验。

陈依依,本硕毕业于北京邮电大学,现任 NVIDIA 深度学习解决方案架构师,在大规模分布式训练和推理优化有丰富经验,主要支持客户充分利用 GPU,实现 AI 应用训练和推理的优化加速方案。曾任职于 GE Healthcare,参与深度学习在医疗图像上的研究和应用工作。

演讲主题:NVIDIA 超大规模模型训练技术与推理方案分享

演讲提纲:

1. 超大规模模型训练技术分享

a) 大规模模型训练的必要条件

b) NVIDIA 超大规模模型训练解决方案 Megatron 相关技术介绍

c) 超大规模模型训练效果

d) 未来规划

2. 超大规模模型推理方案分析

a) 超大规模模型应用情况

b) 推理方案简要介绍和对比:单卡(量化,蒸馏,剪枝);多卡推理

c) 瓶颈分析:单卡推理常见瓶颈;多卡推理相关瓶颈

d) 超大规模模型推理框架简要介绍和对比

听众收益:

1. 超大规模模型训练解决方案 Megatron 相关技术细节

2. Megatron 训练性能与效果

3. 业界常见的超大规模模型推理方案及其性能瓶颈

4. 业界常见的超大规模模型推理框架


王宇龙 澜舟科技 大模型技术负责人

个人介绍:澜舟科技大模型技术负责人,主要负责大规模预训练模型的研发以及分布式训练系统的构建。加入澜舟前,曾在创新工场参与AI商业赋能的相关工作,利用前沿 AI 技术帮助来自全球各地的合作伙伴实现业务升级和业绩增长。

演讲主题:孟子小样本和检索式预训练模型进展

演讲提纲:

1. 孟子轻量化技术体系

2. 孟子小样本预训练模型进展

3. 孟子检索式预训练模型进展

听众收益:

1. 孟子轻量化技术体系是什么样的?

2. 孟子小样本预训练模型如何解决标注资源少的问题?

3. 孟子检索式预训练如何降低模型的 GPU 成本?


杨浩 达摩院 算法工程师

个人介绍:杨浩,硕士毕业于中国科学技术大学,先后在百度、阿里巴巴从事自然语言处理和多模态预训练相关算法研究。目前任职于阿里巴巴达摩院智能计算实验室 M6 团队,主要负责多模态预训练模型 M6 的研发工作,涉及多模态学习、语义理解和 prompt 等技术领域。

演讲题目:基于 Prompt 多模态预训练模型进展

演讲提纲:

1. prompt 方法发展路线与思路

2. 在 NLP 大火的 prompt 如何借鉴到多模态预训练大模型领域

3. prompt 相关方法最新进展梳理和未来展望

听众收益:

1. prompt 是什么?

2. 如何利用 prompt 驱动 NLP/Multimodal 预训练大模型?

3. prompt 方法的缺点和未来急需解决的问题


黄正杰 百度 资深研发工程师

个人介绍:黄正杰,百度自然语言处理部资深研发工程师,毕业于中山大学长期深耕语义表示计算、图学习等领域的研发工作,目前是飞桨图学习框架PGL负责人,并负责相关工作在百度搜索、信息流、商业广告等核心产品的应用落地。在KDDCUP-2021图学习比赛获得2个赛道冠军,在人工智能顶级会议KDD、IJCAI等发表多篇学术论文,拥有多项相关专利。

演讲题目:飞桨图学习大模型训练框架

演讲提纲:

1. 图学习大模型的背景

2. 图学习大模型的核心技术

3. 针对图学习大模型的训练框架

4. 图学习大模型在在百度的应用

听众收益:

1. 了解到图学习大模型的技术方向

2. 了解到既快有省地支持图学习大模型

3. 了解到 PGLbox 大规模图表示学习工具

4. 了解到图学习框架在百度的落地场景



③ AI芯片及编译器论坛

出品人:李建军 地平线

编译器研发部负责人

个人介绍:李建军,博士,曾任中科院计算技术研究所副研究员,主要从事编译优化、程序Runtime行为分析等方向的研究。2016年底加入地平线,地平线编译器研发部负责人,主要负责AI异构编译、Runtime等工作。在地平线的工作中,通过与芯片架构、算法研发等领域深度协作,共同探索出适合地平线的软硬件协同的技术发展路线。

演讲主题:AI 芯片异构编译优化实践

演讲提纲:为了提升 AI 模型的执行效率,提高芯片的可编程性、易用性,AI 芯片在朝着核内异构的方向快速演进,同时这也对 AI 编译器提出了很大的挑战。本次分享主要从如何高效利用核内异构计算资源,编译优化,以及可编程性等几个角度,介绍地平线在这方面的一些实践。

听众收益:

1. 如何高效利用 AI 异构芯片内的计算资源?

2. AI 编译优化技术的未来展望


崔慧敏 中科院计算所 研究员

个人介绍:崔慧敏,博士,中科院计算所研究员,博士生导师。崔慧敏的研究方向为面向数据中心和异构体系结构的编译技术,近年来围绕大数据、AI等新型计算范式,研究它们在异构体系结构下的编译优化方法。崔慧敏作为负责人承担科技创新2030项目、多项自然科学基金、科技部重点研发计划等项目和课题,先后在PLDI、MICRO、PPoPP等国际会议和期刊上发表论文二十余篇。在PPoPP、SC、ISCA、CGO、PACT等顶级会议上担任程序委员会委员。

演讲主题:异构编译与 AI 编译的结合与思考

演讲提纲:近年来异构体系结构快速发展并快速应用到 HPC、AI 等多个领域,以 CUDA/OpenCL 为代表的底层编程模型为用户提供了灵活的自定义算子能力。但是底层的编译器仍然采用 Host 和 Kernel 分离的编译策略,这一策略不仅局限了特定平台上优化潜能的挖掘,也给程序跨平台移植时的性能带来了很大的影响。我们针对这一问题,构建了 Host 和 Kernel 融合的编译基础框架,从编译的基础分析、优化变换等角度展示了将 Host 和 Kernel 融合后所带来的性能和可移植性方面的优势。进一步我们将从通用编译器和 AI 编译器的角度讨论对 AI 应用的优化方法。

听众收益:AI 编译的学术探索。


薛继龙 微软亚洲研究院 高级研究员

个人介绍:薛继龙博士,微软亚洲研究院系统组高级研究员和研究经理,主要研究方向为构建和优化基于新型加速器的高性能计算系统,目前主要负责人工智能编译框架方向的研究,相关成果已发表在 OSDI,NSDI, EuroSys 等国际会议上。

演讲题目:基于统一硬件抽象的高效深度学习编译栈

演讲提纲:随着模型规模的不断增长,深度学习对算力的需求也与日俱增。当前,深度学习硬件加速器(如 GPU、TPU 等)主要依赖算子加速库来支持深度学习应用。然而,随着不断出现的新模型和新硬件类型,业界对快速、高效地开发新算子和部署模型有了更高的要求。深度学习编译器作为一种新途径,成为连接计算表达和硬件执行的关键技术,然而,如何在不同硬件上高效地支持深度学习任务仍然存在较多的挑战,致使大量相关工作从不同角度涌现。我们发现,主流的算子编译器往往借助机器学习的方法在巨大的搜索空间中找出较优的程序实现,而这种搜索过程往往导致编译一个模型经常需要耗费数小时甚至数天的时间。这种问题在新型的硬件和计算量巨大的算子上特别严重。因此,目前主流的深度学习编译方法在实际场景的部署中仍然效率较低。本报告将介绍我们在深度学习编译领域一些探索性工作,包括快速的算子生成、统一硬件抽象等。我们希望通过构建一套新的编译抽象栈,从而提供深度学习软硬件技术更加通用和高效的桥梁。


王帆 后摩智能 软件首席架构师

编译器和工具链负责人

个人介绍:目前是后摩智能软件首席架构师,负责为后摩智能存算一体架构设计编译器和整体软件架构,曾经负责百度昆仑芯编译器,阿里云OS设计和优化虚拟机。

演讲主题:存算一体架构的编译器设计和优化

演讲提纲:

1. 存算一体架构简介

2. 存算一体架构的编译器设计和优化

3. 软件编程模型和 AI 加速体系结构

听众收益:

1. 了解存算一体架构提升能效比的原理

2. 机器学习编译器的主要优化方法:如何提高存算单元利用率, 如何缓解带宽的压力

3. 如何设计和 AI 加速体系结构匹配的软件编程模型和编程语言,提高开发效率


邱侠斐 阿里云 高级技术专家

个人介绍:阿里云机器学习平台(PAI)系统优化团队负责人,多年的大数据系统、AI工程实践经验,专注于性能优化。负责阿里云机器学习优化产品PAI-Blade,团队开源深度学习编译器BladeDISC:

https://github.com/alibaba/BladeDISC

演讲主题:BladeDISC:云上的深度学习编译器实践

演讲提纲:

1. 机器学习工作负载的趋势

2. 云端工作负载的特性与挑战

3. BladeDISC 深度学习编译器的基本背景

4. BladeDISC 如何应对云上深度学习场景的挑战

听众收益:

1. 深度学习编译器的技术架构、于传统编译器的区别

2. 深度学习编译器优化的核心技术

3. 如何通过深度学习编译器提升性能、资源利用率、降低成本



④ 新一代AI基础架构及应用论坛

出品人:王楠 Jina AI 联合创始人兼 CTO

个人介绍:王楠,Jina AI联合创始兼CTO,博士毕业于德国波鸿鲁尔大学。自2009年开始从事深度学习相关研究,之后先后担任德国知名电商Zalando高级数据科学家,腾讯高级研究员,在搜索和推荐领域的具有丰富的模型设计、实现和部署经验。专注于机器学习和深度学习算法在NLP和搜索领域的实际应用。作为开源神经搜索框架Jina的核心贡献者,热衷于开源软件和云原生技术。


王峰 Jina AI 高级算法工程师

个人介绍:王峰,开源神经搜索框架jina的核心贡献者,热衷于开源软件和云原生技术。毕业于山东大学,在香港浸会大学获得计算机博士学位。曾就职于腾讯科技和虎牙科技,专注机器学习与深度学习算法在自然语言理解,多模态表征学习和信息检索领域的实际应用。

演讲主题:CLIP-as-service:云原生模型推理服务

演讲提纲:

1. 模型推理服务的挑战

2. Jina 云原生 MLOps 框架

3. 搭建 CLIP 模态模型推理服务

听众收益:

1. 线上模型推理服务的挑战

2. CLIP 模型的应用市场

3. 什么是云原生模型推理;


祝海林 Kyligence 技术合伙人

个人介绍:祝海林 Byzer社区PMC/资深数据架构师/Kyligence技术合伙人,拥有13+年研发经验。最近几年专注在Data + AI 融合方向上,致力于帮助企业更好的落地 Data+AI。个人热衷于开源产品的设计和研发,Byzer-lang(https://github.com/byzer-org/byzer-lang)为其主要开源作品。

演讲主题:第三代 Notebook:Byzer-Notebook 如何助力数据工程,分析,以及机器学习

演讲提纲:本次分享会重点介绍 Byzer-Notebook的为什么是第三代 Notebook,以及会从数据分析,可视化,以及机器学习,notebook 工程以及编排等多个角度来介绍 Byzer Notebook 如何帮助用户高效的完成数据和AI的工作。

听众收益:

1. 了解 Notebook 的最新进展以及 Byzer 团队相关的创新

2. 如何使用第三代 Notebook 提升自己的工作效率

3. 了解新的工程语言 Byzer-lang, 简化大数据和AI架构体系,帮助降本增效


高策 TensorChord Co-founder

个人介绍:高策是初创公司 TensorChord Inc. 的 Co-Founder,也是开源机器学习平台项目 Kubeflow 代码贡献最多的华人贡献者,社区的 Co-chair。他自 2015 年以来一直工作在云原生机器学习基础设施领域。曾在腾讯、字节跳动、才云科技(Caicloud)等公司从事 AI 基础设施相关产品的研发工作。高策在上海交通大学取得了他的本科和研究生学位。

演讲主题:当 MLOps 预见 FinOps:利用 envd 构建经济高效的机器学习基础设施

演讲提纲:工程师团队对于满足算法工程师和数据科学家工作流程的开发者工具,有着越来越急迫的需求。不仅如此,企业也希望了解如何能够经济高效地构建和部署端到端的机器学习工作流和应用。在这次分享中,我们会讨论目前在 MLOps 领域存在的来自于硬件资源和人力上的成本问题。进而介绍我们解决这一问题的实践:开源的环境构建与管理工具 envd。我们希望在保证数据科学家与机器学习从业者的使用体验的同时,让 MLOps 的过程更加经济高效,且具有成本上的可追溯性。

作为听众,你将有以下可预期的收获:

1. 现代机器学习基础设施面临的问题与挑战,以及它们能够提供的能力

2. 如何在本地和云上不同的环境中借助 envd 构建和使用机器学习环境

3. 如何借助软件工具对 MLOps 过程进行成本的观测和优化,降低成本


曾国洋 ModelBest CTO

个人介绍:OpenBMB开源社区发起人,曾参与CPM-1、CPM-2、CPM-3模型研发与训练,开发了开源工具包BMTrain、BMInf,目前为ModelBest CTO。

演讲主题:OpenBMB:以大模型为核心的开源社区

演讲提纲:

1. OpenBMB 开源社区介绍

2. 大模型应用范式与开源工具包介绍

3. CPM-Live 开源大模型训练企划介绍

听众收益:

1. 未来大模型的应用范式是怎样的?

2. 如何使用 OpenBMB 开源工具包玩转大模型?

3. CPM-Bee 面向下游应用的开源大模型


崔晓楠 NVIDIA

开发者生态拓展经理

个人介绍:NVIDIA 开发者生态拓展经理 毕业于北京航空航天大学,软件工程硕士,主要负责开发者生态拓展和软件平台解决方案,聚焦于 NVIDIA AI Enterprise,Metropolis SDK 和 EGX 企业计算加速平台的应用,落地和推广。

演讲题目:NVIDIA AI Enterprise 助力构建新一代 AI 就绪操作系统

演讲提纲:NVIDIA AI Enterprise 是 NVIDIA AI 平台的操作系统,对于使用广泛的框架库构建的应用至关重要,借助 AI 开发和部署优化的云原生和数据分析软件套件,实现 AI 应用从开发到生产部署的端到端闭环,针对 GPU 基础架构进行优化和集成,满足 AI 应用从数据中心到云进行灵活的部署,同时 NVIDIA 全球企业支持服务团队将帮助您确保 AI 项目如期进行。

听众收益:

1. NVIDIA AI Enterprise 软件套件组成

2. NVIDIA AI 开发到部署工具链

3. 虚拟化及裸金属基础架构中如何高效使用和调度 GPU 资源




⑤ MLOps及AI工程化落地论坛

出品人:郑曌 第四范式 技术副总裁

个人介绍:郑曌,第四范式技术副总裁,OpenMLDB项目发起人。LF AI & Data Foundation Board member, NextArch Foundation TOC member。腾讯云TVP(最具价值专家),2021 OSCAR尖峰开源人物,中国开源云联盟2021开源杰出贡献者。主持中国市场份额第一的AI操作系统Sage AIOS的系统设计与研发。开源机器学习数据库OpenMLDB 、AI操作系统内核OpenAIOS 项目发起人。开源推荐算法工具 SVDFeature 作者。SageOne AI 算力基础设施首席架构师, 设计开发 ATX系列机器学习全生命周期加速卡。曾任Google 展示广告架构团队架构师、Pinterest 个性化推荐与搜索部门技术负责人,研究领域覆盖分布式机器学习系统架构、个性化推荐架构、高维稀疏机器学习框架等方向。2010年ACM大赛世界冠军、KDD Cup 2012 冠军。


林东 阿里云 高级技术专家

个人介绍:林东在宾夕法尼亚大学获得计算机博士学位。林东曾在LinkedIn从事Apache Kafka开发,是Apache Kafka committer和PMC成员。在加入阿里巴巴前,林东在谷歌大脑参与了下一代TensorFlow计算引擎的多项模块的开发设计。林东目前在阿里云开源大数据平台团队,负责FeatHub, Apache Flink机器学习库等Flink生态项目的开发工作。

演讲主题:FeatHub:流批一体的实时特征工程平台

演讲提纲:本次演讲中,我们将介绍 FeatHub,一个由阿里云自研并开源的实时特征平台。我们将介绍FeatHub的架构设计,已经完成的工作,以及近期的发展计划。我们为FeatHub设计了易于使用的Python SDK,来方便用户开发,分享,以及部署特征工程作业到生产环境。FeatHub目前支持使用Flink作为计算引擎来完成流批一体的特征计算,支持在Kafka, 文件系统等多种存储引擎中读取和存储特征。用户可以使用声明式的API来定义特征,无需担心特征穿越的问题,也无需使用相对复杂的底层计算引擎API来计算特征。我们希望通过提供这些功能,来提升特征工程作业的开发效率,并推动实时特征工程的应用发展。FeatHub已经在 https://github.com/alibaba/feathub 开源。欢迎大家尝试使用并提供反馈。

听众收益:如何更容易的使用Flink完成实时特征工程作业的开发,测试和部署


董天骄 浪潮 产品经理

个人介绍:董天骄,浪潮人工智能软件产品经理。长期从事人工智能平台建设,致力于构建高效、智能、易用的企业级AI平台。

演讲主题:AIStation 智能业务创新生产平台

演讲提纲:

1. 企业 AI 转型之路

2. AIStation 助力企业AI转型

听众收益:

1. 了解企业在 AI 转型中遇到的问题

2. 了解浪潮 AIStation,帮助企业提升 AI 竞争力


卢冕 第四范式 资深系统架构师

个人介绍:博士毕业于香港科技大学计算机系。开源项目 OpenMLDB 研发负责人,第四范式系统架构师,数据库团队和高性能计算团队负责人。

演讲主题:开源机器学习数据库 OpenMLDB:线上线下一致的生产级特征平台

演讲提纲:

1. 人工智能工程化落地的数据和特征挑战

2. OpenMLDB:线上线下一致的生产级特征平台

3. 使用案例分享

听众收益:

1. 深刻了解到目前企业进行人工智能工程化落地过程中碰到的数据和特征的痛点

2. 了解低成本高性能的实时特征平台开源解决方案 – OpenMLDB

3. 了解 OpenMLDB 整体的线上线下一致性的设计理念,以及面向企业级应用的产品特性


谢堉鑫 OPPO 机器学习技术专家

个人介绍:加入 OPPO 前,曾在京东、阿里多年从事大型搜推广系统、深度机器学习等领域开发工作。加入 OPPO 后,作为机器学习技术专家,主要负责 OPPO 机器学习平台 StarFire 研发,主要研究方向是:端云协同机器学习、模型训练与推理优化、模型训练调度等。

演讲主题:StarFire:OPPO AI工程平台实践

演讲提纲:

1. AI 工程化的发展趋势与技术挑战

2. OPPO AI 工程化实践:端云一体 AI 平台 StarFire

3. 端云协同计算的 AI 范式

4. 未来展望

听众收益:

1. 了解 AI 工程化的发展趋势及在 OPPO 内部技术实践

2. 了解端云一体机器学习的技术体系

3. 了解下一代 AI 范式的设计思路


朱晓勇 微软 首席数据科学家

个人介绍:朱晓勇 - Microsoft Principal Data Scientist,专注于机器学习基础设施及应用,包括超大规模模型训练与部署,特征中台等。

演讲题目:Feathr - 源于领英及微软的企业级高性能 Feature Store

演讲提纲:Feathr 是由领英以及微软维护,在 Linux Data & AI Foundation 下运作的企业级开源 Feature Store。项目于 2022 年 4 月开源,在开源前已经在微软与领英内部得到了大规模的使用,服务了内部大量的机器学习应用。在这次演讲中,我们主要会介绍 Feature Store 的一些基本概念,Feathr 的设计理念,内部的一些用例,以及一些 demo。Feathr 的主要特性包括原生的 transformation/aggregation 以及 point-in-time join 的支持,云原生的开放架构,以及企业级安全性的支持等。

听众收益:

1. Feature Store 的基本概念

2. Feathr 的设计理念

3. Feathr 的使用场景


刘世林 倍赛科技 CTO

个人介绍:现任倍赛科技CTO,负责公司的整体研发和Data-Centric MLOps产品规划,https://github.com/basicai/xtreme1 项目的主要发起人。先后毕业于浙江大学和新加坡国立大学,获学士和博士学位。曾发表数十篇语音识别领域的国际顶级期刊杂志和会议论文,曾任IEEE期刊审稿人。在语音识别、自然语言处理、机器视觉等领域有十年以上的科研和工程落地经验。申请了上百项发明专利,并获得了16项的授权。2018年成都市高层次创新创业人才“顶尖创新创业团队”成员之一。曾担任新加坡国立大学助理研究员,百度高级研究员,数联铭品人工智能VP。

演讲题目:Xtreme1:下一代多模态训练数据平台

演讲提纲:

1. 训练数据平台的起源

2. 平台的核心功能亮点

3. 平台建设的技术挑战

4. 平台的未来规划设想

听众收益:

1. 轻松上手玩转多模态训练数据

2. Data-Centric MLOps 实践落地

3. 如何加速多模态数据治理效率



⑥ 端侧推理论坛

出品人:姜霄棠 阿里巴巴 大淘宝技术

高级技术专家

个人介绍:浙江大学硕士毕业,先后在华为、九言科技、淘宝任职,从事过图形驱动开发、图形引擎开发与深度学习引擎开发,现负责淘宝深度学习引擎 MNN。


邢世稳 阿里巴巴 大淘宝技术

技术专家

个人介绍:北京理工大学硕士,任职阿里巴巴大淘宝技术MNN团队,负责GPU研发与性能优化工作。

演讲主题:MNN 移动端 GPU 性能优化分享

演讲提纲:

1. MNN 引擎基本介绍

2. MNN 移动端 GPU 性能优化挑战与破解思路

3. GPU 性能优化策略

4. MNN GPU 应用案例

听众收益:

1. MNN 整体推理流程与如何调用 GPU 推理?

2. GPU 性能优化主要的抓手是什么?

3. MNN GPU 技术优化干货


段志杰 vivo 高性能计算工程师

个人介绍:目前任职于 vivo AI 研究院 人工智能部门 VCAP 团队,主要从事端侧深度学习框架开发和计算加速,负责终端 DSP/NPU 性能优化和部署,负责模型端侧量化技术的研究与落地。

演讲主题:VCAP 量化端侧部署的挑战与实践

演讲提纲:

1. VCAP 基本介绍

2. 模型量化概述

3. VCAP 量化业务挑战与实践

4. 未来展望

听众收益:

1. 量化的基础知识

2. 端侧量化部署业务经验分享

3. 量化在计算加速上的一些经验分享


王世豪 蚂蚁集团 高级算法专家

个人介绍:王世豪,蚂蚁集团高级算法专家,蚂蚁集团终端人工智能推理框架 xNN 团队负责人。加入蚂蚁前,先后获取上海交通大学本科及日本早稻田大学博士学位,博士研究期间参与研制了世界首款支持 8K 清晰度的单芯片视频解码器,曾获 ISSCC Takuo Sugano Award、日本卓越大学院项目、日本学术振兴会特别研究员资助等,主要研究兴趣包括:深度学习、视频编解码、高性能计算、芯片设计等。

演讲主题:xNN - 蚂蚁端侧深度学习框架

演讲提纲:

1. 蚂蚁端 AI 整体发展概览

2. 端模型优化技术架构

3. 当下的发展趋势及技术挑战

4. 新一代端智能建模框架的探索

5. 总结与展望

听众收益:

1. 了解端智能技术在蚂蚁业务的应用场景

2. 了解推理优化涉及的技术体系

3. 了解端侧 AI 技术发展趋势及在蚂蚁内部技术实践


李天健 商汤科技 高级系统研究员

个人介绍:李天健,商汤科技高级系统研究员,推理引擎「PPL」GPU 与深度学习编译方向负责人。博士毕业于上海交通大学计算机系,研究方向为计算机体系结构, 在 TCAD、DAC、ICCD、ICCAD、ITC 等国际期刊和会议中发表多篇论文。在商汤科技建立 NVIDIA GPU 的推理引擎,目前在高性能计算(HPC) 部门负责 GPU 等云端芯片方向的推理引擎研发和业务落地。

演讲主题:面向全平台的深度学习部署工具包 PPL

演讲提纲:

1. 深度学习部署工具包 PPL 概要

2. 深度学习工具包核心模块介绍:推理引擎、量化工具、图像处理算子等

3. 全平台优化与应用支持,CPU、GPU、DSP、AI 加速器等

4. PPL 核心技术展望

听众收益:

1. 对国产推理引擎 PPL 进行全方位的介绍

2. 深度剖析 PPL 比肩 NVIDIA 的性能优化技巧

3. 对大模型推理、AI for science 等先进技术进行展示

▌如何参与?

扫码入群收看直播
▌合作伙伴
主办方:DataFun
协办单位:一流科技
钻石赞助:阿里云
黄金赞助:浪潮

▌关于我们

DataFun:专注于大数据、人工智能技术应用的分享与交流。发起于2017年,在北京、上海、深圳、杭州等城市举办超过100+线下和100+线上沙龙、论坛及峰会,已邀请超过2000位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章800+,百万+阅读,15万+精准粉丝。



网友评论已有0条评论, 我也要评论

发表评论

*

* (保密)

Ctrl+Enter 快捷回复