聚合国内IT技术精华文章,分享IT技术精华,帮助IT从业人士成长

​大模型关键技术解析

2023-04-24 19:27 浏览: 1646899 次 我要评论(0 条) 字号:

ChatGPT大模型的训练需要数千GB的GPU内存,大大超出了单块GPU的能力,因此它的训练必须由大量的GPU构成的分布式集群网络支撑,而分布式集群网络的搭建需要GPU和通讯网络的协同作用。

为此,优化GPU的计算能力和网络的信息传递能力都有助于训练的成功。

本次活动邀请了NVIDIA两位技术专家,面向大模型训练,他们分别从GPU智能网络两个角度,分享了大模型时代下基础设施的最新技术进展和应用

NVIDIA消费互联网行业技术负责人徐添豪分享了大模型时代的GPU软硬件技术演进,从GPU微架构、GPU集群、NeMo Framework协同硬件三个方面,详细解读GPU在大模型训练中的技术创新。

NVIDIA技术市场高级总监冯高锋则从智能网络和网络计算对AI训练通讯加速两个角度,深入探讨高速网络如何助力OpenAI等大型集群线性扩展。

本次活动将大家提供一次与行业专家们面对面的交流学习机会,深度解析ChatGPT时代下的最新技术趋势和应用案例,受益匪浅。


活动亮点

1.软硬协同最优化大模型训练的GPU效率
2.大模型时代GPU集群的设计理念
3.助力OpenAI集群扩展的高速网络



1


详细日程

⏰ 19:00-19:40



网友评论已有0条评论, 我也要评论

发表评论

*

* (保密)

Ctrl+Enter 快捷回复