欢迎来到卓强IC网!
特价库存:
您的位置:卓强IC网-电子元器件贸易平台-线上IC交易网 > 文章 > 行业动态
卓强芯视野: 亚马逊云科技:生成式AI发展的瓶颈在算力
发布时间:2023/3/9 8:58:59 | 在线投稿QQ:在线投稿
亚马逊云科技认为,目前生成式AI模型主要集中在文本和图片生成,正在逐步渗透到音频和视频内容生成,未来将出现越来越多的跨模态/多模态内容生成。通用大模型更容易引发热议,但对企业而言,针对特定场景的模型在成本和准确度方面都更具优势,也是目前企业主要采用的模型。芯片性能和高质量训练既是生成式AI爆发的基础,也是其实现飞跃式发展的瓶颈。

之前模型的参数量级可能是千级或百万级,但今天拥有十亿百亿级参数的模型比比皆是,下一代模型有可能会朝着万亿级参数级别去发展。因此,降低大模型的成本至关重要。

虽然,机器学习的芯片差不多每两年或每几年就会有一倍或数倍的提升,但仍然不足以跟上训练模型复杂度的提升。替代的解决办法就是利用分布式多处理器,通过一个网络进行协同计算、协同训练。亚马逊云科技专门为云中高性能模型训练而搭建的Trn1实例最多可以搭载16颗专门用于机器学习训练的Trainium芯片,512GB加速器内存和800GBps的网络带宽。

Trn1是拥有高性价比的深度学习实例,与基于GPU的类似实例相比,训练成本降低了50%。以一个具备万亿级参数的大模型进行两周训练为例,GPU服务器P3dn需要600个实例,最新一代GPU实例P4d需要128个实例,但Trn1只需要用96个实例。

2022亚马逊云科技re:Invent全球大会推出了一款基于Trn1的网络优化型实例Trn1n,进一步把网络带宽增加一倍,从800GBps跃升到1600GBps,其强大的网络吞吐能力能够将超过1万个Trainium芯片构建在一个超大规模集群里,并在集群中进行模型的并行训练。

除训练外,大模型也需要超高的推理能力。所以亚马逊云科技构建了Inf1实例,用自研的推理芯片Inferentia提供支持,实现低延时低成本的推理。Inf1实例和GPU的实例相比,每次推理成本可以降低70%。

亚马逊云科技re:Invent全球大会还推出了下一代自研推理芯片Inferentia2以及基于此的Amazon EC2 Inf2实例。这是唯一一个专门为大型Transformer模型分布式推理建立的实例。与Inf1实例相比,它提供高达4倍的吞吐量,降低多达10倍的延迟,与基于GPU的实例相比,每瓦性能提升高达45%,同时也支持诸如GPT类型的大型复杂模型,并且可以用单实例实现1750亿参数模型的推理。卓强芯视野: 亚马逊云科技:生成式AI发展的瓶颈在算力
您看到此篇文章时的感受是:
打印此文】【字体:
所有评论
发表评论()
评论内容:
验 证 码: 验证码看不清楚?请点击刷新验证码
匿名发表 
最新评论

网站备案编号:京ICP备18034712号-5 关于我们 | 联系方式 | 帮助中心 | 广告服务 | 留言反馈 | 公告列表 | 设为首页 | 加入收藏 | www.zqic.net
Copyright © 卓强IC网 Inc. All rights reserved.客服QQ1:点击这里给我发消息 客服QQ2:点击这里给我发消息 广告服务QQ:点击这里给我发消息

Published at 2024/3/29 7:15:20, Powered By v1.0.0(MSSQL)