电子发烧友网报道(文/周凯扬)从最近英伟达公布的财报中就可以看出,AI应用的火热使其赚得盆满钵满,原本就在AI软硬件生态称王的英伟达,现今更是如日中天。而这样的处境也让不少AI芯片初创公司不好过,他们的产品有的还没落地,有的则难以与A100、H100这样的产品匹敌。这几年沉寂下去的AI芯片初创公司着实不少,但还是有的厂商敢于继续往这个市场里钻。
水平扩展性的限制
随着AI/ML的模型越来越大,甚至是以5年内翻4万倍的速度提升,要想在硬件上跟上软件进度已经越来越难了。可即便如此,从16nm到4nm,从低精度到脉动阵列,都给了我们巨大的优势去追随这些大模型。
但运行这些大模型终究不是靠单个芯片的力量,而是整个规模集群需要面临的问题,所以这就牵扯到了水平扩展性。工艺制程的提高带来了5倍的性能提升,芯片架构带来了14倍的性能提升,而水平扩展则要实现600倍的性能提升,才能满足未来的AI/ML计算要求。这也就是目前AI计算存在的问题,大模型往往需要更大的内存、更高的算力和更大的带宽,随着设备数量越多,这三大硬件要求的分配复杂程度就变得越来越高。
比如在GPU上就已经尝试了不少并行扩展方案,比如数据并行、流水线模型并行或张量模型并行等,但以上方案往往都会受到内存、带宽和参数量的限制,并没有单一通用的解决方案,大模型往往需要同时结合这三种方案,所以扩展效率不高。AI芯片公司Cerebras则想出了一个在大规模集群下提高水平扩展性的解决方案。
Cerebras的WSE
要说在AI芯片的初创公司里,走着独立无二路线的公司,Cerebras绝对能排得上名号。2019年,他们推出了WSE,一个晶圆大小的AI处理器,到了2021年,他们又推出了第二代的WSE-2,采用更先进的工艺将单个处理器的核心数推进至85万核。而这次Hot Chips上,他们则展示了用于对抗英伟达的解决方案。
WSE-2与GPU大小对比 / Cerebras
Cerebras选择了将内存和计算解耦的方案,利用内存扩展技术MemoryX,将模型权重存储在外部,然后将权重传输给WSE-2组成的CS-2系统,CS-2再将梯度传给外部存储。Cerebras还打造了一个互联方案SwarmX,用于连接多个CS-2系统,从而提高扩展性。
以Cerebras搭建的Andromeda超算为例,该超算由16个CS-2系统组成,拥有1350万个AI优化核心,稀疏算力高达1ExaFLOPs,稠密算力高达120PetaFLOPs。在这样强大的算力下,训练大模型只要几周的时间。而且在Cerebras不同规模的集群上,不同参数的大模型可以共享同样的代码,以同样的方式训练,省去了不少开发时间。
除了Andromeda以外,Cerebras也已经开始了下一个AI超算的部署,由64个CS-2系统组成的Condor Galaxy 1,该超算的算力将扩展至4ExaFLOPs的稀疏算力。而Condor Galaxy 1名字后的1,也意味着这仅仅是单个超算中心所用的系统而已,未来他们计划在2024年底之前扩展为9个超算中心,分布在美国各地,构建最大的分布式超算网络,总算力高达36ExaFLOPs,是英伟达Israel-1超算的9倍,是谷歌最大TPUv4集群的4倍。
写在最后
单从扩展性和性能的角度来看,Cerebras确实已经做到了一个新的高度。但对于购置这些GPU或AI芯片的云服务或互联网公司来说,GPU或许是一个更加通用的资源,在AI技术日新月异的当下,GPU总能凭借自己的软硬件生态快速找到自己的一席之地,并在高性能的王座上稳坐一段时间。这也就是AI爆款应用的市场导向决定的了,性能固然重要,但抢占先机才是最关键的一环。
水平扩展性的限制
随着AI/ML的模型越来越大,甚至是以5年内翻4万倍的速度提升,要想在硬件上跟上软件进度已经越来越难了。可即便如此,从16nm到4nm,从低精度到脉动阵列,都给了我们巨大的优势去追随这些大模型。
但运行这些大模型终究不是靠单个芯片的力量,而是整个规模集群需要面临的问题,所以这就牵扯到了水平扩展性。工艺制程的提高带来了5倍的性能提升,芯片架构带来了14倍的性能提升,而水平扩展则要实现600倍的性能提升,才能满足未来的AI/ML计算要求。这也就是目前AI计算存在的问题,大模型往往需要更大的内存、更高的算力和更大的带宽,随着设备数量越多,这三大硬件要求的分配复杂程度就变得越来越高。
比如在GPU上就已经尝试了不少并行扩展方案,比如数据并行、流水线模型并行或张量模型并行等,但以上方案往往都会受到内存、带宽和参数量的限制,并没有单一通用的解决方案,大模型往往需要同时结合这三种方案,所以扩展效率不高。AI芯片公司Cerebras则想出了一个在大规模集群下提高水平扩展性的解决方案。
Cerebras的WSE
要说在AI芯片的初创公司里,走着独立无二路线的公司,Cerebras绝对能排得上名号。2019年,他们推出了WSE,一个晶圆大小的AI处理器,到了2021年,他们又推出了第二代的WSE-2,采用更先进的工艺将单个处理器的核心数推进至85万核。而这次Hot Chips上,他们则展示了用于对抗英伟达的解决方案。
WSE-2与GPU大小对比 / Cerebras
Cerebras选择了将内存和计算解耦的方案,利用内存扩展技术MemoryX,将模型权重存储在外部,然后将权重传输给WSE-2组成的CS-2系统,CS-2再将梯度传给外部存储。Cerebras还打造了一个互联方案SwarmX,用于连接多个CS-2系统,从而提高扩展性。
以Cerebras搭建的Andromeda超算为例,该超算由16个CS-2系统组成,拥有1350万个AI优化核心,稀疏算力高达1ExaFLOPs,稠密算力高达120PetaFLOPs。在这样强大的算力下,训练大模型只要几周的时间。而且在Cerebras不同规模的集群上,不同参数的大模型可以共享同样的代码,以同样的方式训练,省去了不少开发时间。
除了Andromeda以外,Cerebras也已经开始了下一个AI超算的部署,由64个CS-2系统组成的Condor Galaxy 1,该超算的算力将扩展至4ExaFLOPs的稀疏算力。而Condor Galaxy 1名字后的1,也意味着这仅仅是单个超算中心所用的系统而已,未来他们计划在2024年底之前扩展为9个超算中心,分布在美国各地,构建最大的分布式超算网络,总算力高达36ExaFLOPs,是英伟达Israel-1超算的9倍,是谷歌最大TPUv4集群的4倍。
写在最后
单从扩展性和性能的角度来看,Cerebras确实已经做到了一个新的高度。但对于购置这些GPU或AI芯片的云服务或互联网公司来说,GPU或许是一个更加通用的资源,在AI技术日新月异的当下,GPU总能凭借自己的软硬件生态快速找到自己的一席之地,并在高性能的王座上稳坐一段时间。这也就是AI爆款应用的市场导向决定的了,性能固然重要,但抢占先机才是最关键的一环。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
AI
+关注
关注
87文章
23821浏览量
260948 -
英伟达
+关注
关注
21文章
2517浏览量
86478
发布评论请先 登录
相关推荐
AI芯片公司该如何在激烈的竞争中生存?
芯片市场规模约24亿美元,预计到2025年这一市场规模将达到约378亿美元,复合年增长率(CAGR)为40.8%。高速增长且短期内规模将达百亿美元的AI芯片市场不仅驱动着传统芯片公司战略和技术
发表于 09-16 10:36
AI芯片格局最全分析 精选资料分享
初创企业的AI芯片都具有自己独特的体系结构和软件开发套件,既无法融入英伟达和谷歌建立的生态圈,又不具备与之抗衡的实力。>>>> 如果说 2016 年 3 月份 AlphaGo
发表于 07-23 07:10
联发科回应结盟英伟达合攻 Arm 架构芯片传闻
英伟达将与联发科共同宣布双方在 Arm PC 相关芯片的合作,但联发科发布公告表示,这个传闻纯属外界猜测,联发科不做任何评论。
外界认为,根据联发科的活动邀请函内容来看,将展示该
发表于 05-28 08:47
英伟达已经是一家人工智能芯片公司了?
芯片厂商英伟达发布了季度营收创6年最大增幅的财报,并拉动其股价盘后飙升14%而引发业内的关注。加之此前,其CEO黄仁勋宣称英伟达已经是一家AI(人工智能)芯片公司,颇有赶AI风口的意味。业内纷纷看好其在芯片,尤
发表于 11-15 15:04
•2633次阅读
英伟达继续走歪路?AMD做VR,我做AI!智能医疗真的是英伟达以后达道路吗?
英伟达21日公布了最热门的4大AI初创公司,23日早上推出最具颠覆性的五家AI创业公司,现在,我们推出被称为拥有“潜在社会影响力”的五大AI创业公司,而它们都在医学领域。英伟达首席执行官黄仁勋(Jen-Hs
发表于 04-27 14:54
•1173次阅读
中国AI芯片未来不可估量 推倒英伟达指日可待
英伟达作为我们首要的竞争对手,国内涌出一大波的AI初创公司,比如科大讯飞,寒武纪,中国实力在不断增强,中国AI芯片企业离掀翻英伟达指日可待。
发表于 01-22 10:10
•2504次阅读
英伟达强势布局机器人平台,推专用芯片
英伟达在人工智能领域一骑绝尘,让后面的企业望尘莫及,昨日,英伟达推出旗下Nvidia Isaac机器人平台,强势布局机器人领域。
发表于 06-05 08:54
•877次阅读
塑造科技未来:12家企业亮相GTC中国线上大会英伟达初创企业展示
英伟达初创企业展示由英伟达初创加速计划(NVIDIA INCEPTION PROGRAM)主导举办,旨在通过AI和数据科学的发展培养颠覆行业格局的优秀 AI 初创公司。
芯片初创公司Pliops完成6500万美元融资
芯片初创公司Pliops Ltd.表示,他们已经完成了由英特尔公司,英伟达公司和其他公司支持的6500万美元的融资,以支持其提高数据中心存储效率的使命。
英伟达初创加速计划全球成员破8,000,助力塑造全球AI初创企业生态格局
英伟达初创加速计划数据显示,美国在AI初创企业的数量(占近27%)和获得的资金数额(累计资金超过270亿美元)方面均处于世界领先地位。
发表于 08-03 17:47
•1254次阅读
凭借AI“超级芯片”AMD拟向强势英伟达发起挑战
英伟达占据ai计算市场的80%至95%。英伟达上月公布了市价突破1万亿美元的辉煌业绩。此前,该公司曾表示:“如果确保能够满足剧增的需求的新的半导体供给,进口将会大幅增加。”
评论