科技日报记者 崔爽
算力正于成为数字经济时代的“第一资源”。近日,华为发布第六届“十年夜发现”评比成果,“Scale-Up超年夜范围超节点算力平台”乐成入选。
这一结果被认为冲破了传统算力系统中处置惩罚器间毗连、多维资源协同及算力池化的布局瓶颈,初次将数百、数千个AI处置惩罚器毗连成一个同享内存池、同一矫捷调理、对于等协同的总体,让年夜范围算力真正可以或许“像一台计较机同样事情、进修、思索、推理”。
于算力需求呈指数级增加、体系效率成为制约AI成长的要害配景下,超节点的呈现,被视为从“堆算力”走向“用算力”的主要摸索。其暗地里是体系架构、互联总线、软硬协划一全栈自研能力的交融立异,正于引领AI基础举措措施成长的新范式。
重构算力构造方式
持久以来,高机能计较及AI练习重要依靠由多个办事器节点构成的集群体系。跟着模子范围不停扩展,传统集群架构下节点间通讯频仍、调理繁杂、效率衰减等问题日趋凸显,算力范围越年夜,体系瓶颈越较着。
这一配景下,超节点应运而生。作为一种新型算力构造形态,它并不是简朴增长计较卡数目,而是从体系层面临算力、内存及通讯瓜葛举行重构。
“你就把它想象成是盖一栋高楼。”被问和怎样通俗地注释超节点,发现人代表孙雄伟打了个比喻,“假定有一个处所地盘面积有限,各人天然会想到把楼盖高,这即是Scale up。”Scale-up超节点就是如许一幢“高楼”。作为Scale Up确当前最优解,它经由过程内部高速总线互连,可以或许有用支撑并行计较使命,加快卡间参数互换及数据同步。
于超节点内部,各种异构算力资源经由过程高速互联总线实现全对于等毗连,计较、存储与内存资源被同一抽象、池化治理,按照使命需求矫捷组合。
这类“一切皆对于等、一切皆可池化、一切皆可组合”的设计,使超节点具有了像搭积木同样矫捷配置算力资源的能力,为超年夜模子的高效运行提供了新的基础举措措施形态。
从架构到通讯的体系立异
支撑Scale-up超节点建立的,是一系列面向体系层的要害技能冲破。
起首是全对于等互联架构。于传统计较系统中,CPU(中心处置惩罚器)往往处在中央位置,其他加快器及资源缭绕其事情,轻易于范围扩展后形成机能瓶颈。超节点经由过程对于等互联设计,使NPU(神经收集处置惩罚器)、CPU、内存等资源处在划一职位地方,所有计较单位均可经由过程高速总线直接拜候同享内存池,实现跨节点的高效调理。这类设计从底子上转变了算力与内存的瓜葛,为高度依靠数据互换的年夜模子练习提供告终构性支撑。
当算力范围进一步放年夜,通讯方式成为决议体系效率的要害因素。
传统集群节点间通讯需颠末繁杂收集和谈,存于时延高、开消年夜的痛点。Scale-Up超节点经由过程内存语义通讯技能,可直接拜候对于端NPU,年夜幅晋升通讯效率,从底子上解决了年夜范围计较中节点协同的效率瓶颈。华为内存语义通讯技能的焦点价值,于在将节点间通讯转化为类当地内存拜候,让数百个昇腾芯片真正融为一体,有用算力使用率的晋升对于年夜模子练习周期的缩短起到决议性作用。
假如说架谈判通讯界说了超节点“能不克不及建立”,那末工程实现则决议了它“能不克不及落地”。
跟着互联范围扩展,传统电毗连方案于带宽、功耗及传输间隔上的局限逐渐闪现,难以满意跨机架、年夜范围算力协同的需求。
针对于这一挑战,华为超节点方案周全引入光通讯,经由过程光模块及光纤构建新型高速互联通道,实现从芯片到节点的全栈硬件协同。
光互联于年夜带宽、低时延及远间隔传输方面的上风,使超节点于范围扩大的同时,仍能连结不变的通讯机能,为体系总体效率提供保障。卡间通讯再也不成为机能瓶颈,Scale-Up架构也具有了工程化、范围化部署的实际基础。
今朝,昇腾384超节点于算力、互联带宽、内存带宽等方面周全领先。同时,它是业界独一撑持DeepSeekV3/R1于一个超节点域内便可完成所有的专家并行(EP)解决方案,也是业界独一冲破Decode(解码)时延15毫秒的方案。
塑造“超等算力底座”
年夜模子时代,算力竞争的核心正从单点机能转向体系效率及可连续扩大能力。Scale-Up超节点经由过程体系级立异,使模子练习及推理可以或许于更高效、更不变的算力情况中完成,为人工智能运用落地提供坚实支撑。
更主要的是,超节点所代表的并不是单一产物形态,而是一种算力成长范式的改变。它经由过程体系工程要领整合芯片、互联及软件能力,摸索出一条以体系能力开释算力潜能的成长路径。
业内子士认为,于人工智能向更年夜模子、更繁杂运用连续演进的历程中,这类以体系立异冲破物理及工艺约束的思绪,将成为晋升算力使用效率的主要标的目的。
如今,从制造、交通、景象形象到石油化工、生命科学,年夜模子为焦点的数智化转型无所不于。对于算力的海量需求,对于高效低延迟通讯、年夜范围并行计较能力的火急要求,将超节点产物的市场需求逐渐推高。
Scale-up超节点用一系列立异回应了实际需求。它的实践证实,我国算力财产可以经由过程体系思维冲破物理极限,连续打造高效、靠得住、可演进的算力基础举措措施,筑牢人工智能财产高质量成长的底座根底。
-乐鱼官网-
www@leyu.com
-
