黄仁勋希望内存供应商增加产能
现在一台AI服务器,GPU当然最贵,但GPU旁边必须配高带宽内存。模型参数越来越大,推理请求越来越多,数据喂不进去,GPU就只能等。算力贵,最怕的就是卡在那里空转。
所以英伟达除了卖芯片,还要盯着HBM、光模块、交换机、电力和数据中心交付。AI基建走到这一步,短板已经不在单个环节,而在整条供应链能不能一起放量。
所以最近SK海力士、三星、美光的员工们赢麻了。毕竟GPU决定上限,HBM决定这套算力能不能真正跑满。
黄仁勋希望内存供应商增加产能
现在一台AI服务器,GPU当然最贵,但GPU旁边必须配高带宽内存。模型参数越来越大,推理请求越来越多,数据喂不进去,GPU就只能等。算力贵,最怕的就是卡在那里空转。
所以英伟达除了卖芯片,还要盯着HBM、光模块、交换机、电力和数据中心交付。AI基建走到这一步,短板已经不在单个环节,而在整条供应链能不能一起放量。
所以最近SK海力士、三星、美光的员工们赢麻了。毕竟GPU决定上限,HBM决定这套算力能不能真正跑满。
作者最新文章
热门分类
科技TOP
科技最新文章