华为刚刚扔出一张AI底牌:让大模型记忆力不再卡脖子
今天上午,华为发布了一套AI数据中心的完整方案。核心的突破就一个,解决大模型记不住的问题。
什么意思?你问AI一个复杂问题,它需要把前面的对话内容暂时记住,才能接着往下聊。这些记忆要存在显卡的超高速内存里,但显卡内存太贵也太小,聊深了就不够用了。
华为的解法很聪明:把记忆从显卡上搬下来,放到专门的高速存储设备上。用的时候瞬间调取,不用的时候不占显存。这一下,首句回复延迟直接降了90%。

华为刚刚扔出一张AI底牌:让大模型记忆力不再卡脖子
今天上午,华为发布了一套AI数据中心的完整方案。核心的突破就一个,解决大模型记不住的问题。
什么意思?你问AI一个复杂问题,它需要把前面的对话内容暂时记住,才能接着往下聊。这些记忆要存在显卡的超高速内存里,但显卡内存太贵也太小,聊深了就不够用了。
华为的解法很聪明:把记忆从显卡上搬下来,放到专门的高速存储设备上。用的时候瞬间调取,不用的时候不占显存。这一下,首句回复延迟直接降了90%。

作者最新文章
热门分类
娱乐TOP