如果说deepseek是给英伟达的当头一棒,那清华团队的ktransformer

星空表哥 2025-02-15 01:24:28

如果说deepseek是给英伟达的当头一棒,那清华团队的ktransformer会是对英伟达的致命一击?

现在这个东西还没发酵起来,但据说能在deepseek的基础上再把推理成本降低10倍!现在要本地部署满血版deepseek,需要8张A100起步,有些初创公司都玩不起,但用上ktransformer只需要一张4090显卡。

怎么做到的,原理是融合推理和全系统协调。本质上就是把【GPU】的一部分运算挪到【CPU+内存】上。

这样利好的方向有:

1、内存条,将会涨价。因为人人都用得起AI了,本地端一般用DRAM,而不是hbm,而DRAM是我们强项。(兆易、深科技、北京君正)

2、ai智能体,推理成本下降导致智能体用的人更多。(鼎捷数智、汉得信息)

0 阅读:11
星空表哥

星空表哥

感谢大家的关注