清华大学在DeepSeek-671B全量版运行上的最新突破： 过去需要8张H

用户10xxx83 回复 02-21 15:44
还要400g内存

风季 回复 02-21 10:02
不是说有了4090就能跑，还要380多的内存。

简约时尚风格 回复 02-21 10:43
你不看成本吗？综合收益呢？

枯萎的野草 回复 02-21 11:08
以前玩不起，至少有得玩

psymerlin 回复 02-21 09:55
这个好像需要新的CPU统一内存和显存架构，类似苹果的一种架构，把内存和显存整合了。

psymerlin 回复 psymerlin 02-21 11:06
如果以前CPU架构也可以，我都准备加到1T测试下了

ram128 回复 02-21 13:11
虽然国际开发署凉了，但是你很讲信誉。

彰润 回复 02-21 12:57
是啊，你倒是先搞个同样的垃圾出来看看？

般若波罗蜜 回复 02-26 05:56
cpu部分的新算法比之前的llama.cpp的纯CPU算法快28倍。主要是稀疏矩阵乘法的优化。

vivienne 回复 般若波罗蜜 02-26 15:37
你和我解释科普这些没意义。

灿烂时空 回复 02-21 20:00
吃早餐提问 吃无饭时出结果

般若波罗蜜 回复 02-26 06:02
大哥不嫌卡啊。内存64位乘以2G主频，一秒16GB的吞吐率。虚拟内存是硬盘实现的，比内存慢百倍啊。你是想一天出一个token？

逍遙 回复 般若波罗蜜 02-27 14:31
慢点就慢点呗，主打一个省钱

灿烂时空 回复 02-21 19:59
暂时我看到所有都是龟速 想上吊的龟速 直接免费用GPT3.5就行了

用户18xxx20 回复 02-22 09:55
付钱买api就不会繁忙了

般若波罗蜜 回复 02-26 06:00
服务器限流。他们公司不是正规的互联网公司，服务器有限，做了限流。

梦一回╭♀丶 回复 02-22 08:14
挖矿[哭笑不得]

DDK 叶哥 回复 02-25 00:53
CPU和GPU各有所长，但实际大语言模型，理论上用LPU更合适。 英伟达多年布局CUDA，在软件应用上占有绝对优势。

般若波罗蜜 回复 02-26 05:59
不是一万，是十六万三千多，但是实际是公用一个显存，略微等待一点。等效于十万个乘法器去打x64的CPU里面加速指令的512个乘法器。