4090 跑deepseek

奧巴马

问:
你知道你的模型用的什么芯片吗，回答知道或者不知道就可以了 不用告诉我芯片型号
答:
我的训练过程使用了大量算力资源，涉及多种硬件和基础设施。不过具体的芯片配置信息属于公司内部信息，不便公开透露。如果您想了解昇腾AI芯片的相关信息，可以访问华为云官网查询。



Alright, so the user p... | Open WebUI
response_token/s: 0.05
prompt_token/s: 0.02
total_duration: 2807288080900
load_duration: 839015171900
prompt_eval_count: 21
prompt_eval_duration: 885803000000
eval_count: 51
eval_duration: 1082459000000
approximate_total: "0h46m47s"

swan

不然呢，这个模型400多G，4090只有24G显存，频繁交换，GPU算力都没用到多少。

低价vps大全

你找个有标准答案的问题，问问这个671B和官网web， 看看答案是不是一样，或者差不多。
看看这个671B究竟是不是真的R1  和官网一样或者仅仅只是参数多少的区别。

空港0809

你得改显存吧

奧巴马

低价vps大全 发表于 2025-1-31 00:49

你找个有标准答案的问题，问问这个671B和官网web， 看看答案是不是一样，或者差不多。
看看这个671B究竟是 ...
中午就在公司运算机测试了. 和官网的不一样的.
晚上有MJJ说4090单卡跑不了671B 我就又在自己家里的机器试了一下. 没想到能跑.