公司想部署一个私有化的deepseek 可以用6000ada的显卡么

akatom · 2025-2-7 13:06:04

如题，请问大家部署depseek都需要啥配置呢？

奧巴马 · 2025-2-7 13:08:49

CPU都可以，就是慢，自己部署没意思。和官网不一样的

无神通 · 2025-2-7 13:20:54

什么配置都可以，速度快慢的区别

方块李 · 2025-2-7 13:22:24

建议20块H100 直接上671B

dragonfsky · 2025-2-7 13:22:32

可以啊但是满血要几十张吧

尼古丁真 · 2025-2-7 13:35:07

本帖最后由尼古丁真于 2025-2-7 13:36 编辑

int4量化跑671b大概要350G 内存堆到350G容易显存堆到350G有点难
int4精度损失有点高 int8要700G应该能跑
h100 80g显存
也有便宜的方案 2080ti魔改22G显存插16张

cooe · 2025-2-7 13:43:00

前几天部署了一个8b的，速度还行，但是不够聪明，还是官网用吧，已充值了几十块！

丹帕 · 2025-2-7 13:45:34

1688现在不是很多跳水卡，来个满血671b

		立即注册	自动登录	找回密码
密码			立即注册