买一个4080啥的显卡搭建LLAMA有意义吗

netAlchemist · 2024-11-3 15:02:21

有没有大佬测试过自己搭建LLAMA 效果怎么样可以做哪些事情

julie · 2024-11-3 15:18:38

只能搭个8B的模型, 可是8B的模型不好用.

起码用30B左右参数的模型才能勉强使用. 那就需要大概3个4090或是3090的显卡了.

更别说用70B参数的了.

除非你跑量化的模型.

你号没了 · 2024-11-3 15:24:32

毫无意义。你这样提问题了。就是已经有答案了

我是老王 · 2024-11-3 15:35:37

没有意义不如GPT4-MINI 这玩意随便个中转冲10块钱可以用1年了
弄显卡还要搭建电费电脑开机一点不划算

netAlchemist · 2024-11-3 15:48:48

julie 发表于 2024-11-3 15:18

只能搭个8B的模型, 可是8B的模型不好用.

起码用30B左右参数的模型才能勉强使用. 那就需要大概3个4090或是 ...

我想着练练手折腾一下别out了

如果毫无意义那还是考虑一下

ctg3c · 2024-11-3 15:18:00

llama 8b性能太差了，没什么应用价值

		立即注册	自动登录	找回密码
密码			立即注册