立即注册  找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 63|回复: 5

买一个4080啥的显卡搭建LLAMA有意义吗

[复制链接]

买一个4080啥的显卡搭建LLAMA有意义吗

[复制链接]

216

主题

257

回帖

1884

积分

金牌会员

积分
1884
netAlchemist

216

主题

257

回帖

1884

积分

金牌会员

积分
1884
2024-11-3 15:02:21 | 显示全部楼层 |阅读模式
有没有大佬测试过自己搭建LLAMA 效果怎么样 可以做哪些事情
回复

使用道具 举报

24

主题

34

回帖

232

积分

中级会员

积分
232
julie

24

主题

34

回帖

232

积分

中级会员

积分
232
2024-11-3 15:18:38 | 显示全部楼层
只能搭个8B的模型, 可是8B的模型不好用.

起码用30B左右参数的模型才能勉强使用. 那就需要大概3个4090或是3090的显卡了.

更别说用70B参数的了.

除非你跑量化的模型.
回复

使用道具 举报

152

主题

529

回帖

2214

积分

金牌会员

积分
2214
你号没了

152

主题

529

回帖

2214

积分

金牌会员

积分
2214
2024-11-3 15:24:32 | 显示全部楼层
毫无意义。你这样提问题了。就是已经有答案了  
回复

使用道具 举报

1

主题

1212

回帖

2955

积分

金牌会员

积分
2955
我是老王

1

主题

1212

回帖

2955

积分

金牌会员

积分
2955
2024-11-3 15:35:37 | 显示全部楼层
没有意义 不如GPT4-MINI 这玩意随便个中转冲10块钱可以用1年了
弄显卡 还要搭建 电费 电脑开机 一点不划算
回复

使用道具 举报

216

主题

257

回帖

1884

积分

金牌会员

积分
1884
netAlchemist 楼主

216

主题

257

回帖

1884

积分

金牌会员

积分
1884
2024-11-3 15:48:48 | 显示全部楼层

julie 发表于 2024-11-3 15:18

只能搭个8B的模型, 可是8B的模型不好用.

起码用30B左右参数的模型才能勉强使用. 那就需要大概3个4090或是 ...



我想着练练手 折腾一下 别out了

如果毫无意义那还是考虑一下

回复

使用道具 举报

0

主题

1

回帖

4

积分

新手上路

积分
4
ctg3c

0

主题

1

回帖

4

积分

新手上路

积分
4
2024-11-3 15:18:00 | 显示全部楼层
llama 8b性能太差了,没什么应用价值
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|小黑屋|HS2V主机综合交流论坛

GMT+8, 2024-12-23 11:51 , Processed in 0.019482 second(s), 2 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表