找回密码
 立即注册
CeraNetworksBGVM服务器主机交流会员请立即修改密码Sharktech防护
查看: 84|回复: 9

2024年底了,有可以本地部署的文本AI了吗

[复制链接]

31

主题

63

回帖

421

积分

中级会员

积分
421
发表于 2024-10-14 14:47:47 | 显示全部楼层 |阅读模式
只要文本,尽量智能些,最好能训练的语言模式,有没有开源能本地部署的了呀

现成的用起来感觉不便宜啊
回复

使用道具 举报

86

主题

1098

回帖

3650

积分

论坛元老

积分
3650
发表于 2024-10-14 14:53:16 | 显示全部楼层
本帖最后由 lewissue 于 2024-10-14 14:56 编辑

恰恰相反,本地模型不比现成的便宜。用qwen得租4090吧,4090一个小时2元,2元用gpt0806可以上百万的token
本地模型就像国产光刻机,没有它总是担心卡脖子,有它又不经济,制程还低(参数不多)。食之无味弃之可惜

不过本地模型经过恰当的微调,其(除逻辑之外的)性能不弱于大模型
回复

使用道具 举报

369

主题

440

回帖

3479

积分

论坛元老

积分
3479
发表于 2024-10-14 14:51:59 | 显示全部楼层
一大把啊!llama3.1+阿里的Qwen
问题是你有能跑得动的显卡吗?
回复

使用道具 举报

43

主题

3785

回帖

9273

积分

论坛元老

积分
9273
发表于 2024-10-14 15:09:52 | 显示全部楼层
一大把,但是毫无意义
回复

使用道具 举报

31

主题

63

回帖

421

积分

中级会员

积分
421
 楼主| 发表于 2024-10-14 15:21:39 | 显示全部楼层
好吧,那哪里有便宜点的chatGPT API 或中转
回复

使用道具 举报

15

主题

1377

回帖

3635

积分

论坛元老

积分
3635
发表于 2024-10-14 15:28:26 | 显示全部楼层

lewissue 发表于 2024-10-14 14:53

恰恰相反,本地模型不比现成的便宜。用qwen得租4090吧,4090一个小时2元,2元用gpt0806可以上百万的token
...

4070能跑么?还想要不要买个笔记本玩玩ai 呢
回复

使用道具 举报

86

主题

1098

回帖

3650

积分

论坛元老

积分
3650
发表于 2024-10-14 14:53:00 | 显示全部楼层
本帖最后由 lewissue 于 2024-10-14 15:35 编辑

scheme 发表于 2024-10-14 15:28

4070能跑么?还想要不要买个笔记本玩玩ai 呢


移动4070才8g显存,也就玩玩sdxl出图了。72b玩不了一点,1.5b说不定可以。。。还不如租个服务器用内存+cpu慢慢跑
回复

使用道具 举报

7

主题

73

回帖

295

积分

中级会员

积分
295
发表于 2024-10-14 15:33:52 | 显示全部楼层
本地跑成本不低的,除非大到一定规模
回复

使用道具 举报

86

主题

1098

回帖

3650

积分

论坛元老

积分
3650
发表于 2024-10-14 15:28:00 | 显示全部楼层

talaon 发表于 2024-10-14 15:21

好吧,那哪里有便宜点的chatGPT API 或中转


用0806的话,最便宜的就是买azure5000,可以用好久。
想用0903需要买官方API,那个贵。
回复

使用道具 举报

15

主题

1377

回帖

3635

积分

论坛元老

积分
3635
发表于 2024-10-14 15:35:36 | 显示全部楼层
"

才8g?那算了,不浪费钱了。服务器cpu 都能跑个7b,就是卡的不行。多谢大佬
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|HS2V主机综合交流论坛

GMT+8, 2024-11-14 14:46 , Processed in 0.065009 second(s), 4 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表