2024年底了，有可以本地部署的文本AI了吗

talaon

只要文本，尽量智能些，最好能训练的语言模式，有没有开源能本地部署的了呀

现成的用起来感觉不便宜啊

lewissue

本帖最后由 lewissue 于 2024-10-14 14:56 编辑

恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token
本地模型就像国产光刻机，没有它总是担心卡脖子，有它又不经济，制程还低（参数不多）。食之无味弃之可惜

不过本地模型经过恰当的微调，其（除逻辑之外的）性能不弱于大模型

tubos

一大把啊！llama3.1+阿里的Qwen
问题是你有能跑得动的显卡吗？

jqbaobao

一大把，但是毫无意义

talaon

好吧，那哪里有便宜点的chatGPT API 或中转

scheme

lewissue 发表于 2024-10-14 14:53

恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token
...
4070能跑么？还想要不要买个笔记本玩玩ai 呢

lewissue

本帖最后由 lewissue 于 2024-10-14 15:35 编辑

scheme 发表于 2024-10-14 15:28

4070能跑么？还想要不要买个笔记本玩玩ai 呢

移动4070才8g显存，也就玩玩sdxl出图了。72b玩不了一点，1.5b说不定可以。。。还不如租个服务器用内存+cpu慢慢跑

Sage

本地跑成本不低的，除非大到一定规模

lewissue

talaon 发表于 2024-10-14 15:21

好吧，那哪里有便宜点的chatGPT API 或中转

用0806的话，最便宜的就是买azure5000，可以用好久。
想用0903需要买官方API，那个贵。

scheme

"

才8g?那算了，不浪费钱了。服务器cpu 都能跑个7b，就是卡的不行。多谢大佬