2024年底了，有可以本地部署的文本AI了吗
只要文本，尽量智能些，最好能训练的语言模式，有没有开源能本地部署的了呀现成的用起来感觉不便宜啊 本帖最后由 lewissue 于 2024-10-14 14:56 编辑
恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token
本地模型就像国产光刻机，没有它总是担心卡脖子，有它又不经济，制程还低（参数不多）。食之无味弃之可惜
不过本地模型经过恰当的微调，其（除逻辑之外的）性能不弱于大模型 一大把啊！llama3.1+阿里的Qwen
问题是你有能跑得动的显卡吗？ 一大把，但是毫无意义 好吧，那哪里有便宜点的chatGPT API 或中转
lewissue 发表于 2024-10-14 14:53
恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token
...
4070能跑么？还想要不要买个笔记本玩玩ai 呢 本帖最后由 lewissue 于 2024-10-14 15:35 编辑
scheme 发表于 2024-10-14 15:28
4070能跑么？还想要不要买个笔记本玩玩ai 呢
移动4070才8g显存，也就玩玩sdxl出图了。72b玩不了一点，1.5b说不定可以。。。还不如租个服务器用内存+cpu慢慢跑 本地跑成本不低的，除非大到一定规模
talaon 发表于 2024-10-14 15:21
好吧，那哪里有便宜点的chatGPT API 或中转
用0806的话，最便宜的就是买azure5000，可以用好久。
想用0903需要买官方API，那个贵。 "
才8g?那算了，不浪费钱了。服务器cpu 都能跑个7b，就是卡的不行。多谢大佬
页:
[1]