有没有老哥用vps玩ollama的？

NaCl · 发表于 2024-4-21 19:02:57

感觉小鸡根本跑不动，4u8g，有没有最低配或者哪家机器推荐嘛

Eureka · 发表于 2024-4-21 19:11:23

rs1000跑llama3，CPU满载，内存只用了3G不到，短板不知道是不是CPU。

gabn · 发表于 2024-4-21 19:13:18

这玩意不是要显存吗，你去专业卖的地方去买，普通vps肯定不行的

Eureka · 发表于 2024-4-21 19:13:42

单路3090跑70B的llama2，回答不流畅，显存23/24。三路3090跑70B的llama2：chat，回答很流畅，每张显存13/24

801N · 发表于 2024-4-21 19:13:53

要显卡吧

Eureka · 发表于 2024-4-21 19:14:46

另外，rs1000跑7B，8B模型，速度还是完全可以接受的

xy3666 · 发表于 6 天前

准备试试跑llama3

		自动登录	找回密码
密码			注册