Replies: 1 comment 1 reply
-
来,放出你的本地链接,让我们试一试效果。 |
Beta Was this translation helpful? Give feedback.
1 reply
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
来,放出你的本地链接,让我们试一试效果。 |
Beta Was this translation helpful? Give feedback.
-
今天 openai 给我发了一封邮件告知封了我的账户。不过好在现在 ChatGPT 的免费或开源替代品很多。也就不在意了。
自己搭了一套运行在本地的 chat 服务。
在这里我用的 ollama 运行 LLM。
用的 LLM 是最近 Meta 公司发布的 llama3 指令微调的量化版本 8b-instruct-q4_K_S。有好多量化版本,不知道哪个效果最好。
web 前端使用的 open-webui。我发现它在今年 1 月支持了 RAG 功能,同时也支持了 PDF 上传和解析。这就比 lobechat 优秀多了。lobechat 缺少 ollama 模型同步功能和 PDF 功能,有点遗憾。
这套运行在 M3 芯片的 Macbook Pro,跑起来无压力,就是稍微有点慢。
Beta Was this translation helpful? Give feedback.
All reactions