Ollama

建议使用 LM Studio，对于 local open source model，它的控制能力更强。ollama 提供了 free 的 cloud model 是优势。

很多 app/tool 都可以实现【本机】运行开源小模型。ollama 是这些工具之一。

ollama 有一些让人琢磨的设计：

• macos app 总是开机自启动，没有关闭的地方。
• 有 cli 和 gui 两套视觉
• 有 local 和 cloud 两套模型

使用 ollama，最直接的方式就是使用 gui 直接选择模型。但这种场景并不多见、如果需要使用这种场景，那么完成可以使用 chatgpt 等在线服务。

还有一种方式就是 api 对接 ollama，此时，ollama 提供了下面能力：

1. ollama serve 是为了开启 14114 端口服务
   1. gui app 打开，默认就会开启该服务。gui 关闭，该服务终止。
   2. 如果通过 ollama serve 命令打开，则需要 ps aux | grep ollama + kill -9 xx 来关闭服务。
      1. ollama 没有提供关闭服务的 command
2. 对于开启服务而言不需要其他命令了，当 api 收到 m 模型的调用请求、ollama 会 auto load m 模型。
   1. 所以，ollama ps 就没有意义了。
3. 如果模型不存在：
   1. local 模型的话需要通过 ollama pull 下载
   2. cloud 模型会 auto 配置
   3. 通过 ollama list 可以看到本地已经配置的所有模型