Ollama
Ollama 支持在本地运行与管理开源模型,并提供 OpenAI 兼容的 API 接口用于生成 Embedding。seekdb 提供 OllamaEmbeddingFunction 封装,可通过该接口调用 Ollama 的 Embedding 模型。
提示
使用 Ollama 服务需要遵循 Ollama 的收费规则,可能产生相应费用。请在继续前,访问其官网或查阅相关文档,确认并接受其收费标准。如不同意,请勿继续操作。
依赖与环境
使用该 Embedding Function 通常需要:
-
Ollama 已安装并启动
-
目标模型已在本地拉取(使用前需执行
ollama pull <model_name>),例如:ollama pull nomic-embed-text
安装
npm i seekdb @seekdb/ollama
示例:创建 Ollama Embedding Function
import { OllamaEmbeddingFunction } from "@seekdb/ollama";
const ef = new OllamaEmbeddingFunction({
url: "http://localhost:11434/v1",
modelName: "nomic-embed-text",
// apiKeyEnv: "OLLAMA_API_KEY",
});
配置项说明:
- url:Ollama API 基址(默认:
"http://localhost:11434/v1") - modelName:本地已拉取的模型名称(默认:
"nomic-embed-text") - apiKeyEnv:API Key 的环境变量名(默认:
"OLLAMA_API_KEY",可选;Ollama 默认不校验该值)
提示
使用前请确认 Ollama 已运行,且目标模型已通过 ollama pull <model_name> 拉取到本地。