跳到主要内容
版本:V1.1.0

Ollama

Ollama 支持在本地运行与管理开源模型,并提供 OpenAI 兼容的 API 接口用于生成 Embedding。seekdb 提供 OllamaEmbeddingFunction 封装,可通过该接口调用 Ollama 的 Embedding 模型。

提示

使用 Ollama 服务需要遵循 Ollama 的收费规则,可能产生相应费用。请在继续前,访问其官网或查阅相关文档,确认并接受其收费标准。如不同意,请勿继续操作。

依赖与环境

使用该 Embedding Function 通常需要:

  • Ollama 已安装并启动

  • 目标模型已在本地拉取(使用前需执行 ollama pull <model_name>),例如:

    ollama pull nomic-embed-text

安装

npm i seekdb @seekdb/ollama

示例:创建 Ollama Embedding Function

import { OllamaEmbeddingFunction } from "@seekdb/ollama";

const ef = new OllamaEmbeddingFunction({
url: "http://localhost:11434/v1",
modelName: "nomic-embed-text",
// apiKeyEnv: "OLLAMA_API_KEY",
});

配置项说明:

  • url:Ollama API 基址(默认:"http://localhost:11434/v1"
  • modelName:本地已拉取的模型名称(默认:"nomic-embed-text"
  • apiKeyEnv:API Key 的环境变量名(默认:"OLLAMA_API_KEY",可选;Ollama 默认不校验该值)
提示

使用前请确认 Ollama 已运行,且目标模型已通过 ollama pull <model_name> 拉取到本地。