seekdb VectorDBBench 测试报告

本文介绍 VectorDBBench 测试的测试环境、测试方案以及详细的测试数据结果。

测试环境

以阿里云 ECS 作为部署环境为例，测试所使用的 seekdb 规格为 1C2G 和 4C8G。

• seekdb 规格为 4C8G 时，所对应的硬件配置和软件版本如下：

  • 硬件配置

    服务类型	ECS 类型	实例数	机器核心数	内存
    seekdb	ecs.c8i.xlarge	1	4C	8G
    VectorDBBench	ecs.g8i.4xlarge	1	16C	64G

  • 软件版本

    服务类型	软件版本
    seekdb	SeekDB 1.0.0.0
    VectorDBBench	1.0.14
    OS	CentOS Linux 7 (Core)

• seekdb 规格为 1C2G 时，所对应的硬件配置和软件版本如下：

  • 硬件配置

    服务类型	ECS 类型	实例数	机器核心数	内存
    seekdb	ecs.c8i.large	1	2C(购买时选择活跃 vcpu 为 1)	4G（可用内存 3G），设置 memory_limit 为 2G
    VectorDBBench	ecs.g8i.4xlarge	1	16C	64G

  • 软件版本

    服务类型	软件版本
    seekdb	SeekDB 1.0.0.0
    VectorDBBench	1.0.14
    OS	CentOS Linux 7 (Core)

测试方案

• 本次测试需使用到 2 台机器，VectorDBBench 部署在一台机器上。seekdb 部署在另一台机器上，seekdb 的规格为 4C8G 或者 1C2G，其日志盘、clog 盘、data 盘分三块盘，性能级别 PL1。

• 使用的数据集为 Performance1536D50K，索引类型为 HNSW，通过 VectorDBBench 测试 seekdb 的 qps、latency(p99)、召回率情况。

测试步骤详见 seekdb VectorDBBench 测试。

测试结果

以召回率为 0.98 进行测试。

• seekdb 规格为 4C8G 时，所对应的性能数据如下：

  | ef_search | qps | serial_latency_p99 | 召回率 | |----------------------|----------------------|---------------|--------------|--------------| | 180 | 2342.3263 | 0.0022 | 0.9801 |

• seekdb 规格为 1C2G 时，所对应的性能数据如下：

  | ef_search | qps | serial_latency_p99 | 召回率 | |----------------------|----------------------|---------------|--------------|--------------| | 180 | 811.2516 | 0.0025 | 0.9802 |