seekdb MLDR 测试报告

本文介绍 MLDR 测试的测试环境、测试方案以及详细的测试数据结果。

测试方案

• 本次测试需使用到 2 台机器，MLDR 部署在一台机器上。seekdb 部署在另一台机器上，seekdb 的规格为 4C8G，其日志盘、clog 盘、data 盘分三块盘，性能级别 PL1。

• 测试数据量：200,000 条。

• 使用 MLDR 数据集，对 seekdb 的召回进行评估。

测试步骤详见 seekdb MLDR 测试。

测试环境

以阿里云 ECS 作为部署环境为例，测试所使用的 seekdb 规格为 4C8G。

• seekdb 规格为 4C8G 时，所对应的硬件配置和软件版本如下：

  • 硬件配置

    服务类型	ECS 类型	实例数	机器核心数	内存
    seekdb	ecs.c8i.xlarge	1	4C	8G

  • 软件版本

    服务类型	软件版本
    seekdb	seekdb 1.1.0
    OS	CentOS Linux 7 (Core)

测试结果

在本次 MLDR 测试均为单线程下预热后的最佳 rt 数据，返回数据取 limit 1000。

测试结果如下：

seekdb	dense+bm25
seekdb	ndcg@10: 0.6329 recall@10: 0.7425 rt: 150.39ms