TMCRA

评测

LongMemEval 评测成绩:82.2%

500 道题答对 411 道。各任务类型的分项成绩如下。

LONGMEMEVAL82.2%

411 / 500

分项成绩

不只看总分,也看每一类任务。

LongMemEval 各任务类型的答对题数与正确率。

知识更新71 / 78
91.03%
跨会话综合90 / 133
67.67%
单会话 · 助手信息55 / 56
98.21%
单会话 · 偏好记忆27 / 30
90.00%
单会话 · 用户信息67 / 70
95.71%
时间推理101 / 133
75.94%

02 / LoCoMo

LoCoMo:LLM Judge 评分 80.92%

采用 Mem0 风格的 LLM Judge 评分,为类别 1–4(共 1,540 题)五次运行的均值,作为辅助指标;全量 1,986 题的确定性指标一并列出。

MEM0-STYLE LLM JUDGE80.92%

辅助指标 · 类别 1–4 · 1,540 题 · 5 次运行均值

OFFICIAL TOKEN F155.20

确定性评分 · 全量 1,986 题

EVIDENCE RECALL82.00%

所需证据的召回比例 · 全量 1,986 题

注:80.92% 的 Judge 成绩不含类别 5,不代表全量准确率。

响应速度

核心召回链路实测耗时 1.322 秒。

这是一次实测记录,实际耗时会因部署环境和请求内容而有所不同。

复现

按仓库说明,自行复现评测。

公开仓库包含架构说明、分项结果和复现步骤。