TREC 2025 Proceedings

RAG TREC Instrument for Multilingual Evaluation Multilingual Retrieval Task Appendix

Runtag Org ndcg_cut_20 P_20 map recall_1000
hltime-qwen-jina (trec_eval)  hltcoe-rerank 0.5301 0.1000 0.1934 0.6251
hltime-searcher (trec_eval)  hltcoe-rerank 0.5055 0.1000 0.2177 0.5528
hltime-qwen (trec_eval)  hltcoe-rerank 0.5018 0.0883 0.1550 0.6251
genaius-llama3-3-70B (trec_eval)  (paper) GenAIus 0.4703 0.0983 0.2404 0.6761
hltime-listllama (trec_eval)  hltcoe-rerank 0.4619 0.0933 0.1561 0.5595
hltime-fsrrfprf (trec_eval)  hltcoe-rerank 0.4614 0.0950 0.2083 0.7381
hltime-fsrrf (trec_eval)  hltcoe-rerank 0.4595 0.0917 0.2082 0.7366
genaius-gpt-4o (trec_eval)  (paper) GenAIus 0.4476 0.0900 0.2230 0.6711
hltime-rankk (trec_eval)  hltcoe-rerank 0.4374 0.0717 0.1210 0.4511
genaius-gpt-oss-20b (trec_eval)  (paper) GenAIus 0.4326 0.0950 0.2077 0.6664
hltime-lsr (trec_eval)  hltcoe-rerank 0.3812 0.0817 0.1741 0.6664
hltime-fsqwen (trec_eval)  hltcoe-rerank 0.3811 0.0800 0.1406 0.7280
genaius-gpt-oss-120b (trec_eval)  (paper) GenAIus 0.3685 0.0667 0.1254 0.6421
hltime-plaidx (trec_eval)  hltcoe-rerank 0.3653 0.0767 0.1637 0.6265
bm25-t-rank1 (trec_eval)  coordinators 0.2941 0.0533 0.1158 0.5347
bm25-td-rank1 (trec_eval)  coordinators 0.2902 0.0500 0.1023 0.5750
bm25-d-rank1 (trec_eval)  coordinators 0.2700 0.0500 0.0988 0.4905
mt-bm25-td (trec_eval)  coordinators 0.2210 0.0200 0.0557 0.1588
mt-bm25-title (trec_eval)  coordinators 0.1790 0.0233 0.0472 0.1588
bm25-d-rankk (trec_eval)  coordinators 0.1489 0.0300 0.0689 0.1054
duth_mlir_xenc (trec_eval)  (paper) DUTH 0.0939 0.0067 0.0518 0.0792
mlir-pybm25 (trec_eval)  (paper) DUTH 0.0939 0.0067 0.0518 0.0792
mlir-fused (trec_eval)  (paper) DUTH 0.0931 0.0067 0.0518 0.0792
mlir-tblocal (trec_eval)  (paper) DUTH 0.0603 0.0083 0.0161 0.0792
duth-mlir-mlm6 (trec_eval)  (paper) DUTH 0.0600 0.0100 0.0190 0.0792
duth-mlir-mlm6loc (trec_eval)  (paper) DUTH 0.0600 0.0100 0.0190 0.0792
bm25-td-rankk (trec_eval)  coordinators 0.0418 0.0050 0.0096 0.0247
bm25-t-rankk (trec_eval)  coordinators 0.0418 0.0050 0.0096 0.0247
mlir-tb (trec_eval)  (paper) DUTH 0.0352 0.0017 0.0099 0.0792
duth_mlir_eng_rrf (trec_eval)  (paper) DUTH 0.0237 0.0000 0.0027 0.0792
mlir-elec (trec_eval)  (paper) DUTH 0.0117 0.0000 0.0009 0.0792
mlir-mlm12 (trec_eval)  (paper) DUTH 0.0085 0.0000 0.0007 0.0792