TREC 2025 Proceedings

Tip-of-the-Tongue Search Retrieval Task Appendix

Runtag Org ndcg_cut_10 ndcg_cut_1000 recall_1000
scrb-tot-04 (trec_eval)  (paper) SRCB 0.6576 0.6824 0.9051
scrb-tot-03 (trec_eval)  (paper) SRCB 0.6547 0.6787 0.9051
scrb-tot-02 (trec_eval)  (paper) SRCB 0.6449 0.6700 0.9051
gmn-rerank-500 (trec_eval)  (paper) DS@GT 0.3831 0.4106 0.6559
gm27q-comb-500 (trec_eval)  (paper) DS@GT 0.3619 0.3848 0.5884
webis-bm25-gpt-oss (trec_eval)  (paper) webis 0.3078 0.3689 0.7637
gm27q-LMART-1000 (trec_eval)  (paper) DS@GT 0.3046 0.3339 0.6109
gemini-retrieval (trec_eval)  (paper) DS@GT 0.2949 0.2962 0.3505
runid4 (trec_eval)  (paper) ufmg 0.2136 0.2771 0.6752
webis-bm25-llama (trec_eval)  (paper) webis 0.1968 0.2619 0.6785
runid1 (trec_eval)  (paper) ufmg 0.1771 0.2462 0.6752
dgMxbaiL01 (trec_eval)  dgthesis 0.1620 0.2071 0.4855
runid3 (trec_eval)  (paper) ufmg 0.1588 0.2218 0.6495
bm25_hedge_aware (trec_eval)  (paper) UAmsterdam 0.1257 0.1759 0.5048
bm25_negations (trec_eval)  (paper) UAmsterdam 0.1223 0.1700 0.4855
pyterrier-bm25 (trec_eval)  (paper) coordinators 0.1223 0.1700 0.4855
top_model_dense (trec_eval)  (paper) DS@GT 0.1088 0.1620 0.5096
runid2 (trec_eval)  (paper) ufmg 0.1043 0.1640 0.5531
bm25-porterblk-test (trec_eval)  (paper) DUTH 0.1021 0.1537 0.4807
lex-stronger-testv2 (trec_eval)  (paper) DUTH 0.0992 0.1537 0.5064
rm3_hedges (trec_eval)  (paper) UAmsterdam 0.0954 0.1481 0.5016
rm3_hedge_neg (trec_eval)  (paper) UAmsterdam 0.0954 0.1481 0.5016
lex-stronger-test (trec_eval)  (paper) DUTH 0.0939 0.1398 0.4502
bge-m3 (trec_eval)  (paper) DS@GT 0.0852 0.1492 0.5498
rm3_negations (trec_eval)  (paper) UAmsterdam 0.0846 0.1371 0.4807
lambdamart-rerank (trec_eval)  (paper) DS@GT 0.0769 0.1452 0.6109
anserini-bm25 (trec_eval)  (paper) coordinators 0.0763 0.1032 0.2749
llama_norm_fusion_v2 (trec_eval)  (paper) mst 0.0466 0.0829 0.2958
llama_norm_fusion_z (trec_eval)  (paper) mst 0.0451 0.0704 0.2857
lightning-ir-dense (trec_eval)  (paper) coordinators 0.0189 0.0514 0.2653
bm25_hedges_neg (trec_eval)  (paper) UAmsterdam 0.0000 0.0000 0.0000
scrb-tot-01 (paper) SRCB