TREC 2025 Proceedings

Interactive Knowledge Acquisition Track Passage Ranking and Response Generation Appendix — ptkb_trec_eval

Runtag Org ndcg_cut_5 P_5 map recall_1000
agg_true-qrec-mse-sum-top10 (docs_trec_eval)  (ptkb_trec_eval)  (paper) guidance 0.5624 0.4578 0.4133 0.4932
grilllab-larf-finetuned-22-rounds (docs_trec_eval)  (ptkb_trec_eval)  (paper) grilllab 0.5613 0.4711 0.3607 0.3980
cosine-orconvqa-sum-top10 (docs_trec_eval)  (ptkb_trec_eval)  (paper) guidance 0.5564 0.4578 0.4106 0.4823
grilllab-larf-finetuned (docs_trec_eval)  (ptkb_trec_eval)  (paper) grilllab 0.5528 0.4800 0.3584 0.4073
agg_false-qrec-mse-sum-top10 (docs_trec_eval)  (ptkb_trec_eval)  (paper) guidance 0.5521 0.4489 0.3958 0.4517
grilllab-larf-finetuned-10-rounds (docs_trec_eval)  (ptkb_trec_eval)  (paper) grilllab 0.5334 0.4578 0.3462 0.3791
grilllab-larf-finetuned-rankllm (docs_trec_eval)  (ptkb_trec_eval)  (paper) grilllab 0.5332 0.4756 0.3416 0.3914
disco-qrecc-norerank (docs_trec_eval)  (ptkb_trec_eval)  (paper) uva 0.4409 0.3689 0.2752 0.2887
mq4cs-gpt41-bm25 (docs_trec_eval)  (ptkb_trec_eval)  (paper) uva 0.4409 0.3689 0.2752 0.2887
mq4cs-gpt41-splade (docs_trec_eval)  (ptkb_trec_eval)  (paper) uva 0.4409 0.3689 0.2752 0.2887
mq4cs-llamaft-splade (docs_trec_eval)  (ptkb_trec_eval)  (paper) uva 0.4409 0.3689 0.2752 0.2887
organizers-baseline-gpt41mini-bm25-minilm-llama70b-gpt41mini_nopersonal (docs_trec_eval)  (ptkb_trec_eval)  (paper) coordinators 0.4409 0.3689 0.2752 0.2887
organizers-baseline-gpt41mini-bm25-minilm-llama70b-gpt41mini (docs_trec_eval)  (ptkb_trec_eval)  (paper) coordinators 0.4409 0.3689 0.2752 0.2887
organizers-baseline-gpto4mini-ance-norerank-llama70b-gpt41mini (docs_trec_eval)  (ptkb_trec_eval)  (paper) coordinators 0.4409 0.3689 0.2752 0.2887
organizers-baseline-gpto4mini-splade-norerank-llama70b-gpt41mini (docs_trec_eval)  (ptkb_trec_eval)  (paper) coordinators 0.4409 0.3689 0.2752 0.2887
organizers-baseline-llama70B-ance-minilm-llama70b-gpt41mini (docs_trec_eval)  (ptkb_trec_eval)  (paper) coordinators 0.4409 0.3689 0.2752 0.2887
organizers-baseline-llama70B-splade-minilm-llama70b-gpt41mini (docs_trec_eval)  (ptkb_trec_eval)  (paper) coordinators 0.4409 0.3689 0.2752 0.2887
organizers-baseline-manual-bm25-minilm-llama70b-gpt41mini (docs_trec_eval)  (ptkb_trec_eval)  (paper) coordinators 0.4409 0.3689 0.2752 0.2887
cfda-auto-1 (docs_trec_eval)  (ptkb_trec_eval)  (paper) cfdalab 0.3883 0.2800 0.2222 0.2244
cfda-auto-4 (docs_trec_eval)  (ptkb_trec_eval)  (paper) cfdalab 0.3574 0.2533 0.2038 0.2060
cfda-auto-3 (docs_trec_eval)  (ptkb_trec_eval)  (paper) cfdalab 0.3568 0.2622 0.1999 0.2021
cfda-auto-2 (docs_trec_eval)  (ptkb_trec_eval)  (paper) cfdalab 0.3392 0.2444 0.1834 0.1927
UCSC-base-trained-MiniLM (docs_trec_eval)  (ptkb_trec_eval)  ucsc 0.0000 0.0000 0.0000 0.0000
UCSC-base-ensemble (docs_trec_eval)  (ptkb_trec_eval)  ucsc 0.0000 0.0000 0.0000 0.0000
UCSC-SIMRAG-keyword-trained-MiniLM (docs_trec_eval)  (ptkb_trec_eval)  ucsc 0.0000 0.0000 0.0000 0.0000
UCSC-SIMRAG-keyword-ensemble (docs_trec_eval)  (ptkb_trec_eval)  ucsc 0.0000 0.0000 0.0000 0.0000