Top-k retrieval je krok, v ktorom systém z nájdených kandidátov vyberie len určitý počet najlepších pasáží a pošle ich modelu do kontextu. Číslo býva prekvapivo malé – rádovo jednotky až desiatky pasáží na čiastkový dopyt. Všetko ostatné, aj keď je relevantné, sa do odpovede nedostane vôbec. Z toho plynie tvrdá logika generatívneho vyhľadávania: neexistuje druhá strana výsledkov, na ktorú by sa dalo dostať. Buď je vaša pasáž medzi vybranými, alebo pre danú otázku neexistujete. Praktický dôsledok je, že sa oplatí sústrediť na presnosť odpovede na konkrétnu otázku namiesto rozsiahleho pokrytia témy jedným dlhým textom, a mať k jednej téme viac cielených pasáží, ktoré môžu byť vybrané pre rôzne čiastkové dopyty.
Pozri aj: reranking, query fan-out, chunking obsahu.