Retrieval hybride
Recherche par mots-clés BM25 et recherche vectorielle dense combinées avec un poids ajustable, plus rerank par cross-encoder sur le top-k — la configuration qui bat systématiquement le vectoriel seul.
La recherche vectorielle seule rate les requêtes qui dépendent d'un terme précis (code produit, message d'erreur, nom de personne). BM25 seul rate l'équivalence sémantique. L'hybride avec rerank est la configuration qui gagne sur les vrais corpus.
Ce que ça résout
Comble l'écart entre « la similarité sémantique est presque bonne » et « la bonne réponse exige à la fois un terme précis et le bon contexte ».
Comment nous construisons
OpenSearch ou Elasticsearch pour BM25, pgvector / Qdrant / Weaviate / Pinecone pour le dense. Le récupérateur interroge les deux, fusionne les scores (RRF ou somme pondérée) et rerank le top 50 avec un cross-encoder (Cohere Rerank, BGE, Voyage). Poids et profondeur de rerank sont des paramètres du jeu d'évaluations.
- Branche BM25 et branche dense en parallèle
- Fusion de rangs réciproques ou poids ajustés
- Rerank cross-encoder sur le top-k
- Poids ajustés par évaluation, pas devinés
Ce qui change
Le rappel sur les requêtes difficiles monte ; l'agent cesse de rater des réponses qui étaient dans le corpus tout du long.