Le cache de prompt peut ralentir votre agent
Vous activez le cache de prompt en attendant que la facture baisse et que la latence diminue, et la plupart du temps c'est ce qui se produit. Mais la première étude contrôlée…
← Tous les sujets Sujet
retrieval
Découper sur l'arbre syntaxique, ou pas ? Ce que disent les benchmarks
Le découpage AST, sensible à la structure du code, aide le RAG de code, mais le chiffre vedette de cAST surestime ce que la règle de découpage apporte à elle seule. cAST annonce…
Votre fenêtre de contexte est un plafond, pas un budget
La longueur de contexte affichée sur la fiche technique d'un modèle est un plafond marketing, pas un budget opérationnel ; je dimensionne donc un prompt pour ce que le modèle…
RAG hybride : la fusion de rang réciproque en pratique
Combiner BM25 et vecteurs sans régler dix poids : le rang suffit.
Servir un LLM open-source en production : le coût réel
vLLM, batching continu, cache KV : où part vraiment la VRAM.