GPTQ, AWQ, GGUF : ce que la quantification coûte vraiment, mesuré.
La quantification échange de la précision numérique contre de la mémoire et de la vitesse, mais le coût varie selon la méthode. GPTQ et AWQ conservent l’essentiel de la qualité d’un modèle en pleine précision à quatre bits, tandis que des schémas agressifs peuvent dégrader le raisonnement bien avant d’affecter la perplexité.
La seule façon honnête de choisir, c’est de mesurer sur sa propre tâche, pas de croire un chiffre unique. On évalue le modèle quantifié sur un jeu réservé, on le compare à l’original, et on n’accepte les poids réduits que si l’écart reste dans un budget fixé à l’avance.