pxlngn blogtagquantification

#quantification

26/07/2026IA

Évaluer les modèles quantisés : perplexité, divergence KL & vraies évals de tâches

Comment savoir si IQ3_M est encore assez bon ? Mesurer la perte de qualité d'une quantisation – avec llama-perplexity, la divergence KL par rapport au modèle de base et une petite éval de tâches maison.

#tutorial
#quantification
#evaluation
#ia
#llm

26/07/2026IA

Quantiser Qwen3-32B à la main – un modèle 32B sur 16 Go de VRAM

Comment j'ai quantisé Qwen3-32B avec llama.cpp et une matrice d'importance pour le faire tourner sur un GPU de 16 Go : conversion GGUF, imatrix, niveaux de quantisation comparés, budget VRAM et offload de couches.

#tutorial
#quantification
#qwen
#ia
#llm