Construire. Tester. Partager.

Comment ça fonctionne ?

Votre besoin sélectionne des candidats. Votre matériel détermine la mémoire disponible. Le moteur et la quantification définissent le profil d’inférence.

Une estimation explicite

Poids du modèle + cache KV FP16 + 0,75 Gio de runtime, puis 15 % de marge. Les poids utilisent une largeur moyenne approximative et une marge de 12 %.

Les variantes K_S, K_M et K_L peuvent mélanger plusieurs précisions. La taille exacte du package, les kernels et le backend doivent être vérifiés. Cette liste de profils ne garantit pas qu’un package existe pour chaque modèle.

La théorie et les mesures restent distinctes

La compatibilité mémoire ne prédit ni la vitesse ni la qualité. Les benchmarks déclarés précisent le contexte réel, sans être automatiquement certifiés.