Jules
Barth

Un calcul GPU optimisé n'est pas plus rapide partout, et peut être faux sans le dire. AKO teste chaque variante, écarte les fausses et garde la plus rapide.Pour chaque opération, GPU, shape et dtype, AKO teste les kernels candidats (référence, PyTorch fusé, torch.compile, Triton). Il rejette ceux qui sortent d'un budget d'erreur exprimé en ulps, mesure les autres et met la décision en cache, avec ses raisons.

Mesuré

Vérifie l'exactitude de chaque version avant de l'utiliser, et évite jusqu'à 55 % de ralentissement face à la version optimisée imposée partout. Mesuré sur un PC portable.Choisir la version par configuration évite jusqu'à 55 % de pénalité (Triton imposé) et 314 % sur RoPE (torch.compile imposé). Face à la meilleure baseline PyTorch : 1,03× à 1,17× en médiane. RTX 3070 Laptop.Choisir par shape évite jusqu'à 55 % de pénalité (Triton imposé partout, qui perd sur 22 des 72 configurations RMSNorm) et 314 % sur RoPE (torch.compile imposé partout). Face à la meilleure baseline (presque toujours torch.compile) : 1,03× à 1,17× en médiane. Mesuré sur une RTX 3070 Laptop.

Limite

Couvre trois opérations pour l'instant : effet sur un modèle complet d'environ 1 %.Trois opérations couvertes (≈ 24 % du temps d'un decoder) : impact global ≈ 1 %. En decode, 0,69× face au stack compilé, cause à l'étude.Trois opérations couvertes (≈ 24 % du temps d'un decoder) : impact global ≈ 1 %. En decode, 0,69× face au stack compilé, cause à l'étude.

PyTorch · TritonPyTorch · Triton · torch.compile · CUDA

Voir le projet AKOCode source de AKO sur GitHub

Remplace automatiquement les couches lourdes d'un modèle de langage par des versions factorisées, suivies dans un tableau de bord en temps réel.Les couches TTLinear et TTEmbedding remplacent les couches denses d'un modèle Hugging Face à partir d'une recette YAML. Un dashboard temps réel suit les métriques et compare le modèle original au modèle compressé.

Livré

Le remplacement est automatique ; le modèle compressé s'exporte et se compare à l'original.Remplacement automatique des couches, exports standards, comparaison du modèle original et du modèle compressé.Remplacement automatique des couches, export PyTorch, SafeTensors et ONNX, dashboard FastAPI et Next.js.

Limite

Prochaine étape : mesurer et publier le taux de compression obtenu.Prochaine étape : mesurer et publier le taux de compression obtenu. Une seule famille de modèles (GPT-2) pour l'instant.Prochaine étape : mesurer et publier le taux de compression obtenu. Poids encore reconstruits à la volée, famille GPT-2 seulement.

PyTorch · Hugging FacePyTorch · Hugging Face · ONNX · FastAPI · Next.js

Code source de QCompress sur GitHub

Choisit les couches à compresser par une optimisation inspirée du quantique, et n'accepte le résultat que si le gate de précision et de fiabilité passe.YOLO11n-OBB sur DOTA. Le choix des couches à compresser est encodé en QUBO et résolu par QAOA (PennyLane, brique optionnelle, repli classique), puis factorisé en bas rang. Le gate contrôle précision et calibration avant d'accepter un candidat.

Mesuré

Un modèle 20 % plus léger, avec 61 fois plus de paramètres retirés que la méthode classique, en restant dans les seuils de qualité fixés.−20,67 % de paramètres (allocation des rangs selon les données) contre −0,34 % pour la méthode simple, dans les mêmes seuils de qualité. Précision (mAP50) : 0,8007 contre 0,8943 au départ.−20,67 % de paramètres par allocation lagrangienne des rangs (data-aware), contre −0,34 % pour la SVD simple, dans les seuils de qualité fixés (mAP50 −0,10 max, CER@0.8 +0,02 max). mAP50 de 0,8007 contre 0,8943 en baseline, split test de 80 images, CPU.

Limite

Aucun gain de vitesse mesuré sur CPU pour l'instant. La vitesse du modèle allégé reste à mesurer, aussi sur GPU.Aucun gain de latence mesuré sur CPU pour une variante plus légère (−5,63 % de paramètres) : 96,0 ± 1,7 ms contre 98,8 ± 4,3 ms au départ. Prochaine étape : mesurer la latence du modèle −20,67 %, puis sur GPU.Aucun gain de latence mesuré sur CPU pour la variante top-5 pareto-gain (−5,63 % de paramètres) : 96,0 ± 1,7 ms contre 98,8 ± 4,3 ms en baseline ; la latence du modèle −20,67 % n'est pas encore mesurée. Prochaines étapes : mesure sur GPU, et brancher ce pipeline data-aware (encore une étude) dans la chaîne avec gate.

YOLO11n-OBB · QAOAYOLO11n-OBB · DOTA · QUBO · QAOA · PennyLane

Code source de Q-GEOCompress sur GitHub