Demander un devis Devis

Distillation

Aussi : distillation de modèle

Technique qui entraîne un petit modèle à reproduire les sorties d’un grand, afin d’en conserver l’essentiel des capacités à moindre coût.

Le nom vient d’un article de 2015, de Hinton, Vinyals et Dean, qui prolonge des travaux antérieurs sur la compression de modèles : transférer dans un modèle unique le savoir-faire d’un ensemble de modèles trop lourd à déployer. Le petit modèle, dit élève, apprend à imiter les réponses du grand, dit professeur, plutôt qu’à repartir des seules données brutes.

C’est une des voies par lesquelles on obtient des modèles rapides et peu coûteux. L’élève hérite des connaissances et des travers du professeur, avec moins de finesse sur les sujets rares. Un modèle léger chargé de tâches à fort volume — reformuler, résumer, répondre vite — a moins mémorisé qu’un grand. Sur un sujet de niche, c’est une raison de plus de ne pas compter sur ce que le modèle a mémorisé et de soigner ce que la recherche lui apportera.

Source Hinton, Vinyals et Dean — Distilling the Knowledge in a Neural Network (arXiv 1503.02531)

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.