Garde-fou IA : ce qui encadre vraiment un assistant
Définition
Un garde-fou est une limite imposée à un assistant pour l'empêcher de sortir de son périmètre. Les garde-fous qui tiennent ne sont pas des consignes rédigées mais des restrictions techniques : ce à quoi l'assistant a accès, et ce qu'il a le droit de déclencher.L'erreur de conception la plus fréquente
On croit encadrer un assistant en lui écrivant des consignes : ne parle pas de ceci, ne réponds jamais cela. C'est utile pour le ton, insuffisant pour la sécurité.
Une consigne rédigée est une intention. Elle tient dans la plupart des cas et cède dans ceux qui comptent, quand la question est formulée autrement que prévu. Un garde-fou qui compte n'est pas une phrase, c'est une porte fermée.
Les trois niveaux qui tiennent
- L'accès : un assistant ne peut pas révéler ce qu'il n'a jamais pu lire. C'est le garde-fou le plus solide, et le plus simple à vérifier.
- L'action : la liste des choses qu'il peut déclencher est écrite, limitée, et tout ce qui n'y figure pas est interdit par défaut.
- La validation : les actions engageantes passent par une personne. Le système prépare, l'humain confirme.
Ces trois niveaux se vérifient. On peut démontrer qu'un document n'est pas dans le périmètre, qu'une action n'est pas déclarée, qu'une validation est requise. Une consigne de style, elle, ne se démontre pas.
Ce qu'un garde-fou n'est pas
Ce n'est pas un filtre de mots interdits, qui bloque des demandes légitimes et laisse passer les formulations détournées. Ce n'est pas non plus une promesse commerciale : « notre système ne dit jamais de bêtises » n'est pas un garde-fou, c'est un argument.
Et ce n'est pas un obstacle à l'utilité. Bien posés, les garde-fous rendent l'assistant plus utile, parce qu'ils permettent de lui confier des sujets sensibles en sachant précisément jusqu'où il ira.
Le lien avec la confidentialité
La question « que peut-il dire » est en réalité la question « que peut-il lire ». Un assistant qui a accès à l'ensemble d'un espace de travail finira par restituer, à quelqu'un qui n'y a pas droit, une information qui s'y trouvait.
C'est pour cela que le périmètre d'accès se décide en même temps que le périmètre de contenu, et pas après. Une IA privée en entreprise se construit sur cette discipline plus que sur des déclarations d'intention.
Ce qu'il faut tester avant la mise en service
Trois essais suffisent à révéler l'essentiel : une question hors périmètre, une demande d'action non prévue, et une question posée de biais pour obtenir une information réservée. Si le système tient sur ces trois cas, le reste relève du réglage.
Demandez à voir la liste des sources accessibles à l'assistant, pas la liste de ses consignes. La première est vérifiable, la seconde est déclarative.
Questions fréquentes
C'est une limite imposée à un assistant pour l'empêcher de sortir de son périmètre. Les garde-fous qui tiennent ne sont pas des consignes rédigées mais des restrictions techniques : ce à quoi l'assistant a accès, et ce qu'il a le droit de déclencher.
Non. Une consigne rédigée est une intention : elle tient dans la plupart des cas et cède dans ceux qui comptent, quand la question est formulée autrement que prévu. Un assistant ne peut pas révéler ce qu'il n'a jamais pu lire, et c'est le garde-fou le plus solide.
Trois essais suffisent : une question hors périmètre, une demande d'action non prévue, et une question posée de biais pour obtenir une information réservée. Demandez aussi à voir la liste des sources accessibles, qui est vérifiable, plutôt que la liste des consignes, qui est déclarative.
Termes connexes
Chez KERN-IT
Nous cadrons ce qu'un assistant a le droit de lire, de dire et de conserver, avant d'en construire un.
→ IA privée en entreprise : où vont vos données