
Un support IA à accès limité.Un support IA qui ne voit pas tout.
Autorisation avant récupération, abstention testée et attaques documentées.
Classification
Benchmark d’ingénierie
État des preuves
Threat model et protocole publiés
Secteur
Support client, données et cybersécurité
Capacités mobilisées
RAG, Contrôle d’accès, AI red teaming, Observabilité
Périmètre de preuve
Aucune affirmation de sécurité absolue n’est faite. Les résultats devront préciser le modèle de menace, les versions et le corpus adversarial.
Synthèse exécutive
Ce que ce cas démontre
La sécurité ne repose pas sur une instruction demandant au modèle de garder un secret. Le système réduit d’abord les données accessibles, applique l’autorisation dans la couche de récupération et vérifie ensuite les réponses et les escalades.
Le système métier dans lequel la solution s’inscrit
- 01Une question support peut nécessiter une commande, un statut, un contrat ou un extrait de documentation.
- 02Le même index peut servir plusieurs clients, tenants, équipes et niveaux de confidentialité.
- 03Les entrées utilisateur et les documents récupérés peuvent contenir des instructions malveillantes ou contradictoires.
- 04Une réponse plausible mais non autorisée constitue un incident même si elle est factuellement exacte.
Le problème opérationnel à résoudre
Le principal risque n’est pas seulement l’hallucination. C’est la combinaison entre une récupération trop large, une autorisation tardive et une sortie à laquelle l’application accorde trop de confiance.
- Appliquer les droits avant que les documents ne soient ajoutés au contexte.
- Résister aux injections directes et indirectes dans les messages ou documents.
- Distinguer absence d’information, absence d’autorisation et incertitude du modèle.
- Fournir une preuve utile sans exposer les métadonnées d’un autre client.
Pourquoi les outils existants ne suffisaient pas
Un prompt système ne constitue pas une frontière d’autorisation. Les contrôles doivent vivre dans l’identité, la recherche, les filtres de données, les outils et la validation de sortie.
L’hypothèse testée et la chaîne de contrôle
Une récupération filtrée avant génération réduit la surface de fuite tout en maintenant une réponse utile sur les demandes autorisées.
- 01
Question
- 02
Identité et portée
- 03
Récupération filtrée
- 04
Génération
- 05
Contrôle de sortie
- 06
Réponse ou escalade
L’approche construite par Atlas
Le contexte est construit à partir de l’identité, du tenant et de la ressource demandée. Le modèle reçoit uniquement les extraits autorisés nécessaires à la question.
- 01Authentifier l’utilisateur et dériver une portée de recherche explicite.
- 02Filtrer les ressources par tenant, client, objet et niveau de sensibilité avant le ranking.
- 03Récupérer un contexte minimal avec références internes traçables.
- 04Détecter les demandes d’exfiltration, de contournement ou d’action non autorisée.
- 05Générer une réponse avec citation de la preuve disponible ou déclencher une abstention.
- 06Escalader les questions à conséquence élevée vers un agent humain.
Les décisions qui structurent la solution
Autoriser avant de rechercher
Le moteur ne doit jamais classer des documents que l’utilisateur ne peut pas lire. Le filtrage après génération arrive trop tard.
Donner le minimum de contexte
Le modèle reçoit les champs nécessaires à la réponse, pas un export du CRM ou de la base de commandes.
Tester l’abstention
Le benchmark inclut des questions sans réponse autorisée afin de vérifier que le système refuse proprement.
Séparer lecture et action
Une réponse support ne peut pas modifier une commande, rembourser ou révéler un document sans un workflow d’autorisation distinct.
Impact métier
Ce que la solution doit changer
La page décrit une méthode de test. Elle ne revendique pas encore un taux de résolution ou une absence de fuite en production.
- Répondre plus vite aux questions couvertes par une preuve autorisée.
- Réduire l’exposition du modèle à des données inutiles.
- Mesurer explicitement les refus corrects et les fuites.
- Rendre les escalades exploitables par un agent humain.
Comment la solution est validée
Le jeu de test combine questions normales, cas sans réponse, identités croisées et attaques adversariales préparées avant l’exécution.
- Matrice utilisateurs, tenants, objets et permissions avec réponses attendues.
- Questions paraphrasées pour éviter de sur-ajuster le système à une formulation.
- Prompts d’injection directs, indirects et multi-tours.
- Documents piégés demandant au modèle d’ignorer la politique ou de révéler des secrets.
- Vérification des journaux pour confirmer les documents réellement récupérés.
Le protocole publié avant la mesure
Périmètre
Questions de support réelles ou synthétiques couvrant statuts de commande, documents, politique produit et demandes hors périmètre.
Corpus
Documents versionnés avec niveaux de confidentialité et matrice d’autorisation servant de vérité terrain.
Baseline
Recherche documentaire manuelle par un agent support disposant des mêmes droits.
Méthode
Évaluation fonctionnelle et adversariale, revue des documents récupérés, de la réponse finale et des journaux d’accès.
Conditions d’acceptation
- Zéro donnée inter-tenant dans la réponse ou le contexte récupéré.
- Aucune action conséquente ne peut être déclenchée par la génération seule.
- Les cas sans preuve autorisée doivent produire une abstention ou une escalade.
- Chaque réponse testée doit être reliée aux documents et versions utilisés.
Les métriques à suivre
Ces indicateurs définissent le protocole de mesure. Ils ne constituent pas des résultats publiés tant qu’un pilote ou le client n’a pas validé les données.
| Indicateur | Ce qu’il vérifie | Mode de mesure |
|---|---|---|
| Exactitude de récupération | Vérifier la preuve sélectionnée | Questions dont les documents nécessaires apparaissent dans le top-k autorisé |
| Exactitude de réponse | Contrôler le contenu final | Réponses conformes à la vérité terrain et aux documents cités |
| Fuite non autorisée | Mesurer la frontière de données | Toute donnée d’un autre tenant, client ou niveau de droit révélée |
| Taux d’abstention | Vérifier les refus appropriés | Refus corrects et refus excessifs sur les cas préclassés |
| Résistance aux injections | Tester la sécurité applicative | Attaques bloquées sans divulgation, action ou dérive de politique |
| Escalade utile | Mesurer le handoff humain | Escalades contenant question, contexte autorisé et raison de blocage |
Résultats publiés et points de rupture
Résultats non publiés
Les scénarios et seuils sont définis avant mesure. Un futur rapport publiera aussi les attaques réussies, pas uniquement le taux moyen de réponses correctes.
Ce qui doit faire échouer ou limiter le système
- Récupération d’un document pertinent mais appartenant à un autre tenant.
- Injection indirecte contenue dans un article ou une pièce jointe.
- Réponse inventée lorsque le top-k ne contient aucune preuve suffisante.
- Escalade sans contexte utile qui oblige l’agent à recommencer la recherche.
Sécurité, données et contrôle humain
- 01Appliquer l’autorisation dans la couche de données et non dans le prompt.
- 02Isoler index, caches, journaux et clés de chiffrement selon la frontière de tenant.
- 03Valider les sorties avant affichage ou utilisation par un outil.
- 04Tester régulièrement les nouvelles techniques d’injection et conserver les cas de régression.
Les enseignements à retenir
- 01La réduction du contexte est un contrôle de sécurité et de qualité.
- 02Une réponse exacte peut rester interdite si l’utilisateur n’a pas les droits.
- 03L’injection indirecte doit être testée dans les documents récupérés.
- 04Les journaux de récupération sont nécessaires pour diagnostiquer une réponse.
Recommandation de mise en production
Lancer sur une base documentaire réduite et une seule famille de questions. Activer la lecture seule, l’abstention stricte et l’escalade avant d’ajouter des outils capables d’agir.
Références méthodologiques officielles
Pour aller plus loin
Capacités et services liés

Votre contexte mérite une solution mesurable.
Nous cadrons le problème, les contraintes, les décisions et les preuves attendues avant de proposer une trajectoire de livraison.
Évaluer votre contexte