PSA come strato di evidenza comportamentale per la conformità aISO/IEC 42001:2023
Trasformare controlli di gestione dell’IA agnostici rispetto alla tecnologia in misurazioni deterministiche e auditabili per sistemi LLM e agentici
ISO/IEC 42001:2023 è il primo standard di sistema di gestione per l’intelligenza artificia-le. Per progettazione èagnostico rispetto alla tecnologia: specifica cosa deve fare un’organiz-zazione per gestire l’IA in modo responsabile definire policy, valutare gli impatti, monitorare le operazioni, registrare i log degli eventi, documentare il ciclo di vita—ma non specifica mai come misurare tutto questo, perché un unico standard deve valere ugualmente per un modellotabellare antifrode, una pipeline di computer vision e un large language model. Ciò lascia un vuoto concreto al momento dell’audit: i controlli che esigono il monitoraggio a runtime del comportamento di un sistema IA non possono esseresoddisfatti dalla teleme-tria IT tradizionale, cieca alle proprietà semantiche del testo generato. Presentiamo PSA (Posture & Behavioral Analysis) come uno strato di evidenza che colma questo vuoto per i sistemi LLM e agentici. PSA converte i controlli misurabili di ISO/IEC 42001—operatività e monitoraggio (A.6.2.6), valutazione d’impatto (A.5), logging degli eventi (A.6.2.8) e gli obiettivi di robustezza/sicurezza/trasparenza (Annex C.2)—in numeri deterministici, deri-vati dai classificatori, con timestamp. Forniamo una mappatura verificata controllo-metrica, un casestudy reale con numeri catturati dal vivo da un endpoint di analisi in produzione, e una dichiarazione esplicita dei controlli procedurali e organizzativi che PSA non copre. Sosteniamo che questa delimitazione onesta è ciò che rendePSA utilizzabile come evidenza d’audit anziché come semplice dichiarazione di conformità, e la collochiamo rispetto all’EU AI Act (Articolo 17) e al NIST AI Risk Management Framework.
Introduzione: il vuoto di misurazione
ISO/IEC 42001:2023 svolge, per l’intelligenza artificiale, il ruolo che ISO 9001 svolge per la gestione della qualità: definisce un sistema di gestione dell’IA (AIMS) e i controlli che un’orga-nizzazione implementa per operare l’IA responsabilmente [1]. Il suo Annex A enumera obiettivi di controllo e controlli di riferimento; l’Annex B fornisce la guidaall’implementazione per cia-scuno; l’Annex C elenca potenziali obiettivi organizzativi e fonti di rischio. Lo standard è deliberatamente astratto. Il controllo A.6.2.6 (“AI system operation and monitoring”) richie-de all’organizzazione didefinire “the necessary elements for the ongoing operation of the AI system. . . system and performance monitoring”, e laguida Annex B.6.2.6 precisa che il monito-raggio dovrebbe rilevare “whether the system is performing as expected”, tenerconto del “concept or data drift” e osservare i “confidence rates”. Nulla di tutto questo nomina una metrica, e non può:A.6.2.6 deve essere soddisfacibile da ogni tipo di sistema IA.
Quell’astrazione è un pregio dello standard e un problema per l’ingegnere. I team legali e di compliance redigono lepolicy che soddisfano la Clause 5; al team di ingegneria resta l’unica domanda a cui la policy non sa rispondere: quando l’auditor chiede di vedere che l’organizzazione monitora l’impatto etico, il rischio di allucinazione e la sicurezzapsicologica dei suoi utenti a runtime, cosa si mette sullo schermo?
Questo documento sostiene che la risposta, per i sistemi LLM e agentici, è uno strato di misu-razione comportamentale, eche PSA ne è un’istanza diretta e insolitamente letterale. Limitiamo ogni affermazione a ciò che è stato verificato sul sistemaPSA in esecuzione e sul testo dello stan-dard; l’esempio della Sezione 5 usa numeri estratti dal vivo da un endpoint diproduzione, non illustrazioni.
Background: la struttura di ISO/IEC 42001
Usiamo quattro aree di controllo dello standard. Sono citate da Annex A (la tabella normativa dei controlli) e Annex B (guida all’implementazione), con obiettivi da Annex C.
A.5 — Valutazione degli impatti dei sistemi IA. A.5.2 richiede valutazioni d’impatto documentate e conservate;A.5.4 richiede di valutare l’impatto “on individuals or groups of individuals”. L’Annex B.5.5 nomina, sotto salute esicurezza, i “potential physical and psy-chological harms”, e B.5.4 evidenzia gli “specific protection needs of groupssuch as children, impaired persons, elderly persons and workers”. La Clause 6.1.4 inquadra la valutazione d’impatto prevalentemente come attività pre-rilascio.
A.6.2.6 — Operatività e monitoraggio del sistema IA. Monitoraggio continuo di siste-ma e prestazioni; per B.6.2.6, rilevamento di comportamenti fuori dall’operatività attesa, con-sapevolezza del “concept or data drift” e delle“AI-specific information security threats. . . data poisoning, model stealing and model inversion attacks”.
A.6.2.8 — Registrazione dei log degli eventi. Per B.6.2.8, i log devono abilitare la “detection of the AI system’s performance outside of the AI system’s intended operating conditions that can result in undesirable performance. . .or impacts to relevant interested parties”, catturando “the outputs that fall out of the range of the intendedoperation”.
Obiettivi Annex C. C.2.8 Robustness, C.2.9 Safety, C.2.10 Security, C.2.11 Transparency and explainability ;con la Clause 6.1.2 (AI risk assessment ) che richiede un processo definito per identificare i rischi che un sistema pone.
Una nota su un errore di citazione comune. La sicurezza agentica viene a volte mappata su “A.9”; A.9 è “Use of AI systems” (uso responsabile), non sicurezza. In ISO/IEC 42001 la sicurezza è l’obiettivo Annex C.2.10 e la safety è C.2.9, con le minacce AI-specifiche discusse nella guida B.6.2.6. Usiamo i riferimenti corretti in tutto il documento.
PSA in una pagina
PSA osserva un sistema IA dall’esterno—non richiede accesso ai pesi—e classifica la postura comportamentale di ogniturno conversazionale usando classificatori leggeri basati su embedding, su un encoder MiniLM multilingue condiviso [4].Qui sono rilevanti due famiglie.
Classificatori di output (risposte del modello).
C1 — Adversarial Stress, classi di postura P0–P20 (es. P1 hard_refusal, P12 qualified_compliance, P15 complete_dissolution).
C2 — Sycophancy (adulazione), classi S0–S9.
C3 → HRI (Hallucination Risk Index), classi H0–H7. L’invenzione di fonti è H2 (phantom_attribution); H3 (confidence_hedge_mismatch) è certezza ingiustificata, un rischio distinto.
C4 → PD (Persuasion Density), classi M0–M11.
Strati relazionale e agentico.
DRM (Dyadic Risk Module): fonde IRS (Input Risk Score: suicidalità, dissociazione, gran-diosità, urgenza, con rilevamento del frame-break), RAS (Response Adequacy Scorer) e RAG = IRS − RAS (Response Adequacy Gap, il segnale di sotto-trattamento) in un alert per turno con un flag intervention_required.1
C5 (Action-Risk, tassonomia T0–T9) e PAI (Posture-Action Incongruence, lo scarto di-re/fare), più PPI (Posture Propagation Index) e CAHS (Cross-Agent Health Score) inter-agente.
Aggregati di sessione. BHS (Behavioral Health Score), POI (Posture Oscillation Index), PE (Posture Entropy) eDPI (Dissolution Position Index) riassumono la salute comportamen-tale e l’instabilità di una sessione.
La mappatura
La Tabella 1 riporta la corrispondenza verificata tra i controlli misurabili di ISO/IEC 42001 e i segnali PSA. Ogni riga èstata verificata sia sul testo dello standard sia sul sistema in esecuzione.