Article. What i write

Generative Artificial Intelligence (GenAI): Il futuro dell’Intelligenza Artificiale Generativa e potenziali cyber rischi nel campo dell’AI

Pubblicato il 20 febbraio 2025 su ICTSecurityMagazine.com

Hybrid AI: Un Approccio Innovativo

Intelligenza Artificiale Generativa: Confidenzialità, Integrità e Governance

• i trigges: i vettori di attacco delle azioni avverse (exploiting vulnerabilities) e le limitazioni intrinseche dovute alla natura statistica dei modelli (manifestations from weaknesses);
• la natura delle conseguenze operative: i potenziali tipi di guasti o gli errori operazionali;
• le metodologie di mitigazione: le attività progettuali e quelle operative.

1. govern: sostenere una cultura organizzativa basata sulla consapevolezza del rischio,
2. map: individuare il contesto di utilizzo,
3. measure: identificare, analizzare e valutare i rischi,
4. manage: dare le priorità e agire.

Confidenzialità

• Gli attacchi di jailbreak e il trasferimento dei dati: Esistono tecniche per sviluppare attacchi di injection o jailbreak al prompt in grado di eludere i sistemi di protezione, tipicamente integrati nei LLM, attraverso cicli di fine-tuning[8]. Esistono metodi per rendere le tecniche di jailbreak manuale più robuste, applicabili a modelli LLM API e LLM open source, e trasferibili sui modelli proprietari. Gli aggressori possono ottimizzare un set di modelli open source per imitare i comportamenti dei modelli proprietari mirati e, successivamente, tentare un trasferimento black-box utilizzando i modelli testati. Continuano ad essere sviluppate nuove tecniche di jailbreak, spesso facilmente accessibili anche per chi ha risorse limitate, che appaiono al prompt sottoforma di testo in linguaggio naturale[9]. Alcune di queste tecniche includono l’assegnazione di ruoli, in cui ad un LLM viene chiesto di mettersi in un certo ruolo, per esempio come attore malevole, e in tale veste può rivelare informazioni protette[10].
• L’inversione del modello e l’inferenza di appartenenza: Un avversario con accesso limitato a un modello ML addestrato può estrarre dati di training tramite query. Sono stati identificati attacchi di inversione del modello[11] in grado di sfruttare le informazioni confidenziali generate dai modelli e consentire l’estrazione di informazioni sensibili, come i dati sanitari di un individuo, inseriti in un set di dati specifico per una determinata malattia oppure lo stile di una persona che ha partecipato ad un sondaggio.
• Il problema della memorizzazione: Il problema della memorizzazione dei dati di training, a differenza del problema di hallucination[12], si verifica quando gli utenti di un LLM si aspettano nuovi risultati sintetizzati, mentre ricevono una replica esatta dei dati di input. Questo fenomeno, noto come overfitting, può portare a violazioni della privacy, appropriazioni indebite della proprietà intellettuale e violazioni del copyright.
• La ricerca black-box: Se un modello proprietario espone un’API che fornisce probabilità per un insieme di output potenziali, una ricerca discreta di tipo black-box può generare prompt avversari che superano le protezioni previste. Questa vulnerabilità è accessibile a un aggressore, anche senza particolari risorse GPU, che effettua chiamate ripetute all’API per identificare i prompt efficaci. Sono state documentate tecniche chiamate “leakage prompts” in grado di ottenere punteggi di confidenza dai modelli i cui progettisti intendevano proteggere tali punteggi. Questi ultimi facilitando anche l’inversione del modello.

Strategie di Mitigazione per la Confidenzialità

• La privacy differenziale: Le soluzioni tecniche alla protezione della privacy, come la privacy differenziale, costringono gli ingegneri dell’intelligenza artificiale a valutare il compromesso tra sicurezza e accuratezza. Le tecniche di privacy differenziale fanno parte del set di tecniche basate sulla statistica chiamate “privacy-preserving analytics” (PPA), utilizzate per salvaguardare i dati privati supportando al contempo l’analisi.
• Le tecniche PPA includono anche le “blind signatures”, il “k-anonymity” e l’apprendimento federato.Le tecniche PPA sono un sottoinsieme delle “privacy-enhancing technologies” (PET), che includono anche prove a “zero-knowledge” (ZK), la “homomorphic encryption” (HE) e il “secure multiparty computation” (MPC). Sono in corso esperimenti per integrarle nei modelli LLM per migliorare la privacy. Le tecniche di privacy differenziale implicano la perturbazione dei dati di training o degli output di un modello allo scopo di limitare la capacità degli utenti di poter trarre conclusioni su elementi particolari dei dati di training di un modello in base agli output osservati. Tuttavia, questo tipo di difesa ha un costo in termini di accuratezza dei risultati e mostra un pattern nella mitigazione del rischio ML, ovvero l’azione difensiva potrebbe interferire con l’accuratezza dei modelli addestrati.
• Le tecniche di disapprendimento: Sono state proposte diverse tecniche a supporto della rimozione dell’influenza di determinati esempi di training che potrebbero avere contenuti nocivi o che potrebbero compromettere la privacy tramite inferenza di appartenenza. Nel tentativo di accelerare questa attività sono state avviate attività di Machine Unlearning[13]. Tutti gli esperimenti sono arrivati alla conclusione che il disapprendimento automatico rimane un’incognita per l’uso pratico a causa del grado con cui i modelli si degradano analogamente agli effetti delle tecniche di privacy differenziale.

Integrità nei Sistemi AI

• Il data poisoning (Avvelenamento dei dati): Negli attacchi di data poisoning, un avversario interferisce con i dati su cui è addestrato l’algoritmo di ML, per esempio iniettando dati aggiuntivi durante il processo di training. L’avvelenamento può essere efficace anche nell’apprendimento supervisionato[14]. Questi attacchi consentono a un avversario di interferire con i comportamenti di test-time e runtime dell’algoritmo, sia degradando l’efficacia complessiva (c.d. accuratezza), sia inducendo l’algoritmo a produrre risultati errati in specifiche situazioni. La ricerca ha dimostrato[15] che una quantità sorprendentemente piccola di dati di addestramento manipolati può comportare grandi cambiamenti nel comportamento del modello. Gli attacchi di data poisoning sono particolarmente seri quando la qualità dei dati di addestramento non può essere accertata; questa difficoltà può essere amplificata dalla necessità di riaddestrare continuamente gli algoritmi con nuovi dati. Gli attacchi di poisoning possono verificarsi anche nell’apprendimento federato, per esempio nei domini relativi alla sicurezza nazionale o alla salute pubblica, in cui un insieme di organizzazioni addestrano congiuntamente un algoritmo senza condividere direttamente i dati posseduti da ciascuna organizzazione. Poiché i dati di training non vengono condivisi, può essere difficile, per qualsiasi parte, determinare la qualità complessiva dei dati. Esistono rischi simili con i dati pubblici, dove gli avversari possono facilmente distribuire input di addestramento nocivi. Gli attacchi correlati possono influenzare i metodi di trasferimento del training, in cui un nuovo modello è derivato da un modello precedentemente addestrato. Potrebbe essere impossibile accertare quali fonti di dati siano state utilizzate per addestrare il modello di origine, il che nasconderebbe qualsiasi addestramento avversario che influenzi il modello derivato. Numerose ipotesi tentano di spiegare il sorprendente livello di trasferibilità tra modelli, tra cui, per modelli più grandi, la comunanza dei dati di addestramento e nella messa a punto per l’allineamento[16].
• I misdirection and evasion attacks (Attacchi di deviazione ed evasione): Gli attacchi di evasion sono caratterizzati dal tentativo di un avversario a indurre un modello a produrre output errati durante il funzionamento di un sistema. Esempi possono riguardare l’errata identificazione di un oggetto in un’immagine, la classificazione errata dei rischi nella consulenza agli addetti ai prestiti bancari e la valutazione errata della probabilità che un paziente possa trarre beneficio da un particolare trattamento sanitario. Questi attacchi vengono realizzati mediante la manipolazione, posta in essere dall’avversario, di un input o di una query fornita al modello. Gli attacchi di evasion sono spesso classificati come non mirati, quando l’obiettivo dell’avversario è ingannare il modello inducendolo a produrre una risposta errata, o mirati, nel caso in cui l’obiettivo dell’avversario è ingannare il modello inducendolo a produrre una specifica risposta errata. Un esempio di attacco consiste nel disorientare le reti neurali per il riconoscimento facciale posizionando punti colorati sulle montature degli occhiali[17]. In molti attacchi di evasion, è importante che l’input manipolato o fornito dall’aggressore sembri benigno, in modo tale che l’esame superficiale dell’input non riveli l’attacco. C’è anche il noto attacco degli adesivi su un segnale di stop[18]. È improbabile che questi adesivi siano notati dai conducenti umani, poiché molti segnali di stop hanno adesivi e altre alterazioni, ma gli adesivi posizionati con cura funzionano come patch in grado di disorientare in modo affidabile una rete di classificazione dei segnali affinché veda un segnale di limite di velocità. Questo tipo di spoofing richiede un impegno relativamente basso e, infatti, è stato oggetto di ricerca universitaria. È fondamentale definire quando l’output di un modello è corretto per valutare la suscettibilità dei modelli agli attacchi di evasion. Per molte applicazioni, la correttezza potrebbe essere definita quando il sistema fornisce la risposta che darebbe un essere umano. Questo è difficile da testare con un certo grado di completezza. Inoltre, ci sono applicazioni in cui questo criterio non potrebbe essere sufficiente. Per esempio, potremmo voler vietare risultati accurati ma dannosi, come le istruzioni dettagliate su come realizzare un esplosivo o come commettere una frode con la carta di credito. Una delle principali sfide nella valutazione è definire l’intento progettuale riguardo alla funzione del sistema e agli attributi di qualità, come avviene per una tradizionale specifica software. Poiché raramente è possibile fornire specifiche complete, le tre categorie CIG non sono delineate in modo netto e, in effetti, questo tipo di attacco pone rischi sia per l’integrità, che per la confidenzialità.
• L’inesattezza: La debolezza fondamentale condivisa da tutte le moderne tecnologie di AI deriva dalla natura statistica delle reti neurali e dal loro training: i risultati dei modelli basati su reti neurali sono previsioni statistiche. I risultati derivano da una distribuzione e gli errori dovuti all’effetto della memorizzazione o dell’allucinazione rientrano nei limiti di tale distribuzione. La ricerca sta portando a un rapido miglioramento: la progettazione dei modelli sta migliorando, i dataset di training stanno aumentando di dimensione e, infine, vengono applicate sempre più risorse computazionali ai processi di training. Tuttavia, è essenziale tenere presente che i modelli di reti neurale risultanti sono basati su dati stocastici e, pertanto, sono predittori inesatti.
• Le Generative AI hallucinations (Allucinazioni dell’intelligenza artificiale generativa): La caratteristica modellazione statistica delle architetture a rete neurale LLM può portare a contenuti generati in contrasto con i dati di training dati in input o che non sono coerenti con i fatti. In questi casi si parla di output “hallucinated”. Le allucinazioni possono essere elementi rappresentativi generati all’interno di una categoria di risposte. Questo è il motivo per cui spesso si riscontra una vaga somiglianza con i fatti reali, definita incertezza aleatoria nel contesto delle tecniche di mitigazione della modellazione della quantificazione dell’incertezza (UQ).
• Gli errori di ragionamento: Il corollario dell’inesattezza statistica consiste nel fatto che i modelli a rete neurale non hanno capacità intrinseche per pianificare o ragionare. La comprensione del mondo da parte dei modelli è molto superficiale, in particolare se sono addestrati esclusivamente sul testo e, di conseguenza, gli LLM autoregressivi hanno limitate capacità di ragionamento e pianificazione. Per esempio, il funzionamento degli LLM è sostanzialmente un’iterazione nel prevedere la parola successiva di un testo o nel basarsi sul contesto di un prompt e sulla stringa di testo precedente che ha prodotto. Gli LLM possono essere indotti a creare l’immagine di un ragionamento e, così facendo, forniscono previsioni migliori che potrebbe creare l’apparenza di ragionamento. Una delle tecniche di prompt per raggiungere questo obiettivo è chiamata “chain-of-thought” (CoT)[19]. Questo crea una sorta di “fast-thinking”[20] tra pianificazione e ragionamento, ma genera risultati inevitabilmente inesatti, che diventano più evidenti una volta che le catene di ragionamento aumentano anche solo di poco. Uno studio recente[21] ha dimostrato che, generalmente, le catene più lunghe, anche di una dozzina di passaggi, non sono fedeli al ragionamento svolto senza CoT. Tra i numerosi parametri funzionali ai sistemi di ragionamento automatico e sul calcolo si evidenziano: la capacità di effettuare controlli esterni per la solidità delle strutture di ragionamento prodotte da un LLM e il numero di passaggi di ragionamento e/o calcolo intrapresi.

Potenziali mitigazioni

• Uncertainty quantification (UQ) (la quantificazione dell’incertezza): La quantificazione dell’incertezza, nell’ambito del ML, si concentra sull’identificazione dei tipi di incertezze statistiche predittive che si presentano nei modelli ML, con l’obiettivo di modellare e misurare tali incertezze. Nel contesto del ML, si distingue tra le incertezze relative a effetti statistici intrinsecamente casuali (c.d. aleatorie) e le incertezze relative a insufficienze nella rappresentazione della conoscenza in un modello (c.d. epistemiche)[22]. L’incertezza epistemica può essere ridotta tramite un training aggiuntivo e il miglioramento dell’architettura di rete, mentre l’incertezza aleatoria è correlata all’associazione statistica di input e output e non può essere ridotta. I metodi UQ dipendono da precise specifiche delle caratteristiche statistiche del problema. Inoltre, sono poco utili nelle applicazioni di ML in cui gli avversari hanno avuto accesso alle superfici di attacco. Esistono metodi UQ che tentano di rilevare campioni che non si trovano nella parte centrale di una distribuzione di probabilità degli input attesi. Anche questi ultimi sono suscettibili di attacchi. Molti modelli di ML possono essere dotati della capacità di esprimere fiducia oppure la probabilità di errore. Ciò consente di modellare gli effetti degli errori a livello di sistema in modo che i loro effetti possano essere mitigati durante l’implementazione. Questo avviene attraverso una combinazione di metodi per la quantificazione dell’incertezza nei modelli di ML, la creazione di un framework software per ragionare con incertezza e la gestione sicura dei casi in cui i modelli di ML siano incerti.
• Retrieval augmented generation (RAG) (Generazione aumentata di recupero): Alcuni studi suggeriscono di sviluppare nei LLM la capacità di controllare la coerenza degli output rispetto alle fonti che si prevede rappresentino le verità fondamentali, come le basi di conoscenza o determinati siti Web come Wikipedia. La RAG si riferisce a questa idea di utilizzare database esterni per verificare e correggere gli output dei LLM. Questo rappresenta una potenziale misura di mitigazione sia per gli attacchi di evasione che per le allucinazioni dell’AI generativa, ma è imperfetta perché i risultati del recupero vengono elaborati dalla stessa rete neurale.
• L’ingegneria della rappresentazione. L'aumento del grado di astrazione in un’analisi white-box può potenzialmente migliorare la comprensione di una serie di comportamenti indesiderati nei modelli, tra cui le allucinazioni, i pregiudizi e la generazione di risposte nocive[23]. Esistono diversi metodi che tentano di estrarre la funzionalità. Questo tipo di test richiede un accesso al modello del tipo white-box, ma ci sono risultati preliminari che restituiscono effetti simili in scenari di test del tipo black-box, ottimizzando i prompt che hanno come target le stesse rappresentazioni interne. Si tratta di un elemento per ridurre l’opacità[24] caratteristica dei modelli di reti neurali più grandi. Uno studio recente, nell’ambito dell’interpretabilità automatizzata, ha dimostrato che sia possibile automatizzare un processo iterativo di sperimentazione per identificare i concetti latenti nelle reti neurali e quindi dare loro nomi[25].

I Principi di Governance dell’Intelligenza Artificiale Generativa

• Stakeholders e accountability: La governance può coinvolgere un ecosistema costituito da elementi e sistemi di AI e dagli stakeholder umani e organizzativi. Questi stakeholder possono includere progettisti, sviluppatori di sistemi, team di distribuzione, leadership istituzionale, utenti finali e decisori, fornitori di dati, operatori, consulenti legali, valutatori e revisori. Essi sono complessivamente responsabili delle decisioni relative alla scelta di assegnare determinate capacità a determinate tecnologie di AI in un determinato contesto applicativo, nonché delle scelte relative al modo in cui il sistema basato sull’AI è integrato nei flussi operativi e nei processi decisionali. Sono, inoltre, responsabili dell’architettura dei modelli e della selezione dei dati di training, compreso l’allineamento dei dati al contesto operativo. Sono responsabili dei parametri, dei tassi di rischio e di responsabilità. L’assegnazione della responsabilità tra coloro che sono coinvolti nella progettazione, nello sviluppo e nell’uso dei sistemi di intelligenza artificiale non è un compito semplice. Questa circostanza è nota come il “problem of many hands” [27]. Questo problema è amplificato dalla assenza di trasparenza e dall’incomprensibilità dei modelli di intelligenza artificiale, spesso persino ai loro creatori [28] [29]. Nel contesto della data science, è fondamentale sviluppare strutture di governance efficaci che siano consapevoli delle caratteristiche dell’AI moderna.
• Pacing (ritmo): Le criticità in materia di governance derivano anche dalla velocità dello sviluppo tecnologico. Questo include non solo le principali tecnologie dell’AI, ma anche i continui progressi nel campo dell’identificazione e della comprensione di vulnerabilità. Infatti, questa velocità sta portando a una continua escalation delle aspettative sulle capacità operative.
• Business: Un ulteriore insieme di difficoltà per la governance deriva dagli aspetti legati al business, tra cui il segreto commerciale e la protezione della proprietà intellettuale, così come le scelte relative al modello architetturale e ai dati di training. In molti casi, le informazioni sui modelli, nell’ambito di una supply chain, possono essere deliberatamente limitate. Tuttavia, è importante notare che, quando le superfici di attacco sono sufficientemente esposte, molti degli attacchi sopra menzionati possono avere successo nonostante vi siano restrizioni black-box. Infatti, uno dei paradossi del rischio informatico è che, a causa del segreto commerciale, gli avversari possano conoscere l’ingegneria dei sistemi meglio rispetto alle organizzazioni che valutano e gestiscono questi sistemi. Questo è uno dei motivi per cui l’AI open source è ampiamente attenzionata anche da parte degli sviluppatori proprietari[30].
• Responsabile AI: Sono state pubblicate diverse linee guida che trattano la Responsabile AI (RAI) e in molti casi convergono sugli stessi principi: la correttezza, la responsabilità, la trasparenza, la sicurezza, la validità, l’affidabilità, la protezione e la privacy. Il Dipartimento della Difesa Americano ha pubblicato una strategia RAI insieme a un toolkit associato[31].

Le Tipologie di Minacce Informatiche legate alla Governance

• Deepfake: Gli strumenti di AI generativa possono operare in più modalità e produrre materiale deepfake multimodale, per esempio audio e video, che possono apparire verosimilmente come se fossero originali. Sono state pubblicate numerose ricerche sul rilevamento dei deepfake[32] e sulla generazione aumentata tramite filigrane e altri tipi di firme[33]. Il ML e la GenAI possono essere utilizzati sia per generare deepfake, che per analizzare firme deepfake. Ciò significa che la tecnologia di intelligenza artificiale è in crescita su entrambi i fronti: la creazione e il rilevamento della disinformazione[34].
• Overfitting (sovradimensionamento): È possibile addestrare il modello di ML in modo tale da portare a un overfitting. Questo succede quando il miglioramento del tasso di successo nel dataset di training portano a un degrado della qualità dei risultati nel dataset di test. Il termine overfitting deriva dal contesto della modellazione matematica quando e si usa per descrivere i casi in cui i modelli non riescono a catturare in maniera affidabile le caratteristiche salienti dei dati, per esempio compensando eccessivamente gli errori di campionamento. Il problema della memorizzazione è una forma di overfitting[35]. L’overfitting è trattato come un rischio di governance perché implica scelte fatte nella progettazione e nell’addestramento dei modelli.
• Undertfitting (sottodimensionamento): L’underfitting è un altro tipo di errore che si verifica quando il modello non è in grado di determinare una relazione significativa tra i dati di input e di output. L’underfitting si verifica se i modelli non sono stati addestrati per il periodo di tempo appropriato su un numero elevato di punti di dati. I modelli con underfitting presentano un bias elevato: forniscono risultati imprecisi sia per i dati di addestramento sia per il set di test.
• Bias (pregiudizio/distorsione): Spesso si ritiene che il bias derivi dalla mancata corrispondenza dei dati di training con i dati di input, ovvero che i dati di addestramento non sono allineati con i contesti applicativi. Inoltre, nel caso in cui non vi è la disponibilità di dati idonei, è possibile incorporare il bias nei dati di addestramento anche quando il processo di campionamento degli input è destinato ad essere allineato con i casi d’uso. Per tanto, a causa della mancanza di disponibilità di dataset di training imparziale, è difficile correggere il bias. Per esempio, è stato osservato un bias di genere nei vettori di parole degli LLM: la distanza vettoriale della parola female è più vicina a nurse, mentre male è più vicina a engineer[36]. Il problema della parzialità nelle decisioni dell’AI è correlato alle conversazioni attive nell’ambito della corretta classificazione dei risultati nei sistemi di ricerca e di raccomandazione [37].
• Tossic text: I modelli di AI generativa possono essere addestrati sia sui contenuti migliori, che su quelli peggiori di Internet. I modelli di GenAI possono utilizzare strumenti per filtrare i dati di training, ma il risultato potrebbe risultare imperfetto. Anche quando i dati di training non sono esplicitamente tossici, la messa a punto può consentire la generazione di materiale negativo. È importante riconoscere che non esistono definizioni universali e che la caratteristica di tossicità spesso dipende in larga misura dal pubblico e dal contesto: esistono diversi tipi di contesti che influenzano le decisioni in merito all’appropriatezza del linguaggio. La maggior parte dei rimedi prevede l’uso di filtri sui dati di training e un’ottimizzazione dell’input, del prompt e dell’output. I filtri spesso includono l’apprendimento con feedback umano “reinforcement learnig with human feedback (RLHF)”. Finora, nessuna di queste soluzioni è riuscita a eliminare i danni da tossicità, soprattutto laddove i segnali nocivi sono nascosti.
• Rischi informatici: È importante ricordare che anche gli attacchi informatici che coinvolgono la supply chain rappresentano un rischio significativo per i modelli di ML. Questo riguarda sia i modelli black-box, che quelli open source, perché entrambi possono includere payload indesiderati. Lo stesso si può affermare nei modelli basati sul cloud in cui si può accedere attraverso API non sicure. Questi sono i classici rischi della supply chain del software, ma la complessità e l’opacità dei modelli di AI possono creare ulteriori opportunità per gli aggressori.

Note bibliografiche