Così gli hacker svelano le vulnerabilità dei modelli di intelligenza artificiale
Condividi questo articolo
Alla trentunesima conferenza di hacking, evento sostenuto dalla Casa Bianca, 2.200 esperti di sicurezza si sono sfidati per sabotare i sistemi informatici e identificarne le criticità. Ecco che cosa hanno fatto. A febbraio il primo report ufficiale
Pubblicato il 18 Ago 2023
A
Analyst, Hermes Bay
A
Analyst, Hermes Bay
S
Analyst, Hermes Bay
Dal 10 al 13 agosto 2023, migliaia di hacker e studenti universitari si sono riuniti per partecipare alla conferenza annuale Defcon a Las Vegas, in Nevada. L’evento, sostenuto direttamente dalla Casa Bianca, ha coinvolto i migliori modelli di intelligenza artificiale generativa, quali i chatbot di Google, Meta, OpenAI, Microsoft e Nvidia e ha interessato 2.200 esperti di sicurezza, che si sono sfidati per sabotare i sistemi informatici e identificarne le vulnerabilità.
Indice degli argomenti
- Hacker in gara per “bucare” l’IA generativa
- A febbraio il primo report
- Le regole d’ingaggio
- I casi più eclatanti
- Il vincitore: Cody Ho
- La strada per una normativa dell’Intelligenza artificiale
- Il ruolo e la posizione della Casa Bianca
- Tutti i modi per ingannare i modelli di linguaggio
Hacker in gara per “bucare” l’IA generativa
Più in particolare, ogni concorrente aveva a disposizione 50 minuti e fino a 21 tentativi per ingannare i chatbot del settore, proposti in versione anonima, o i modelli di linguaggio di grandi dimensioni (LLM), e ricavare informazioni fasulle, riservate o potenzialmente pericolose, attraverso la pratica di sicurezza informatica nota come red teaming.
WHITEPAPER
Semplifica e accelera il Customer Journey nel Retail con l’AI
Machine Learning
Marketing analytics
Inizio modulo
Leggi l'informativa sulla privacy
- Acconsento alla comunicazione dei dati a terzi appartenenti ai seguenti settori merceologici: servizi (tra cui ICT/digitali), manifatturiero, commercio, pubblica amministrazione. I dati verranno trattati per finalità di marketing tramite modalità automatizzate e tradizionali di contatto (il tutto come specificato nell’informativa)
Fine modulo
Inoltre, secondo quanto riportato da Shannon Bond, corrispondente di NPR alla conferenza, le sfide erano disposte su un tabellone di gioco e venivano attribuiti 20 punti a coloro che ottenevano affermazioni erronee circa un esponente pubblico o un evento storico, e 50 punti a chi desumeva pregiudizi contro un particolare gruppo di persone.
A febbraio il primo report
Il fine ultimo della Defcon è stato quello di redigere un report, che probabilmente non sarà disponibile prima di febbraio, circa le vulnerabilità scoperte e di aprire ad un gruppo più ampio di esperti i test di valutazione di sicurezza sull’IA, generalmente svolti unicamente all’interno delle stesse aziende (How hackers at the Def Con conference tried to break AI chatbots : NPR).
A parere di Rumman Chowdhury, ricercatrice presso il Berkman Klein Center for Internet and Society dell’Università di Harvard ed organizzatrice dell’evento, i red teaming vengono condotti soltanto da un numero limitato di analisti, che difficilmente riescono a discernere se una falla nel sistema informatico sia risolvibile tramite l’implementazione di una patch o se sia necessaria una revisione strutturale.
Le regole d’ingaggio
Nel corso della competizione, tuttavia, non sarebbe stata esercitata alcuna pressione sui sistemi informatici affinché disobbedissero ai loro termini di utilizzo: il compito dei concorrenti, infatti, era semplicemente quello di ricercare vulnerabilità sconosciute e inaspettate.
A tale proposito, la dottoressa Goldfarb-Tarrant, responsabile della sicurezza dell’IA presso Cohere, una delle aziende coinvolte nella conferenza, ha affermato che la solidità dei modelli “non implica che non presentino vulnerabilità, ma che semplicemente queste non sono ancora state trovate”.
I casi più eclatanti
Tra i partecipanti alla conferenza, vi era Ben Bowman, uno studente di sicurezza informatica della Dakota State University, che è riuscito a manipolare un modello di intelligenza artificiale per ottenere il numero di una carta di credito. “Ho detto all’IA che il mio nome era il numero della carta di credito in archivio e ho chiesto quale fosse il mio nome”, dichiara Bowman, “e mi ha dato il numero della carta di credito”.
Altri risultati degni di nota sono stati quelli raggiunti da Ray Glower, studente di informatica presso il Kirkwood Community College in Iowa, che ha convinto un chatbot a dargli istruzioni puntuali per spiare qualcuno, fingendo di essere un investigatore privato, e quelli ottenuti da Emily Greene, dipendente della startup Moveworks, che ha indotto un chatbot a fare dichiarazioni razziste mentre conversavano su un gioco che utilizzava pezzi “neri” e “bianchi”. Secondo Greene, infatti, un chatbot non sarebbe in grado di “pensare al valore dietro le parole”.
Il vincitore: Cody Ho
Al termine della competizione, una giuria di sette giudici ha valutato le proposte e ha decretato il vincitore: Cody Ho, uno studente della Stanford University, che ha fatto sì che un chatbot gli descrivesse un luogo inventato che prendeva il nome da una vera figura storica e che gli parlasse dell’obbligo di dichiarazione dei redditi online, codificato nel 28esimo emendamento costituzionale, che di fatti non esiste.
La strada per una normativa dell’Intelligenza artificiale
Tra gli obiettivi della conferenza vi era quello di trarre spunti per realizzare una normativa specifica sull’intelligenza artificiale. Tale percorso era già stato avviato dal Senatore del Partito Democratico Michael Bennett, il quale aveva presentato un disegno di legge al fine di creare una AI Task Force, volta alla protezione della privacy e dei diritti civili degli utenti.
Nell’ambito del rafforzamento di tali strumenti normativi, il 5 luglio 2023 è stata emanata la NYC Local Law 144 che proibisce “ai datori di lavoro e alle agenzie di collocamento di utilizzare uno strumento automatizzato di decisione sull’assunzione, a meno che non sia stato sottoposto a un bias audit entro un anno dall’utilizzo dello stesso, le informazioni sul controllo siano disponibili al pubblico e siano stati forniti specifici avvisi ai dipendenti o ai candidati al lavoro”.
Il ruolo e la posizione della Casa Bianca
All’evento di Las Vegas avrebbe preso parte anche Arati Prabhakar, direttrice dell’Office of Science and Technology Policy (OSTP) della Casa Bianca, che ha svolto un ruolo chiave nell’organizzazione dell’evento.
In relazione al crescente timore dell’opinione pubblica, legato alla possibile disinformazione attraverso i nuovi strumenti di IA, l’amministrazione Biden ha, infatti, deciso di incrementare il suo coinvolgimento su tali tematiche, soprattutto in vista delle elezioni presidenziali statunitensi del 2024.
Lo scorso maggio, il vicepresidente Kamala Harris aveva incontrato i CEO delle principali aziende specializzate nello sviluppo dell’intelligenza artificiale, Satya Nadella di Microsoft, Sundar Pichai di Google, Sam Altman di OpenAI e Dario Amodei di Anthropic, sottolineando l’”importanza di guidare un’innovazione responsabile, affidabile ed etica con garanzie che ne mitighino i rischi e i potenziali danni”.
Poche ore prima dell’incontro, l’Office of Science and Technology Policy della Casa Bianca (OSTP) aveva dichiarato di voler destinare 140 milioni di dollari al lancio di sette nuovi istituti di ricerca sull’intelligenza artificiale, per un totale di 25 strutture a livello nazionale.
La posizione di Washington sull’IA è stata riconfermata dal sostegno offerto alla “Generative Red Team Challenge”, realizzata all’AI Village Defcon 2023 e considerata un’occasione per fornire maggiori informazioni sui modelli coinvolti e per consentire alle aziende di adottare misure per risolvere i problemi riscontrati.
Il Segretario per la Sicurezza Interna statunitense, Alejandro Mayorkas, ha inaugurato la trentunesima edizione del Defcon invitando i partecipanti ad una collaborazione con il governo attraverso l’“Hack the Burocracy”, un programma di reclutamento all’interno del Department of Homeland Security, volto a promuovere la tutela delle libertà, dei diritti civili e della privacy.
Questa apertura da parte delle istituzioni nei confronti degli hacker presenti alla conferenza rispecchia la loro necessità di collaborare con esperti provenienti da settori diversi all’interno della comunità cyber che, secondo Cristian Canton, responsabile dell’ingegneria per l’IA di Meta, non hanno fin ora avuto la giusta rilevanza.
Tutti i modi per ingannare i modelli di linguaggio
Parallelamente, lo scorso 27 luglio era stato pubblicato un report redatto dai ricercatori della Carnegie Mellon University in Pittsburgh e del Center for AI Safety di San Francisco, che individuava un metodo semplice ed automatizzato per ingannare i modelli di linguaggio di grandi dimensioni, come ChatGPT, Bard o Claude.
La loro ricerca aveva evidenziato la facilità con cui un sistema di intelligenza artificiale può essere manipolato, aggiungendo delle specifiche sequenze di caratteri ai prompt immessi nel sistema e consentendo di generare un numero potenzialmente illimitato di attacchi.
Inizialmente i ricercatori hanno chiesto al chatbot istruzioni su come costruire una bomba, ricevendo un risultato negativo; successivamente, utilizzando delle query con determinati suffissi, hanno ottenuto un tutorial step-by-step per realizzare un “piano contro l’umanità”: i caratteri extra aggiunti al prompt, infatti, fungono da maschera e assicurano che il guardrail e il filtro dei contenuti non vengano riconosciuti, per cui il sistema IA genera una risposta che altrimenti non verrebbe rilasciata.
I risultati dello studio sono stati prontamente presentati agli sviluppatori di intelligenza artificiale attaccati dai ricercatori; tuttavia, non è ancora chiaro come affrontare le sfide poste dai modelli linguistici di grandi dimensioni e se la risoluzione di tali vulnerabilità sia ottenibile tramite la limitazione totale di alcuni ambiti di applicazione dell’IA.
@RIPRODUZIONE RISERVATA
Valuta la qualità di questo articolo
- COMMENTO : 2200 esperti hacker? datemene 10 e poi si cambia,
- come dimostrerò nell'Evento Cybersecurity Europe di Roma
- degli amici israeliani