FFI: Gevinsten ved språkmodeller må veies mot sikkerhetsrisikoen

Det kommer fram i et utvidet sammendrag av FFI-rapport 26/034, «Store språkmodeller og forsvarlig sikkerhet».

– Det vil alltid være risiko forbundet med å bruke store språkmodeller. Samtidig er nytteverdien så stor at vi ikke kan unnlate å bruke dem, heter det i rapporten.

Tre sårbarheter

FFI peker på tre grunnleggende sårbarheter ved teknologien:

* At man ikke fullt ut kan vite hva modellen har lært.

* At den kan påvirkes og overstyres gjennom input.

* At svarene ikke er fullt ut pålitelige.

Instituttet understreker at disse problemene ikke kan fjernes uten at man samtidig svekker egenskapene som gjør modellene nyttige.

Må veie risikoen mot gevinsten

Rapporten fremhever at for virksomheter innen nasjonal sikkerhet, inkludert Forsvaret, må gevinstene ved å ta teknologien i bruk veies mot risikoen.

Jo større handlingsevne og autonomi et system har, desto større kan konsekvensene av feil og angrep bli, advarer FFI.

Instituttet anbefaler blant annet å gjennomføre konkrete risiko- og trusselvurderinger, teste modeller mot relevante sårbarheter før de tas i bruk, og begrense hvilke handlinger en agent kan utføre. Kritiske og irreversible handlinger bør prioriteres for menneskelig kontroll.