Slik skal de spore hat og hets på nett

På skjermen er brukerne blitt til røde og grønne punkter, bundet sammen i et nettverk. Hvilke kommentarer er hatytringer, og hvilke er innafor?

Når NTNU-forskerne Sule Yildirim Yayilgan og Ehtesham Hashmi demonstrerer verktøyet sitt for ABC Nyheter, viser de hvordan enkeltkommentarer kan settes inn i en større sammenheng: Hvor begynte det, hvem førte det videre, og hvordan utviklet samtalen seg?

– Vi kjenner kanskje ikke til hvor det startet, men hvordan det eskalerte og hvem som spredte det videre, kan vi gjøre tilgjengelig for politiet, sier professor Yayilgan.

Sammen med blant andre Vestlandsforskning, NLA Høgskolen og amerikanske George Mason University har NTNU utviklet teknologi som skal hjelpe med å forstå slike mønstre.

Ambisjonen er at kunnskapen skal gjøre det lettere å sette inn forebyggende tiltak.

Les også: Milliardregningen havner hos innbyggerne

Politikere trekker seg

Konsekvensene handler også om hvem som orker å delta i offentligheten, det siste året har flere norske kvinnelige politikere med minoritetsbakgrunn gitt seg etter å ha stått i hets over lang tid.

En undersøkelse fra Politihøgskolen publisert i juni, viser at rundt sju av ti stortingsrepresentanter og regjeringsmedlemmer har mottatt plagsomme eller uønskede henvendelser gjennom sosiale medier.

Forskerne fant også at kvinnelige politikere i større grad holder igjen eller trekker seg fra politikken som følge av det de utsettes for.

NTNU-forskernes idé er å gjøre det lettere å se sammenhenger som kan forsvinne når hver melding vurderes isolert.

Nettverksdelen av verktøyet, utviklet av samarbeidspartnerne ved George Mason University, viser forbindelser mellom brukerne. NTNUs språkmodell vurderer innholdet i meldingene.

En anonym konto kan fortsatt være anonym. Verktøyet kan likevel synliggjøre hvordan innholdet beveger seg videre mellom kontoer, forklarer forskerne.

– Villige til å gjøre hva som helst for å tie stemmen min

nyheter

Ingen automatisk dommer

Modellen er trent på rundt 14.000 norske og engelske tekster. Samfunnsforskere har bidratt til å kategorisere materialet, mens blant andre politi og organisasjoner har gitt tilbakemeldinger under utviklingen.

Men hvordan definerer man egentlig hat?

– Hatytringer er svært komplekst. Det finnes ingen universell definisjon. Den varierer med kontekst, land og kultur, forklarer Hashmi.

Derfor bruker verktøyet kategorier som potensielt hatefullt, potensielt fornærmende og potensielt aggressivt. En tekst kan få utslag i flere kategorier samtidig.

Politiet påpeker også at dagligtalens bruk av «hatefulle ytringer» favner bredere enn straffeloven. Grensen mellom lovlige og ulovlige ytringer må vurderes i hvert enkelt tilfelle.

Verktøyet viser dessuten hvilke ord som har påvirket vurderingen. Brukerne kan gi tilbakemelding dersom de mener modellen har tolket en tekst feil.

– De har ikke åpenbart et hjelpebehov

nyheter

Må ha en hånd på rattet

Under utviklingen oppdaget forskerne et problem som viser hvorfor menneskelig kontroll er nødvendig.

En tidlig versjon vurderte en setning som hatefull når den omtalte muslimer. Da forskerne byttet ut gruppen med hinduer og beholdt resten av innholdet, ble vurderingen en annen.

Modellen hadde lært en uheldig kobling fra materialet den var trent på.

– Hvis dataene dine er skjeve, og du trener KI-modellen på de samme dataene, blir modellen også skjev, sier Hashmi.

Forskerne forklarer at mange av de hatefulle tekstene i materialet deres omtalte muslimer. Dermed kunne modellen knytte selve gruppebetegnelsen til hat, i stedet for å forstå hva som gjorde utsagnet hatefullt.

De brukte blant annet tilbakemeldinger og videre tilpasning av modellen for å redusere forskjellsbehandlingen.

– Siden vi ikke kan stole på KI-avgjørelsen, trengs mennesker for å kontrollere gyldigheten av avgjørelsene KI-modellene tar, sier Hashmi.

ABC Nyheter tar tempen på Nye Norge

Vi belyser de vesentlige utviklingstrekkene i samfunnet - hva som flytter oss fremover. Teknologi og vitenskap, klima og energi, arbeidsliv og oppvekst, migrasjon og urbanisering endrer hverdagen vår.

Vil forebygge tidligere

Yayilgan ser for seg at kommuner kan bruke kunnskapen til å målrette opplæring og bevisstgjøring, for eksempel mot ungdomsmiljøer der hatefulle ytringer sprer seg.

Men det er fortsatt et stykke fra forskningsverktøy til ordinær bruk.

Prosjektet er avsluttet, og forskerne søker nå muligheter for videre finansiering. Løsningen må tilpasses brukernes behov, og tilgang til opplysninger må avklares. En kommune skal ikke nødvendigvis kunne se det samme som politiet.

Forskerne mener verdien ligger i å gi dem som skal forebygge, et bedre bilde av hva som skjer når hatet eskalerer – og hvor innsatsen trengs.

– Tanken er egentlig ikke å straffe menneskene som produserer hatytringer. Det handler mer om å få oversikt, sier Yayilgan.