Vil hjelpe blinde til å «se» ved hjelp av lyd

En idé førte til første utgave av Colorophone. Designtudenter ble koblet på, og nå finnes en ny versjon med bedre teknologi og design. BIldet: Sindre Bjørvik og en student tester Real-Time Colorohone-prototype. Foto: Kawan Kandili
En idé førte til første utgave av Colorophone. Designtudenter ble koblet på, og nå finnes en ny versjon med bedre teknologi og design. BIldet: Sindre Bjørvik og en student tester Real-Time Colorohone-prototype. Foto: Kawan Kandili
Artikkelen fortsetter under annonsen

En forsker og et student-team står bak systemet Colorphone som oversetter farger til lyd. Nå er prosjektet nominert til en internasjonal pris i studentinnovasjon.

Denne artikkelen er over ett år gammel og kan innholde utdatert informasjon

Artikkelen fortsetter under annonsen

Jeg lukker øynene for å teste en ny type «briller» for blinde. Brillene er koblet til hodetelefoner som skal tolke omgivelsene for meg. Når jeg beveger hodet fra side til side, fanger ørene opp, via hodetelefonene, lyder med forskjellig frekvens. De ulike lydene tilsvarer forskjellige farger. Litt etter litt, og overraskende raskt, danner jeg meg et omtrentlig indre bilde av omgivelsene.

Dette er Colorophone, et bærbart sensorsystem som kan hjelpe blinde med å orientere seg i hverdagen.

Teknologien er utviklet av Dominik Osinski, universitetslektor ved Institutt for elektrofag og fornybar energi, NTNU.

– Ideen kom til meg på bussen. Jeg satt og så ut av vinduet og tenkte på alle de flotte fargene som fòr forbi – og tenkte på at blinde ikke kan se dette. Så begynte det «å koke» i hodet, og to døgn senere hadde jeg prototypen klar, forteller Dominik Osinski.

Artikkelen fortsetter under annonsen
Artikkelen fortsetter under annonsen

Studenter lager ny design

Prototypen så imidlertid verken særlig kul eller brukervennlig ut. Osinski lanserte ideen med produktutvikling for sine bachelorstudenter, og ett av student-teamene tente på oppgaven. I samarbeid med Norges Blindeforbund har de videreutviklet teknologien og lagd nytt design på Colorophone-utstyret.

Colorophone-prototypen. Foto: Kawan Kandili
Colorophone-prototypen. Foto: Kawan Kandili

Studentenes oppgave har vært å designe og bygge hardware-delen av systemet, og de har programmert prosesseringsenheten myRIO (Real-Time FPGA system) som forvandler lys og farge til lydbølger.

Artikkelen fortsetter under annonsen
Artikkelen fortsetter under annonsen

Prosjektet er nå blant de seks finalistene for Northern European Student Design Contest. Studentene har kvalifisert seg til finalen i skarp konkurranse med studentprosjekter fra 30 andre europeiske land. Vinneren kåres på NI Engineering Impact Awards event i London den 29. november.

Les også: Forskere lurte kreftceller

Artikkelen fortsetter under annonsen

Lett etter løsninger i over 100 år

Å omsette farger til lyd har vært en utfordring som mange forskere har brynt seg på. Sir Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd.

Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd. Men det fulgte noen begrensninger med teorien. Ill: Thinkstock
Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd. Men det fulgte noen begrensninger med teorien. Ill: Thinkstock

Newton definerte syv primærfarger: rød, gul, grønn, blå, indigo, oransje og fiolett. Disse syv fargene koblet han sammen med syv noter. Problemet med denne metoden var at den bare fungerte for folk med absolutt gehør, og at metoden ikke kunne kode og gjengi nyansefarger.

– Det første elektroniske hjelpemiddelet for blinde ble utviklet allerede rundt 1898. I dag, mer enn 100 år senere, finnes det ikke et eneste anerkjent e-hjelpemiddel for blinde. Det er stor kontrast mellom utvikling av forbrukerelektronikk for folk flest – og utvikling av tilgjengelige elektroniske hjelpemidler for de med særskilte behov, understreker Dominik Osinski.

Artikkelen fortsetter under annonsen

Én av de løsningene som eksisterer, er øyeimplantater hvor en matrise av elektroder kobles direkte til synsnerven. En slik protese er imidlertid svært dyr og krever kirurgiske inngrep. Men tanke på at 90 prosent av verdens blinde bor i fattige land, betyr det at svært få har tilgang på en slik løsning.

Artikkelen fortsetter under annonsen

Les også: 5 tips ved dårlig nattsyn

Sensorisk substitusjon gir et håp

Systemer for sensorisk substitusjon, som Colorophone, kan være et billig alternativ. Sensorisk substitusjon betyr å sende informasjon til hjernen gjennom en alternativ sensorisk kanal. I dette tilfellet via ørene i stedet for øynene.

– Nye forskningsresultater innen nevrovitenskap viser at hjernen er en mer oppgaveorientert maskin enn sensorisk maskin. Hjernen er mer fleksibel enn vi trodde før. Den er på sett og vis vår «plug & play-enhet» og kan tilpasse seg til å analysere informasjon som kommer fra ulike sanser. Vi kan aktivere synssentret i hjernen, visual cortex, ved å sende visuell informasjon omkodet som lyd, forklarer Osinski.

Artikkelen fortsetter under annonsen

Den største utfordringen med systemer for sensorisk substitusjon som skal kode bilder til lyd, er forskjellen i mengde informasjon som blir overført gjennom synet og hørselen. Hjernen får rundt 100 ganger mer informasjon gjennom øynene enn gjennom ørene.

– Derfor må vi kode det viktigste, og det er fargene, sier Osinski.

Colorophone-systemet koder i tillegg også avstand som tikk-lyder som forbedrer orienteringsevnen.

Les også: Damer bak rattet gir tryggere veier

(Saken fortsetter under)

Sindre Bjørvik viser Real-Time Colorophone-prototype. Foto: Kawan Kandili
Sindre Bjørvik viser Real-Time Colorophone-prototype. Foto: Kawan Kandili

Rask innlæring

Dominik Osinskis metode og oppfinnelse er inspirert av det menneskelige synssystemet. Prototypen i Colorophone består av et par briller med innebygd kamera, en avstandssensor, AfterShokz hodetelefoner og en prosesseringsenhet (myRIO).

Artikkelen fortsetter under annonsen

Kameraet tar bilde og sender digitale RGB-verdier (farger) til prosessanlegget. De ulike RGB-verdiene blir brukt til å lage en lydbølgeform, som sendes til hodetelefonene. Brukeren må lære seg å tolke lydfrekvensene for å kunne visualisere omgivelsene sine.

Artikkelen fortsetter under annonsen

– Vår fargeoppfattelse kommer fra sammenligning av responsene til forskjellige fargefølsomme celler kalt kjegler. Vi er utstyrt med tre forskjellige kjegletyper som har høy sensitivitet knyttet til lysbølgelengdene rød, grønn og blå, sier Osinski.

I Colorophones metode knyttes rød fargekomponent sammen med en høyfrekvent lyd, grønn fargekomponent med en midtfrekvent lyd, blå fargekomponent med en lavfrekvent lyd og hvit farge med lavmælt støy. Kodingsmetoden er utviklet basert på en psykologisk analyse av intuitive assosiasjoner mellom farge og lyd. Med de tre basisfargene rødt, grønt og blått (RGB), skapes andre farger i fargespekteret, og metoden gjør det mulig å representere alle mulige farger som lett gjenkjennelige lyder.

– Dette er en ny måte å oppleve farger på. Med dette systemet er vi i stand til å lytte til et stort spekter av farger, uten at brukeren trenger å lære et stort spekter av frekvenser, sier Dominik Osinski.

Artikkelen fortsetter under annonsen

Under uttesting av metode og utstyr greide 98 prosent av testpersonene å identifisere 14 farger etter 5 minutter av opplæringstid.

Les også: – Halvparten av norske menn kjører med dårlig syn

Artikkelen fortsetter under annonsen

Billig å produsere

Verdens helseorganisasjon (WHO) hadde i 2014 et estimat på 285 millioner synshemmede mennesker i verden. Av disse er mer enn 39 millioner blinde, og mange av dem lever i fattige land.

– Vi håper at Colorophone-prosjektet vil bidra i utviklingen av en rimelig teknologi, som vil være tilgjengelig og overkommelig for mange, også for mennesker i fattige land, sier Sindre Bjørvik – en av studentene i Colorophone-teamet.

Komponentene i utstyret er rimelige

– Vi ønsker å utvikle et system som ikke bare er brukervennlig og forbedrer livskvalitet, men som sømløst integreres i brukerens hverdag. Det kan sammenliknes med lesebrillene som henger rundt halsen etter man har lest, sier Osinski.

Artikkelen fortsetter under annonsen

Under uttesting av metode og utstyr greide 98 prosent av testpersonene å identifisere 14 farger etter 5 minutter av opplæringstid.

Neste trinn blir å utvikle ny design av brillene med integrert blunkekontroll og en applikasjon som kan brukes på mobiltelefonen. Dominik Osinski håper på å skape et tverrfaglig prosjekt ved NTNU knyttet til den nye teknologien, både med tanke på design og brukervennlighet samt forskning for å forstå mer av det som skjer inne i hodet ved transformasjon av farger til lyd.

Han har allerede etablert samarbeid med psykologiforskere fra Storbritannia og Polen som har bygd opp et laboratorium for å forske på Colorophone.

– Forskningsmessig blir det veldig interessant å se om man kan forbedre kognisjon ved langtidsbruk av systemet.

Les også: Føl formene

Saken er opprinnelig publisert på Gemini.no