Meny

Vil hjelpe blinde til å «se» ved hjelp av lyd

<p>En idé førte til første utgave av Colorophone. Designtudenter ble koblet på, og nå finnes en ny versjon med bedre teknologi og design. BIldet: Sindre Bjørvik og en student tester Real-Time Colorohone-prototype. Foto: Kawan Kandili</p>
En idé førte til første utgave av Colorophone. Designtudenter ble koblet på, og nå finnes en ny versjon med bedre teknologi og design. BIldet: Sindre Bjørvik og en student tester Real-Time Colorohone-prototype. Foto: Kawan Kandili

En forsker og et student-team står bak systemet Colorphone som oversetter farger til lyd. Nå er prosjektet nominert til en internasjonal pris i studentinnovasjon.

Jeg lukker øynene for å teste en ny type «briller» for blinde. Brillene er koblet til hodetelefoner som skal tolke omgivelsene for meg. Når jeg beveger hodet fra side til side, fanger ørene opp, via hodetelefonene, lyder med forskjellig frekvens. De ulike lydene tilsvarer forskjellige farger. Litt etter litt, og overraskende raskt, danner jeg meg et omtrentlig indre bilde av omgivelsene.

Dette er Colorophone, et bærbart sensorsystem som kan hjelpe blinde med å orientere seg i hverdagen.

Teknologien er utviklet av Dominik Osinski, universitetslektor ved Institutt for elektrofag og fornybar energi, NTNU.

– Ideen kom til meg på bussen. Jeg satt og så ut av vinduet og tenkte på alle de flotte fargene som fòr forbi – og tenkte på at blinde ikke kan se dette. Så begynte det «å koke» i hodet, og to døgn senere hadde jeg prototypen klar, forteller Dominik Osinski.

Studenter lager ny design

Prototypen så imidlertid verken særlig kul eller brukervennlig ut. Osinski lanserte ideen med produktutvikling for sine bachelorstudenter, og ett av student-teamene tente på oppgaven. I samarbeid med Norges Blindeforbund har de videreutviklet teknologien og lagd nytt design på Colorophone-utstyret.

Colorophone-prototypen. Foto: Kawan Kandili
Colorophone-prototypen. Foto: Kawan Kandili

Studentenes oppgave har vært å designe og bygge hardware-delen av systemet, og de har programmert prosesseringsenheten myRIO (Real-Time FPGA system) som forvandler lys og farge til lydbølger.

Prosjektet er nå blant de seks finalistene for Northern European Student Design Contest. Studentene har kvalifisert seg til finalen i skarp konkurranse med studentprosjekter fra 30 andre europeiske land. Vinneren kåres på NI Engineering Impact Awards event i London den 29. november.

Les også: Forskere lurte kreftceller

Lett etter løsninger i over 100 år

Å omsette farger til lyd har vært en utfordring som mange forskere har brynt seg på. Sir Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd.

Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd. Men det fulgte noen begrensninger med teorien. Ill: Thinkstock
Isaac Newton er blant dem som utarbeidet en teori om sammenhengen mellom farger og lyd. Men det fulgte noen begrensninger med teorien. Ill: Thinkstock

Newton definerte syv primærfarger: rød, gul, grønn, blå, indigo, oransje og fiolett. Disse syv fargene koblet han sammen med syv noter. Problemet med denne metoden var at den bare fungerte for folk med absolutt gehør, og at metoden ikke kunne kode og gjengi nyansefarger.

– Det første elektroniske hjelpemiddelet for blinde ble utviklet allerede rundt 1898. I dag, mer enn 100 år senere, finnes det ikke et eneste anerkjent e-hjelpemiddel for blinde. Det er stor kontrast mellom utvikling av forbrukerelektronikk for folk flest – og utvikling av tilgjengelige elektroniske hjelpemidler for de med særskilte behov, understreker Dominik Osinski.

Én av de løsningene som eksisterer, er øyeimplantater hvor en matrise av elektroder kobles direkte til synsnerven. En slik protese er imidlertid svært dyr og krever kirurgiske inngrep. Men tanke på at 90 prosent av verdens blinde bor i fattige land, betyr det at svært få har tilgang på en slik løsning.

Les også: 5 tips ved dårlig nattsyn

Sensorisk substitusjon gir et håp

Systemer for sensorisk substitusjon, som Colorophone, kan være et billig alternativ. Sensorisk substitusjon betyr å sende informasjon til hjernen gjennom en alternativ sensorisk kanal. I dette tilfellet via ørene i stedet for øynene.

– Nye forskningsresultater innen nevrovitenskap viser at hjernen er en mer oppgaveorientert maskin enn sensorisk maskin. Hjernen er mer fleksibel enn vi trodde før. Den er på sett og vis vår «plug & play-enhet» og kan tilpasse seg til å analysere informasjon som kommer fra ulike sanser. Vi kan aktivere synssentret i hjernen, visual cortex, ved å sende visuell informasjon omkodet som lyd, forklarer Osinski.

Den største utfordringen med systemer for sensorisk substitusjon som skal kode bilder til lyd, er forskjellen i mengde informasjon som blir overført gjennom synet og hørselen. Hjernen får rundt 100 ganger mer informasjon gjennom øynene enn gjennom ørene.

– Derfor må vi kode det viktigste, og det er fargene, sier Osinski.

Colorophone-systemet koder i tillegg også avstand som tikk-lyder som forbedrer orienteringsevnen.

Les også: Damer bak rattet gir tryggere veier

(Saken fortsetter under)

Sindre Bjørvik viser Real-Time Colorophone-prototype. Foto: Kawan Kandili
Sindre Bjørvik viser Real-Time Colorophone-prototype. Foto: Kawan Kandili

Rask innlæring

Dominik Osinskis metode og oppfinnelse er inspirert av det menneskelige synssystemet. Prototypen i Colorophone består av et par briller med innebygd kamera, en avstandssensor, AfterShokz hodetelefoner og en prosesseringsenhet (myRIO).

Kameraet tar bilde og sender digitale RGB-verdier (farger) til prosessanlegget. De ulike RGB-verdiene blir brukt til å lage en lydbølgeform, som sendes til hodetelefonene. Brukeren må lære seg å tolke lydfrekvensene for å kunne visualisere omgivelsene sine.

– Vår fargeoppfattelse kommer fra sammenligning av responsene til forskjellige fargefølsomme celler kalt kjegler. Vi er utstyrt med tre forskjellige kjegletyper som har høy sensitivitet knyttet til lysbølgelengdene rød, grønn og blå, sier Osinski.

I Colorophones metode knyttes rød fargekomponent sammen med en høyfrekvent lyd, grønn fargekomponent med en midtfrekvent lyd, blå fargekomponent med en lavfrekvent lyd og hvit farge med lavmælt støy. Kodingsmetoden er utviklet basert på en psykologisk analyse av intuitive assosiasjoner mellom farge og lyd. Med de tre basisfargene rødt, grønt og blått (RGB), skapes andre farger i fargespekteret, og metoden gjør det mulig å representere alle mulige farger som lett gjenkjennelige lyder.

– Dette er en ny måte å oppleve farger på. Med dette systemet er vi i stand til å lytte til et stort spekter av farger, uten at brukeren trenger å lære et stort spekter av frekvenser, sier Dominik Osinski.

Under uttesting av metode og utstyr greide 98 prosent av testpersonene å identifisere 14 farger etter 5 minutter av opplæringstid.

Les også: – Halvparten av norske menn kjører med dårlig syn

Billig å produsere

Verdens helseorganisasjon (WHO) hadde i 2014 et estimat på 285 millioner synshemmede mennesker i verden. Av disse er mer enn 39 millioner blinde, og mange av dem lever i fattige land.

– Vi håper at Colorophone-prosjektet vil bidra i utviklingen av en rimelig teknologi, som vil være tilgjengelig og overkommelig for mange, også for mennesker i fattige land, sier Sindre Bjørvik – en av studentene i Colorophone-teamet.

Komponentene i utstyret er rimelige

– Vi ønsker å utvikle et system som ikke bare er brukervennlig og forbedrer livskvalitet, men som sømløst integreres i brukerens hverdag. Det kan sammenliknes med lesebrillene som henger rundt halsen etter man har lest, sier Osinski.

Under uttesting av metode og utstyr greide 98 prosent av testpersonene å identifisere 14 farger etter 5 minutter av opplæringstid.

Neste trinn blir å utvikle ny design av brillene med integrert blunkekontroll og en applikasjon som kan brukes på mobiltelefonen. Dominik Osinski håper på å skape et tverrfaglig prosjekt ved NTNU knyttet til den nye teknologien, både med tanke på design og brukervennlighet samt forskning for å forstå mer av det som skjer inne i hodet ved transformasjon av farger til lyd.

Han har allerede etablert samarbeid med psykologiforskere fra Storbritannia og Polen som har bygd opp et laboratorium for å forske på Colorophone.

– Forskningsmessig blir det veldig interessant å se om man kan forbedre kognisjon ved langtidsbruk av systemet.

Les også: Føl formene

Saken er opprinnelig publisert på Gemini.no

Mer fra ABC Nyheter
Siste fra forsiden
20:15 Trump ber kritikere forlate USA20:05 Hund jaget bjørn ut av hage: – Holder barna trygge20:04 Jeg skal stå imot de som drar rasismekortet19:40 Tekniske problemer stanset Indias månelanding19:39 Hamas-topp fordømmes for oppfordring til drap på jøder19:35 Gutt (15) knivstukket på Holmlia i Oslo19:35 SAS-pilot tatt med promille18:39 Ytterligere tiltak etter mædi-smitte hos sau18:05 Amerikansk bokselegende påkjørt og drept17:55 Van Aert vant dramatisk Tour de France-etappe17:22 Klart for å koble hjerne og datamaskin?17:19 FN: 822 millioner mennesker sulter på grunn av klimaendringer og konflikter17:17 Delvis måneformørkelse synlig fra tirsdag kveld17:14 Iran rasler med at landet kan trappe opp sitt atomprogram16:59 Konfiskerte kampklart missil fra høyreekstremister i Italia16:12 Her reddes de fra «verdens mest håpløse sted»16:11 Ukraina vil tvangskastrere pedofile15:55 Trump vil fjerne adgang til asyl for mellomamerikanere på grensa til Mexico15:52 Gay Pride i dyreriket15:46 15-årig tennissensasjon klatrer 172 plasser etter Wimbledon-eventyr15:45 Bygning ved Nord universitet ble evakuert etter giftig lekkasje15:20 Mann tiltalt for bankbedragerier for over 100 millioner kroner15:12 MC-fører døde i trafikkulykke i Vest-Agder15:02 Stine Hovland klar for AC Milan14:48 Dansk fotballspiller meldte overgang – utsatt for brannstiftelse14:42 Bollestad om AAP: – Noe må vi ofre14:31 Krekars advokat fyrer løs mot Italia etter terrordom14:22 Havarikommisjonen bekrefter at del av en vinge brakk av i flystyrten i Umeå14:16 Påtroppende leder for EU-kommisjonen gir mange løfter14:13 Populært blant ungdommer å ha fiske som sommerjobb14:02 Trump høster massiv kritikk for utfall mot kongresskvinner13:43 Historisk mange billettsøknader til fotball-EM13:28 Sander Berge takket nei til Premier League-klubb13:24 Inflasjonen når 175 prosent i Zimbabwe13:23 Varmt, grått og fuktig vær i vente13:08 Tyrkia markerer treårsdagen for kuppforsøk13:05 Drapsdømt sjubarnsmor bytter forsvarer12:50 Odd-supporter utestenges etter flaskekasting12:46 Sjakkmiljøet starter kronerulling etter nei til millionavtale12:40 Norske bedrifter kan løse medisinmangel med egenproduksjon12:37 Politiet frigir navn på brannmann som døde i utforkjøring i Kvinesdal12:32 Russisk forsker pågrepet for forræderi12:31 Medier: Neymar møtte omsider på PSGs treningsfelt12:19 Casillas blir del av Portos klubbapparat12:17 Filippinene slår alarm om denguefeber12:05 Driftsunderskudd i Systembolaget11:42 Norge med milliongave til FNs skattearbeid11:40 Kina truer med sanksjoner etter amerikansk våpensalg til Taiwan11:32 Ekspert tror Ødegaard kan få mye spilletid: – Både filosofi og liga passer ham godt11:25 Forskere: Vitamin- og kosttilskudd forlenger ikke livet11:07 Granatangrep mot ukrainsk TV-stasjon som viste Oliver Stone-film11:00 CAS skal bestemme hvordan mesterligafinale skal avgjøres etter VAR-kluss10:42 Rogalending ble europamester i brettseiling10:40 To svindelsiktede menn må møte Nav i retten for andre gang10:37 Kvinne døde etter uforsvarlig sykehusdrift i Hammerfest10:33 Haiene i Middelhavet trues av utryddelse10:23 Novak Djokovic avgjorde Wimbledon-finalen etter historisk tiebreak mot Roger Federer10:09 Flere jordbærselgere hadde ikke noe sted å gå på do09:49 Regjeringen vil ta fingeravtrykk av alle som søker oppholdstillatelse09:40 Domstol i Guatemala stanser migrantavtale med USA09:39 Flyktninghjelpen ber giverland øke støtten til nødhjelp09:22 282 pågrepet i Frankrike etter Algerie-seier09:08 Flest bobileiere i distriktene09:06 26 personer alvorlig syke av flåttvirus i fjor08:46 Norske bedrifter betaler heller løsepenger enn å investere i IT-sikkerhet08:44 Barn tjuvlånte bil og la ut på 1.000 km lang kjøretur08:41 Strid om vindkraft mellom Sametinget og kommune08:34 Nationaltheatret togstasjon åpnet igjen etter røykutvikling08:11 Nille har tapt 700 millioner kroner på to år07:51 To dårlige innspill ødela for Hovland07:50 Stadig flere sivile ofre i Dutertes krig mot narkotika07:41 Elleve personer evakuert etter brann i tomannsbolig i Drammen07:31 Pro-kinesisk ordfører blir opposisjonens kandidat på Taiwan07:30 Ruud faller på tennisrankingen07:07 Mann slått og dyttet i vannet i Tønsberg06:41 Supertalentet Fossesholm: – Jeg har alt å lære av de beste06:12 To til sykehus etter bilulykke ved Nordfjord06:10 FNB-topp vil ikke besvare spørsmål om kutt før valget05:54 Irans president rede til samtaler med USA05:50 Dette skjer i dag05:30 Dette skjedde i natt04:54 Kinesisk økonomi vokser saktere04:36 Demonstrasjon i Moskva04:12 Vegvesenet bruker klimavennlig asfalt for å nå klimamål03:54 Kraftige reaksjoner på Trumps tvitring om kongressrepresentanter03:20 – Dette er et symptom på et hardere arbeidsliv02:31 Kontroll på brann i tråler utenfor Ålesund02:21 Åtte skadd av okser i San Fermin-festivalen01:59 Kallmyr: Plikt å hjelpe en flyktningbåt som går ned01:42 Fortsatt bekymring for flom etter Barry01:24 India stanset oppskyting av rakett i siste øyeblikk00:59 Slagsmål med kniv og hammer i Horten00:43 Arkeologer har funnet seks skip i Bjørvika00:15 Første tilfelle av ebola i storbyen Goma00:01 Buss for tog på Østlandet i minst ti somre til23:32 Mahrez sendte Algerie til finalen i Afrikamesterskapet med overtidsscoring22:41 Politiet bruker en tredel av alle ressurser på under tre prosent av sakene22:39 Griezmann om uenigheten med Atlético: – Det er synd22:21 Kystvakten ryddet søppel langs strender på Svalbard21:57 Lillestrøm sendte Strømsgodset lenger ned i gjørma
Siste nytt
20:15VerdenTrump ber kritikere forlate USA20:05VerdenHund jaget bjørn ut av hage: – Holder barna trygge20:04NorgeJeg skal stå imot de som drar rasismekortet19:40VerdenTekniske problemer stanset Indias månelanding19:39VerdenHamas-topp fordømmes for oppfordring til drap på jøder19:35NorgeGutt (15) knivstukket på Holmlia i Oslo19:35NorgeSAS-pilot tatt med promille18:39NorgeYtterligere tiltak etter mædi-smitte hos sau18:05SportAmerikansk bokselegende påkjørt og drept17:55SportVan Aert vant dramatisk Tour de France-etappe17:22Helse og livsstilKlart for å koble hjerne og datamaskin?17:19VerdenFN: 822 millioner mennesker sulter på grunn av klimaendringer og konflikter17:17NorgeDelvis måneformørkelse synlig fra tirsdag kveld17:14VerdenIran rasler med at landet kan trappe opp sitt atomprogram16:59VerdenKonfiskerte kampklart missil fra høyreekstremister i Italia16:12VerdenHer reddes de fra «verdens mest håpløse sted»16:11VerdenUkraina vil tvangskastrere pedofile15:55VerdenTrump vil fjerne adgang til asyl for mellomamerikanere på grensa til Mexico15:52VerdenGay Pride i dyreriket15:46Sport15-årig tennissensasjon klatrer 172 plasser etter Wimbledon-eventyr15:45NorgeBygning ved Nord universitet ble evakuert etter giftig lekkasje15:20NorgeMann tiltalt for bankbedragerier for over 100 millioner kroner15:12NorgeMC-fører døde i trafikkulykke i Vest-Agder15:02SportStine Hovland klar for AC Milan14:48SportDansk fotballspiller meldte overgang – utsatt for brannstiftelse14:42PolitikkBollestad om AAP: – Noe må vi ofre14:31VerdenKrekars advokat fyrer løs mot Italia etter terrordom14:22VerdenHavarikommisjonen bekrefter at del av en vinge brakk av i flystyrten i Umeå14:16VerdenPåtroppende leder for EU-kommisjonen gir mange løfter14:13NorgePopulært blant ungdommer å ha fiske som sommerjobb14:02VerdenTrump høster massiv kritikk for utfall mot kongresskvinner13:43SportHistorisk mange billettsøknader til fotball-EM13:28SportSander Berge takket nei til Premier League-klubb13:24VerdenInflasjonen når 175 prosent i Zimbabwe13:23NorgeVarmt, grått og fuktig vær i vente13:08VerdenTyrkia markerer treårsdagen for kuppforsøk13:05NorgeDrapsdømt sjubarnsmor bytter forsvarer12:50SportOdd-supporter utestenges etter flaskekasting12:46SportSjakkmiljøet starter kronerulling etter nei til millionavtale12:40NorgeNorske bedrifter kan løse medisinmangel med egenproduksjon12:37NorgePolitiet frigir navn på brannmann som døde i utforkjøring i Kvinesdal12:32VerdenRussisk forsker pågrepet for forræderi12:31SportMedier: Neymar møtte omsider på PSGs treningsfelt12:19SportCasillas blir del av Portos klubbapparat12:17VerdenFilippinene slår alarm om denguefeber12:05VerdenDriftsunderskudd i Systembolaget11:42NorgeNorge med milliongave til FNs skattearbeid11:40VerdenKina truer med sanksjoner etter amerikansk våpensalg til Taiwan11:32SportEkspert tror Ødegaard kan få mye spilletid: – Både filosofi og liga passer ham godt11:25VerdenForskere: Vitamin- og kosttilskudd forlenger ikke livet11:07PolitikkGranatangrep mot ukrainsk TV-stasjon som viste Oliver Stone-film11:00SportCAS skal bestemme hvordan mesterligafinale skal avgjøres etter VAR-kluss10:42SportRogalending ble europamester i brettseiling10:40NorgeTo svindelsiktede menn må møte Nav i retten for andre gang10:37NorgeKvinne døde etter uforsvarlig sykehusdrift i Hammerfest10:33VerdenHaiene i Middelhavet trues av utryddelse10:23SportNovak Djokovic avgjorde Wimbledon-finalen etter historisk tiebreak mot Roger Federer10:09NorgeFlere jordbærselgere hadde ikke noe sted å gå på do09:49NorgeRegjeringen vil ta fingeravtrykk av alle som søker oppholdstillatelse09:40VerdenDomstol i Guatemala stanser migrantavtale med USA09:39NorgeFlyktninghjelpen ber giverland øke støtten til nødhjelp09:22Sport282 pågrepet i Frankrike etter Algerie-seier09:08NorgeFlest bobileiere i distriktene09:06Norge26 personer alvorlig syke av flåttvirus i fjor08:46NorgeNorske bedrifter betaler heller løsepenger enn å investere i IT-sikkerhet08:44VerdenBarn tjuvlånte bil og la ut på 1.000 km lang kjøretur08:41NorgeStrid om vindkraft mellom Sametinget og kommune08:34NorgeNationaltheatret togstasjon åpnet igjen etter røykutvikling08:11NorgeNille har tapt 700 millioner kroner på to år07:51SportTo dårlige innspill ødela for Hovland07:50VerdenStadig flere sivile ofre i Dutertes krig mot narkotika07:41NorgeElleve personer evakuert etter brann i tomannsbolig i Drammen07:31VerdenPro-kinesisk ordfører blir opposisjonens kandidat på Taiwan07:30SportRuud faller på tennisrankingen07:07NorgeMann slått og dyttet i vannet i Tønsberg06:41SportSupertalentet Fossesholm: – Jeg har alt å lære av de beste06:12NorgeTo til sykehus etter bilulykke ved Nordfjord06:10NorgeFNB-topp vil ikke besvare spørsmål om kutt før valget05:54VerdenIrans president rede til samtaler med USA05:50NorgeDette skjer i dag05:30NorgeDette skjedde i natt04:54VerdenKinesisk økonomi vokser saktere04:36VerdenDemonstrasjon i Moskva04:12NorgeVegvesenet bruker klimavennlig asfalt for å nå klimamål03:54VerdenKraftige reaksjoner på Trumps tvitring om kongressrepresentanter03:20Norge– Dette er et symptom på et hardere arbeidsliv02:31NorgeKontroll på brann i tråler utenfor Ålesund02:21VerdenÅtte skadd av okser i San Fermin-festivalen01:59NorgeKallmyr: Plikt å hjelpe en flyktningbåt som går ned01:42VerdenFortsatt bekymring for flom etter Barry01:24VerdenIndia stanset oppskyting av rakett i siste øyeblikk00:59NorgeSlagsmål med kniv og hammer i Horten00:43NorgeArkeologer har funnet seks skip i Bjørvika00:15VerdenFørste tilfelle av ebola i storbyen Goma00:01NorgeBuss for tog på Østlandet i minst ti somre til23:32SportMahrez sendte Algerie til finalen i Afrikamesterskapet med overtidsscoring22:41NorgePolitiet bruker en tredel av alle ressurser på under tre prosent av sakene22:39SportGriezmann om uenigheten med Atlético: – Det er synd22:21NorgeKystvakten ryddet søppel langs strender på Svalbard21:57SportLillestrøm sendte Strømsgodset lenger ned i gjørma