Informatikere og musikkvitere ved Universitetet i Oslo har utviklet helt ny programvare som gj?r det mulig for deg ? lage din egen personlige vri p? musikken.
– Med det nye systemet kan du bruke smarttelefonen og bevegelsene dine til ? styre hvordan moderne komposisjoner skal h?res ut. Komponistens oppgave blir ? lage et musikklandskap med mange musikalske overganger. S? styrer du hvilke musikalske overganger du ?nsker ? bevege deg i. Du skal alts? selv kunne bestemme hvordan du vil vandre innenfor de ulike lydlandskapene, forteller postdoktor Kristian Nymoen ved Institutt for informatikk, med en mastergrad i musikkvitenskap. Sammen med professor i informatikk, Jim T?rresen har han laget det musikalske rammeverket.
Systemet skal ogs? kunne fange opp det musikkbildet du liker.
– Ved ? utnytte sensorene i smarttelefonen din, kan du etter hvert lage dine egne musikkuttrykk som er tilpasset hum?ret ditt.
Poenget er at alle smarttelefoner har sensorer som gjenkjenner bevegelse. Sensorene i mobilen kan tolke hvordan du beveger deg.
– M?ten du beveger deg p?, kan si noe om hum?ret ditt. N?r du er i godt hum?r, beveger du deg annerledes enn n?r du er i d?rlig hum?r. Vi ?nsker derfor at teknologien skal sanse hvordan du er som person og legge til rette for at du f?r det du ?nsker deg med den sinnsstemningen du er i akkurat n?.
Hvis du er sur og grinete, kan du f? musikk som motarbeider stemningen.
– Mobilen kan da lage musikk som enten forsterker eller stopper f?lelsene dine.
For ? gi en enda bedre beskrivelse av kroppsbevegelsene, bruker forskerne en sensor som kan registrere fotbevegelsene og trykket i skoen, kombinert med en algoritme som analyserer hvordan du g?r.
Europeisk forskningsprosjekt
Musikkforskningen er en del av det europeiske forskningsprosjektet Engineering Proprioception in Computing Systems (EPiCS), som skal gi maskiner muligheten til ? tilpasse seg det milj?et de befinner seg i.
To industripartnere og seks universiteter er med. Klagenfurt universitet i ?sterrike har brukt den nye kunnskapen om menneskelig bevegelse til videooverv?king. De har utviklet en helt ny type kommunikasjon mellom videokameraer som skal gj?re det mulig ? f?lge en person som beveger seg mellom de ulike kameraomr?dene.
– De nye algoritmene, som vi utvikler i fellesskap, skal etterape hjernen v?r, som har den utrolige evnen at den klarer ? beregne hvor fingrene kan m?tes bak ryggen din, selv om du ikke ser dem, forteller Jim T?rresen.
Inspirert av naturen
For ? komme i m?l med persontilpasset musikk, har forskerne latt seg inspirere av naturen.
De har blant annet laget en app (et dataprogram) p? smarttelefonen som gj?r det mulig for deg ? bestemme hvordan musikkbildet skal endre seg, p? samme m?te som maur g?r etter spesielle luktstoffer for ? sanke mat.
Maur legger igjen luktstoffer p? stien, slik at andre maur kan finne veien til matfatet. Desto flere maur p? stien, desto st?rre mengder luktstoff. Etter hvert vil maurene finne et nytt omr?de med mat. Da vil luktstoffene p? stien til det gamle matfatet gradvis fordampe. Mengden lukt p? stien er derfor avhengig av mengden mat.
– Vi har brukt det samme prinsippet til ? lage en regel om hvordan lytteren beveger seg mellom lydlandskaper. Lytteren kan bruke smarttelefonen til ? legge p? ?luktstoffer? p? overganger mellom lydbilder. Jo flere ?luktstoffer?, desto st?rre er sannsynligheten for at musikken skifter mellom disse lydbildene. Vi kan ogs? legge inn en “fordampingsfunksjon” som gj?r at disse overgangene forvitrer hvis brukeren ikke gj?r et aktivt grep og legger p? enda flere “uktstoffer”. Det betyr: Komponisten setter rammen, mens brukeren kan styre musikken innenfor denne rammen. Utfordringen er ? gj?re dette musikalsk samtidig som vi m? greie ? finne en metode som ikke krever for mye regnekraft.
P?virker konsertarena
Forskerne har ogs? laget et eget musikalsk system for smarttelefonen, der de har latt seg inspirere av ildfluer. Ildfluer har lysende haler. De blitzer samtidig. Ildfluene har med andre ord en mekanisme som gj?r at de kan synkronisere blitzingen. Forskerne vil bruke denne ideen til ? f? mange smarttelefoner til ? 澳门葡京手机版app下载e uten at smarttelefonene styres fra en sentral enhet.
– Vi kan bruke lyden fra hver enkelt smarttelefon til ? f? dem til ? synkronisere med hverandre. Den enkelte telefonen skal lytte og bruke kunnskapen den fanger, til ? komme i synk med de andre.
Da kan alle smarttelefonene p? en konsertarena brukes som h?yttalere. Og som om dette ikke er nok: Smarttelefonen din kan ogs? brukes, sammen med alle de andre smarttelefonene til resten av publikum, til ? p?virke musikken p? en scene.
– Selv om vi forel?pig bare har laget et system som skal fungere for noen f? brukere, er det spennende ? tenke seg hvordan systemet kan brukes i en sal med mange mennesker. Tenk deg en konsert med hundrevis av deltakere: Hvis mange nok rister p? telefonen samtidig, kan publikum ogs? p?virke lyden fra selve hovedh?yttaleren, poengterer Kristian Nymoen.