Avainsana-arkisto: musiikki

Tietovirroissa navigoidaan pian äänien avulla – näin data muuttuu musiikiksi

Viulunsoittaja maailman reunalla
Lähde: Pixabay

Kaiuttimista kajahtaa ilmoille omaperäinen orkesteriteos. Yksinkertainen, rytmikäs pianosoolo avaa kappaleen heleiden kellojen säestämänä, jonka jälkeen syvä kontrabasso ottaa tilan afrikkalaisen marimban tuella. Pian jousisoittimet ja patarummut vievät teoksen päätökseen. Musiikin jälkeensä jättämä tunnelma on kevyt, aurinkoinen, kuin raikas tuulen henkäys. “Kuka on tämän teoksen säveltäjä, ja mikä orkesteri oli soittamassa?”, utelias kuuntelija kysyy. Vastaus voi yllättää, sillä sävellyksestä vastasi amerikkalaisprofessori, sovelluksesta sekä esittämisestä tietokoneohjelma – ja kapellimestarina toimi Ilmatieteenlaitos.

Yllä oleva kuvaus ei ole tieteisromaanin sivuilta, vaan se on nykypäivää Lappeenrannan teknillisen yliopiston tiloissa.  Yhteistyössä Tampereen yliopiston kanssa tehty kolmevuotinen Data-to-Music -tutkimushanke on poikinut joukon sonifikaatioon pohjautuvia sovelluksia. Kansankielellä tällä tarkoitetaan dataa ääneksi tai musiikiksi muuttavia ohjelmia.

Sävellysteorian professori Jonathan Middletonin kehittämät uraauurtavat algoritmit on valjastettu Ilmatieteenlaitoksen keräämän tiedon mallintamiseen klassisen musiikin avulla. Sääennuste ja sen osatekijät, kuten lämpötila, ilmanpaine sekä tuulen voimakkuus, ohjaavat orkesterin eri instrumentteja.

Sävellystä soitetaan tätä varten rakennetussa monikanavaisessa ääni-installaatiossa. Tavoitteena ei ole välittää tarkkaa sääennustetta, vaan antaa kuulijalle ainutkertainen elämys. Näin aurinkoisesta päivästä voi saada irti enemmän, ja sävelteos piristää sateistakin päivää muistuttaen samalla sateenvarjon tarpeesta – kaikki tämä tapahtuu musiikin avulla. Hanke on muuttanut ääneksi säätilan lisäksi muun muassa kuntoiludataa ja kiinteistöjen vikatietoja. Maailmanlaajuisesti ainutlaatuista projektia johtaa professori Roope Raisamo.

Sonifikaatio pähkinäkuoressa

  • Pyrkii visualisoimaan tietoa äänen avulla (joka ei ole puhetta).
  • Ensimmäinen menestystuote oli viime vuosisadan alussa keksitty geigermittari, joka ilmaisee mitatun säteilyn määrää kaiuttimen kautta rasahtelemalla.
  • Ei ole olemassa yhtä oikeaa tapaa muuttaa tietoa ääneksi. Datapisteet voidaan kääntää eri kriteereillä esimerkiksi MIDI -nuoteiksi, äänenkorkeudeksi tai äänenvoimakkuudeksi.

Tulevaisuuden käyttökohteita runsaasti


Lisääntyneen laskentatehon ja tutkimustyön myötä sonifikaatiolle on viime vuosina tosissaan alettu miettiä käyttökohteita. Sääilmiöiden muuttaminen biiseiksi voi kuulostaa ohimenevältä hassutukselta, mutta todistaa piilevän potentiaalin – sen, että ympäristöä on mahdollista katsoa ja kuunnella monelta eri kantilta.

Kriittisiä sovelluskohteita ovat esimerkiksi ydinvoimalat, joissa yhdellä valvojalla voi olla edessään satoja eri mittareita. Äänimassan avulla tärkeimmät muutokset datassa saadaan nopeammin havaittaviksi myös liikkeellä ollessa. Hyödyntämismahdollisuuksia on lukuisia, niin teollisuudessa kuin arjessakin. Kuluttajille sopivia sovelluskohteita on ideoitu oheen.

Sonifikaatio autoilijan apuna

Ruuhkat, tietyöt, kaistamerkinnät, liikennevalot ja -merkit – samoin kuin muut autot, edessä näkyvät esteet sekä liikkuvat jalankulkijat ja pyöräilijätkin – kyetään jo nyt tunnistamaan tekoälyn, kameroiden sekä sensoreiden avulla. Tämä data on triviaalia muuttaa ääniksi ja luoda siitä esimerkiksi kuskin valppautta stimuloiva sekä stressiä vähentävä ambient -soundtrack. Parhaassa tapauksessa liikenneympäristön säveltämä datamassa herättää torkahtavan kuskin vetämällä nupit kaakkoon.

Urheiluhullun ottelumiksaaja

Aktiivisesti vedonlyöntiä harrastava penkkiurheilija tai useasta lajista kiinnostunut urheilufanaatikko joutuu vastatuksin toistuvan ongelman kanssa: Koskapa yhtäaikaa näytetään useampaa matsia, mitä niistä valitsisi seurata livenä? Kanavasurffailun tueksi voisi ottelutapahtumat hyvin esittää vaikka hissimusiikkina. Näin toista futismatsia voisi seurata töllöstä ja toinen olisi taustalla tunnelmaa luomassa. Jännityksen lisääntyessä musiikin tempoa sekä soittimia lisätään.

Kasinopelaajan kaveri

Myös kasinopelaajat saattaisivat arvostaa peliaulassa satoja slotteja selatessaan ääniraitaa, jossa muiden pelureiden häviöt ja voitot kussakin kasinopelissä miksataan reaaliaikaisesti rentoon musiikkiin – vaikkapa suosituista kolikkopeleistä miksattuun raitaan. Stereokuvaan mallinnettu peliaula kertoisi näin muutamassa hetkessä, missä voitokkaimpia pelejä kullakin hetkellä pelataan, mitkä slotit ovat suosituimpia ja missä vastaavasti on hiljaisempaa. Jackpotin osuessa kohdalle fanfaarit luonnollisesti kaikuisivat kaikkien kuultavaksi merkkinä voittoputkesta.

Mitä asiantuntijat edellä, sitä kuluttaja perässä

Tietoa kerätään ja tallennetaan jo nykyisellään enemmän kuin sitä voidaan käytännössä hyödyntää tai jakaa ymmärrettävässä muodossa massoille. Jatkuvasti lisääntyvä, alunperin järjestelemätön tietomassa tulee usein eri lähteistä ja vie niin paljon tilaa sekä resursseja, ettei sitä voi tuoda sellaisenaan kuluttajan käytettäväksi. Kehittyvä tekoäly ja automatisoidut ratkaisut auttavat tulosten visualisoinnissa – graafit, kuvat ja videot dominoivat netin tietovirtoja ja sitä, miten olennainen sisältö nostetaan esiin.

Suurten tietomäärien selaaminen – ja hahmottaminen – voi vaatia aikaa ja olla hienoista käyristä ja hakukoneista huolimatta kömpelöä jopa alan asiantuntijalle, saati sitten satunnaiselle käyttäjälle. Tietojenkäsittely on viimeisen viidenkymmenen vuoden ajan keskittynyt näkymättömään dataan loppukäyttäjän kustannuksella. Tähän dilemmaan etsitään nyt ratkaisuja.

Tiedon mallintaminen helposti omaksuttavaan muotoon, kohderyhmästä riippumatta, ottaa vasta ensiaskeleitaan. Tällä haastavalla kentällä sonifikaation kaltainen luova lähestymistapa tiedon esittämiseen on kaivattu pelinavaus ihmisläheisempään ja näkyvämpään datavirtojen hyödyntämiseen.