Sonifikaatio muuttaa tanssijan liikkeen ääneksi - teknologiainnovaatio voi avata uusia sovelluksia taiteeseen, kuntoutukseen ja peleihin

Sonic Move - ihmisen liikkeen luova ja ekspressiivinen sonifikaatio on yhteistutkimushanke, jossa ovat mukana VTT Human Sensing Solutions, Itä-Suomen yliopiston teknillisen fysiikan laitos ja Aalto-yliopiston Sound and Physical Interaction -tutkimusryhmä.

Yhteistyötä tehdään luovan alan toimijoiden kanssa. Ensimmäisenä syntyy Biodatasonaatti-esitys kuopiolaisen, valtakunnallisesti toimivan Tanssiteatteri Minimin kanssa.

Tutkimushankkeen päärahoitus tulee Business Finlandilta EU:n RRF-elpymisrahoituksesta. Osarahoittajina ovat Genelec Oy sekä Taustamarkkinat BGMT Oy.

Liikemittaus, terveysteknologia ja tanssikuntoutus kohtasivat

Projektissa tutkitaan ihmiskehon liikkeiden käyttöä ääni- ja tuntopalautteen synteesissä ja sen käyttöä tanssi- ja kuntoutussovelluksissa.

VTT:n terveysteknologian mittaus- ja tutkimushankkeissa työskentelevä tutkimusjohtaja Teemu Ahmaniemi on pohtinut liikkeen mittaamista jo yli vuosikymmenen ajan:

“Koetimme jo noin 2011 keksiä jotakin luovaa käyttöä kehittämillemme liikeantureille, ja noin kolme vuotta sitten löysimme yhteistyökumppaneiksi UEF:n ja Aalto-yliopiston. Itä-Suomen yliopiston professori Pasi Karjalaisella oli terveysteknologianäkökulma, ja dosentti Hanna Pohjola toi tanssitaiteellisen ja kuntoutuksen näkökulman.”

Tanssijat tuottavat kehonliikkeillään ääntä ja visuaalisia efektejä

Tutkijat ovat innostuneita yhteistyöstä Tanssiteatteri Minimin kanssa. He ovat nähneet Minimin harjoituksissa, kuinka kiehtovaa on, kun tanssijat hakevat ja tunnustelevat liikkeillään äänipalautetta.

Minimin taiteellinen johtaja Mikko Makkonen on tehnyt koreografian, jossa liiketieto kerätään tanssijoiden kehoihin kiinnitetyillä antureilla ja signaalit muunnetaan ääneksi ja näyttämövaloiksi.

Keskeinen osa projektia on äänisuunnittelu, jossa yhdessä koreografien ja tanssijoiden kanssa pyritään löytämään erilaisia äänenvärejä ja -tyylejä liikkeisiin.

Tanssiteoksen nimi on Biodatasonaatti. Se saa kantaesityksensä 15.11.2023 Kuopion kaupunginteatterissa.

“Sonifikaatiota hyödyntävä tanssiteos on yksi tapa benchmarkata tätä teknologiaa, kuten olemme jo kahdesti tehneet Kuopio tanssii ja soi -festivaaleilla. Viemme uuden teknologian foorumille, joka on riittävän näyttävä ja hyvä”, sanoo Teemu Ahmaniemi.  

Immersiivisyyttä peleihin, kuntoutukseen, elämyksiin ja esityksiin

Sonic Move -hanke tuottaa erilaisia sovellus-caseja joista Biodatasonaatti on yksi. Tutkimushankkeen yrityspartnereita ovat äänentoistojärjestelmiä ja kaiuttimia valmistava Genelec Oy sekä interaktiivisia elämyksiä tuottava av- ja pelitalo Taustamarkkinat BGMT Oy.

UEF:n Pasi Karjalainen uumoilee, että Sonic Move johtaa keksintöihinkin.

“Nytkin tässä on lähes startup-huppari päällä ja käynnissä on neuvotteluja rahoittajien kanssa”, hän mainitsee.

Myös VTT:llä on tavoitteena kaupallistaa syntyvää teknologiaa.

“Teknologia voi sonifikaation sovelluksissa olla aika monenlaista, esimerkiksi terapiatyökalu tai jotain muuta”, Karjalainen pohtii.

Projektissa mukana olevalla pelitalolla on käyttöliittymiä, joihin voi suunnitella kehonliikkeillä pelattavia pelejä.

“Taustamarkkinat BGMT:llä on interaktiivinen lattia-seinä-ympäristö, yleensä jossain julkisessa ympäristössä, ja siihen voisi ajatella lisäominaisuuden äänisynteesistä, Teemu Ahmaniemi selittää.

Lisäksi sonifikaatio voisi tuottaa ääni- ja tuntoaistimuksia esimerkiksi neurologisen kuntoutuksen menetelmänä. Kaikessa kuntoutuksessa palaute on erittäin tärkeää, se ohjaa toipumisprosessia oikeaan suuntaan.

Lue lisää Sonic Move -tutkimushankkeesta  

Tanssiteatteri Minimin Biodatasonaatti ja blogi

‍