Le esibizioni miste saranno il futuro dei concerti e dei grandi eventi. Ecco come la tecnologia di motion capture messa in campo dal regista e Ceo di Wondar Studios è in grado di portare in tempo reale un’artista (vera) nel Metaverso

Un mondo virtuale. Un’artista reale. Una tuta. E tanta tecnologia. Sono gli elementi che hanno caratterizzato “Performing VR – Motion Capture nel Metaverso”, una dimostrazione pratica di commistione tra reale e virtuale andata in scena al MEET Center di Milano in collaborazione con Air3, l’associazione di registi italiani che lavorano nel mondo del cinema e realizzano film, documentari, pubblicità, corti. Protagonista il regista e Ceo di Wondar Studios Paolo Aralla, che insieme ad altri appassionati di tecnologia ha creato un’azienda che sviluppa software per concerti, eventi, costruisce avatar, metaversi ed Nft. Una dimostrazione che punta a farci capire come sempre più il futuro degli eventi come concerti ma anche convegni, rappresentazioni teatrali, spettacoli culturali e artistici diventerà una fusione tra mondo reale – dove si muovono gli artisti – e mondo virtuale – dove le performance vengono ambientate.

Che cos’è e come funziona

La tecnologia del Motion Capture, ci spiegano, nasce nel mondo del cinema e negli ultimi anni con l’esplosione del gaming (e in particolare di giochi come Fortnite) è nato un vero e proprio filone che è quello della recitazione digitale con avatar fotorealistici. Che gli eventi e i concerti vengano svolti ormai sempre più anche nel mondo virtuale non è cosa nuova: negli ultimi anni da Justin Bieber a John Legend sono tantissimi gli artisti che si sono cimentati con questa tecnologia, con concerti svolti nel Metaverso e applauditi da milioni di utenti, anche grazie a mondi virtuali super-frequentati come, appunto, quelli di Fortnite. E c’è anche chi – come Snoop Dog – ha acquistato terreni virtuali con l’idea di fare concerti con effetti sempre più sofisticati e immersivi. Partecipare agli eventi di questo tipo è molto semplice: basta un normale computer o un normale smartphone per ottenere un’esperienza simile a quella televisiva; grazie a visori di realtà virtuale (come l’Oculus) o smart glasses è poi possibile immergersi completamente nel mondo virtuale, con la possibilità di spostarsi o muovere la testa in uno spazio tridimensionale. “Il progetto sul quale stiamo lavorando – ci spiega Aralla – è di avere l’ologramma del tuo cantante preferito, visto tramite degli smart glasses che attualmente non sono ancora in commercio ma che credo nel giro di 5-10 anni andranno a sostituire totalmente i cellulari. Sicuramente Zuckerberg – ci confessa – ci ha dato una grossa mano chiamando la sua società proprio Meta, anche perché sta muovendo e trasformando il suo social network da normale, vissuto nel computer, a una realtà virtuale”.

Le applicazioni e la dimostrazione

Quello che Paolo Aralla ha mostrato al MEET è il primo step del suo progetto. Al centro della scena l’artista urban Sewit Jacob Villa, in arte JV, che è stata letteralmente catapultata in una sala concerti virtuale grazie alla collaborazione del 3D Artist Alessio Albanese e di Stefano Girardi, che ha sviluppato la versione VR dell’evento. All’artista sono stati fatti indossare una tuta di motion capture con 17 sensori in vari punti del corpo, delle scarpe particolari anch’esse con dei sensori e un caschetto con una telecamera posta esattamente davanti al volto, in grado di catturare qualsiasi movimento dei muscoli facciali. Un minuto di calibrazione dei sensori e il software identifica dapprima lo scheletro dell’artista, cioè come l’artista si muove, dopodiché sullo scheletro il software applica l’avatar modellato in 3D mentre l’ultimo passaggio – stiamo usando parole e termini certamente semplici e, speriamo, di facile comprensione – è quello di collegare l’avatar al software che simula le espressioni facciali. JV ha cantato un mashup di I Will Always Love You di Whitney Houston e di un suo brano inedito, e l’effetto è stato certamente molto particolare, con i movimenti dell’artista e anche tutte le espressioni facciali riproposte praticamente in tempo reale all’interno del mondo virtuale. I movimenti delle telecamere possono essere registrati e impostati prima dell’inizio del concerto oppure gestiti in tempo reale da un mixer video simile a quelli che si usano nella televisione.