L’alba del virtual cinema: quali sfide e quali professionalità?

Pochi giorni fa l’Oculus StoryStudio, l’etichetta di produzione cinematografica creata da Oculus, ha vinto un Emmy come Outstanding Original Interactive Program con il cortometraggio “Henry“.

Il brand che ha rilanciato la realtà virtuale per le masse dopo due decenni di agonia, ha investito fin da subito sui contenuti ma mentre l’industria si orientava verso un adattamento dei videogiochi più noti, la giovane azienda si è data il ruolo sfidante di apripista nella creazione di una terza via all’intrattenimento cinematografico.

In Italia e in Europa la cerimonia non ha avuto la risonanza della notte degli Oscar ma questo premio segna un punto di non ritorno per l’intera industria dell’audiovisivo. Il peso di questo riconoscimento è enorme, paragonabile a quello dell’Oscar assegnato a John Lasseter per Tin Toy nel 1989 che sancì l’ingresso della computer graphics nel novero delle arti pregiate stimolando ricercatori e tecnici a proseguirne l’evoluzione. Il culmine di un processo di innovazione che si affermò definitivamente nel 1996 con Toy Story, primo vero lungometraggio di animazione digitale che chiudeva un decennio di incredibile investimento economico in ricerca pura per aprire la seconda via al cinema, oggi costellata di storie divertenti, profonde e incredibilmente capaci di muovere le emozioni più viscerali dello spettatore.

E’ lecito attendersi un periodo di crescita inflazionaria (in senso cosmologico) del mercato, ancora nella sua infanzia ma già invaso da un pletora di dispositivi di visualizzazione che vanno da scatolette di bassa qualità agli anticipatissimi e avanzatissimi Oculus Rift , HTC Vive di Steam, l’ormai in arrivo Morpheus di Sony per la Playstation e la soluzione bare bones costituita dai Google Cardboard.

Nell’ultimo triennio abbiamo iniziato a assistere all’invasione di software che sfrutta le caratteristiche di questi dispositivi e apre all’esplorazione di un nuovo modo di comunicare. In molti casi si tratta banalmente di adattamenti di giochi pre-esistenti, la cui meccanica e punto di ripresa si prestano a una trasposizione pressoché diretta; in alcuni casi invece ci troviamo di fronte a primi tentativi di costruire qualcosa che non sia semplicemente veicolo di immersione in una virtualità che rimane “altra” rispetto all’osservatore ma che lo porti invece a farne attivamente e coscientemente parte.

Siamo solo agli albori della seconda giovinezza delle realtà sintetiche e, se in parte è superata la barriera tecnologica alla fruizione di contenuto, non vi sono ancora gli strumenti e le tecniche specifiche per la produzione degli stessi. Sarà interessante osservare l’evoluzione delle tecniche narrative e contenutistiche a mano a mano che questi strumenti emergeranno e si raffineranno.

Questa mancanza di strumenti e di processi consolidati, pone questo cinema emergente nel campo del pionierismo assoluto e chiede a chi vi si avventuri di dotarsi del miglior mix di figure professionali per condurre in porto i progetti. In questo post vorrei porre l’accento e sottolineare quelle capacità e competenze differenziali necessarie rispetto a quelle già tipiche delle produzioni televisive e cinematografiche.

Per comprendere le esigenze specifiche è necessario innanzitutto inquadrare a quali realtà si rivolgono le nostre considerazioni. Perché quando parliamo in generale di “realtà virtuale” nel lessico comune si perde la sostanziale differenza tra le forme di realtà più o meno sintetiche, differenza che conducone a sua volta a diverse modalità di fruizione del contenuto e esigenze di produzione.

Nella linea ideale che unisce una realtà totalmente virtuale alla realtà che sperimentiamo tutti i giorni, si sono affermate tre diverse forme di virtualità: esiste una Realtà Virtuale propriamente detta (VR), una Realtà Aumentata (AR) e una Virtualità Aumentata (AV).

La VR è una realtà che si sostanzia esclusivamente in ambientazioni e attraverso oggetti di sintesi presentati mediante un visore che occupa l’intero campo visivo di chi lo indossa. Lo spettatore è completamente immerso nella realtà che sperimenta e gli unici contatti che ha con il mondo esterno sono rappresentati da altre stimolazioni sensoriali (es. il tatto) veicolate da oggetti reali opportunamente disposti o da azioni dirette esercitate da attuatori meccanici (es. guanti per realtà virtuale).

Lo scopo della VR è di estrarre lo spettatore dal contesto fisico in cui si trova per portarlo altrove in una totale corrispondenza tra ciò che vede e ciò che è portato a percepire. Nella realtà virtuale la domanda “dove sei?” rivolta a chi indossa il visore ha perfettamente senso, anche se materialmente sappiamo che si trova proprio lì davanti a noi nella stessa stanza.

La AR inverte il rapporto e invece di isolare l’utente all’interno di un mondo separato, introduce elementi di sintesi nella realtà che sperimentiamoogni giorno aumentando la nostra percezione e consapevolezza dell’ambiente che ci circonda. Lo spettatore si muove liberamente nello spazio e attraverso un complesso sistema di rilevazione dei movimenti del capo, del punto di osservazione e della posizione degli oggetti e manufatti circostanti e di proiezione grafica inserisce le informazioni “aumentate” nel suo campo visivo.

Gli usi sono i più svariati: dal supporto remoto a un tecnico alle prese con una riparazione complessa, alla guida turistica virtuale fino a complessi giochi di ruolo ambientati negli spazi urbani. La complessità del sistema necessario a offrire una solida realtà aumentata ha fatto sì che questa sia ancora in leggero ritardo rispetto allo stato dell’arte della VR ma il gap si sta chiudendo e già dal 2017 assisteremo a una evoluzione ancora più interessante e ampia di quanto non offra la VR. Il potenziale della AR è enorme.

La VA è una ibridazione delle due: muove da un ambiente virtuale e vi inserisce elementi reali “astratti” dalla propria concreta solidità. E’ un esempio di Virtualità Aumentata un video a 360 gradi riprodotto all’interno di un sistema di visione per VR e sul quale vengono innestate informazioni di sintesi. Ad esempio, un documentario interattivo che mostri la velocità di un giaguaro che corre verso di noi o un video che ci metta nella cabina di pilotaggio di uno Space Shuttle indicandoci di volta in volta il ruolo e la funzione di ogni azione e strumento. Di fatto, anche se blandamente, è Virtualità Aumentata la quasi totalità dei video a 360 gradi che hanno invaso i video player di tutti i visori di VR usciti sul mercato. Nella maggior parte dei casi inutilmente, mi sento di aggiungere.

Anche partendo da queste descrizioni sommarie, è evidente che la produzione di contenuti per le varie realtà richieda una drammatica espansione delle competenze tecniche e artistiche necessarie per affrontare anche il più semplice dei progetti. Laddove l’industria cinematografica distingue tra i ruoli prevalentemente creativi e artistici (autori, attori e regista) e ruoli prevalentemente tecnici ( il direttore della fotografia e la sua squadra, fonici, elettricisti, carrellisti, specialisti degli effetti speciali) la produzione digitale virtuale, pur rispettando in principio la divisione storica, introduce una pletora di figure professionali che nell’introdurre competenze nuove sintetizzano o fanno da ponte tra le caratteristiche di ruoli prima nettamente separati.

La prima figura professionale atipica è figlia di ciò che ciò che Madre Natura ci dona gratis, la fisica che muove le cose e che pretende se non il realismo almeno la credibilità di un balzo, di un impatto o anche solo della dinamica di una camminata. Nel mondo virtuale la fisica in sé non esiste, è un mondo le cui leggi dipendono da noi e da noi vengono scritte ma che al momento in cui viene realizzato è semplicemente uno spazio infinito ma limitato, vuoto e inerte.

La fisica che si applica all’universo di una produzione per la VR o la AR va creata da zero sia che aspiriamo a riprodurre la realtà del mondo al quale siamo abituati (per esempio il fatto che un oggetto cade da una certa altezza accelerando di circa 9,8m/s2) sia che vogliamo mettere in scena un mondo di fantasia nel quale le cose cadono verso l’alto, attratte da un qualche ente misterioso.

Abbiamo quindi bisogno di figure professionali in grado di definire e modellare la fisica del nostro universo virtuale per permettere agli animatori di concentrarsi sugli aspetti non formali del movimento dei personaggi e degli oggetti principali, confidando nella coerenza di tutto il resto di un universo che richiederebbe troppo tempo gestire manualmente.

La figura del fisico, magari anche con competenze di ottica, è essenziale anche per creare le deformazioni dello spazio che tradizionalmente vengono realizzate con lenti particolari. In un mondo dinamico e digitale, si possono (e spesso si desiderano) modifiche a ciò che vediamo che è più semplice ottenere deformando direttamente gli oggetti secondo determinate leggi di trasformazione geometrica (magari specifiche per ciascuno di essi) anziché tentare di realizzare ottiche virtuali che deformino tutto in modo mediamente soddisfacente.

Anche quella dello scenografo è una figura che necessità di espandere le proprie competenze fino a includere gli effetti e il ruolo della scala di rappresentazione non più su base assoluta ma su base “locale”, potenzialmente differenziata da oggetto a oggetto e da punto di vista a punto di vista. Se la scala era già uno strumento importante per veicolare tutte le percezioni comparative innate delo spettatore (velocità, aspettative sul peso, resistenza al movimento, ecc… come già scrivevo in un mio altro post) nelle produzioni per realtà immersive la scala è essa stessa uno strumento artistico che aiuta a immedesimarsi nel protagonista. Nel cortometraggio Henry lo StoryStudio usato contemporaneamente due diversi fattori di scala: una per il riccio Henry e per la sua torta-fragola e una per tutto il resto. Se il mondo che circonda Henry e lo spettatore è nella scala ottimale per l’osservatore umano, quella di Henry e la sua fragola sono esagerate per dimensionare quello stesso mondo nella prospettiva di un riccio. Lo spettatore è trasportato ambivalentemente ora nell’una e ora nell’altra a seconda di dove guarda, così da renderlo visitatore estasiato di un mondo di fantasia molto diverso dall’esperienza quotidiana e, al tempo stesso, trasformarlo deformandolo per metterlo al livello del protagonista, assumendone la prospettiva quando c’è contatto visivo con lui. La coerenza tra le due scale è mantenuta rigorosamente durante tutto il cortometraggio e lo spettatore ora è un riccio ora un umano in modo fluido, senza effetti speciali o trasformazioni percepibili: è un potenziamento naturale della nostra capacità di comprensione del contesto. Potete verificare direttamente, anche guardando il video in 2D poco più sotto nel post, come questa modificazione della scala sia del tutto impercettibile.

Le competenze per guidare questa intersezione sensoriale scivolano rapidamente nella psicologia della percezione e nel cognitivismo, fattori che si devono innestare sull’intuito artistico per guidare la composizione scenografica e fornire i giusti elementi di valutazioni a chi controlla la camera.

Un altro considerevole cambio di paradigma che comporta una radicale revisione della tecnica narrativa deriva dalla totale libertà non solo di guardarsi attorno e guardare il protagonista ma anche di essere guardati dal protagonista. Se siamo presenti sulla scena, la scena deve mostrare consapevolezza di noi stessi. In Henry è evidente come il nostro amabile riccio cerchi costantemente il contatto visivo con voi dopo aver fatto qualcosa o quando accade un evento, quasi a cercare un’approvazione o un supporto.

Lo sceneggiatore non è più vincolato al mondo appiattito e inquadrato del cinema convenzionale. La scena avvolge lo spettatore e ci si deve aspettare che questi venga distratto o non stia osservando costantemente la performance attoriale e che questa sua libertà di osservazione e movimento in qualche modo alteri anche il comportamento di tutti gli attori virtuali. L’universo sperimentabile deve quindi essere vivo, realistico, pulsante e curatoquanto quello frontale se non addirittura essere parte integrante della narrazione.

Chi scrive sta sperimentando una piccola produzione nella quale il punto di osservazione conduce a una diversa percezione della storia, a un’esperienza filmica completamente diversa da quella percepita da uno spettatore che stia osservando altrove pur partendo dallo stesso incipit e chiudendosi con lo stesso finale. E’ evidente che se stessi vivendo in prima persona la scena madre di un thriller e, girandomi per guardare dietro di me, scorgessi il volto dell’assassino, gli eventi da quel momento in poi avrebbero per me una chiave di lettura completamente diversa da quella di uno spettatore che invece non lo avesse visto perché concentrato sul cadavere che giace a terra. Il mio punto di vista sarebbe per tutto il film quello di chi assisterebbe agli errori di valutazione della polizia o delle persone contigue all’assassino immedesimandosi in queste e vivendo un’esperienza più investigativa; al contrario quelle dell’altro spettatore sarebbe più vicino alla sensazione d’ansia perché chiunque, tra gli attori che lo circondano, potrebbe essere l’assassino e accoltellarlo da un momento all’altro. Stessa trama, stesso film, due narrazioni diverse.

E’ necessaria una nuova generazione di sceneggiatori, in grado di concepire storie che reggano non solo nella piccola finestra dello schermo cinematografico o televisivo, ma nella sostanziale realtà che sta oltre il campo di ripresa.

La tecnica di ripresa, come gli effetti speciali digitali dei film dell’ultimo decennio ci hanno mostrato, è già oggi estremamente libera. Inserire una camera virtuale dentro una pentola piena d’acqua bollente per assistere dall’interno alla rimozione del coperchio è diventato possibile da due decenni. Ma nella realtà virtuale, con le tecnologie di visualizzazione attuali, il punto di vista comporta un limite superiore nell’impossibilità di superare le capacità tecniche dei sistemi di sintesi e proiezione di ciò che vediamo. Per quanto inusuale possa sembrare, un contenuto interattivo virtuale è sempre “girato” in tempo reale. Le azioni possono essere state predeterminate dal regista e fissate per sempre in uno schema ripetitivo, a immortalare un capolavoro cinematografico immutabile, ma ciò non toglie che ogni utente, nel privato del proprio visore, assiste a una nuova messinscena che avviene in tempo reale davanti ai suoi occhi, generata in quell’istante dal proprio PC o smartphone in ragione e limite delle caratteristiche tecniche che possiede. Nel corto The Dark Sorcerer, anche se non realizzato per una fruizione in realtà virtuale, tutta la scena è definita a tavolino ma la sua resa è realizzata in tempo reale su una comune Sony Playstation, con risultati qualitativi eccellenti.

Al massimo delle proprie potenzialità, un sistema di realtà virtuale o aumentata è vincolato a un certo rapporto tra il numero di poligoni che costituiscono la geometria del mondo (inclusa la complessità delle texture grafiche che gli conferiscono credibilità estetica) e il numero di fotogrammi al secondo che è in grado di generare: più alto è il numero di poligoni e dettagliato ciò che vediamo e minore sarà il numero di fotogrammi al secondo che il sistema riesce a visualizzare. Al contrario, minore è il numero di poligoni e texture e maggiore sarà il numero di fotogrammi al secondo al prezzo di una peggiore qualità visiva e dettaglio di ciò che ci viene mostrato.

Il numero di fotogrammi al secondo è fondamentale per rendere istantanea la risposta ai movimenti della testa dell’osservatore e mantenere una coerenza tra quella che il sistema di equilibrio vestibolare dice al cervello essere la nostra posizione e ciò che vediamo, evitando nausee e vertigini durante la nostra permanenza nel mondo virtuale. Meno fotogrammi per secondo significa andare incontro a fastidi fisici tipici del mal d’auto o del mal di mare. Meno dettaglio significa non riuscire a veicolare il senso di immersione. La competenza per mantenere il rapporto ottimale tra i due valori durante l’esperienza è fondamentale per tenere lo spettatore concentrato sulla storia ed è una competenza prevalentemente tecnica che permette di indirizzare un ulteriore complessità della VR: le differenze tecnologiche tra dispositivi di visualizzazione.

Se infatti da due TV possiamo attenderci magari risoluzioni differenti ma nessun impatto sulla godibilità minima del prodotto finale, il gap di capacità di due dispositivi può rendere il contenuto del tutto non fruibile su quelli di caratura non debitamente considerata. La differenza di percezione tra due device di capacità diverse è enormemente superiore a quella che si ha passando da un film visto su un vecchio TV 4:3 analogico e lo stesso film visto in 4K su un televisore in formato cinemascope. E’ diversa perché la TV è comunque uno strumento esterno e lo spettatore rimarca nella differenza tecnologica la propria alterità rispetto a ciò che vede. Nella realtà virtuale lo spettatore è un tutt’uno con l’ambiente che osserva e la qualità di ciò che percepisce asseconda o rompe del tutto questa immedesimazione.

Non c’è grigio in questa scala di compromesso: il contenuto è realistico (nel senso che viene percepito come plausibile e se ne entra in contatto) oppure non è realistico e lo si abbandona, risparmiandoci nausea e fastidio. Quindi per ciascun device esiste un appropriato rapporto tra la complessità e la frequenza di aggiornamento che non può essere determinata solo a partire dal contenuto ma, in linea bidirezionale, deve poter anche incidere sul contenuto stesso per adattarlo laddove non vi siano le condizioni minime per rispettarne la forma e la sostanza previste.

Nel mondo dei videogiochi, che in parte ha le stesse limitazioni, esistono tecniche per ridurre dinamicamente il numero di poligoni in funzione di ciò che viene inquadrato, eliminando dalla pipeline di disegno tutto ciò che è nascosto e riducendo la qualità (numero di poligoni e texture) per gli oggetti lontani; nel mondo della realtà di sintesi (AR/VR/AV), orientato a garantire 90 fotogrammi al secondo, è necessario espandere queste tecniche tenendo in considerazione, in tempo reale, ciò che l’utente sta effettivamente guardando, riducendo o eliminando tutto ciò che pur davanti all’osservatore non è nel “campo di attenzione“.

Ogni oggetto viene avvolto in una specie di scatola invisibile le cui intersezioni geometriche e matematiche con le altre scatole e con il cono di osservazione dell’utente vengono costantemente valutate per determinare cosa nascondere anche se in piena vista e cosa mostrare anche se magari ai margini del campo visivo. Questa complessità matematica e geometrica tracima nella sfera di competenza dell’operatore di ripresa e del regista fino a indirizzarne le scelte. E’ richiesta una capacità di astrazione formale tipica del matematico e molto lontana dall’astrazione immaginativa di un creativo.

Ultimo ma non ultimo, lo scenario di staging e produzione non è il campo aperto, i riflettori, i filtri in lattice, il fonico con il boom. Il nuovo ambiente di produzione è un motore grafico 3D con il suo bagaglio di strumenti alieni al montatore video tradizionale. Engine grafici commerciali quali UnrealEngine (usato per la produzione di Henry) o Unity3D (usato per la quasi totalità delle produzioni indie) costituiscono il nuovo armamentario del produttore; sono per la realizzazione di contenuti immersivi ciò che FinalCut o Adobe Premier e gli strumenti di composizione e color correction sono per il cinema e la TV tradizionali. Ciò apre la caccia ai migliori talenti di una disciplina che finora li ha visti qualificati tra la “manovalanza” del mondo dei videogiochi e che promette di farli salire al rango dei grandi montatori.

Il regista stesso è quindi una figura plurale che somma tante figure di assistenza a supporto l’idea artistica: fisici, ottici, matematici, sviluppatori specializzati e in conseguenza, grafici, animatori, modellatori che non vengono dal mondo degli effetti speciali in post-produzione ma da quello matematicamente e informaticamente più complesso del tempo reale.

In questo scenario così scientifico e tecnologico, il direttore tecnico di produzione non è più una figura di raccordo tra i comparti tecnici ma è il vero perno attorno al quale la visione del regista può prendere forma; è una figura nella quale lo sbilanciamento verso le tecniche del mondo dei videogiochi e della simulazione in tempo reale è preponderante rispetto a quello verso le tecniche tradizionali del cinema. Una figura che oggi manca perché la formazione dei direttori di produzione dell’industria ludica ha mancato l’aspetto artistico e formale quanto la formazione dei direttori tecnici cinematografici ha totalmente ignorato le tendenze tecnologiche al contorno.

Fisici, matematici, psicologi della percezione, sviluppatori di videogiochi e simulazioni affiancheranno il team tradizionale al servizio di storie sempre più emozionanti per portare scienza e tecnologia nel mondo delle arti, in attesa che nasca per loro una nuova nomenclatura e figure professionali definite e replicabili sulla base di una formazione consolidata.

Quale sarà il primo brand dell’audiovisivo a dotarsi di un VR Cinema Team?