MoCap facciale markerless

Proviamo FACEWARE, un software di Mocap markerless compatibile con le piattaforme Unity e Unreal.

Usare in ambito “domestico” Mocap facciale oggi è sempre più comune grazie alla disponibilità di prodotti software accessibili e basati su algoritmi markeless affidabili.
L’utilizzo di tecniche di tracking markless, solleva numerose problematiche di carattere tecnico-implementativo a causa delle numerose variabili (luce, ambiente, conformazione del volto, pattern recognize, ecc.) e delle difficoltà nell’interpretare movimenti muscolari interni (come la mascella).
La ricerca scientifica in tale ambito sta facendo passi da gigante, grazie anche all’affinamento degli algoritmi di face-recognize (utilizzati oggi all’interno dei dispositivi mobile), all’integrazione di processi AI e alla potenza di calcolo sempre maggiore presente nei nostri computer domestici.
Alcuni dei più moderni approcci in tale ambito, fa uso di dataset di ricognizioni facciali con marcatori usati come riferimento per l’implementazione di algoritmi di mappatura non-lineare delle pelle, risalendo così a “pose” di riferimento.
La creazione di questi archivi, ovviamente, implica un impegno notevole al fine di ricostruire un dominio sufficiente per la ricognizione delle movimenti (si consideri che alcuni lavori di ricerca hanno addirittura costretto l’utilizzo di marker applicati sui denti per un più preciso tracciamento dei movimenti mascellari di riferimento).

from Gaspard Zoss, Derek Bradley, Pascal Bérard, and Thabo Beeler. 2018. An Empirical
Rig for Jaw Animation. ACM Transactions on Graphics 37, 4 (2018), 59:1—-59:12.
https://doi.org/10.1145/3197517.3201382

L’applicazione di queste tecniche trova applicazione in vari ambiti, da quello medico-scientifico (per l’identificazione e l’individuazione di deformazioni posturali e/o muscolari) all’ambito rappresentativo (ad esempio cinematografico) dove permette di creare sincronismo espressivo fra attori e personaggi digitali, facilitando la creazione di “alterego” virtuali con cui interagire in ambiente VR anche da remoto.
L’utilizzo di “rig” virtuali e morph-pose digitali, stanno portando a risultati sempre più affidabili anche in contesti low-budget, con l’utilizzo di camere di media risoluzione in ambienti luminosi eterogenei.

Proviamo Faceware studio

Fra i tanti software oggi disponibili, ho voluto provato FACEWARE STUDIO, scaricabile in TRIAL dal sito https://facewaretech.com/software/studio/
Questo programma consente l’analisi in tempo reale delle deformazioni facciali senza l’utilizzo di marker e con una semplice camera (anche quella integrata nel notebook), dopo una rapidissima calibrazione iniziale.

Unreal Engine 4.25 supporta le nuvole di punti

Ora è possibile importare, visualizzare ed interagire con le nuvole di punti LIDAR o fotogrammetriche in UE4

Importante aggiornamento nella versione 4.25 del famoso ambiente di sviluppo in realtime di casa EPIC GAMES. Grazie all’integrazione di un precedente plugin esterno, ora è possibile importare e utilizzare in modo nativo le nuvole di punti elaborate con strumentazione LIDAR o con fotogrammetria. Questo aggiornamento, fortemente orientato al settore architettonico/ingegneristico, segna un importante scelta di mercato da parte di Epic Games, che accontenta quella parte di utilizzatori che usano Unreal Engine per elaborazioni ArchView interattive (e non) sfruttando il motore di render e gli algoritmi Raytracing presenti all’interno.

Manuale XPRESSO per Cinema 4D

MAXON Cinema 4D R20 – A detalied Guide to XPress 2nd Edition
Pradeep Mamgain, 2019
Ed.PADEXI Academy

Il linguaggio di programmazione nodale in casa Maxon, denominato XPresso, rappresenta uno degli strumenti avanzati di creazione che consente un raccordo tra gli oggetti 3D della scena e expression di automatizzazione parametrica, offrendo al progettista un pieno controllo del comportamento nello spazio 3D.

Questo è, senza dubbio, uno degli argomenti che può differenziare un utente esperto di grafica 3D.

Nel panorama manualistico, testi che affrontano questo argomento sono quasi esclusivamente in lingua inglese, probabilmente proprio per la natura elitaria che l’approccio nodale comporta.

Questo testo, sebbene orientato alla versione R20 di Cinema 4D, lo considero ancora tra i migliori manuali introduttivi all’utilizzo di questa tecnica di programmazione grafica, offrendo l’opportunità di comprendere la logica dell’editor nodale di casa MAXON, lasciando ovviamente all’utente la facoltà di aggiornare l’utilizzo dei nodi introdotti nelle versioni successive con il solo supporto della guida in linea, presente già all’interno del programma.

Appena sfogliato, devo ammettere, che l’impaginazione grafica mi ha lasciato un po’ perplesso.
Si intuisce subito che l’autore ha tentato di personalizzare la convenzione iconica con l’intento di facilitare la lettura ma che, a mio avviso, può risultare inizialmente un po’ troppo articolata e confusionaria.
Continuando la lettura, però, devo ammettere che la scelta delle icone e dei font rende l’uso del manuale più immediato.

I paragrafi affrontano in modo ordinato tutti i nodi delle classi Xpresso e Motion Graphics, spiegando per ciascun nodo le funzionalità e le principali impostazioni, aggiungendo ai principali esempi di configurazione che ne illustrano la logica.

Contattando l’autore, tramite apposito link indicato nel testo, si riceve un’email con i files necessari a svolgere agevolmente gli esercizi previsti nel testo ed un archivio delle immagini a colori contenute nel libro (purtroppo il testo è stampato bianco e nero e alcune immagini risultano un po’ difficili da comprendere).

I riferimenti contenuti negli esempi sono abbastanza efficaci anche in eventuali trasposizioni e applicazioni personalizzate che possiamo facilmente immaginare durante la lettura.

Riassumendo, dopo un po’ di scetticismo iniziale, devo ammettere che il testo può considerarsi scritto bene, in un inglese facile da comprendere, esaurendo gran parte degli argomenti in modo basilare e permettendo così al lettore una immediata comprensione dell’ambiente di programmazione XPresso.
E’ un libro che consiglio ai miei studenti che vogliono affacciarsi al mondo della programmazione nodale grafica aprendo a nuove potenzialità produttive 3D.