Ricostruzione tridimensionale dalle immagini, visualizzazione e localizzazione nell'ambito del progetto VISIT (PRIN 2009)

Starting date
November 15, 2011
Duration (months)
24
Departments
Computer Science, Department of Engineering for Innovation Medicine
Managers or local contacts
Fusiello Andrea

Lo scopo del progetto VISIT è produrre un sistema completamente autonomo, basato su metodi di visione e grafica computazionali, per turisti in visita a siti culturali e centri storici cittadini. In particolare, l'ambizione del progetto VISIT è di contribuire in modo efficace alla letteratura dei metodi di navigazione basata sul web con forte enfasi alla ricostruzione geometricamente consistente della scena 3D.
Negli ultimi anni si è assistito alla grande diffusione di applicazioni che favoriscono libero accesso e scambio di materiale multimediale (in particolare immagini e video) a utenti di una comunità. Flickr, Picasa, YouTube sono solo alcune delle applicazioni disponibili in un mondo in continua crescita. Nel contempo il web, guidato dalla visionaria Google, ha favorito la diffusione di strumenti di supporto alla navigazione e all'orientazione (es. Google Earth o Google Street View). Se tali applicazioni stanno senza dubbio cambiando le abitudini delle persone è soprattutto grazie a dispositivi mobili che forniscono all'utente l'accesso a tutte queste informazioni, ovunque egli si trovi.

Dal punto di vista della ricerca, problemi classici della visione computazionale, come Structure-and-Motion (SaM) non calibrato e annotazione di immagini, sono oggi pronti per diventare applicazioni prototipali per il mondo reale, in scenari ben definiti. Funzionalità di visualizzazione 3D ed interfacce efficaci sono fondamentali per attrarre i consumatori, abituati ad applicazioni di semplice utilizzo. Fortunatamente, l'hardware grafico di ultima generazione, disponibile anche su calcolatori del mercato consumatore, supporta la visualizzazione interattiva di scene 3D, fino a pochi anni fa possibile solo con calcolatori dalle alte prestazioni.

I metodi sviluppati in VISIT saranno integrati in un'architettura ispirata a Web 2.0, per l'accesso e la creazione di informazioni multimediali per dispositivi mobili e fissi. Per l'utente, il punto di partenza sarà un modello 3D della scena di interesse. Egli potrà interagire con esso e navigarlo grazie a funzioni di visualizzazione dedicate. L'accesso al sistema sarà possibile secondo due diverse modalità: “in sito”, da dispositivi mobili, come guida interattiva di navigazione, “a casa”, da pc, per archiviare materiale personale (note, immagini, video), personalizzare il modello 3D esistente e scambiare informazioni con altri utenti.

“In sito”, una precisa localizzazione rispetto al modello 3D consente all'utente visualizzazioni in realtà aumentata, per esempio di tornare indietro nel tempo per apprezzare l'aspetto della stessa scena come era secoli o anni prima. L'annotazione automatica di un'immagine acquisita col dispositivo mobile guiderà l'utente ad esplorare gli elementi più interessanti della scena e ad accedere ad informazioni multimediali. “A casa”, la classificazione di immagini verrà usata per etichettare automaticamente immagini archiviate dall'utente per future ricerche. Funzionalità aggiuntive di visualizzazione (in particolare stereo) offriranno esperienze alternative di navigazione del sito.

Le sfide del progetto VISIT sono diverse e coprono i vari aspetti della ricerca che condurremo. Alcune di esse sono legate alla natura instrinseca degli ambienti di interesse:
- Palazzi alti e strade strette (tipici di molti centri città medievali) porranno interessanti sfide ai moduli di visione computazionale: il calcolo delle corrispondenze tra immagini e la ricostruzione di scene 3D dovranno gestire scarsa visibilità, occlusioni e forti deformazioni dovute alla prospettiva.
- Le stesse condizioni porranno problemi alla localizzazione; ci affideremo in un primo tempo ad una localizzazione grezza fornita da una combinazione di sensori di localizzazione. Poi, progetteremo metodi interamente basati sulla visione computazionale per ottenere una localizzazione con precisione fotogrammetrica.
- Si può assumere che nella scena di interesse saranno presenti persone ed altri elementi di disturbo. Grazie alla detezione di oggetti si individueranno elementi che non sono legati al sito (in particolare persone e veicoli) e li si gestirà in modo opportuno.
Altre sfide sono legate al tipo di servizio che si vuole offrire all'utente:
- L'adozione di architetture basate su web che permette di sviluppare soluzioni altamente portabili, richiederà lo sviluppo di efficienti strumenti di navigazione per un' adeguata fruizione delle informazioni 3D.
- La modalità “in sito” indurrà due importanti requisiti: primo, risposte in tempo reale all'utente; secondo, progettazione di architetture client-server in cui dispositivi mobili possono inviare al server richieste di localizzazione o annotazione automatica.

Il progetto VISIT fornirà metodi allo stato dell'arte per le problematiche descritte, integrati in un'architettura prototipale e due prodotti dimostrativi (istanze dell'applicazione su specifici siti) per mostrare l'efficacia delle soluzioni.

Sponsors:

PRIN VALUTATO POSITIVAMENTE
Funds: requested
Syllabus: COFIN - Progetti di Ricerca di Interesse Nazionale

Project participants

Andrea Fusiello
Valeria Garro
Andrea Giachetti
Full Professor
Research areas involved in the project
Intelligenza Artificiale
Computer graphics
Share