TRANSFER AND ADAPTIVE LEARNING IN IMPERFECT MULTIMODAL DATA SCENARIOS - TALIM

Questo progetto mira a indagare l'apprendimento multimodale attraverso la lente dei dati imperfetti, dove per imperfetti si intendono dati non etichettati, parzialmente etichettati o con etichette rumorose (sbagliate), con pochi campioni, con classi rappresentate in modo sbilanciato, o una combinazione di questi problemi.

In particolare, questo progetto, denominato TALIM, Transfer and Adaptive Learning in Imperfect Multimodal data scenarios, si propone di indagare approcci e metodi di Computer Vision e Deep Learning in presenza di dati multimodali imperfetti lungo tre linee di ricerca. In primo luogo, TALIM mira a esplorare metodi auto-supervisionati per far fronte all’assenza di etichette, sfruttando al tempo stesso la natura multimodale dei dati per costruire robusti modelli pre-addestrati. Affrontiamo anche questi difetti dei dati in contesti multimodali negli scenari di adattamento del dominio di contesto (DA), in cui diverse modalità possono supportarsi a vicenda per aumentare la generalizzazione del modello, la robustezza al rumore e l'adattamento a una modalità diversa. A tal fine, è possibile sfruttare l’aumento dei dati e persino la generazione di nuovi campioni sintetici per far fronte alla scarsità di dati. In terzo luogo, è possibile progettare metodi di distillazione basati su architetture insegnante-studente, al fine di estrarre informazioni rilevanti da entrambi i flussi e gestire situazioni in cui una modalità potrebbe mancare o essere inaffidabile/rumorosa.

L’apprendimento multimodale con dati imperfetti pone impegnative domande aperte per affrontare effettivamente i domini applicativi che funzionano effettivamente in natura, su come i sistemi computazionali possono adattarsi a nuovi ambienti, scenari e attività quando a priori non sono disponibili informazioni, o sono poche o sono corrotte. Sebbene questi argomenti siano già affrontati in letteratura, sono state proposte solo soluzioni specifiche su misura per casi d’uso unimodali mentre uno studio sistematico di questi scenari su dati multimodali non ha ricevuto sufficiente attenzione.

L’idea tecnica fondamentale per affrontare questi problemi si basa sullo sviluppo di metodi di aumento e/o generazione dei dati. L'intuizione è che i problemi derivanti da dati con annotazioni mancanti, parzialmente mancanti o errate, nonché classi sottorappresentate o mal rappresentate, possono essere affrontati trovando un'adeguata trasformazione dei dati disponibili, o anche generando dati sintetici adeguati in grado di correggere o riequilibrare i difetti dei campioni disponibili.

Nel contesto di questi scenari non ideali, TALIM mira a:
 

• Progettare un framework che unifica l'aumento dei dati e la generazione di dati per l'adattamento del dominio in scenari di dati multimodali imperfetti, in modo che i dati generati/aumentati possano essere sfruttati in attività di apprendimento di interesse migliorando al contempo le prestazioni del modello.
• Lungo la stessa linea strategica, sviluppare metodi di formazione auto-supervisionata che sfruttino i diversi dati multimodali e il paradigma della distillazione in contesti multimodali imperfetti, soprattutto quando le etichette sono completamente non disponibili.
• Applicare tali algoritmi a diversi casi d'uso reali di interesse nelle aree del controllo dei processi industriali, dell'analisi comportamentale, della biomedicina e della salute e possibilmente del monitoraggio del clima e dell'ambiente.