SEMINARIO: Introduzione ai Transformer e all’attenzione in Machine Learning

Seminario a cura di Nicola Quercioli, Angelo Mariano (ENEA)

14 aprile 2022 ore 16:00


Sede dell'evento - AULA A - Dipartimento Interateneo di Fisica

I Transformer sono una tipologia di rete neurale principalmente basato sul meccanismo dell’“attenzione” che, a partire dal 2017, ha acquisito sempre maggiore importanza nel campo del Natural Language Processing (NLP).
Recentemente, gli ottimi risultati ottenuti in NLP hanno interessato e spinto la comunità del Machine Learning a studiare ulteriori possibili applicazioni. Fra i molti vantaggi, il meccanismo dell'attenzione permette di modellizzare le dipendenze a lungo raggio fra sequenze di input e supportare il calcolo parallelo, superando quindi le reti neurali ricorrenti.

Inoltre, il semplice design dei Transformer permette di operare su molteplici tipi di dato (per es. immagini, video, testi) utilizzando blocchi di elaborazione simili e dimostrando un'eccellente scalabilità rispetto a grandi moli di dati. In questo seminario analizzeremo le caratteristiche del meccanismo dell’attenzione e approfondiremo l’applicazione dei Transformer a problemi concreti di varia natura.

 

Azioni sul documento

published on 06/04/2022 ultima modifica 06/04/2022