CLEBA

Lingua Insegnamento:

Italiano
Testi di riferimento:

I. Goodfellow, Y. Bengio, A. Courville, Deep Learning, MIT Press, 2016.
M. P. Deisenroth, A. A. Faisal, C. S. Ong, Mathematics for Machine Learning, Cambridge University Press, 2020.
C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006.
Ulteriori materiali bibliografici, dispense, articoli scientifici e risorse software saranno indicati durante il corso.
Obiettivi formativi:

Il corso è volto a fornire allo studente gli strumenti matematici di base per l’analisi, la comprensione e l’utilizzo critico dei principali modelli di deep learning. In particolare, tale obiettivo è correlato ai seguenti risultati di apprendimento.
Conoscenza e comprensione – L’insegnamento intende fornire allo studente conoscenze e competenze riferite ai concetti fondamentali e al linguaggio matematico proprio del deep learning. Dette conoscenze e competenze riguardano in particolare l’algebra lineare, il calcolo differenziale, l’ottimizzazione, la probabilità e la statistica applicate ai modelli di apprendimento automatico. Lo studente dovrà comprendere la struttura matematica delle reti neurali, il significato delle funzioni di perdita, il ruolo del gradiente, il funzionamento della backpropagation e i principali meccanismi che influenzano l’apprendimento e la generalizzazione.
Capacità di applicare conoscenza e comprensione – L’insegnamento intende favorire lo sviluppo della capacità di applicare gli strumenti matematici acquisiti all’analisi di semplici modelli di deep learning. Tale risultato si persegue attraverso un approccio didattico volto ad affiancare alla trattazione teorica esempi, esercizi e discussione di modelli concreti. La capacità di applicare conoscenza e comprensione si manifesta nella capacità dello studente di descrivere matematicamente una rete neurale, interpretare una funzione di perdita, calcolare o discutere gradienti, comprendere i passaggi essenziali della backpropagation, analizzare il ruolo degli iperparametri e valutare criticamente fenomeni quali overfitting, regolarizzazione e generalizzazione.
Autonomia di giudizio – Il corso intende sviluppare nello studente la capacità di valutare criticamente le scelte modellistiche e algoritmiche alla base dei sistemi di deep learning, con particolare riferimento al ruolo dei dati, alla complessità del modello, alla stabilità dell’apprendimento e ai limiti delle soluzioni ottenute.
Abilità comunicative – Lo studente dovrà acquisire la capacità di esporre con linguaggio matematico appropriato i principali concetti del corso, collegando formule, algoritmi e interpretazioni geometriche o probabilistiche.
Capacità di apprendimento – Il corso intende fornire allo studente le basi per affrontare autonomamente testi avanzati, articoli scientifici e documentazione tecnica relativi al machine learning e al deep learning.
Prerequisiti:

Per agevolare la frequenza e l’apprendimento dei contenuti del corso è opportuno che gli studenti possiedano conoscenze di base di algebra lineare, analisi matematica e probabilità. In particolare, sono utili familiarità con vettori, matrici, derivate, gradienti, funzioni di più variabili, distribuzioni di probabilità e nozioni elementari di programmazione scientifica.
Non è richiesta una conoscenza preliminare approfondita del deep learning, che verrà introdotto durante il corso a partire dai suoi fondamenti matematici.
Metodi didattici:

Lezioni frontali.
Esercitazioni.
Presentazione e discussione di esempi matematici e computazionali relativi a semplici modelli di deep learning.
Modalità di verifica dell'apprendimento:

Conoscenza e comprensione – L’efficacia formativa dell’insegnamento è verificata attraverso una prova scritta e/o un colloquio orale individuale. La prova scritta consiste in esercizi e domande teoriche riferite ai principali argomenti del corso, con l’obiettivo di accertare la conoscenza degli strumenti matematici e la capacità dello studente di articolare in modo sintetico e corretto i concetti fondamentali.
Il colloquio orale individuale, quando previsto, consiste in domande volte ad approfondire alcuni dei temi del programma, anche tra quelli ricompresi nella prova scritta, con la finalità di verificare la capacità dello studente di analizzare aspetti più specifici e di collegare tra loro i diversi strumenti matematici utilizzati nel deep learning.
Capacità di applicare conoscenza e comprensione – Durante la prova d’esame il docente verifica inoltre la capacità dello studente di applicare le conoscenze acquisite all’analisi di semplici modelli di deep learning. In particolare, potranno essere richiesti esercizi o discussioni relativi alla rappresentazione matematica di una rete neurale, al calcolo di gradienti, all’applicazione della regola della catena, all’interpretazione di funzioni di perdita, al funzionamento della backpropagation, ai metodi di ottimizzazione e ai fenomeni di overfitting e regolarizzazione.
La valutazione dell’esame è espressa in trentesimi e tiene conto della correttezza matematica, della chiarezza espositiva, della capacità di applicare gli strumenti studiati e della capacità di collegare aspetti teorici, algoritmici e interpretativi.

Gli studenti e le studentesse con disabilità, DSA o altri bisogni educativi speciali possono usufruire di un trattamento individualizzato in sede di esame, nel rispetto della normativa e di quanto previsto nella Carta dei Servizi di Ateneo (https://www.unich.it/sites/default/files/2024-02/carta_dei_servizi_0.pdf), previa intesa con il docente della materia. Per richiedere le misure compensative e dispensative è necessario afferire al Servizio CON_TE_STO seguendo la procedura indicata nella Carta dei Servizi.
Si invitano gli studenti e le studentesse a prendere contatti con la/il docente durante lo svolgimento delle lezioni, o comunque con largo anticipo rispetto alla data dell’appello, per conoscere le modalità di esame e le misure che sono accettate.
Per essere orientati e indirizzati ai diversi servizi offerti dall’Ateneo è possibile contattare il Docente Referente del Dipartimento, Prof. Domenico Raucci..
Sostenibilità:
Obiettivi Agenda 2030 per lo sviluppo sostenibile:

Questo insegnamento concorre alla realizzazione degli obiettivi ONU dell’Agenda 2030 per lo Sviluppo Sostenibile, con particolare riferimento agli obiettivi 4, 5, 9 e 12: istruzione di qualità; uguaglianza di genere; industria, innovazione e infrastrutture; consumo e produzione responsabili.

In particolare, il corso contribuisce alla formazione di competenze matematiche e metodologiche utili per comprendere e sviluppare in modo consapevole modelli di intelligenza artificiale e deep learning. L’insegnamento promuove pari opportunità di accesso e partecipazione alla formazione nell’ambito dell’intelligenza artificiale e delle competenze digitali. Particolare attenzione potrà essere dedicata, ove pertinente rispetto agli argomenti del corso, all’uso efficiente delle risorse computazionali, alla robustezza dei modelli, alla trasparenza degli algoritmi e alla valutazione critica dei sistemi di apprendimento automatico.
Altre Informazioni:

E-mail: maurizio.parton@unich.it.
WhatsApp o Telegram: 349-5323-199.

Il corso di Matematica per il Deep Learning descrive e approfondisce i principali strumenti matematici necessari per comprendere i moderni modelli di apprendimento automatico e, in particolare, le reti neurali profonde.
In particolare, vengono presi in esame: i concetti generali del deep learning come problema matematico di approssimazione e ottimizzazione; gli strumenti di algebra lineare per la rappresentazione di dati, parametri e trasformazioni; gli elementi di calcolo differenziale necessari per comprendere il ruolo del gradiente e della regola della catena; la formulazione matematica delle reti neurali feed-forward; le funzioni di perdita per problemi di regressione e classificazione; l’algoritmo di backpropagation; i principali metodi di ottimizzazione basati sul gradiente; gli elementi di probabilità e statistica utili per interpretare l’apprendimento; i concetti di generalizzazione, overfitting e regolarizzazione.
Il corso introduce inoltre alcune strutture matematiche ricorrenti nelle architetture profonde, quali convoluzioni, meccanismi di attenzione e rappresentazioni geometriche dei dati, con l’obiettivo di fornire allo studente una base rigorosa ma operativa per comprendere e utilizzare consapevolmente i modelli di deep learning.

Introduzione matematica al deep learning
° deep learning come classe di modelli parametrici;
° dati, rappresentazioni, parametri e funzioni di perdita;
° apprendimento supervisionato;
° training set, validation set e test set;
° rischio empirico e problema di ottimizzazione.

Algebra lineare per il deep learning
° vettori, matrici e tensori;
° spazi vettoriali, basi e dimensione;
° prodotti scalari, norme e distanze;
° matrici e trasformazioni lineari;
° composizione di trasformazioni;
° autovalori, autovettori e decomposizioni matriciali;
° embeddings e rappresentazioni latenti.

Calcolo differenziale
° funzioni di più variabili;
° derivate parziali e gradiente;
° matrice jacobiana;
° regola della catena;
° derivate di funzioni composte;
° interpretazione geometrica del gradiente;
° cenni alla differenziazione automatica.

Reti neurali feed-forward
° neurone artificiale;
° strati lineari;
° funzioni di attivazione;
° reti multilayer perceptron;
° composizione di funzioni;
° profondità, larghezza ed espressività del modello.

Funzioni di perdita
° errore quadratico medio;
° cross-entropy;
° softmax;
° regressione e classificazione;
° interpretazione probabilistica dell’output;
° relazione tra funzione di perdita, dati e modello.

Backpropagation
° propagazione in avanti;
° propagazione all’indietro;
° calcolo dei gradienti rispetto a pesi e bias;
° ruolo della regola della catena;
° interpretazione computazionale della backpropagation;
° problemi di vanishing gradient ed exploding gradient.

Ottimizzazione per il deep learning
° discesa del gradiente;
° stochastic gradient descent;
° mini-batch gradient descent;
° momentum;
° metodi adattivi;
° learning rate;
° paesaggio della funzione di perdita;
° convessità e non convessità.

Probabilità, statistica e generalizzazione
° variabili aleatorie e distribuzioni di probabilità;
° valore atteso, varianza e covarianza;
° massima verosimiglianza;
° interpretazione probabilistica della classificazione;
° overfitting e underfitting;
° bias, varianza e complessità del modello;
° regolarizzazione L1 e L2;
° weight decay, dropout ed early stopping.

Cenni ad architetture profonde
° reti convoluzionali e operatore di convoluzione;
° pooling e rappresentazioni locali;
° invarianza ed equivarianza;
° meccanismi di attenzione;
° cenni a transformer, graph neural networks e geometric deep learning.

Interpretazione e limiti dei modelli
° robustezza e stabilità dell’apprendimento;
° sensibilità rispetto ai dati di input;
° interpretabilità delle rappresentazioni apprese;
° ruolo dei dati e dei bias;
° uso critico e responsabile dei modelli di deep learning.