Il corso di Matematica per il Deep Learning descrive e approfondisce i principali strumenti matematici necessari per comprendere i moderni modelli di apprendimento automatico e, in particolare, le reti neurali profonde.
In particolare, vengono presi in esame: i concetti generali del deep learning come problema matematico di approssimazione e ottimizzazione; gli strumenti di algebra lineare per la rappresentazione di dati, parametri e trasformazioni; gli elementi di calcolo differenziale necessari per comprendere il ruolo del gradiente e della regola della catena; la formulazione matematica delle reti neurali feed-forward; le funzioni di perdita per problemi di regressione e classificazione; l?algoritmo di backpropagation; i principali metodi di ottimizzazione basati sul gradiente; gli elementi di probabilita e statistica utili per interpretare l?apprendimento; i concetti di generalizzazione, overfitting e regolarizzazione.
Il corso introduce inoltre alcune strutture matematiche ricorrenti nelle architetture profonde, quali convoluzioni, meccanismi di attenzione e rappresentazioni geometriche dei dati, con l?obiettivo di fornire allo studente una base rigorosa ma operativa per comprendere e utilizzare consapevolmente i modelli di deep learning.

Introduzione matematica al deep learning
? deep learning come classe di modelli parametrici;
? dati, rappresentazioni, parametri e funzioni di perdita;
? apprendimento supervisionato;
? training set, validation set e test set;
? rischio empirico e problema di ottimizzazione.

Algebra lineare per il deep learning
? vettori, matrici e tensori;
? spazi vettoriali, basi e dimensione;
? prodotti scalari, norme e distanze;
? matrici e trasformazioni lineari;
? composizione di trasformazioni;
? autovalori, autovettori e decomposizioni matriciali;
? embeddings e rappresentazioni latenti.

Calcolo differenziale
? funzioni di piu variabili;
? derivate parziali e gradiente;
? matrice jacobiana;
? regola della catena;
? derivate di funzioni composte;
? interpretazione geometrica del gradiente;
? cenni alla differenziazione automatica.

Reti neurali feed-forward
? neurone artificiale;
? strati lineari;
? funzioni di attivazione;
? reti multilayer perceptron;
? composizione di funzioni;
? profondita, larghezza ed espressivita del modello.

Funzioni di perdita
? errore quadratico medio;
? cross-entropy;
? softmax;
? regressione e classificazione;
? interpretazione probabilistica dell?output;
? relazione tra funzione di perdita, dati e modello.

Backpropagation
? propagazione in avanti;
? propagazione all?indietro;
? calcolo dei gradienti rispetto a pesi e bias;
? ruolo della regola della catena;
? interpretazione computazionale della backpropagation;
? problemi di vanishing gradient ed exploding gradient.

Ottimizzazione per il deep learning
? discesa del gradiente;
? stochastic gradient descent;
? mini-batch gradient descent;
? momentum;
? metodi adattivi;
? learning rate;
? paesaggio della funzione di perdita;
? convessita e non convessita.

Probabilita, statistica e generalizzazione
? variabili aleatorie e distribuzioni di probabilita;
? valore atteso, varianza e covarianza;
? massima verosimiglianza;
? interpretazione probabilistica della classificazione;
? overfitting e underfitting;
? bias, varianza e complessita del modello;
? regolarizzazione L1 e L2;
? weight decay, dropout ed early stopping.

Cenni ad architetture profonde
? reti convoluzionali e operatore di convoluzione;
? pooling e rappresentazioni locali;
? invarianza ed equivarianza;
? meccanismi di attenzione;
? cenni a transformer, graph neural networks e geometric deep learning.

Interpretazione e limiti dei modelli
? robustezza e stabilita dell?apprendimento;
? sensibilita rispetto ai dati di input;
? interpretabilita delle rappresentazioni apprese;
? ruolo dei dati e dei bias;
? uso critico e responsabile dei modelli di deep learning.