Corso di Big Data per l’Intelligenza Artificiale
A.A. 2026/2027

Diario delle lezioni

Totale: 24 lezioni da 2 ore (2*24 = 48 ore) (corrispondenti a 6 CFU).

21 settembre 2026 (Lezione n° 1 da 2 ore)

• Presentazione del corso
• Introduzione al Data Mining
• Introduzione ai Big Data
• Principio di Bonferroni
• Introduzione agli algoritmi

22 settembre 2026 (Lezione n° 2 da 2 ore)

• Introduzione alla computazione distribuita e concorrente
• MapReduce e sua implementazione Hadoop: introduzione
• File system distribuito HDFS: files e chunck
• Architettura distribuita multirack
• Gestione dei fallimenti
• MapReduce: progettazione di algoritmi distribuiti
• Map task
• Reduce task
• Backup Tasks
• Combiners
• Funzione di partizione

28 settembre 2026 (Lezione n° 3 da 2 ore)

• Rappresentazione di matrici sparse
• MapReduce: prodotto matrice vettore
• Introduzione ai grafi
• Rappresentazione di grafi tramite matrici di adiacenza
• MapReduce: cammini di lunghezza 2 in grafi

29 settembre 2026 (Lezione n° 4 da 2 ore)

• MapReduce: prodotto di matrici in 2 step
• MapReduce: prodotto di matrici in un unico step
• Estensioni di MapReduce: i Workflow
• Spark: RDD, trasformazioni, azioni, Lazy evaluation, Lineage
• MapReduce: cammini di lunghezza 3 in grafi

5 ottobre 2026 (Lezione n° 5 da 2 ore)

• Modello di “costo di comunicazione” in MapReduce
• Reducer Size e Replication Rate
• Mapping schema: grafo bipartito input/output
• Similarity join con MapReduce
• Esercizio su MapReduce

6 ottobre 2026 (Lezione n° 6 da 2 ore)

• Esercizi su MapReduce
• Lower bound al replication rate
• Introduzione a Similar items
• Jaccard similarity
• Shingling di documenti di testo
• Introduzione a funzioni Hash

12 ottobre 2026 (Lezione n° 7 da 2 ore)

• Compressione di shingles con funzioni Hash
• Vettore caratteristico e matrice caratteristica
• Minhashing e Jaccard similarity
• Minhash signature e matrice delle firme
• Calcolo della matrice delle firme

13 ottobre 2026 (Lezione n° 8 da 2 ore)

• Locality-Sensitive Hashing: dividere la matrice in bande
• Il procedimento completo per la similarità di documenti di testo
• Esercizio su Map-Reduce

19 ottobre 2026 (Lezione n° 9 da 2 ore)

• Esercizio su MinHasing
• Misure di distanza: distanze euclidee, distanza di Jaccard, distanza coseno, Edit distance, distanza di Hamming
• Teoria Locality-Sensitive Hashing
• AND-construction, OR-constriction, S-curve
• LSH per distanza di Hamming

20 ottobre 2026 (Lezione n° 10 da 2 ore)

• LSH per distanze euclidee
• Matching di impronte digitali
• Frequent itemset: introduzione e applicazioni
• Supporto, frequenza

26 ottobre 2026 (Lezione n° 11 da 2 ore)

• Regole di associazione: confidenza, interesse
• Algoritmo A-Priori
• Esempio esecuzione Algoritmo A-Priori

3 novembre 2026 (Lezione n° 12 da 2 ore)

• Algoritmo di Park-Chen-Yu (PCY)
• Varianti multi-stage e multi-hash dell’algoritmo PCY
• Esempio di prestazioni migliorate con la variante multi-hash PCY
• Algoritmo randomizzato “semplice”
• Algoritmo distribuito di Savarese-Savasere-Omiecinski-Navathe (SON)

4 novembre 2026 (Lezione n° 13 da 2 ore – ore 11.00-13.00)

• Algoritmo di Tovoinen
• Esercizio su bordo negativo
• Esercizi su MapReduce in preparazione all’esonero

4 novembre 2026 (Lezione n° 14 da 2 ore – ore 14.00-16.00)

• Esercizi su MapReduce in preparazione all’esonero
• Introduzione al problema del Clustering (parte prima)