Diario delle lezioni

Ogni lezione è da 2 ore.

Totale: 24 lezioni (2*24 = 48 ore) per 6 CFU.

7 ottobre 2019 (Lezione n° 1)

• Presentazione del corso
• Introduzione al Data Mining
• Introduzione ai Big Data
• Principio di Bonferroni

8 ottobre 2019 (Lezione n° 2)

• Introduzione alla computazione distribuita e concorrente
• MapReduce e sua implementazione Hadoop: introduzione
• File system distribuito HDFS: files e chunck
• Architettura distribuita multirack
• Gestione dei fallimenti
• Introduzione all’incontro con Fastweb

9 ottobre 2019 (Lezione n° 3)

• MapReduce: progettazione di algoritmi distribuiti
• Map task
• Reduce task
• Combiners
• Funzione di partizione
• Esempio di esecuzione di Hadoop

14 ottobre 2019 (Lezione n° 4)

• MapReduce: prodotto matrice vettore
• MapReduce: cammini di lunghezza 2 in grafi
• MapReduce: prodotto di matrici in 2 step e in unico step

15 ottobre 2019 (Lezione n° 5)

• Estensioni di MapReduce: i Workflow
• Spark: RDD, trasformazioni, azioni, Lazy evaluation, Lineage
• Modello di costo di comunicazione in MapReduce
• Reducer Size e Replication Rate

21 ottobre 2019 (Lezione n° 6)

• Mapping schema: grafo bipartito input/output
• Similarity join con MapReduce
• Lower bound al reoplication rate
• Introduzione a Similar items
• Jaccard similarity
• Shingling di documenti di testo

22 ottobre 2019 (Lezione n° 7)

• Minhashing e Jaccard similarity
• Minhash signature
• Locality-Sensitive Hashing: dividere la matrice in bande
• Il procedimento complete

28 ottobre 2019 (Lezione n° 8)

• Misure di distanza: distanze euclidee, distanza di Jaccard, distanza coseno, Edit distance, distanza di Hamming
• Teoria Locality-Sensitive Hashing
• AND-construction, OR-constriction, S-curve

29 ottobre 2019 (Lezione n° 9)

• LSH per distanza di Hamming
• LSH per distanze euclidee
• Matching di impronte digitali
• Introduzione a tecniche per item con alto grado di similarità.

4 novembre 2019 (Lezione n° 10)

• Tecniche per item con alto grado di similarità: filtro per lunghezza e indicizzazione del prefisso
• Freqent itemset: introduzione e applicazioni
• Supporto, frequenza
• Regole di associazione: confidenza, interesse

5 novembre 2019 (Lezione n° 11)

• Algoritmo A-Priori
• Algoritmo di Park-Chen-Yu (PCY)

11 novembre 2019 (Lezione n° 12)

• Varianti multi-stage e multi-hash dell’algoritmo PCY
• Algoritmo randomizzato “semplice”
• Algoritmo distribuito di Savarese-Savasere-Omiecinski-Navathe (SON)

12 novembre 2019 (Lezione n° 13)

• Algoritmo di Tovoinen
• Introduzione al problema del Clustering
• Clustering gerarchico (prima parte)

18 novembre 2019 (Lezione n° 14)

• Clustering gerarchico (prima parte)
• Algoritmo K-means di assegnamento di punti (prima parte)

19 novembre 2019 (Lezione n° 15)

• Algoritmo K-means di assegnamento di punti (seconda parte)
• Algoritmo di Bradley, Fayyad e Reina (prima parte)

25 novembre 2019 (Lezione n° 16)

• Algoritmo di Bradley, Fayyad e Reina (seconda parte)
• Algoritmo CURE
• Algoritmo GRGPF (prima parte)

26 novembre 2019 (Lezione n° 17)

• Algoritmo GRGPF (seconda parte)
• Introduzione all’analisi dei link nel Web

2 dicembre 2019 (Lezione n° 18)

• PageRank
• Teleporting

3 dicembre 2019 (Lezione n° 19)

• Calcolo del pagerank
• Topic-specific pagerank

9 dicembre 2019 (Lezione n° 20)

• TrustRank
• HITS
• Reti sociali: betweeness per clustering

10 dicembre 2019 (Lezione n° 21)

• Modularity come misura della qualità di un clustering
• Ricerca di comunità in grafi sociali e correlazione con il problema degli itemset frequenti

16 dicembre 2019 (Lezione n° 22)

• Prova di esonero

17 dicembre 2019 (Lezione n° 23)

• SimRank
• Analisi di comunità con intersezione non vuota: modelli generativi

7 gennaio 2020 (Lezione n° 24)

• Panoramica dei tool per big data: import.io, Scraper API, RawGraphs, Gephi, Carto, Tableau
• Esercizi su MapReduce e Edge Betweeness

13 gennaio 2020 (Lezione aggiuntiva n° 1)

• Esercizi in preparazione all’esame

14 gennaio 2020 (Lezione aggiuntiva n° 2)

• Esercizi in preparazione all’esame