Diario delle lezioni

Ogni lezione è da 2 ore.

Totale: 24 lezioni (2*24 = 48 ore) per 6 CFU.

12 ottobre 2020 (Lezione n° 1)

• Presentazione del corso
• Introduzione al Data Mining
• Introduzione ai Big Data
• Principio di Bonferroni

13 ottobre 2020 (Lezione n° 2)

• Introduzione alla computazione distribuita e concorrente
• MapReduce e sua implementazione Hadoop: introduzione
• File system distribuito HDFS: files e chunck
• Architettura distribuita multirack
• Gestione dei fallimenti
• MapReduce: progettazione di algoritmi distribuiti
• Map task
• Reduce task
• Combiners
• Funzione di partizione

19 ottobre 2020 (Lezione n° 3)

• MapReduce: prodotto matrice vettore
• MapReduce: cammini di lunghezza 2 in grafi
• MapReduce: prodotto di matrici in 2 step

20 ottobre 2020 (Lezione n° 4)

• MapReduce: prodotto di matrici in un unico step
• Estensioni di MapReduce: i Workflow
• Spark: RDD, trasformazioni, azioni, Lazy evaluation, Lineage
• Modello di costo di comunicazione in MapReduce
• Reducer Size e Replication Rate

26 ottobre 2020 (Lezione n° 5)

• Mapping schema: grafo bipartito input/output
• Similarity join con MapReduce
• Lower bound al reoplication rate
• Esercizi su MapReduce

27 ottobre 2020 (Lezione n° 6)

• Introduzione a Similar items
• Jaccard similarity
• Shingling di documenti di testo
• Introduzione a funzioni Hash
• Minhashing e Jaccard similarity

2 novembre 2020 (Lezione n° 7)

• Minhash signature
• Locality-Sensitive Hashing: dividere la matrice in bande
• Il procedimento complete per la similarità di documenti di testo

3 novembre 2020 (Lezione n° 8)

• Misure di distanza: distanze euclidee, distanza di Jaccard, distanza coseno, Edit distance, distanza di Hamming
• Teoria Locality-Sensitive Hashing
• AND-construction, OR-constriction, S-curve

9 novembre 2020 (Lezione n° 9)

• LSH per distanza di Hamming
• LSH per distanze euclidee
• Matching di impronte digitali

10 novembre 2020 (Lezione n° 10)

• Tecniche per item con alto grado di similarità: filtro per lunghezza e indicizzazione del prefisso
• Frequent itemset: introduzione e applicazioni
• Supporto, frequenza
• Regole di associazione: confidenza, interesse

16 novembre 2020 (Lezione n° 11)

• Algoritmo A-Priori

17 novembre 2020 (Lezione n° 12)

• Esempio esecuzione Algoritmo A-Priori
• Algoritmo di Park-Chen-Yu (PCY)
• Varianti multi-stage e multi-hash dell’algoritmo PCY

23 novembre 2020 (Lezione n° 13)

• Esempio di prestazioni migliorate con la variante multi-hash PCY
• Algoritmo randomizzato “semplice”
• Algoritmo distribuito di Savarese-Savasere-Omiecinski-Navathe (SON)
• Algoritmo di Tovoinen (prima parte)

24 novembre 2020 (Lezione n° 14)

• Algoritmo di Tovoinen (seconda parte)
• Introduzione al problema del Clustering
• Clustering gerarchico (prima parte)

30 novembre 2020 (Lezione n° 15)

• Clustering gerarchico (seconda parte)
• Algoritmo K-means di assegnamento di punti (prima parte)

1° dicembre 2020 (Lezione n° 16)

• Algoritmo K-means di assegnamento di punti (seconda parte)
• Algoritmo di Bradley, Fayyad e Reina (prima parte)

7 dicembre 2020 (Lezione n° 17)

• Algoritmo di Bradley, Fayyad e Reina (seconda parte)
• Algoritmo CURE
• Algoritmo GRGPF (prima parte)

14 dicembre 2020 (Lezione n° 18)

• Algoritmo GRGPF (seconda parte)
• Introduzione all’analisi dei link nel Web

15 dicembre 2020 (Lezione n° 19)

• PageRank
• Teleporting
• Calcolo del PageRank

21 dicembre 2020 (Lezione n° 20)

• Topic-specific PageRank
• TrustRank e Spam mass
• Cenni a HITS

22 dicembre 2020 (Lezione n° 21)

• Reti sociali: edge-betweeness per clustering
• Algoritmo di Girvan-Newman
• Modularity come misura della qualità di un clustering

11 gennaio 2021 (Lezione n° 22)

• Ricerca di comunità in grafi sociali e correlazione con il problema degli itemset frequenti
• Modelli generativi per la determinazione di comunità: AGM e BigCLAM (I parte)

12 gennaio 2021 (Lezione n° 23)

• Modelli generativi per la determinazione di comunità: AGM e BigCLAM (II parte)
• SimRank

18 gennaio 2021 (Lezione n° 24)

• Panoramica dei tool per big data: import.io, Scraper API, RawGraphs, Gephi, Carto, Tableau
• Esercizi in preparazione all’esame

19 gennaio 2021 (Lezione aggiuntiva)

• Esercizi in preparazione all’esame