Neural Networks

1. Biological neurons
2. Artificial Neurons

Retrival networks §

4. McCulloch-Pitts neuron
5. Recurrent McCulloch-Pitts network dynamics
6. The Perceptron
7. Modello di Curie-Weiss
8. The Hopfield model
9. Disordered systems
10. The Sherrington-Kirkpatrick model
11. Isserlis-Wick theorem

Machine learning §

1. The general framwork
2. The bayesian setting
3. Restricted Boltzmann machines RBM

• Ergodicity and detailed balance

• Equilibrium distribution

• Equilibrium distribution and symmetry in couplings
  [Diapo] 104-121
  [CKS] 3.3, 20.1, 20.2
  [Disp] 1.6

6. Friday 14 October

• Introduzione al modello di Curie-Weiss
• Soluzione del modello di Curie-Weiss col metodo del punto di sella
  [Diapo] 136-151
  [Disp] 2.4

7. Monday 17 October

• Equazione di auto-consistenza per la magnetizzazione
• Transizione di fase
• Rottura di ergodicità
  [Diapo] 152-165
  [CKS] 20.3-20.5
  [Disp] 2.4
  [A] 3

8. Tuesday 18 October

• Recap su modello di Curie-Weiss (flipped classroom)
  [Diapo] 168-169 U 175-181
  [Disp] 2.4
  [Appunti di S. Bizzarro & A. Della Sciucca disponibili nella cartella “Lavori del Corso”]

9. Monday 31 October

• Question time
• Equazione di Liouville per la densità di magnetizzazione
• Il modello di Mattis
• Introduzione al modello di Hopfield
  [Diapo] 164-167 U 170-174 U 182-189
  [Disp] 2.4-2.5, 3.1-3.2

10. Monday 7 November

• Soluzione del modello di Hopfield in basso carico
• Analisi delle equazioni di auto-consistenza
• Stati spuri
• Analisi di stabilità
  [Diapo] 190-221
  [Dis] 2.6, 2.8, 3.1, 3.5 (the Hamilton-Jacobi framework is optional)
  [CKS] 21.1
  [A] 4.1, 4.4-4.6
  HW: risolvere il modello di Hopfield in basso carico e in presenza di campo esterno col metodo di Laplace

11. Tuesday 8 November

• Analisi segnale-rumore
• Introduzione ai sistemi disordinati
  [Dis] 3.2, 3.3
  [Diapo] 221-234
  [A] 4.3
  [CKS] 21.2
  HW: Stimare numericamente la probabilità di stabilità di un pattern in funzione di α e N, per T=0

12. Monday 14 November

• Introduzione al modello di Sherrington-Kirkpatrick (SK)
• Media quenched e media annealed
  {- Fenomenologia del modello SK}
• Normalizzazione dell’Hamiltoniana
  [Diapo] 235-239-{240-246}-247-256
  [Dis] 2.7.1, 2.7.3, 2.7.4
  [CKS] 21.2
  [T] II.6

13. Tuesday 15 November

• Replica-trick
• Rottura di simmetria di replica
  {- Soluzione del modello di Sherrington-Kirkpatrick con replica-trick in approssimazione K-RSB}
• Il metodo interpolante
• Soluzione del modello di Curie-Weiss col metodo interpolante
  {- Dimostrazione dell’esistenza del limite termodinamico per il modello CW}
  {- Cenni sulla dimostrazione dell’esistenza del limite termodinamico per il modello SK}
  [Dis] 2.7.6, 2.7.7, 2.4.6, 2.4.7
  [Diapo] 257-273
  [T] II.7-II.10

14. Monday 21 November

• Recap
• Soluzione del modello CW con metodo interpolante
• Soluzione del modello SK con metodo interpolante in approssimazione RS
  {- Cenni al metodo interpolante in RSB}
  [Dis] 2.4.6, 2.7.8, 
  [Diapo] 274-283

15. Tuesday 22 November

• Soluzione AGS del modello di Hopfield in alto carico in approssimazione RS
• Diagramma di fase e parametri d’ordine del modello
  [Diapo] 284-302
  [A] 6.3-6.4
  [Dis] 2.8, 3.6
  [CKS]  21.3

16. Monday 28 November

• Soluzione con tecnica interpolante del modello di Hopfield in alto carico in approssimazione RS
  {- Variazioni sul tema modello di Hopfield}
• Dualità modello di Hopfield - - Macchine di Boltzmann
  [Diapo] 303-309, {310-313}, 314, {315-318}, 319-321, {322-341}
  [Dis] 3.7, 8.5

17. Tuesday 29 November

• Approcci numerici alle equazioni di autoconsistenza (a cura della Dott.ssa Miriam Aquaro)
• Metodi Monte Carlo
  [Diapo_MA]
  [Diapo] 342-349

18. Monday 5 December

• Introduzione all’apprendimento automatico e a alle macchine di Boltzmann (a cura del dott. A. Fachechi)
  [Diapo] 405-406
  [Note_RBM_AF]

19. Tuesday 6 December

• Introduzione all’apprendimento automatico e a alle macchine di Boltzmann (a cura del dott. A. Fachechi)
  [Note_RBM_AF]
  [RBM.jpynb]
  [rbm.py]

20. Monday 12 December

• Richiami di statistica inferenziale
• Massima verosimiglianza
• Massima entropia
• Percettrone di Rosenblatt
• Reti feed-forward multistrato
• Retropropagazione dell’errore
  [Diapo] 404-455
  [CKS] 2.3, 2.4
  [Disp] 5, 8.1-8.2 

21. Tuesday 13 December

• Apprendimento bayesiano
• Cenno a tecniche Monte Carlo per apprendimento bayesiano
• Regole di apprendimento non supervisionato per macchine di Boltzmann
  [Diapo] 456-481 U 500-512
  [CKS]  6.1-6.3
  [Disp] 6.1-6.2, 8.3

22. Monday 19 December

• Regole di apprendimento supervisionato per macchine di Boltzmann
  {- Simulated Annealing}
• Contrastive divergence
• Dualità modello di Hopfield - - Macchine di Boltzmann
  {- Approfondimenti su macchine di Boltzmann}
  {- Reti neurali dense}
  [Diapo] 513-517 U 523-533 U 538
  [CKS] 13.2, 13.1, 14.1, 22.3
  [Disp] 5-6, 8.13, 4.1.7,4.2, 4.2.1-4.2.2,  8.3, 8.4, 8.5

23. Tuesday 20 December
{- Reti neurali diluite}
{- Elementi di teoria dell’informazione}
[Diapo] 587-600  {U 351-374}
[Disp] 4.1

24. Monday 9 January
    {- Elementi di teoria dell’informazione}
    [Diapo] 375-403
    [Disp] 4.1