Joined team wins Netflix prize

A chi fosse sfuggita la notizia:

http://www.wired.com/epicenter/2009/06/winning-teams-join-to-qualify-for-1-million-netflix-prize/

un team formato dalla coalizione di quattro gruppi, tra cui uno spinoff dell'università di Graz, ha raggiunto l'obiettivo del Netflix Prize, ossia di migliorare di almeno il 10% l'accuratezza dell'algoritmo di previsione delle preferenze personali sui film.

Il premio consiste in 1 milione di dollari.

La notizia suggerisce alcune riflessioni su modi alternativi di fare e finanziare la ricerca:

1. le sfide a premio sono un mezzo efficace e sicuro di ottenere risultati e fare avanzare la tecnologia, molto più del finanziamento di progetti a priori, per diversi motivi:
• non c'è garanzia che i proponenti di un progetto siano i più adatti a svolgerlo e a portarlo a termine
• nei progetti si opta per un atteggiamento cooperativo anziché competitivo: la competizione avviene tra le proposte e non tra i risultati; chi finanzia tende a limitare la scelta ad un solo proponente, con alti rischi di insuccesso
• nei progetti c'è spesso una componente ideologica, con l'obiettivo di mostrare la validità dei propri approcci e si cade nella sindrome del "not invented here": nelle sfide l'atteggiamento è molto più pragmatico e si sfrutta qualunque tecnica utile


2. nel caso di Netflix il team vincente è una combinazione di team, formatasi durante la sfida stessa: i team ai primi posti dell'anno precedente hanno deciso di unire gli sforzi per raggiungere più rapidamente l'obiettivo. Questo non succederebbe in progetti finanziati a priori, per diverse ragioni:
• ciascun proponente ritiene di essere il migliore, essendo già stato prescelto
• non c'è alcuno stimolo a fare meglio del minimo, in quanto il finanziamento è già assicurato
3. il risultato è stato ottenuto cumulando scoperte di altri. Per lungo tempo i miglioramenti languivano, finché Simon Funk non ha introdotto l'uso della tecnica del Singular Value Decomposition, facendo fare un salto rilevante al punteggio. L'obbligo di rendere pubbliche le tecniche usate da ciascun team è stato determinante.
   BTW. Simon Funk non è un ricercatore, ma uno sviluppatore software indipendente, che si è dedicato alla competizione nel suo tempo libero (http://portal.acm.org/citation.cfm?doid=1294301.1294311).
   
4. per chi propone la sfida, i rischi sono molto inferiori:
• si paga solo se si ottiene il risultato voluto
• il rischio di mettere su un team in casa per ottenere l'obiettivo è molto più alto: se non si dispone di ricercatori espertissimi nella materia, i tempi e i rischi di acquisire o di formare le competenze necessarie sono altissimi.
  
5. oltre 40.000 persone hanno partecipato alla sfida, sia ricercatori professionisti che hobbisti. Per molti è stata un'esperienza unica per apprendere tecniche sconosciute e farsi delle competenze da sfruttare in altre occasioni. Una ricaduta in termini di diffusione delle conoscenze molto più ampia che non con i metodi tradizionali di diffusione scientifica.
   
6. il risultato dovrebbe far riflettere chi misconosce l'importanza e il ruolo delle tecniche di apprendimento automatico nell'informatica attuale.

Sfide a premio esistono da tempo anche per celebri problemi matematici (Riemann hypothesis, Poincaré conjecture, Hodge conjecture, Swinnerton-Dyer conjecture, solution of the Navier-Stokes equations, formulation of Yang-Mills theory, P=NP) ma la rete rende l'approccio praticabile su larga scala.

Il fenomeno di appaltare a esperti esterni attività di sviluppo avanzato si sta diffondendo ampiamente, ed è una forma di crowdsourcing, che alcuni chiamano "Prize economics", dove si offrono incentivi competitivi ad esterni come alternativa alla ricerca e sviluppo interna.

Alcune aziende si sono specializzate nell'organizzare tali attività.

Innocentive (http://www.innocentive.com/) ha creato il primo Open Innovation MarketPlace, dove fare incontrare la domanda e l'offerta per lo sviluppo di innovazioni. Chiunque abbia un problema complesso da risolvere lo propone come sfida ad una platea di oltre 160.000 esperti di tutti i settori.

All'altro estremo c'è Amazon Mechanical Turk (https://www.mturk.com/) su cui di solito vengono proposte attività più semplici, da svolgere in poco tempo, ma da parte di centinaia di persone.

In tempi di scarsità di risorse per la ricerca, vale la pena riflettere seriamente su modalità alternative a quelle tradizionali, modalità che possano incentivare sia chi finanzia (garantendogli i risultati), sia chi fa ricerca (a mettersi maggiormente in gioco).

Molte conferenze internazionali organizzano già competizioni su obiettivi tecnico-scientifici: basterebbe che le agenzie di finanziamento contribuissero fondi per assegnare premi in queste competizioni, riducendo i finanziamenti a pioggia.