Este paper no presenta nada nuevo, sino que una recopilación, extremadamente completa, de los diferentes métodos y métricas necesarias para evaluar un sistema recomendador. Primero que nada, parte explicando lo que son los off-line experiments, y después continúa explicando los on-line experiments, entregando los pros y contras de cada uno. Continua la primera parte, explicando cómo determinar si los resultados que obtuviste son “correctos” en el sentido de que representan bien a la población objetivo a la que le estás haciendo el estudio. El paper después continúa hablando de las diferentes propiedades que podemos querer en un sistema recomendador y qué métricas sirven para poder determinar cada característica. Por ejemplo, si queremos un sistema para determinar cáncer, es importante que tenga un excelente recall, ya que no queremos que nadie con cáncer pase desapercibido, pero no nos importa revisar después a mano los falsos positivos. Para esto podemos usar la métrica de ROC. En este estilo sigue después con varios otros escenarios y métricas, como Ranking, Coverage, Serendipity, Risk entre otras. La novedad del paper, no tiene, sin embargo, es de muchísima utilidad para todo aquel que está en el área o quiere entrar a trabajar en ella. Aunque sea alguien experto en el tema, somos todos humanos, se nos olvidan cosas y un refresco nunca está de más.