Los procesos de naturaleza colectiva, al implicar a muchos participantes, son pródigos en la generación de ideas y provocan a menudo una sobrecarga informacional que es difícil de gestionar. Pasar de cientos de ideas a un número manejable de propuestas que se puedan convertir en proyectos reales exige refinar los métodos de evaluación, filtrado y selección para que no se produzcan pérdidas excesivas de eficiencia que hagan el proceso inviable.
Eso ocurre en los programas de Innovación Abierta (“campañas de ideas”) que impulsan las empresas implicando a sus clientes y empleados, así como en iniciativas de Crowdsourcing para el diseño de políticas públicas del tipo que expliqué en mi post de ayer. En ambos casos hay que filtrar de algún modo los resultados para traducir cantidad en calidad.
Eric Bonabeau dice, con razón, que la Inteligencia Colectiva funciona mejor para la generación de ideas que para la evaluación/filtrado de ellas. Esto es así porque a medida que nos movemos por elFunnel de Innovación (imaginémonos un embudo) desde la parte más ancha a la más estrecha, se necesitan reforzar mecanismos de coordinación que suelen ser costosos.
La mala noticia es que identificar colectivamente las mejores ideas dentro de un volumen tan grande de opciones puede ser un proceso lento y con resultados inciertos. Pero la buena, que existen soluciones cada vez más efectivas para diseñar procesos de “filtrado colectivo” que ayuden a hacer la selección de forma colaborativa entre los miembros de la comunidad. Este martes, en la 2015 Collective Intelligence Conference que se ha celebrado en Santa Clara, CA, el investigador del MIT Mark Klein, presentó un estudio en colaboración con Ana Cristina Bicharra García, de la Universidade Federale Fluminense, con el sugerente título de “High-Speed Idea Filtering with Bag of Lemons”, que aporta avances notables a la investigación sobre esta cuestión.
El estudio de Klein y Bicharra comienza con una taxonomía de las técnicas que habitualmente se usan para el filtrado colectivo:
- Votación: Los participantes eligen, mediante voto, las ideas que deben ser seleccionadas. Hay dos modalidades para hacerlo: a) Una idea, un voto: Asignar un voto al número máximo de ideas que se pidan elegir, b) Multi-voto: Repartir un presupuesto de N votos entre las mejores ideas, de tal modo que una única idea podría llevarse todos los votos si el votante lo decide así.
- Ratings: Asignan una puntuación a cada una de las ideas según una escala prefijada.
- Rankings: Ordenan (total o parcialmente) las ideas según su relevancia y calidad. Lo pueden hacer sobre el listado completo si no es muy extenso, pero cuando lo es, eligen entre pares de ideas que el sistema le va proponiendo de forma aleatoria.
- Mercados de Predicción: Compran y venden acciones ficticias que representan las distintas alternativas, sabiendo que van a recibir una remuneración o compensación si son propietarios de las opciones que finalmente sean seleccionadas como ganadoras. Los precios de las acciones reflejan la evaluación que hace la multitud sobre la probabilidad de que cada opción sea elegida [pronto escribiré un post específico sobre este asunto de los “mercados de predicción”].
Pues bien, el método de filtrado que proponen Klein y Bicharra, y que testaron empíricamente, se llama “Bolsa de Limones”. Paso a explicar los detalles del experimento y sus conclusiones, porque es muy interesante.
El sistema que se propusieron testar inicialmente consistía en lo siguiente: 1) Se proporciona a los evaluadores una lista con las ideas candidatas, así como una descripción clara de los criterios de selección, 2) Se les da un número limitado de “votos”, para que los asignen a las ideas en función de si les parece que son las mejores o no. A más seguros se sienten acerca de una opción, más votos pueden asignar a esa idea, 3) Se otorgan unos incentivos a los evaluadores para que piensen bien su decisión y asignen los votos con la mayor precisión posible.
Para testar el mecanismo, implicaron a los miembros de un laboratorio de I+D universitario en la identificación de las propuestas más prometedoras de una lista de 48 ideas sobre cómo aumentar la productividad en el laboratorio. Los participantes fueron divididos en tres grupos demográficamente similares de unos 20 miembros, y cada uno usó un método distinto de selección de ideas, con el fin de comparar después los resultados:
- Gpo-1 (“LIKERT”) = Este grupo clasificó cada idea mediante una escala Likert de 5 puntos, o sea, desde 1 (Mala) a 5 (excelente).
- Gpo-2 (“BOLSA DE ESTRELLAS” – BOS): Se le pidió distribuir un presupuesto de 10 “estrellas” a las ideas que le parecían más propensas a ser excelentes.
- Gpo-3 (“BOLSA DE LIMONES” – BOL): Se le pidió repartir un presupuesto de 10 “limones” a las ideas que considerara menos propensas a ser excelentes. Obsérvese el cambio introducido aquí al mecanismo original que utilizó el grupo-2. En este caso se habla de “limones” porque se trata de elegir “las malas”, las ideas que hay que descartar, en lugar de las mejores.
Se evaluaron las ideas, aparte, por un comité de expertos. Asimismo, había unos incentivos financieros para los participantes que consiguieran resultados muy similares a los obtenidos por al menos tres miembros del comité de expertos. Los tres procesos de filtrado tuvieron lugar en paralelo, los participantes no podían ver las calificaciones de los otros, y se les pidió no discutir sus evaluaciones entre ellos durante el experimento para asegurar la independencia de los evaluadores.
Los resultados de la comparativa fueron los siguientes: 1) El método BOL-Bolsa de Limones obtuvo la más alta precisión, seguido por el de Likert, y finalmente el BOS-Bolsa de Estrellas, 2) El tiempo-promedio que llevó a los participantes realizar la selección fue: BOL (24 minutos por evaluador), BOS (25 minutos) y Likert (75 minutos). Así que los datos del estudio permitieron llegar a las siguientes conclusiones:
- El enfoque de la Bolsa de Limones (BOL) proporciona una mejora sustancial en la precisión del filtrado (cerca del 33%) respecto del enfoque convencional Likert, mientras que requiere sólo un tercio del tiempo evaluador.
- Los grupos son mucho más precisos (60% más) en la eliminación de las malas ideas (BOL) que en la selección de las buenas (BOS).
Esta última conclusión me parece, con diferencia, la más útil para el diseño de los futuros sistemas de filtrado, así que me voy a detener en ella. Según los autores, eso se explica porque la identificación de las mejores ideas (“Bolsa de Estrellas”) requiere encontrar ideas que son excepcionales con respecto a todos los criterios pertinentes (viabilidad, valor, coste, etc.). Esto puede llevar mucho tiempo y obligar a los evaluadores a emitir juicios para los que no están capacitados. Un evaluador, por ejemplo, puede tener un buen sentido de los beneficios potenciales de una idea, pero no de lo costoso que puede ser implementarla. El enfoque de “Bolsa de Limones”, por el contrario, trata de identificar las peores ideas, y esto sólo requiere que la gente señale aquellas que son claramente deficientes con respecto a un criterio, ya que eso es todo lo que necesita para eliminarlas. Además, el uso de un presupuesto limitado de votos (solo 10 “limones”), y la existencia de incentivos, hace que los evaluadores se centren sólo en las ideas que realmente pueden juzgar rápido y bien.
En fin, quédate con esta idea, porque puede que te sirva: las multitudes son mucho mejores en la eliminación de las malas ideas que en la identificación de las buenas.
Nota: La imagen del post pertenece al album de Wendy Cope en Flickr
The post Hallazgo curioso en la selección colectiva de ideas appeared first on El Blog de Inteligencia Colectiva.
No hay comentarios:
Publicar un comentario