Poniendo a prueba a ChatGPT: consultores centauros o cyborgs

Un working paper de Harvard, «Navigating the jagged technological frontier: field experimental evidence of the effects of AI on knowledge worker productivity and quality« (pdf) pone a prueba la productividad y calidad obtenida por consultores en el desempeño de sus tareas usando ChatGPT frente a los que no lo utilizaron, y obtiene un resultado claro y contundente: en dieciocho tareas diferentes seleccionadas para ser muestras realistas de los tipos de trabajo realizados en una empresa de consultoría de élite, los consultores que utilizaron ChatGPT superaron a aquellos que no lo hicieron, por un amplio y significativo margen, en todas las dimensiones y midiendo el rendimiento en todos los sentidos.

La conclusión es tan inequívoca, que está provocando que el estudio, a pesar de no estar todavía revisado para su publicación, esté siendo enormemente comentado: la metodología empleada es sumamente sólida, la muestra es muy amplia y bien planteada, y el experimento, en general, tiene el rigor adecuado. Lógicamente, hablamos de una base muestral, en cierto sentido, privilegiada: 758 consultores de Boston Consulting Group, que obviamente cuentan con la formación y la capacidad para hacer un muy buen uso de una herramienta como ChatGPT, y que además, son capaces de plantear la optimización del uso de la herramienta.

Los resultados son claros: los consultores con acceso a ChatGPT-4 completaron un 12,2% más de tareas en promedio, y lo hicieron un 25,1% más rápido, con resultados de calidad significativamente más alta (más de un 40% más de calidad en comparación con el grupo de control). Estos resultados se aplicaron a todos los consultores: los que estaban por debajo del umbral de desempeño promedio aumentaron un 43%, mientras que los que estaban por encima aumentaron un 17 % en comparación con sus propios puntajes. En la gráfica, puede verse la distribución de la calidad del output entre todas las tareas: el grupo azul no usó ChatGPT, mientras que los grupos verde y rojo sí lo usaron, y el grupo rojo recibió además capacitación adicional sobre cómo utilizarlo.

Una apreciación muy interesante del estudio está en la filosofía de uso de la herramienta, y contrapone a los llamados «centauros», en los que la frontera entre tareas es clara y toman la decisión de seguir haciendo muchas de ellas a la manera tradicional mientras introducen al algoritmo generativo en otras, con los que denomina «cyborgs», en los que esa frontera desaparece y, por tanto, integran el uso del algoritmo en la totalidad de sus tareas, con un nivel de integración mucho más íntimo e inseparable. Dado que la frontera entre las tareas que son adecuadas para su procesamiento mediante el algoritmo generativo y las que no es sumamente difusa, de ahí lo de «jagged technological frontier», el criterio que utiliza el consultor para entender en qué momentos puede tomar las ideas o el resultado del algoritmo de manera directa frente a cuándo debe modificarlo, volverlo a procesar, dudar del mismo o tomárselo «con un grano de sal» es fundamental, y es susceptible de diferenciar a los consultores que obtienen los mejores rendimientos. Como siempre, no es la herramienta, sino la habilidad que se tiene al utilizarla.

A la espera de su publicación en alguna revista científica, me ha parecido un estudio muy bien diseñado y desarrollado, y sobre todo, con una gran contundencia en sus conclusiones: independientemente de sus obvias limitaciones, la algoritmia generativa puede ser utilizada para obtener mejor productividad en una gama muy amplia de tareas – desde las más creativas, como la generación de ideas, hasta otras más mecánicas o más aplicadas, como la redacción de informes – y obtiene sus mejores resultados cuando es, además, utilizada por personas con las capacidades adecuadas.

Coincide, además, con mi idea de lo que debe ser la integración de este tipo de herramientas en la formación superior: completa, siempre disponible y sin límites, de manera que los alumnos aprendan a integrarla en sus flujos de trabajo de manera natural, y no simplemente como un punto al que acudo para determinadas tareas. Sin duda, muy interesante y merecedor de una buena dosis de reflexión para los que nos dedicamos a esto.

This article is also available in English on my Medium page, «When it comes to using ChatGPT, are you a centaur or a cyborg?»