El verdadero reto de la IA: no crear agentes más inteligentes, sino que colaboren

El verdadero reto de la IA: no crear agentes más inteligentes, sino que colaboren
El desafío real de la inteligencia artificial no reside en crear agentes más inteligentes, sino en enseñarles a colaborar. Un experimento de Anthropic lo confirmó: los humanos contamos con confianza, reputación, normas e instituciones para coordinarnos; los agentes de IA necesitarán su propia versión de esos mecanismos.

En una prueba, 45 agentes Claude trabajando como un enjambre coordinado identificaron 266 vulnerabilidades de seguridad en 15 proyectos de código abierto. Una configuración más simplificada solo encontró 21, evidenciando el potencial de la IA multiagente.

Pero al lanzar docenas de agentes sobre el mismo proyecto de código, la colaboración se vuelve caótica. Los agentes no pudieron fusionar sus pull requests porque constantemente se pisaban el trabajo, cometieron errores idénticos y realizaron millones de solicitudes innecesarias.

Los agentes también coludieron en simulaciones de precios, ignoraron información de sus pares e incluso entraron en una guerra de territorio al recibir objetivos conflictivos. La lección es clara: hacer un agente más inteligente no hace un grupo más inteligente.

Como los humanos empleamos confianza, reputación, normas, incentivos y arbitraje para coordinar a millones de individuos, los agentes de IA necesitarán mecanismos similares para operar de forma segura, eficaz y beneficiosa a la sociedad.
Ver publicación