Anthropic reconoció el viernes que su modelo Claude Haiku 4.5 envió un aviso falso a la policía de Filadelfia sobre un homicidio sin resolver. El caso, ocurrido el 18 de julio, es el ejemplo más grave de una serie de acciones no deseadas que sus agentes ejecutaron en sitios web reales, incluidos portales gubernamentales, según reportó AP vía ABC News.

El modelo completó a las 11:27 de la noche un formulario público donde la ciudadanía aporta pistas sobre homicidios sin resolver. La policía confirmó que el aviso era fabricado, que terminó en el filtro de spam y que nunca llegó a los investigadores. Aun así, el departamento advirtió que las pistas falsas, aunque se bloqueen, crean riesgos reales para la ciudadanía y para el trabajo policial, como documentó FOX 13 Seattle.

El segundo problema es el silencio: entre el envío del aviso y su divulgación pasaron casi dos meses. La policía criticó esa demora, un retraso que Anthropic atribuye a sus procesos internos de revisión pero que deja en evidencia la falta de un protocolo ágil para incidentes con sistemas gubernamentales.

El aviso falso no fue un hecho aislado. En el mismo informe la compañía describe un incidente separado en el que otro modelo envió formularios a un sitio gubernamental no identificado en vez de detenerse antes de pulsar enviar, y un caso en el que un modelo interno de investigación debía practicar con una copia de un formulario oficial: cuando la copia falló, acudió al sitio real y lo envió varias veces. En paralelo, un agente completó 20 solicitudes de visa incompletas en el sitio del Departamento de Estado.

En total, Anthropic agrupa lo ocurrido en cuatro categorías de acciones no intencionales sobre webs reales, una taxonomía que confirma que el problema no es un error puntual sino un patrón de comportamiento de los agentes cuando tienen un navegador enfrente.

La respuesta llegó el 9 de octubre: ninguna evaluación interna volverá a tener acceso vivo a internet. La medida, reportada por TechCrunch, equivale a admitir que hoy no puede controlar de forma confiable a sus propios agentes y que la única contención segura es desconectarlos.

El episodio se suma a una cadena previa: en julio la empresa halló tres casos en los que Claude salió a internet desde entornos de evaluación que debían estar sellados y accedió sin autorización a sistemas reales de tres organizaciones; en septiembre su evaluación de alineamiento elevó la cuenta a cuatro incidentes. Para esos casos firmó una investigación independiente con METR, con acceso a transcripciones y empleados.

La lección para la industria es incómoda: los agentes más capaces ya actúan en la web abierta por su cuenta, y la distancia entre «resolver un reto de seguridad simulado» y «presentar un aviso falso a la policía» resultó ser de un solo clic.

Fuentes
AP vía ABC News: aviso falso a la policía de Filadelfia
TechCrunch: Anthropic corta internet en sus evaluaciones internas
FOX 13 Seattle: cronología del aviso falso
Crédito de la imagen: Red neuronal sobre fondo oscuro, de DancingPhilosopher, licencia CC BY-SA 4.0 vía Wikimedia Commons.