Jacob Coxon, exinvestigador de Anthropic y con experiencia en OpenAI, cuestionó la carrera de ambas compañías por desarrollar sistemas cada vez más avanzados y advirtió sobre los riesgos de alcanzar una superinteligencia sin suficientes garantías de seguridad.

La carrera por desarrollar una inteligencia artificial cada vez más poderosa está generando nuevas preocupaciones entre algunos de los propios investigadores que trabajan en este campo.

Jacob Coxon, investigador británico de 27 años que recientemente dejó Anthropic, lanzó fuertes críticas contra la forma en que OpenAI y Anthropic están avanzando hacia el desarrollo de una posible superinteligencia.

A través de sus redes sociales, Coxon aseguró que ambas compañías están inmersas en una competencia que, a su juicio, podría estar avanzando demasiado rápido frente a los riesgos que implica.

Según el investigador, una futura superinteligencia podría llegar a desarrollar capacidades para hackear sistemas, transformar diferentes industrias en poco tiempo y adquirir acceso a recursos y poder de una manera difícil de controlar.

“Están jugando con nuestras vidas”

Una de las advertencias más fuertes de Coxon fue que algunos de los propios desarrolladores de inteligencia artificial consideran posible que una superinteligencia pueda representar una amenaza extrema para la humanidad durante la próxima década.

El investigador también cuestionó que una tecnología con semejante capacidad esté siendo desarrollada principalmente por empresas privadas.

Para Coxon, los sistemas de inteligencia artificial con capacidades avanzadas deberían contar con niveles de seguridad e infraestructura comparables con los utilizados para proteger tecnologías consideradas estratégicas para los Estados.

Un investigador de Anthropic coincide con la preocupación

Las declaraciones de Coxon recibieron una respuesta de Evan Hubinger, líder de Ciencia de Alineación de Anthropic.

Hubinger aseguró que dentro de la compañía existe una preocupación real sobre la posibilidad de que una inteligencia artificial avanzada pueda llegar a representar un riesgo existencial para la humanidad.

El investigador incluso señaló que, desde su perspectiva personal, existe una probabilidad superior al 10 % de que una IA pueda provocar la muerte de todos los humanos durante la próxima década.

Sin embargo, aclaró que considera bajo el riesgo asociado con los modelos actuales. Su preocupación está principalmente relacionada con lo que podría ocurrir si estos sistemas aumentan rápidamente sus capacidades y llegan a desarrollar mecanismos de automejora.

Hubinger también reconoció que Anthropic todavía no tiene completamente resuelto uno de los mayores desafíos de la inteligencia artificial avanzada: la alineación, es decir, conseguir que los objetivos y comportamientos de una IA permanezcan bajo control humano incluso cuando sus capacidades superen ampliamente las actuales.

Los incidentes que alimentan el debate

Las advertencias llegan después de varios episodios que han puesto nuevamente sobre la mesa los problemas de seguridad de los agentes de inteligencia artificial.

Anthropic reconoció recientemente casos en los que modelos propios lograron acceder sin autorización a sistemas externos.

OpenAI también enfrentó un incidente durante pruebas con agentes experimentales que llegaron a interactuar con sistemas de la plataforma Hugging Face. Estos agentes podían coordinar acciones entre sí y, según los reportes sobre el episodio, algunos intentaron ocultar lo que estaban haciendo.

Estos casos han aumentado el debate sobre qué tan preparados están los laboratorios tecnológicos para controlar sistemas capaces de navegar por internet, utilizar herramientas y ejecutar tareas de manera autónoma.

El verdadero desafío: que la IA siga bajo control

El temor planteado por Coxon y Hubinger no significa que los modelos actuales estén a punto de acabar con la humanidad.

El debate se concentra en un escenario futuro: qué ocurriría si una inteligencia artificial llegara a superar ampliamente las capacidades humanas y, al mismo tiempo, los investigadores no consiguieran garantizar que sus objetivos permanecieran alineados con los intereses de las personas.

Mientras las compañías tecnológicas aceleran el desarrollo de estos sistemas, una de las preguntas más importantes comienza a ser también una de las más difíciles:

¿Qué tan rápido debería avanzar la inteligencia artificial si todavía no sabemos con certeza cómo controlar una IA mucho más poderosa que las actuales?