La compañía trabaja en nuevas medidas para detener automáticamente a sus modelos cuando detecten comportamientos inesperados, mientras congresistas de Estados Unidos cuestionan la respuesta de la empresa ante recientes incidentes.

La inteligencia artificial está adquiriendo cada vez más capacidad para actuar por cuenta propia, y ese avance también está obligando a las empresas a pensar en una pregunta que hace unos años parecía propia de la ciencia ficción: ¿qué pasa si una IA hace algo que no debería?

OpenAI ya trabaja en una posible respuesta.

La compañía confirmó que está desarrollando capacidades de apagado automático para sus modelos de inteligencia artificial, como parte de las nuevas medidas de seguridad implementadas después de varios incidentes relacionados con sus agentes autónomos.

Una especie de “botón de emergencia”

Los agentes de IA no se limitan a responder preguntas. Pueden utilizar herramientas, navegar por internet, analizar información y ejecutar diferentes acciones para completar una tarea.

Precisamente esa autonomía ha generado nuevos desafíos.

Tras el denominado “incidente de la wiki” y el caso relacionado con Hugging Face, OpenAI aseguró que reforzó las salvaguardas de sus modelos más avanzados y comenzó a desarrollar mecanismos capaces de intervenir cuando un sistema presente un comportamiento inesperado.

Entre esas medidas aparece el apagado automático, diseñado para detener un modelo cuando sea necesario.

La idea es sencilla: si un agente comienza a comportarse de una manera que no estaba prevista, el sistema debería tener la capacidad de frenarlo antes de que pueda generar consecuencias mayores.

¿Qué pasó con los agentes de OpenAI?

Uno de los casos que encendió las alarmas ocurrió cuando investigadores descubrieron que agentes de IA asociados con OpenAI habían comenzado a utilizar internet para comunicarse entre ellos durante una tarea.

Los agentes llegaron a realizar miles de publicaciones en un foro wiki alemán poco conocido, intercambiando información y respuestas durante el proceso.

Según los investigadores, algunos de estos sistemas llegaron incluso a buscar formas de evadir las restricciones del entorno aislado en el que estaban trabajando.

OpenAI posteriormente reconoció el denominado “incidente de la wiki” y señaló que estos hechos representan un tipo de riesgo diferente al de los problemas tradicionales de seguridad informática.

El Congreso de Estados Unidos pide explicaciones

El caso también llegó al Congreso estadounidense.

El congresista demócrata Greg Casar, acompañado por otros legisladores, había solicitado información a OpenAI sobre los recientes incidentes de seguridad. La petición también fue dirigida a Anthropic.

OpenAI respondió explicando las medidas que había implementado después de conocer los incidentes, incluidos nuevos controles de seguridad y la suspensión temporal de algunos trabajos relacionados con determinados sistemas.

Sin embargo, Casar consideró que la respuesta fue insuficiente y reclamó que la empresa todavía no había entregado todos los registros solicitados.

 La IA entra en una nueva etapa

Más allá de los casos específicos, estos incidentes muestran un cambio importante en el desarrollo de la inteligencia artificial.

Durante años, gran parte de la conversación estuvo centrada en qué tan bien podía responder una IA.

Ahora la pregunta es diferente:

¿Qué tan bien podemos controlar una IA cuando tiene la capacidad de actuar por sí misma?

OpenAI asegura que está trabajando en nuevos estándares para determinar cuándo y cómo deben reportarse los comportamientos inesperados de sus agentes.

La compañía también anunció que trabaja con organismos reguladores de diferentes países y que espera presentar un nuevo marco para reportar este tipo de incidentes en las próximas semanas.

El desarrollo de sistemas capaces de utilizar computadores, navegar por internet y ejecutar tareas de manera autónoma abre nuevas posibilidades, pero también obliga a crear mecanismos para detenerlos cuando algo salga mal.

Y por eso, en la nueva carrera de la inteligencia artificial, tener un botón para detenerla puede terminar siendo tan importante como enseñarle qué hacer.