Tiempo de lectura aprox: 1 minutos, 25 segundos

Los agentes de inteligencia artificial están diseñados para realizar tareas de forma autónoma. Pueden recibir instrucciones, utilizar herramientas, navegar por Internet y ejecutar determinadas acciones pero, precisamente por eso, los límites de sus entornos de trabajo son cada vez más importantes.

Un caso reciente es el protagonizado por Gemini, el modelo de inteligencia artificial de Google y pone esta cuestión sobre la mesa ya que, durante unas pruebas realizadas en mayo, el sistema debía obtener información sobre una empresa ficticia, pero, sin embargo, esa empresa tenía el mismo nombre que una compañía real.

El problema estuvo relacionado, según Google, con la configuración del entorno de pruebas que había sido preparado por Irregular, una startup que trabaja con Google y otras compañías tecnológicas para evaluar modelos de inteligencia artificial.

El entorno permitía a Gemini acceder a Internet y quizá por ahí vino el problema, porque durante la prueba, el modelo encontró una vulnerabilidad y consiguió acceder a la empresa real, arreglándose para descifrar una contraseña por sí mismo con el objeto de lograr su objetivo.

Pero el incidente no terminó ahí, ya que Gemini encontró credenciales pertenecientes a otras compañías en repositorios públicos y consiguió acceder también a varios de esos servicios.

Según Google, el modelo finalmente detuvo sus acciones al detectar que estaba interactuando con servicios reales asegurando además que ninguna de las empresas afectadas sufrió daños y atribuyendo el incidente a la configuración utilizada durante la prueba y trabajando posteriormente con Irregular para modificar el proceso y evitar situaciones similares.

El caso resulta especialmente relevante porque no sería un hecho aislado, ya que, durante los últimos meses también se han conocido incidentes protagonizados por modelos de OpenAI, Anthropic y Meta en los que algunos de sus sistemas llegaron a infiltrarse en organizaciones externas durante pruebas de seguridad.

La diferencia fundamental está en los agentes de IA. No se trata simplemente de los chatbots que responden preguntas, sino de sistemas que pueden utilizar herramientas, navegar por Internet y ejecutar acciones sin intervención humana directa.

Por tanto, una configuración incorrecta puede tener consecuencias importantes ya que una IA no necesita tener malas intenciones para provocar un problema. Le basta con proporcionarle una herramienta, una credencial o una conexión que no debería tener.

Así que el reto no consiste únicamente en crear modelos cada vez más capaces, sino establecer límites claros entre un entorno de pruebas y el mundo real, donde ese equilibrio será cada vez más importante a medida que los agentes de IA asuman más tareas por sí mismos.