GPT-6 Astra: cuando la inteligencia artificial deja de responder y empieza a trabajar

OpenAI ha presentado GPT-6 Astra acompañado de una frase contundente de Greg Brockman: «Bienvenidos a la era de la inteligencia artificial general».

Podemos discutir si realmente hemos llegado hasta ahí. Como ingeniero, me interesa plantear otra pregunta, quizá menos espectacular pero bastante más práctica:

Si tratásemos la inteligencia artificial como cualquier otro sistema que incorporamos a una empresa, ¿superaría nuestros controles de calidad, gestión de riesgos y ciberseguridad?

Puede que esta sea una forma más útil de medir hasta dónde podemos confiar en ella.

La inteligencia artificial también necesita un sistema de gestión

En ingeniería estamos acostumbrados a trabajar con normas internacionales de gestión.

ISO 9001 nos ha enseñado a gestionar la calidad mediante procesos, control de desviaciones y mejora continua. ISO/IEC 27001 aplica una filosofía similar a la seguridad de la información. Y desde 2023 contamos también con ISO/IEC 42001, dedicada específicamente a los sistemas de gestión de inteligencia artificial.

Esta norma no certifica que una máquina «piense bien», ni pretende hacerlo. Lo que establece es cómo debe gobernar una organización el desarrollo o la utilización de sistemas de inteligencia artificial: quién asume las responsabilidades, cómo se evalúan los riesgos, qué controles se implantan, cómo se supervisa su funcionamiento y de qué manera se corrigen los problemas detectados.

Resulta curioso que, para controlar una tecnología tan nueva, terminemos recurriendo a una metodología que los ingenieros conocemos desde hace décadas:

planificar, hacer, verificar y actuar.

La inteligencia artificial puede ser nueva. La necesidad de gestionarla correctamente no lo es.

De herramienta a sistema que actúa

Los nuevos modelos ya no se limitan a responder una pregunta. Pueden recibir un objetivo, descomponerlo en tareas, buscar información, utilizar programas, ejecutar acciones y comprobar después los resultados.

Y eso cambia bastante el problema.

Cuando utilizamos una herramienta, controlamos directamente la acción. Si delegamos una tarea completa, tenemos que preocuparnos también por el proceso que conduce hasta el resultado.

Ahí resulta especialmente interesante ISO/IEC 42001. La cuestión ya no consiste únicamente en comprobar si el sistema funciona. Tenemos que saber qué riesgos introduce, quién responde de sus actuaciones, cómo evaluamos sus resultados y qué hacemos cuando algo sale mal.

Desde el punto de vista de la ingeniería, la pregunta deja entonces de ser:

¿Qué sabe hacer Astra?

Y pasa a ser:

¿Qué estamos dispuestos a dejarle hacer y bajo qué controles?

¿Superaría nuestros controles de calidad?

Pensemos primero en la gestión de calidad.

Una inteligencia artificial puede revisar documentos, comprobar procedimientos, detectar incoherencias e identificar patrones que una persona podría pasar por alto.

Pero incorporarla a un proceso exige bastante más que comprobar que «normalmente acierta».

Necesitamos conocer sus limitaciones, establecer cómo se verifican sus resultados y disponer de mecanismos para detectar desviaciones y corregirlas. Es, en esencia, la misma filosofía que aplicamos a cualquier otro proceso sometido a un sistema de calidad.

Hay, sin embargo, una diferencia importante. El comportamiento de estos sistemas no siempre resulta tan previsible como el de una herramienta convencional. Puede variar según el contexto, la información que recibe, las herramientas a las que tiene acceso o las modificaciones introducidas en el propio modelo.

Por eso no tiene demasiado sentido exigir una inteligencia artificial que nunca falle. Tampoco se lo exigimos a la mayoría de los sistemas complejos.

Lo razonable es diseñar su utilización de manera que los fallos puedan detectarse y sus consecuencias queden dentro de límites aceptables. Después habrá que analizar lo ocurrido e introducir las correcciones necesarias.

Eso también es gestión de calidad.

Después viene la ciberseguridad

ISO/IEC 27001 introduce otra dimensión bien conocida: confidencialidad, integridad y disponibilidad de la información.

Cuando una inteligencia artificial adquiere capacidad para utilizar ordenadores, acceder a aplicaciones o actuar sobre sistemas reales, aparecen preguntas que antes tenían mucha menos importancia.

¿Qué información puede consultar? ¿Qué puede modificar? ¿Quién le concede esos permisos? ¿Queda registrada su actividad? ¿Qué sucede si la información que recibe ha sido manipulada? ¿Existe un mecanismo para detener una acción antes de que produzca consecuencias?

No es casual que la propia Organización Internacional de Normalización presente ISO/IEC 42001 e ISO/IEC 27001 como marcos complementarios para gestionar inteligencia artificial y seguridad de la información.

Cuanta más autonomía concedamos a una inteligencia artificial, mayor deberá ser el control sobre sus accesos y sobre las acciones que pueda ejecutar.

IA y ciberseguridad empiezan así a formar parte del mismo problema.

El mismo modelo, distinto riesgo

Aquí está, para mí, una de las cuestiones centrales.

Un mismo modelo puede ser perfectamente aceptable para redactar un informe y resultar inadmisible para operar directamente una infraestructura crítica.

Su inteligencia no ha cambiado. Ha cambiado la autoridad que le hemos concedido y, con ella, las consecuencias posibles de un error.

Las redes eléctricas ofrecen un buen ejemplo.

Podríamos utilizar una inteligencia artificial para revisar un estudio de planificación. En un segundo nivel, podría analizar el estado de la red y recomendar una maniobra a un operador. Finalmente, podríamos plantearnos permitir que la ejecutase directamente.

La inteligencia artificial podría ser exactamente la misma en los tres casos.

Lo que cambia es su capacidad de actuación.

Pasamos de analizar, a recomendar y, finalmente, a actuar.

Esa diferencia es mucho más importante de lo que parece.

Del apagón del 28 de abril a las redes inteligentes

ENTSO-E, la asociación europea de operadores de redes de transporte de electricidad, ya contempla la inteligencia artificial como apoyo a las decisiones de operación y estudia su introducción progresiva en unas redes cada vez más complejas.

El apagón del 28 de abril de 2025 permite entender bien su posible utilidad.

Una inteligencia artificial podría analizar simultáneamente tensiones, potencia reactiva, generación, oscilaciones y grandes cantidades de datos operativos, buscando relaciones difíciles de detectar para una persona en tiempo real.

Eso no significa que hubiese evitado aquel apagón. Afirmarlo sería aventurarse mucho más allá de lo que podemos demostrar.

Y precisamente ahí aparece la frontera que me parece interesante desde el punto de vista de la gestión del riesgo: detectar una situación, recomendar una respuesta y ejecutarla son niveles de responsabilidad distintos.

Una protección eléctrica puede actuar automáticamente porque conocemos de antemano su función, sus ajustes y los límites dentro de los cuales debe hacerlo.

Una inteligencia artificial también puede actuar dentro de límites definidos.

Lo que no debería decidir por sí sola es dónde están esos límites.

Entonces, ¿aprobaría Astra?

Volvamos a la pregunta inicial.

No podemos decir simplemente que Astra «cumple» o «no cumple» las normas internacionales. Una norma de sistemas de gestión como ISO/IEC 42001 no funciona de esa manera.

La cuestión es si una organización puede demostrar que utiliza esa inteligencia artificial bajo un sistema de gobierno adecuado: con responsabilidades definidas, riesgos evaluados, controles proporcionales a esos riesgos, trazabilidad de las actuaciones, seguridad de la información y mecanismos de supervisión y mejora.

Una misma inteligencia artificial podría superar nuestros controles para una función determinada y no hacerlo para otra.

El modelo no ha cambiado.

Lo que ha cambiado es el riesgo asociado a la autoridad que hemos decidido concederle.

El ingeniero como supervisor

Todo esto puede modificar también nuestra profesión.

Es probable que una inteligencia artificial produzca parte de la documentación que hoy redactamos, recopile datos que ahora obtenemos manualmente y realice muchos cálculos rutinarios.

Pero alguien tendrá que definir los límites dentro de los cuales puede trabajar.

Alguien deberá decidir qué tareas pueden delegarse, cuáles necesitan validación y qué decisiones deben continuar bajo responsabilidad humana.

En cierto modo, llevamos décadas preparándonos para ese trabajo.

Medimos, verificamos, auditamos procesos, protegemos sistemas, investigamos desviaciones y aplicamos medidas correctoras. No son actividades nuevas, aunque ahora el objeto que debemos controlar sí lo sea.

Puede ocurrir, por tanto, que la inteligencia artificial no reduzca la importancia de los sistemas de gestión, sino que los vuelva todavía más necesarios.

La prueba definitiva no será saber si piensa

Podemos discutir durante años si Astra piensa, comprende o simplemente procesa información con una sofisticación extraordinaria.

Como ingeniero, empezaría por una pregunta bastante más concreta:

¿Podemos demostrar que sabemos gestionar lo que hace, los riesgos que introduce y las consecuencias de sus errores antes de darle permiso para actuar?

Si no podemos hacerlo, necesita supervisión.

Y si algún día podemos demostrarlo para determinadas tareas, habremos cruzado una frontera importante: podremos confiar trabajo real a una máquina sin abandonar por el camino el control, la seguridad ni la responsabilidad.

Para mí, esa prueba será bastante más útil que cualquier discusión sobre si hemos llegado o no a la inteligencia artificial general.

Será que habremos aprendido a confiarle trabajo real sin renunciar al control, la seguridad y la responsabilidad.