No quiero una IA que me necesite menos

La semana pasada Google Cloud publicó un estándar abierto para el “conocimiento” que leen los AI agents para entender un sistema: el Open Knowledge Format. Tuve una reacción rara ante él. Sobre el papel eran buenas noticias: describe, casi pieza por pieza, algo que yo llevaba meses construyendo en un proyecto propio. Cuando una empresa de ese tamaño llega por su cuenta a tu mismo diseño, la apuesta parece correcta.

Pero debajo de la validación había algo que me incomodaba, y me tomó un día ponerle nombre. El estándar está hecho para que una IA pueda entender un sistema sin que un humano tenga que hacerlo. Levanta de las personas el trabajo de conocer el sistema y lo codifica en un mapa que la máquina lee por sí sola. Eso es genuinamente útil. También apunta hacia una dirección a la que no quiero ir.

Porque toda la industria, en este momento, está vendiendo la IA con una sola métrica: lo poco que te necesita. El sueño de cada slide de lanzamiento es el agente que recibe una instrucción de un párrafo y trabaja solo durante días: no duerme, no pregunta, no espera. Mientras menos humano haya en el circuito, mejor se dice que está funcionando el sistema. Estamos automatizando a la persona fuera del cuadro y le llamamos progreso.

Quiero decirlo con todas sus letras: no quiero eso. No por nostalgia, y no porque desconfíe de las máquinas. He pasado los últimos meses entregándoles cada vez más de mi propio código, con gusto. No lo quiero porque he llegado a pensar que el humano en el circuito nunca fue la ineficiencia que ahora tenemos tantas ganas de eliminar. Era el cimiento de algo que no podemos reconstruir sin él: la confianza.

La confianza siempre tuvo a un humano debajo

Esto lo aprendí en el cuerpo mucho antes de la IA. En 2012 construí una app que empujaba la alerta sísmica de la Ciudad de México a medio millón de teléfonos. Siempre se ofreció como experimental, y la gente la trató, con toda razón, como algo de lo que dependía su seguridad. Hay un peso particular en eso: saber que un humano, yo, era responsable de lo que el sistema hacía y de lo que dejaba de hacer. Cada decisión de diseño tenía un nombre detrás. Ese peso no es un defecto en la forma de construir software del que la gente depende. Es la razón por la que alguien confía en ese software, para empezar.

No confiamos en un sistema porque sea capaz. Confiamos en él porque, en algún lugar, una persona lo entendió, lo decidió y puede responder por él. Quita a esa persona —deja un sistema capaz en el que ningún humano de verdad ve hacia adentro— y no tienes un sistema más confiable. Tienes una caja negra que da la casualidad de funcionar, hasta el día en que no, sin nadie que pueda decirte por qué.

Automatiza el código. Humaniza la decisión

Aquí está la distinción a la que sigo volviendo. Está el código —el teclear, el cablear, el boilerplate, la traducción mecánica de la intención a sintaxis— y estoy feliz, incluso aliviado, de automatizar tanto de eso como las herramientas puedan cargar. Y está la ingeniería —decidir qué construir y por qué, qué rechazar, qué tradeoff aceptar, qué deuda asumir con los ojos abiertos, hacia dónde se dirige todo. Esa segunda parte no es teclear. Es criterio, dirección y responsabilidad, y es precisamente la parte que el sueño del agente autónomo borra en silencio.

Scott Hanselman y otros tienen un nombre para la alternativa: AI-augmented engineering. Al humano no se le desplaza; se le mueve hacia arriba, hacia la parte que siempre fue el trabajo de verdad, y ahí la máquina lo amplifica. Esa es la apuesta que estoy haciendo, y quiero ser exacto al respecto, porque es fácil confundirla con algo más débil. No se trata de un humano que revisa la salida de la IA a la velocidad de la IA y la sella sin más; eso no es aumentar, es teatro. Se trata de un humano que se mantiene orientado: que puede ver qué se decidió y por qué, qué está en marcha, qué falta todavía y hacia dónde va el trabajo, sin tener que sostener todo el codebase en la cabeza.

Esa última parte es el problema difícil e interesante, y es la mayor parte de lo que trabajo ahora. No se trata de frenar a la IA: un mapa no te frena, es la manera de moverte rápido sin perderte. Se trata de poner conocimiento enfrente de una persona, no solo información: no un volcado de datos para que una máquina lo consulte, sino una imagen dentro de la cual un humano puede pararse y tomar una decisión. Cuando trabajo con un agente en su mejor versión, no se siente como delegar en algo que me necesita menos. Se siente como una dupla: la máquina haciendo aquello en lo que es incansable, yo haciendo lo que solo una persona responsable puede hacer.

La elección que se esconde bajo el estándar

Así que cuando leí ese formato abierto, en realidad no estaba leyendo la especificación de un archivo. Estaba leyendo una respuesta callada a una pregunta que todo equipo está a punto de enfrentar, lo note o no: ¿para quién es el conocimiento de tu software? Si la respuesta es “para el agente, para que pueda correr sin nosotros”, obtendrás exactamente eso, y habrás canjeado la única cosa que alguna vez hizo confiable al software. Si la respuesta es “para nosotros, para seguir al mando de lo que el agente hace”, entonces estás conservando al humano no como una cortesía, sino como el elemento que carga el peso.

Yo sé cuál estoy construyendo. He sentido el peso de ser el humano a través del cual responde un sistema, y no creo que ese peso deba diseñarse para que desaparezca: creo que debe volverse soportable. Por fin tenemos máquinas que pueden cargar la parte que siempre fue solo trabajo bruto. Eso no es razón para quitar a la persona. Es la mejor razón en años para protegerla, y para darle un mejor lugar desde dónde pararse.

(Escribí la versión técnica de este argumento —formatos, enlaces tipados, interoperabilidad— en el blog de StrayMark.)