No tenemos un plan si la AI se saliera de nuestro control.
Un investigador renunció. Su colega le dio la razón en público. Y la cifra que puso sobre la mesa no es una metáfora.
A la una y media de la madrugada del 9 de septiembre, un investigador británico de 27 años llamado Jacob Coxon publicó en X que renunciaba a Anthropic. No solo a la empresa: al sector entero. Había pasado tres años trabajando en preentrenamiento,la fase en la que un modelo aprende de cantidades masivas de datos, primero en OpenAI y después en la compañía que fabrica Claude. Su acusación fue directa: ninguna de las dos actúa con responsabilidad y ambas, escribió, "están jugando con nuestras vidas".
Renuncias éticas en laboratorios de IA ha habido varias. Lo que hizo distinto a este caso llegó unas horas después.
Evan Hubinger, que dirige el equipo de Alignment Science en Anthropic, literalmente, el área encargada de que los modelos hagan lo que los humanos quieren, respondió citando el hilo. Dijo que Coxon tenía razón. Y añadió su propia estimación: más de un 10% de probabilidad de que la IA acabe con todos los humanos en la próxima década.
Después vino la frase que de verdad importa "no tenemos un plan". Cree que su empresa lo está intentando, pero que no existe todavía una solución para alinear una superinteligencia, y que no están claramente encaminados a encontrarla.
¿Qué significa exactamente ese 10%?
Hubinger no dijo que la IA vaya a programarse sola para exterminarnos. Dijo dos cosas separadas. Primero que asigna más de un 10% a un escenario de catástrofe total en diez años. Segundo, y en un mensaje posterior: que el riesgo de los modelos que existen hoy le parece bajo. Lo que le preocupa es algo que todavía no existe una superinteligencia surgida de la automejora recursiva, es decir, de sistemas capaces de mejorarse a sí mismos sin que un humano dirija cada paso. Y ahí agregó el detalle incómodo: está ocurriendo más rápido de lo que esperaban.
Esa distinción no es un matiz técnico menor. Es toda la diferencia entre "el chatbot que usás es peligroso" y "el proceso industrial que lo produce va en una dirección que nadie sabe frenar".
¿Por qué la cifra no es tan extravagante como suena?
Un 10% de extinción parece una locura hasta que uno mira las cifras que ya circulaban en la literatura académica.
Una encuesta a unos 2.700 autores de las principales conferencias de machine learning arrojó una mediana del 5% para resultados "extremadamente malos, incluida la extinción humana". Entre un tercio y la mitad de los encuestados asignó al menos un 10%.
- El filósofo Toby Ord, en The Precipice, estimó alrededor de un 10% en el siglo XXI, y consideró la IA la mayor de todas las fuentes de riesgo existencial.
Un torneo de pronóstico estructurado de resultados mucho más bajos: cerca del 3% entre especialistas del dominio y un 0,38% entre pronosticadores profesionales.
Ese rango de cuatro órdenes de magnitud entre gente competente dice algo importante: el desacuerdo no es sobre datos, es sobre modelos mentales previos a los datos. Nadie está discutiendo cifras mal calculadas. Están discutiendo si el futuro se parece más a una curva continua o a un salto.
Lo nuevo del 10% de Hubinger no es el número. Es quién lo firma y desde dónde.
El argumento que se muerde la cola.
Coxon trazó una línea entre sus dos ex empleadores. En OpenAI, dijo, muchos no han interiorizado de verdad lo que está en juego. En Anthropic sí lo entienden pero están atrapados en una carrera por llegar primero, convencidos de que nadie más actuará con responsabilidad y que por lo tanto les toca a ellos, riesgo incluido.
Ese razonamiento tiene nombre en teoría de juegos y tiene un problema evidente: funciona igual de bien para todos los jugadores. Cada laboratorio puede justificar acelerar apelando a la imprudencia del vecino. El resultado agregado es exactamente la carrera que todos dicen querer evitar. Es un equilibrio estable, y es estable precisamente porque nadie tiene incentivo unilateral para salirse.
Coxon lo resumió mejor que cualquier paper: entrar en esta fase, dijo, es una apuesta que no debería lanzarse desde el Slack de una empresa privada.
Hay dos reacciones perezosas disponibles. Una es tratar el 10% como una profecía. La otra es descartarlo como marketing del miedo la idea de que a estas empresas les conviene que su producto parezca peligroso porque peligroso significa poderoso.
Ninguna de las dos aguanta.
El testimonio interno tiene valor real la gente que trabaja en preentrenamiento ve las curvas de capacidad meses antes que el resto. Pero también tiene un sesgo obvio: quien asigna alta probabilidad a la catástrofe tiende a acabar trabajando justamente ahí. Y "no tenemos un plan" no es una campaña publicitaria. Es una admisión que complica a la empresa, en la misma semana en que se habla de su salida a bolsa.
Lo honesto es quedarse con lo verificable. La afirmación de Hubinger que se puede contrastar no es el 10% es que no existe una solución para alinear sistemas más capaces que nosotros. Eso se comprueba mirando el estado real de la interpretabilidad nuestra capacidad de ver qué hace un modelo por dentro frente a la velocidad a la que crecen las capacidades. Y hoy esa comparación no favorece a la seguridad. Sabemos construir agentes con objetivos antes de saber verificar cuáles son.
Lo que me llevo
Trabajo con estas herramientas todos los días. Doy clases sobre ellas. No escribo esto desde el susto ni desde la fascinación.
Pero hay una asimetría que no se resuelve discutiendo decimales: si la probabilidad real fuera del 1% y no del 10%, la conclusión práctica sería la misma. Cuando el costo del error es irreversible, la magnitud exacta de la probabilidad importa mucho menos que su existencia.
Damián Marsero
Creativo Publicitario & AI Producer
