La empresa más disruptiva del mundo [EN]

La llegada de un proceso conocido como auto-mejora recursiva. La auto-mejora recursiva se produce cuando un sistema de IA empieza a mejorarse a sí mismo, creando un ciclo de inercia que continúa acelerándose. En la ciencia ficción y en los ejercicios de planificación realizados en los principales laboratorios de IA, es aquí donde las cosas pueden empezar a salir mal. Una "explosión de inteligencia" podría desarrollarse tan rápidamente que los humanos ya no puedan supervisar lo que han construido.

[#1 JungSpinoza]

A finales de febrero, Anthropic reescribió su política, eliminando el compromiso vinculante de pausa. En retrospectiva, Kaplan declara que fue "ingenuo" pensar que Anthropic pudiera distinguir claramente entre peligro y seguridad. "Con el rápido avance de la IA, no nos pareció lógico asumir compromisos unilaterales... si la competencia lleva la delantera", afirma. La nueva versión de la política incluye compromisos de mayor transparencia sobre los riesgos de seguridad de la IA, incluyendo información adicional sobre el rendimiento de los modelos de Anthropic en las pruebas de seguridad. Se compromete a igualar o superar los esfuerzos de seguridad de la competencia. Y promete "retrasar" el desarrollo si los líderes consideran a Anthropic líder en la carrera de la IA y consideran que los riesgos de catástrofe son significativos. La empresa lo presentó como una concesión pragmática ante realidades incómodas. Pero, en general, el cambio al RSP dejó a Anthropic mucho menos limitada por sus propias políticas de seguridad. Y presagiaba una prueba más difícil por venir.

[#2 JungSpinoza]

#1 La redada que capturó al presidente venezolano Nicolás Maduro fue una de las primeras operaciones militares importantes planificadas con la ayuda de un sistema de inteligencia artificial de vanguardia. En plena noche del 3 de enero, helicópteros del Ejército estadounidense sobrevolaron el espacio aéreo venezolano. Tras intercambiar disparos, los comandos se dirigieron a la residencia del presidente. Capturaron a Maduro y a su esposa y los llevaron a Nueva York para enfrentar cargos de narcotráfico. Se desconocen todos los detalles de cómo se utilizó a Claude en la redada contra Maduro. Sin embargo, según Axios, Claude ayudó a planificar la misión y fue utilizado durante la misma.

[#3 josiahallen]

Todo esto es ciencia ficción. La realidad es mucho más prosaica y las IA no saben programar. Saben copiar código de stackoverflow y no mucho más. Así no hay crecimiento recursivo que valga.

Pero en la ficción esto sí que vale y lo más recomendable es leer la saga de la cultura donde las superinteligencias se han construido a sí mismas a partir del diseño humano original. Luego, las maravillas esas han reconfigurado la biología humana para darle características superiores.