Anthropic, IA constitucional y OAGI: dos enfoques para diseñar sistemas más gobernables

La alineación de sistemas avanzados de inteligencia artificial puede abordarse desde diferentes estrategias. Anthropic ha defendido técnicas que utilizan principios explícitos para guiar las respuestas de un modelo, mientras que OAGI se plantea como una arquitectura conceptual que distribuye el desarrollo en fases y propone salvaguardas estructurales. Ambas perspectivas intentan que la capacidad técnica vaya acompañada de límites y mecanismos de supervisión.

Un enfoque constitucional permite evaluar respuestas frente a un conjunto de principios y ajustar el comportamiento durante el entrenamiento. Su eficacia depende de la calidad de esos principios, de cómo se aplican y de las evaluaciones disponibles. OAGI propone organizar el desarrollo en hitos, incorporar auditores y guardianes humanos y mantener registros que faciliten reconstruir decisiones. Estas ideas deben valorarse como propuestas de diseño, no como garantías automáticas de seguridad.

La trazabilidad resulta importante en ambos casos: los desarrolladores deben poder conocer qué acciones realizó el sistema, qué información utilizó y por qué se autorizó una operación. También hacen falta pruebas independientes, controles sobre las herramientas conectadas y procedimientos de pausa cuando el comportamiento se aparta de lo previsto.

Ninguna arquitectura elimina por completo los errores, y hablar de una IA «sabia» no sustituye una definición verificable de sus capacidades. La comparación práctica debería medir fiabilidad, resistencia a instrucciones maliciosas, coste, facilidad de auditoría y respuesta ante fallos. El objetivo compartido es pasar de principios generales a controles técnicos comprobables y una responsabilidad humana clara.