Anthropic presentó una forma de suspender de manera urgente el desarrollo de la inteligencia artificial

Anthropic llama a la «autolimitación» del desarrollo de IA

La empresa Anthropic, conocida por sus esfuerzos en ética de inteligencia artificial, volvió a estar en el centro de atención tras un conflicto con el Pentágono a principios de año. Esta semana, la startup se dirigió a los representantes de la industria solicitando su disposición a limitar el desarrollo de tecnologías si comienzan a representar una amenaza para el control humano.

Puntos clave del llamado

* La auto-mejora recursiva completa de la IA puede llevar a que los sistemas creen sus propios «sucesores» sin intervención humana.

* En tal caso, las capacidades de monitoreo y limitación del comportamiento de estos sistemas se vuelven críticamente importantes.

> “Si los sistemas adquieren la capacidad de crear sus propios sucesores de forma autónoma, cobra gran importancia nuestra habilidad para controlar, monitorear y limitar su comportamiento”, dice el comunicado de Anthropic.

¿Por qué es importante?

El mes pasado, más del 80 % del nuevo código utilizado por la compañía fue generado por su propio agente Claude. Esto confirma que Anthropic sabe de lo que habla: si la IA crea nuevas versiones de sí misma, controlarla se vuelve cada vez más difícil.

Los representantes del startup creen que el mundo necesita poder ralentizar o detener el desarrollo de modelos avanzados para dar a la sociedad tiempo para adaptarse y analizar los cambios. Al mismo tiempo, la coordinación de todas las partes involucradas en el mercado es crítica: sin medidas concertadas, jugadores desleales pueden poner en riesgo la seguridad pública.

Planes de la compañía

* En los próximos meses Anthropic planea desarrollar herramientas de monitoreo de tendencias peligrosas en el desarrollo de IA.

* Paralelamente, llevará a cabo trabajo público sobre la discusión de mecanismos regulatorios y la creación de un órgano supervisivo que pueda introducir un régimen de «autolimitación».

Como destaca la empresa, una sola organización no puede cambiar la situación por sí misma. Se necesita el trabajo conjunto de todos los principales desarrolladores de IA para garantizar un desarrollo seguro de las tecnologías.