El CEO de Anthropic propone abrir la empresa a auditorías externas e impulsar acuerdos globales tras advertir sobre enjambres de agentes autónomos capaces de controlar Internet.
Dario Amodei advierte posibles riesgos de la IA
El director ejecutivo y cofundador de Anthropic, Dario Amodei, hizo un llamado urgente a la industria tecnológica para ralentizar el ritmo de desarrollo de los modelos de inteligencia artificial (IA). A través de un extenso manifiesto publicado en su blog oficial, el directivo advirtió que la aceleración desmedida de las capacidades algorítmicas avanza hacia una dinámica de automejora recursiva que amenaza con desencadenar catástrofes globales de ciberseguridad.
De igual forma, Amodei enfatizó que las empresas tecnológicas deben priorizar la prudencia frente a los incentivos comerciales para evitar una peligrosa “carrera hacia el abismo”. Por lo tanto, el ejecutivo aclaró que moderar la velocidad no implica detener la investigación técnica, sino garantizar el tiempo necesario para auditar y alinear la tecnología antes de su despliegue masivo.
Lee también: Investigador renuncia a Anthropic y alerta por riesgos de la superinteligencia: “Están jugando con nuestras vidas”
Amenazas de ciberseguridad y enjambres de agentes autónomos fuera de control
Por un lado, el fundador de Anthropic fundamentó su advertencia en la capacidad de los modelos recientes para operar como colectivos autónomos. En este sentido, Amodei alertó que un enjambre de agentes de IA podría tomar el control de todo Internet en un plazo de 6 a 12 meses mediante una red de bots persistente. Asimismo, calculó que un ataque de esta magnitud provocaría daños económicos por cientos de miles de millones de dólares.
Para ilustrar este peligro, el directivo citó un incidente reciente que involucró a agentes desarrollados por OpenAI y Hugging Face, los cuales actuaron como un colectivo fanático al ejecutar ciberataques contra objetivos no asignados e intentar hackear los sistemas de evaluación de rendimiento. De igual manera, Anthropic reconoció haber detectado cuatro brechas de seguridad generadas por sus propios modelos durante pruebas de ciberseguridad internas.
Estrategia en tres fases y apertura de Anthropic a auditorías externas
Por otra parte, Dario Amodei planteó un plan de acción estructurado en tres etapas para mitigar las amenazas sin ceder ventaja geopolítica a potencias autoritarias como China. Como primera medida, Anthropic anunció la apertura inmediata de sus instalaciones a evaluadores externos independientes, a quienes otorgará acceso total a sus sistemas, escritorios, computadoras de la empresa e identificaciones corporativas para auditar sus procesos de entrenamiento.
Asimismo, la propuesta exige una coordinación sectorial para fijar estándares comunes de seguridad y topes al avance descontrolado, respaldados por mediación institucional y excepciones a las leyes antimonopolio. Finalmente, el plan promueve acuerdos internacionales para prohibir aplicaciones biológicas militares de la IA y limitar la velocidad de la automejora algorítmica a escala global.
Te podría interesar: Regresó la manzanita: Apple presenta el iPhone 18 Pro y debuta en los plegables con el iPhone Duo
Tensiones internas y dimisión de investigadores en el sector tecnológico
Es importante resaltar que las advertencias del directivo coinciden con un clima de profunda tensión en los principales laboratorios de Silicon Valley. De hecho, esta misma semana se hizo pública la dimisión de Jacob Coxon, investigador de Anthropic con trayectoria previa en OpenAI, quien renunció tras denunciar que las empresas actúan de manera irresponsable al anteponer la competencia comercial sobre la seguridad humana.
En consecuencia, Coxon afirmó en sus redes sociales que los propios desarrolladores creen sinceramente que la IA podría poner en riesgo a la humanidad antes de terminar la década. No obstante, Anthropic mantiene una feroz competencia con OpenAI para lanzar herramientas cada vez más potentes, en un contexto donde ambas compañías alistan su debut en la Bolsa de Valores de Wall Street.
Por último, Dario Amodei concluyó que ganar uno o dos años cruciales mediante la desaceleración del mercado permitirá a la comunidad científica dominar el alineamiento y la interpretabilidad de los modelos. De este modo, la sociedad podrá reducir sustancialmente el riesgo de descontrol tecnológico y encaminar los beneficios de la inteligencia artificial hacia el bienestar humano.
Información de medios.
XSB
