|
Getting your Trinity Audio player ready...
|
Dario Amodei advierte que las empresas deben avanzar con mayor cautela y someter sus modelos a evaluaciones externas de seguridad
El director ejecutivo y cofundador de Anthropic, Dario Amodei, lanzó un llamado a las principales empresas de inteligencia artificial para que reduzcan el ritmo con el que están desarrollando las capacidades de sus modelos y dediquen más tiempo a prevenir posibles daños.
“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA”, escribió Amodei en una entrada publicada en el blog de la compañía. Aclaró, sin embargo, que su propuesta no implica detener el entrenamiento de los sistemas ni paralizar el avance tecnológico.
La advertencia se produce después de que Anthropic divulgara un informe de inteligencia sobre amenazas que documentó el uso de sus modelos Claude en actividades potencialmente peligrosas, entre ellas desarrollo de armas, operaciones cibernéticas, vigilancia y fraude.
Amodei sostuvo que el tiempo adicional debe utilizarse para fortalecer las medidas de seguridad, evaluar los riesgos y comprobar que los sistemas estén adecuadamente protegidos antes de ampliar sus capacidades.
Evaluadores externos para vigilar a las empresas de IA
Como parte de su propuesta, el ejecutivo planteó un marco de tres pasos que incluye la participación de evaluadores externos permanentes en las principales compañías de inteligencia artificial.
Estos especialistas tendrían acceso a las herramientas y a determinados procesos internos utilizados para evaluar los riesgos de los modelos, con el objetivo de ofrecer una revisión independiente de las medidas de seguridad adoptadas por las empresas.
La preocupación aumentó esta semana tras la renuncia del investigador de Anthropic Jacob Coxon, quien expresó públicamente sus temores sobre el futuro de la tecnología y sobre los riesgos que, a su juicio, podrían derivarse del desarrollo acelerado de sistemas cada vez más avanzados.
Altman y Musk respaldan el llamado
La propuesta de Amodei recibió rápidamente el respaldo de dos de las figuras más influyentes de la industria tecnológica.
Sam Altman, director ejecutivo de OpenAI, manifestó que coincide con el jefe de Anthropic y señaló que su compañía seguirá su ejemplo en materia de evaluaciones externas de seguridad.
“Estoy de acuerdo con Dario”, escribió Altman en X.
Por su parte, Elon Musk, director de xAI, también reaccionó al planteamiento con un mensaje breve: “Dario tiene razón”.
El respaldo de Altman y Musk coloca nuevamente en el centro del debate una de las mayores interrogantes sobre el desarrollo de la inteligencia artificial: cómo mantener el avance tecnológico sin dejar atrás las medidas destinadas a controlar sus posibles consecuencias.
Amodei sostiene que el progreso de la IA continuará siendo rápido incluso si las empresas reducen el ritmo de desarrollo, pero considera que ese margen adicional puede ser determinante para anticipar riesgos y establecer mayores controles de seguridad.
Very interesting information!Perfect just what I was searching for! “Washington is the only place where sound travels faster than light.” by C. V. R. Thompson.