Preocupaciones y desafíos de la IA desde la visión de más de 20 voces expertas, políticas y tecnológicas

I.- ¿Qué dicen 22 expertos en IA?. II.- ¿Qué dicen 22 líderes de distintos países del mundo e instituciones?. III.- ¿Qué dicen los líderes tecnológicos y el gobierno de Donald Trump?

I.- ¿Qué dicen 22 expertos en IA?

El lunes 28 de febrero 2026 varios medios, como EFE (1) y El Imparcial (2), registraban titulares sobre la posición de 22 expertos de IA sobre la necesidad de regular a la IA para evitar la explosión de inteligencia descontrolada (3) y en mí seguimiento al debate sobre la ralentización y regulación de la IA en Estados Unidos, así como hice con las reflexiones escritas de Dario Amodei y Bill Gates, decidí buscar el original del documento en el que se registra la voluntad de 22 expertos en IA.

Las distintas noticias, aclaran que no se trata de una declaración, sino de un artículo de 15 páginas publicado en Frontier AI Working Paper Series, por el Cambridge Programme on AI Science & Policy (CASP), que forma parte de la Universidad de Cambridge y del Leverhulme Centre for the Future of Intelligence. bajo el título What if automating AI R&D triggers an intelligence explosion?, en el cual se plantea la automatización de la investigación y desarrollo de la IA como un posible detonante de la explosión de la IA.(4)

Así como lo hice con las reflexiones de Gates y Amodei, quiero detener la mirada en el contenido de los 22 expertos en la inteligencia artificial, entre los que figuran los llamados “padrinos modernos” de IA, el premio Nobel Geoffrey Hinton y el experto en computación Yoshua Bengio.

El artículo nos presenta un contenido distribuido en 15 páginas que se inicia reconociendo que la “explosión de inteligencia” podría ser el desarrollo tecnológico más trascendental de la historia de la humanidad.

Esa explosión de inteligencia, dicen los autores en la introducción del artículo, supone una dramática aceleración del progreso de la IA impulsada por la propia IA, que podría comprimir años de progreso en meses o menos y amenazar el control humano sobre los sistema de AI, pero además, podría erosionar gravemente los controles de poder dentro y entre estados, empresas y ramas del gobierno.

En comparación con el progreso habitual de la IA, una explosión de inteligencia artificial, reduciría el margen de adaptación y haría que la preparación anticipada fuera más urgente. Una intervención importante consistirá en acelerar los tiempos de respuestas institucionales.

Si bien, reconocen que aún hay mucha incertidumbre sobre la IA, la automatización de la investigación y desarrollo de la IA podría desencadenar pronto esa explosión de inteligencia, impulsadas no sólo por software, sino también por las mejoras en hardware impulsadas por la IA.

Aunque el trabajo se concentra fundamentalmente en una posible explosión de inteligencia artificial impulsada por software, los autores advierten de que las mejoras de hardware impulsadas por la IA podrían reforzar todavía más esa dinámica.

El propio documento reconoce la existencia de limitaciones actuales que no pueden ser ignoradas, ellas son:

• Los sistemas desobedecen instrucciones en ocasiones.
• Pueden hacer trampas.
• Pueden falsear o tergiversar lo que han hecho.
• Todavía necesita intervención humana en determinadas tareas.
• El rendimiento en benchmarks no siempre se traduce en productividad real.

Los expertos coinciden con Bill Gates, en afirmar que aún no estamos suficientemente preparados y en consecuencia proponen a los líderes políticos tres prioridades para responder al desafío que se presenta, ellas son:

1. Obtener visibilidad sobre la automatización de la I+D en IA dentro de las empresas de IA de vanguardia.
2. Desarrollar estrategias para dirigir y limitar la explosión de la inteligencia artificial.
3. Prepararse para adaptarse a sus impactos. Una vez que comienza la explosión de la inteligencia artificial, puede que no quede margen de maniobra.

Y entre las medidas que proponen de forma concreta, destaco las siguientes:

1. Exigir informes transparentes de progreso sobre la investigación y el desarrollo de la IA.
2. Introducir la figura de auditores independientes dentro de las empresas.
3. Trabajar con centro de datos que permitan pausar determinados proyectos de I+D IA.
4. Garantizar que los sistemas automatizados estén asignados y bajo control humano.
5. Elaborar planes de respuesta de emergencia.

En relación particular a las medidas para enfrentar la explosión de inteligencia, plantean 3 grupos de medidas orientadas con acciones concretas a tal fin, ellas son:

1.. Desarrollar formas de marcar el ritmo y limitar la ampliación de la Investigación y Desarrollo (I+D) automatizadas en IA, para ello proponen, entre otras acciones:

1.1 Establecer requisitos para la implementación continua o desarrollo, como la implementación de medidas de seguridad adecuadas.

1.2.- Mayor supervisión de los centros de datos que participen en la I+d de la IA automatizada y establecimiento de procedimientos de respuesta a incidentes en colaboración con datos operadores de esos centros y empresas de IA.

2.- Orientar el desarrollo e implementación de la IA, para lo cual,  seria necesario brindar apoyo mediante incentivos fiscales, asignación de cómputo, compromisos de mercado anticipados y premios.

3.- Reducir riesgos por posibles conflictos causados por la explosión de inteligencia y entre las acciones que recomiendan los expertos quiero destacar las siguientes:

3.1.- Desarrollar enfoques para integrar de forma segura los sistema de IA en los procesos políticos, con el fin de mejorar y respaldar las operaciones gubernamentales.

3.2.-  Crear y mantener planes que respondan a la explosión de inteligencia, calificada por los autores como emergencias para diversos escenarios que impliquen avances externos en IA, incluidos los que tengan mayor impacto en el mercado laboral, inestabilidad geopolítica o perdida de control

3.3.- Valorar los riesgos de una explosión descontrolada de información de inteligencia frente al potencial abuso de ciertos poderes y los costes de los retrasos en el progreso; en este sentido ponen como ejemplo de ello, el uso de mecanismos mal diseñados que podrían llevar a que un gobierno ralentice el desarrollo en todas las empresas, excepto en aquellas que podrían ser calificadas como sus favoritas.

3.4 Impulsar medidas orientadas a fomentar la confianza, como podría ser el intercambio de incidentes, normas en cuanto a la notificación de indicadores de alerta temprana.

3.5.- Negociar acuerdos internacionales orientadas a prevenir desarrollo y uso desestabilizadores de sistema de IA altamente capaces y financiamiento de investigación que podrían sustentar dichos acuerdos.

3.6.- Realizar juegos de guerra para simular la explosión de inteligencia.

Es la hora de intervenir a nivel político, afirman los 22 expertos, invitando en ese sentido a los líderes políticos a adoptar políticas públicas orientadas a desarrollar mecanismos de supervisión, control y respuestas ante posible aceleración externa de la I+D de la IA.

Entre los 22 expertos, autores del artículo sobre el cual se hace referencia en las líneas previas, figuran investigadores académicos y expertos vinculados a OpenAI, Anthropic y Microsoft, así como a universidades como Cambridge, Oxford, Virginia, Toronto, Berkeley y Montreal, además de organizaciones independientes de investigación y política tecnológica.

II.- ¿Qué dicen 22 líderes de distintos países del mundo e instituciones?

En el marco de la Semana de Alto Nivel de la Organización de las Naciones Unidas (ONU), una coalición compuesta por 22 países e instituciones solicitaron que la inteligencia artificial (IA) permanezca estrictamente bajo control humano y que los Estados miembros establezcan regulaciones comunes para frenar posibles riesgos de seguridad.

Entre los países que firmaron esa Declaración se pueden identificar a: España, Alemania, Canadá, Australia, Finlandia, Noruega, Singapur, Sudáfrica, Kenia, Turquía y Emiratos Árabes Unidos y la presidenta de la Comisión Europea entre otros, pero ha quedado abierto a nuevas adhesiones. (5)

Es importante aclarar que la declaración diplomática es conjunta entre líderes internacionales, al margen de la Asamblea General; por lo tanto no es una Resolución, no es un posición que haya sido adoptada por la ONU.

Los líderes firmantes reconocen el potencial de la tecnología para mejorar vidas y fortalecer economías, pero alertan que su rápido avance plantea graves amenazas si no se gestiona de forma adecuada. La misiva gubernamental destaca episodios recientes en los que sistemas avanzados de IA lograron vulnerar las medidas de seguridad de corporaciones e ingresaron de forma no autorizada a redes del mundo real.

Las peticiones clave de la Declaración diplomática son:

• Protocolos transparentes: Obligar a las empresas del sector tecnológico a realizar pruebas previas a la implantación de los modelos.
• Evaluaciones independientes: Fomentar auditorías externas para certificar la seguridad de los algoritmos antes de su lanzamiento al mercado.
• Institución global: Plantear la creación de un organismo internacional dependiente de la ONU que fije estándares y supervise umbrales de capacidad tecnológica.

Las dos primera coinciden con las propuestas delos expertos.

III.- ¿Qué dicen los líderes tecnológicos y el gobierno de Donald Trump?

El martes 30 de septiembre 2026, el Presidente de EE.UU, Donald Trump, anunció un acuerdo que calificó moralmente vinculante entre las empresas tecnológicas de IA en EEUU, a través del cual se asumió el compromiso de incorporar salvaguardas a la IA, el cual no tiene fuerza legal, en consecuencia es un acuerdo voluntario y sin sanciones en caso de incumplimiento.

En el debate sobre la regulación o autorregulación de la IA, el compromiso voluntario y moral anunciado por el presidente Trump, es una expresión de una política de la Administración Trump de promover la autorregulación de la las empresas de IA.

De hecho hay que recordar que en enero 2025, una de las primeras acciones que el presidente Trump adoptó fue derogar la Orden Ejecutiva 14110, aprobada por la administración Biden, titulada Safe, Secure an Trusworthy Development and Used of Artificial Inteligence, que traducida al español hace referencia a la seguridad y confiabilidad del desarrollo y uso de la IA (6).

Esa Orden fue adoptada luego que el entonces presidente Joe Biden, estableciera un compromiso (7) también voluntario con algunas de las principales empresas tecnológicas de IA en el año 2023, que fue suscrita en un primer momento por empresas como Amazon, Google, Meta, Microsoft and OpenAI. (8)

La mencionada Orden planteaba los siguientes objetivos, que son interesantes de recordar en el marco del debate sobre las IA que se desarrolla en Estados Unidos:

• Seguridad y confianza. Los desarrolladores de modelos de IA de vanguardia debían compartir sus resultados de sus pruebas de seguridad con el gobierno de EE.UU.
• Protección de Datos.
• Defensa Nacional y Laboral, La orden exigía evaluar el impacto de la IA en el mercado de trabajo y establecer estándares de ciberseguridad y bioseguridad.

Sobre aquella Orden Ejecutiva, la agencia de noticias AP, destaca que la misma fue más allá al invocar la Ley de Producción de Defensa, que data de la Guerra de Corea, obligar a las empresas a compartir los resultados de las pruebas de seguridad y otra información si sus sistemas de IA cumplían un determinado umbral.(9)

Durante la campaña electoral de Donald Trump para su segundo mandato, su plataforma de campaña calificó la Orden Ejecutiva, como “un impedimento para la innovación e imponiendo “ideas izquierdistas radicales sobre el desarrollo de esta tecnología”, vinculándola a preocupaciones más amplias de Musk y otros aliados de Trump sobre chatbots de IA “woke” que reflejan sesgos liberales.”

Matt O´Brien en su artículo sobre la Orden Ejecutiva en Los Ángeles Times, describe su contenido de la siguiente manera:

En sí misma no restringía la libertad de expresión; algunas disposiciones buscaban estándares para la marca de agua de contenido generado por IA, parte de una estrategia para reducir los peligros de la suplantación y las imágenes abusivas de deepfake sexual.

La orden dirigía a múltiples agencias federales a protegerse contra posibles daños de las aplicaciones de IA, advirtiendo contra usos irresponsables que “reprodujeran e intensificaran las inequidades existentes, causaran nuevos tipos de discriminación dañina y exacerbaran daños en línea y físicos”.

Sobre esa Orden Ejecutiva, Marc Andreessen, de Meta Platforms, que la empresa tecnológica se paralizarían deliberadamente mediante regulaciones onerosas, mientras el resto del mundo avanza en particular China. (10)

Por su parte, Alexandr Wang, director general de la empresa tecnológica de IA Scale, afirmó que era un texto muy extenso, sin especificar qué era lo perjudicial, pero reconoció que había aspectos con los cuales estaban completamente de acuerdo. (11)

Esa declaración la hizo en el marco de las actividades por la juramentación de Donald Trump como nuevo Presidente de Estados Unidos, y entonces agregó que él y los otros líderes de Silicon Valley, esperan trabajar con la administración Trump para guiar su enfoque hacia uno con menos restricciones.

Por su parte Alexandra Reeve Givens, directora general del Centro para la Democracia y Tecnología, organización sin fines de lucro, afirma que el trabajo de esa orden derogada ya estaba avanzada, se había completado, y de hecho, están los informes escritos y recomendaciones generadas, disponibles para su revisión.

Y algo que llama la atención, es que afirma que gran parte de la normativa que allí se estableció, siguió el mismo camino de órdenes ejecutivas adoptadas por la primera administración de Donald Trump.

“Si miras más allá del posicionamiento político en esto, la orden ejecutiva de Biden se basó en temas que se establecieron en la primera administración de Trump y han sido reiterados por voces bipartidistas en el Congreso”. (12)

Ha pasado 1 año desde la derogatoria de aquella Orden Ejecutiva y un nuevo compromiso voluntario se ha anunciado, ésta vez, bajo el titulo en español de Compromiso conjunto sobre las responsabilidades en materia de tecnologías de frontera. (13)

El mencionado compromiso de septiembre 2026 plantea que cada empresa es responsable de desarrollar su tecnología de IA de forma segura y de manera que genere confianza entre sus clientes y el público y para ello acuerdan una serie de capas de controles y auditorias que son:

1. Implementar controles internos sólidos, para supervisar las capacidades y la alineación de sus modelos durante el entrenamiento y el despliegue, abordar áreas como la ciberseguridad, la bioseguridad y las amenazas químicas, y garantizar que sus modelos no pirateen ni accedan a sistemas técnicos de maneras no previstas.

2. Facultar a un equipo interno para garantizar que todos los controles, mecanismos de supervisión y sistemas de detección funcionan según lo previsto y que cualquier problema sea subsanado.

3.- Colaborar con un auditor o evaluador externo independiente para realizar evaluaciones independientes sobre si los controles, los mecanismos de supervisión y los sistemas de detección están funcionando según lo previsto.

4.- Designar un comité del consejo de administración para supervisar y recibir informes de los equipos responsables de los controles, así como de los auditores y evaluadores internos y externos, y para garantizar también que cualquier problema identificado sea subsanado.

Hay un compromiso de las empresas a reunirse periódicamente para establecer estándares y buenas prácticas destinadas a mejorar la seguridad de sus sistemas.

Resulta interesante interpretar las últimas líneas del Compromiso voluntario 2026, pues parece que deja abierta la posibilidad que en un futuro, no definido, “podría tener sentido”, dice el texto, que esas medidas, las del compromiso, queden plasmadas en leyes o reglamentos, además de reafirmar, el compromiso de las empresas con la implementación de controles y auditorías por considerarlas fundamental para garantizar un futuro seguro para todos.

Mark Zuckerberg, Meta  (14) y Jansen Huang, Nvidia (15), quienes han sido las principales voces en el cuestionamiento a las alarmas y alertas que han expresado Dario Amodei, Anthropic y Sam Altman, OpenAI,  coinciden en respaldar el Compromiso Voluntario acordado el 29 de septiembre y consideran que representa un importante aporte en la búsqueda por una mayor confianza en la IA.

Por cierto, esa búsqueda por una mayor confianza, también es una aspiración que estaba presente en la Orden Ejecutiva 14110 del 2023 (16), derogada por el presidente Donald Trump en el 2025.

Aquella Orden, creo oportuno recordar, también planteaba como uno de sus objetivos, previamente mencionado, la procura de una gestión segura y responsable del desarrollo y uso de la IA; y como uno de sus principios, está que la IA sea segura y confiable, para lograrlo se plantearon algunas medidas entre las que destaco sólo 3 de ellas:

• Evaluaciones sólidas, confiables, repetibles y estandarizadas de los sistemas de IA.
• Políticas, instituciones y, según corresponda, otros mecanismos para probar, comprender y mitigar los riesgos de estos sistemas antes de su uso. 
• Abordar los riesgos de seguridad más apremiantes de los sistemas de IA, incluyendo aquellos relacionados con la biotecnología, la ciberseguridad, la infraestructura crítica y otros peligros para la seguridad nacional, al tiempo que se gestiona la opacidad y complejidad de la IA. 

Para Mark Zuckerberg, el Compromiso Voluntario de septiembre 2026, es un paso positivo y significativo para abordar la confianza en las empresas tecnológicas que desarrollan IA y para Huang, es una forma de reafirmar que son las empresas que desarrollan la IA quienes tienen la responsabilidad principal de desarrollarlas y desplegarlas de manera segura, y rendir cuentas cuando fallen en ello.

El Papa León XIV reconoce es responsabilidad de las empresas a que hace referencia el CEO de Nvidia, cuando en su encíclica Magnifica Humanitas, destaca que los desarrolladores de IA tienen un "importante peso ético y espiritual, ya que cada elección de proyecto expresa una visión de la humanidad. Así como el autor de una obra artística o literaria está obligado a considerar los valores que manifiesta, así también ellos están llamados a tratar con la debida seriedad los valores que infunden en sus proyectos: con transparencia, con responsabilidad hacia las comunidades involucradas y con atención a verificar que lo que se cultiva sea realmente un bien." (17)

La confianza, lo sabemos todos, no se decreta. Si aspiramos a convivir en armonía con la IA, regulada o autorregulada, necesitamos asumir una corresponsabilidad que involucre a los gobiernos, a las empresas, a los ciudadanos, a las organizaciones sociales, en definitiva de todos los actores de una sociedad.

En ese sentido, creo que los compromisos voluntarios impulsados en el 2023 y 2026, así como la Orden Ejecutiva 14110 mencionada previamente, pueden entenderse como pasos hacia la construcción de un nuevo orden en el cual la inteligencia artificial sea un aliado y no una amenaza.   

Carlos Romero Mendoza

@carome31

_________________________________________________________

1EFE. 22 gurús de la IA piden normas para evitar una «explosión de inteligencia» descontrolada. 28 de septiembre 2026. Online en:https://efe.com/ciencia-y-tecnologia/2026-09-28/ia-normas-explosion-inteligencia-descontrolada/

2El Imparcial. Una veintena de gurús de la IA reclaman normas para evitar una "explosión" descontrolada. 28 de septiembre 2026. Online en: https://www.elimparcial.es/noticia/302252/sociedad/una-veintena-de-gurus-de-la-ia-reclaman-normas-para-evitar-una-explosion-descontrolada.html

3Swissinfo.ch. 22 gurús de la IA piden normas para evitar una «explosión de inteligencia» descontrolada. 28 de septiembre 2026. Online en:https://www.swissinfo.ch/spa/22-gur%C3%BAs-de-la-ia-piden-normas-para-evitar-una-%22explosi%C3%B3n-de-inteligencia%22-descontrolada/92133903

4  VARIOS. What if automating AI R&D triggers an intelligence explosion?. Frontier AI Working Paper Series No. 2/2026. En: Cambridge Programme on AI. Science & Policy. University of Cambrideg. September 2026. Online en: https://casp.ac/reports/intelligence-explosion

5 President of the Republica of Finland. A Call for Control of Frontier AI Models. 21 de septiembre 2026. Online en: https://www.presidentti.fi/en/a-call-for-control-of-frontier-ai-models/?utm_source=chatgpt.com

6El derecho. Trump deroga la regulación de Biden sobre Inteligencia Artificial y criptomonedas. 24 de enero 2026. Online en: https://elderecho.com/trump-deroga-la-regulacion-de-biden-sobre-inteligencia-artificial-y-criptomonedas

7The White House. Administration Secures Voluntary Commitments from Eight Additional Artificial Intelligence Companies to Manage the Risks Posed by AI. 12 de septiembre 2023. Online en: https://bidenwhitehouse.archives.gov/briefing-room/statements-releases/2023/09/12/fact-sheet-biden-harris-administration-secures-voluntary-commitments-from-eight-additional-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/

8 O´BRIEN, Matt. Trump rescinds Biden’s executive order on AI safety in attempt to diverge from his predecessor. 22 de enero 2025. Online en: https://apnews.com/article/trump-ai-repeal-biden-executive-order-artificial-intelligence-18cb6e4ffd1ca87151d48c3a0e1ad7c1

9  Idem

10 Idem

11 O´BRIEN, Matt. Trump revoca orden de Biden sobre seguridad en IA para diferenciarse de su antecesor. En: Los Angeles Times. Online en: 22 de enero 2025. Online en:https://www.latimes.com/espanol/eeuu/articulo/2025-01-22/trump-revoca-orden-de-biden-sobre-seguridad-en-ia-para-diferenciarse-de-su-antecesor

12 Idem

13  Compromiso conjunto sobre las responsabilidades en materia de tecnología de frontera. En:  @JensenHuang 30 de septiembre 2026. Online en: https://x.com/JensenHuang/status/2105348324484342238

14 @finkd. 30 septiembre 2026.  2:08 am.  https://x.com/finkd/status/2105087367686025454

15@JensenHuang. 30 septiembre 2026. 7:25 pm. Oneline en: https://x.com/JensenHuang/status/2105348324484342238

16 Executive Order 14110. Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. 30 de octubre 2023. En: Federal Register. Online en:https://www.federalregister.gov/documents/2023/11/01/2023-24283/safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence

17  Carta Encíclica de su santidad el Papa León XIV. Magnifica Humanitas. Sobre la custodia de la persona humana en el tiempo de la inteligencia artificial. Párrafo 111. Online en: https://www.vatican.va/content/leo-xiv/es/encyclicals/documents/20260515-magnifica-humanitas.html