En un nuevo informe, un grupo de políticas con sede en California codirigido por Fei-Fei Li, un pionero de la IA, sugiere que los legisladores deberían considerar los riesgos de la IA que “aún no se han observado en el mundo” al elaborar políticas regulatorias de IA.
El informe provisional de 41 páginas publicado el martes proviene del Grupo de Trabajo Conjunto de Políticas de California sobre Modelos de IA Fronterizos, un esfuerzo organizado por el gobernador Gavin Newsom luego de su veto al controvertido proyecto de ley de seguridad de IA de California, SB 1047. Si bien Newsom descubrió que la SB 1047 no dio en el blanco, reconoció el año pasado la necesidad de una evaluación más extensa de los riesgos de la IA para informar a los legisladores.
En el informe, Li, junto con los coautores de la Facultad de Computación de UC Berkeley, la decana Jennifer Chayes, y el presidente del Carnegie Endowment for International Peace, Mariano-Florentino Cuéllar, argumentan a favor de leyes que aumentarían la transparencia en lo que los laboratorios de IA de frontera como OpenAI están construyendo. Las partes interesadas de la industria de todo el espectro ideológico revisaron el informe antes de su publicación, incluidos los defensores acérrimos de la seguridad de la IA, como el ganador del Premio Turing, Yoshua Benjio, así como aquellos que argumentaron en contra de la SB 1047, como el cofundador de Databricks, Ion Stoica.
Según el informe, los nuevos riesgos que plantean los sistemas de IA pueden requerir leyes que obliguen a los desarrolladores de modelos de IA a informar públicamente sobre sus pruebas de seguridad, prácticas de adquisición de datos y medidas de seguridad. El informe también aboga por mayores estándares en torno a las evaluaciones de terceros de estas métricas y políticas corporativas, además de ampliar las protecciones de los denunciantes para los empleados y contratistas de las empresas de IA.
Li et al. escriben que hay un “nivel de evidencia no concluyente” sobre el potencial de la IA para ayudar a llevar a cabo ataques cibernéticos, crear armas biológicas o provocar otras amenazas “extremas”. Sin embargo, también argumentan que la política de IA no solo debe abordar los riesgos actuales, sino también anticipar las consecuencias futuras que podrían ocurrir sin suficientes salvaguardas.
“Por ejemplo, no necesitamos observar un arma nuclear [explotando] para predecir de manera confiable que podría y causaría un daño extenso”, afirma el informe. “Si aquellos que especulan sobre los riesgos más extremos tienen razón, y no estamos seguros de si lo estarán, entonces los riesgos y los costos de la inacción sobre la IA fronteriza en este momento son extremadamente altos”.
El informe recomienda una estrategia doble para impulsar la transparencia en el desarrollo de modelos de IA: confiar pero verificar. Los desarrolladores de modelos de IA y sus empleados deben recibir vías para informar sobre áreas de interés público, dice el informe, como las pruebas de seguridad internas, al tiempo que se les exige que presenten reclamaciones de pruebas para la verificación de terceros.
Si bien el informe, cuya versión final se publicará en junio de 2025, no respalda ninguna legislación específica, ha sido bien recibido por expertos de ambos lados del debate sobre la formulación de políticas de IA.
Dean Ball, investigador centrado en la IA de la Universidad George Mason que criticó la SB 1047, dijo en una publicación en X que el informe era un paso prometedor para la regulación de seguridad de la IA de California. También es una victoria para los defensores de la seguridad de la IA, según el senador estatal de California Scott Wiener, quien presentó la SB 1047 el año pasado. Wiener dijo en un comunicado de prensa que el informe se basa en “conversaciones urgentes sobre la gobernanza de la IA que comenzamos en la legislatura [en 2024]”.
El informe parece alinearse con varios componentes de la SB 1047 y el proyecto de ley de seguimiento de Wiener, SB 53, como exigir a los desarrolladores de modelos de IA que informen los resultados de las pruebas de seguridad. Desde una perspectiva más amplia, parece ser una victoria muy necesaria para la gente de seguridad de la IA, cuya agenda ha perdido terreno en el último año.
Add Comment