¿Qué significa para las empresas la Orden Ejecutiva de Biden sobre medidas de seguridad de la IA?
2 de noviembre de 2023
0 minutos de lecturaEl 30 de octubre, el presidente de Estados Unidos, Joseph Biden, emitió una Orden Ejecutiva (“OE”) integral, centrada en hacer que la IA sea más segura y responsable.
Resumen de la orden ejecutiva sobre IA
La Orden abarca muchos temas, desde los sesgos algorítmicos y la protección de la privacidad hasta las regulaciones sobre la seguridad de los modelos de IA de frontera. Los modelos de frontera son los más grandes y avanzados, como GPT-4, Bard y Llama 2. La Orden exige que muchas agencias gubernamentales creen áreas específicas de regulación de la IA durante el próximo año. La OE también incluye una sección para fomentar el desarrollo abierto de tecnologías de IA, impulsar las innovaciones en seguridad de la IA y crear herramientas con IA para mejorar la seguridad.
El mundo de la tecnología todavía está analizando la OE y evaluando sus posibles efectos. En algunas áreas importantes, la OE no se pronuncia. Por ejemplo, no menciona el código abierto ni establece excepciones para proyectos de código abierto que, por ejemplo, podrían estar creando nuevos modelos fundacionales. En otros aspectos, no queda claro cómo interpretar el texto. La OE sí indica que los modelos que requieran más de cierta cantidad de recursos computacionales deberán informar sus resultados, pero no explica claramente si esto se aplica a todos los modelos o solo a aquellos que podrían adaptarse fácilmente para fines maliciosos.
La OE tampoco es un conjunto de reglas jurídicamente vinculantes; más bien, se diseñó para sentar las bases de futuras regulaciones. Por eso, es probable que la OE influya en las prioridades y el enfoque de los organismos reguladores, y en las futuras leyes sobre IA. La gran pregunta, por supuesto, es cómo afectará esta orden al desarrollo y la implementación de tecnología en las empresas y organizaciones que crean soluciones con sistemas de IA o sobre ellos (para esta publicación, “sistema de IA” significa cualquier sistema de datos, software, hardware, aplicación, herramienta o utilidad que funcione total o parcialmente con IA). La IA avanza muy rápido, y es posible que tu organización ya esté definiendo prácticas de IA que podrían ser difíciles o costosas de cambiar cuando entren en vigor las regulaciones. Lo ideal sería evitar esta situación y preparar de forma proactiva tus operaciones de IA (AIOps) y productos para el futuro, siguiendo las mejores prácticas y las recomendaciones de la Orden Ejecutiva.
Preguntas clave que plantea la orden ejecutiva sobre IA
Aquí tienes un breve resumen de las principales preguntas que hemos escuchado y de lo que creemos que son las respuestas hasta ahora. (Nota: Es posible que actualicemos esta publicación con el tiempo, a medida que evolucione la situación. Indicaremos las actualizaciones con una fecha.)
Preguntas incluidas
La Orden Ejecutiva habla de un registro de modelos de IA. ¿Tendré que registrar el mío?
¿Qué activa los requisitos de presentación de informes establecidos en la Orden Ejecutiva?
La Orden Ejecutiva habla mucho sobre la seguridad de la IA. ¿Puedes darme recomendaciones prácticas?
Trabajo con modelos muy grandes, pero no los diseño. ¿Cómo me afectaría esta OE?
Pregunta: La Orden Ejecutiva habla de un registro de modelos de IA. ¿Tendré que registrar el mío?
Respuesta: Por ahora no está claro, pero creemos que, en la mayoría de los casos, las empresas que crean modelos de IA más pequeños o usan modelos existentes no tendrán que registrarlos.
Pregunta: ¿Qué activa los requisitos de presentación de informes establecidos en la Orden Ejecutiva?
Respuesta: La OE exige que los desarrolladores de IA informen sobre cualquier entrenamiento de IA a gran escala que pueda representar un riesgo importante para la seguridad. También exige informar los resultados de las evaluaciones de seguridad o de las pruebas de ataque controladas (“red teaming”). Además, los proveedores de servicios en la nube deben notificar al gobierno si una persona extranjera intenta comprar servicios computacionales capaces de entrenar un modelo de IA grande.
Según el texto de la OE, el umbral para informar corresponderá a modelos muy grandes: modelos entrenados con decenas de millones de horas de cómputo en las GPU más recientes. En términos operativos, esto significa modelos entrenados en un clúster con una capacidad computacional superior a 1026 operaciones enteras o de punto flotante, o en cualquier clúster de cómputo con un rendimiento de red local superior a 100 Gbit/s. Al hacer los cálculos, esto implica entrenar modelos con decenas de billones de tokens. Según se informa, GPT-4 se entrenó con 1,7 billones de tokens, un orden de magnitud menos. En otras palabras, es probable que, a corto plazo, los umbrales mencionados en la OE solo afecten a los creadores de los modelos más grandes y a los clústeres de cómputo más potentes; probablemente, a los que entrenan los modelos más grandes y gastan muchos millones de dólares por cada entrenamiento. Sin embargo, ten en cuenta que la OE establece que el gobierno puede cambiar estos criterios en el futuro. Esto significa que los umbrales podrían subir o bajar según las decisiones regulatorias.
Pregunta: La Orden Ejecutiva habla de estándares de presentación de informes para modelos de IA de “doble uso”. ¿Cómo se definen?
Respuesta: En resumen, la Orden no los define claramente. Al parecer, se busca abarcar los modelos de IA que pueden usarse con fines maliciosos. Sin embargo, en la práctica, casi cualquier IA puede entrenarse y usarse con fines maliciosos, así que este punto es bastante ambiguo. Dicho esto, a continuación ofrecemos algunas recomendaciones básicas.
Pregunta: La Orden Ejecutiva no dice nada sobre el software de código abierto. ¿Cómo se aplicará a los modelos de IA de código abierto?
Respuesta: Por ahora, no hay recomendaciones claras sobre los modelos y la IA de código abierto. En general, es probable que las recomendaciones generales de la Orden Ejecutiva se apliquen a la IA de código abierto y a cualquier modelo que se desarrolle y publique como código abierto.
Pregunta: La Orden Ejecutiva habla específicamente de modelos fundacionales muy grandes. ¿Incluye modelos grandes de código abierto como Llama 2, Falcon 70B o Mistral?
Respuesta: La Orden señala específicamente que las disposiciones y regulaciones se aplicarán a los modelos que todavía no se hayan publicado. Por eso, es probable que estos modelos existentes estén sujetos a distintos niveles de supervisión. Si estás trabajando sobre estos modelos y modificándolos, es bastante probable que tu equipo tenga que cumplir al menos con parte de la supervisión y los requisitos de presentación de informes regulatorios.
Pregunta: La Orden Ejecutiva habla mucho sobre la seguridad de la IA. ¿Puedes darme recomendaciones prácticas?
Respuesta: La seguridad es un concepto bastante subjetivo, pero aquí tienes un resumen rápido. La Orden destaca la necesidad de que los sistemas de IA sean seguros y confiables. Exige evaluaciones de los sistemas de IA sólidas, confiables, repetibles y estandarizadas, así como políticas y mecanismos para probar, comprender y mitigar los riesgos de estos sistemas antes de ponerlos en uso. Por eso, si tu organización entrena o ajusta sistemas de IA para usarlos en productos dirigidos al público o aplicaciones de producción, considera implementar procesos de seguridad estructurados y auditables, enfocados específicamente en tus activos de IA.
Pregunta: La Orden Ejecutiva incluye una sección sobre libertades civiles, privacidad y sesgos algorítmicos. ¿Cómo podría afectar a mi organización?
Respuesta: La Orden exige proteger la privacidad y las libertades civiles de los estadounidenses a medida que avanza la IA. No ofrece recomendaciones específicas, pero, en realidad, otras leyes ya han empezado a abordar estos temas, ya sea a nivel estatal (como en California) o nacional (por ejemplo, en la Unión Europea). En definitiva, las aplicaciones y los modelos de IA deben contar con las mismas medidas de protección, transparencia y trazabilidad que las aplicaciones tradicionales que no usan IA. Un área particularmente desafiante puede ser entrenar sistemas de IA con conjuntos de datos que contengan sesgos ocultos o información de identificación personal (PII) anonimizada que pueda extraerse con las instrucciones adecuadas. Estas dos situaciones podrían dar lugar a infracciones legales o, potencialmente, demandas.
Pregunta: ¿Cómo afecta la Orden al código generado por IA?
Respuesta: La Orden Ejecutiva no incluye disposiciones específicas ni menciones al código generado por IA. Aun así, debes esperar que el código generado por IA tenga que cumplir las regulaciones más amplias sobre seguridad de aplicaciones y código, y, más específicamente, las de seguridad de la cadena de suministro. Creemos que todas las empresas que crean software y usan herramientas de programación con IA deberían considerar esas herramientas como parte de su cadena de suministro de software. Esto es especialmente importante para el software de código abierto, que puede incluir muchas dependencias transitorias, anidadas, condicionales o directas de otras empresas de código abierto. En otras palabras, es probable que surjan requisitos similares a los que se están desarrollando en torno a la lista de materiales de software (SBOM).
Pregunta: ¡Parece que podríamos necesitar un AIBOM!
Respuesta: Así es. Es buena idea crear algo como un AIBOM que refleje tu SBOM. Como mínimo, documentar todos los usos de IA, los procesos y los datos de entrenamiento, e incluso realizar una auditoría simulada y una revisión de cumplimiento con respecto a las regulaciones vigentes sobre software y tecnología, podría servir como equivalente de un AIBOM y preparar a tu organización para las regulaciones que podrían implementarse a corto o mediano plazo.
Pregunta: Trabajo con datos biológicos. ¿Cómo afectan a mi organización las disposiciones sobre armas biológicas?
Respuesta: El umbral computacional para activar los requisitos de presentación de informes sobre los entrenamientos es un poco más bajo. Los modelos que usen una capacidad computacional superior a 1023 operaciones enteras o de punto flotante deben informar sobre sus entrenamientos. Sin embargo, este umbral sigue siendo relativamente alto y supera ampliamente la capacidad de la mayoría de los modelos que se usan hoy en día con datos biológicos.
Pregunta: Trabajo con modelos muy grandes, pero no los diseño. ¿Cómo me afectaría esta OE?
Respuesta: Si realizas entrenamientos con modelos muy grandes que se acercan a los umbrales computacionales establecidos, es posible que tengas que informar sobre los entrenamientos y los resultados de las evaluaciones de seguridad, incluso si usas modelos existentes. Aunque no realices entrenamientos que alcancen o se acerquen al umbral, es posible que aun así tengas que registrar tu aplicación. Sin embargo, probablemente no lo sabrás con certeza hasta que concluya el próximo proceso de elaboración de regulaciones.
Pregunta: La OE incluye una disposición sobre ciberseguridad y herramientas de IA. ¿Tengo que hacer algo por eso?
R: No. Se trata principalmente de una disposición para fomentar nuevas herramientas e investigaciones en ciberseguridad, tanto mediante el uso de IA como para supervisar y proteger modelos de IA, AIOps y el desarrollo y la implementación de aplicaciones que aprovechan la IA. Por supuesto, si estás desarrollando nuevas capacidades de ciberseguridad con IA o para protegerte contra los riesgos de la IA, ¡es probable que a DARPA le encante que participes en su concurso!
P: Ya uso muchas aplicaciones y modelos de IA de código abierto. ¿Qué debo hacer para asegurarme de que sean seguros?
R: Como la IA de código abierto ya forma parte de tu cadena de suministro, debes tratarla como tal y esperar que los adversarios intenten contaminar la cadena de suministro de IA de código abierto, del mismo modo que han intentado contaminar la cadena de suministro de software de código abierto. (En realidad, ambas cadenas de suministro se superponen considerablemente). Debes prestar especial atención a identificar quién controla los componentes y el código de IA de código abierto, y analizar ese código con frecuencia para detectar vulnerabilidades. También debes supervisar los componentes para detectar cambios de control, cambios inexplicables en el código o los datos, u otros indicadores que puedan introducir riesgos.
P: La orden ejecutiva parece estar redactada de forma muy general y ambigua, lo que me dificulta saber si las futuras regulaciones derivadas de estas directrices me afectarán a mí o a mi empresa. ¿Para qué sirven unas directrices tan poco claras?
R: Cuando nuevas áreas quedan sujetas al escrutinio regulatorio, es común que los organismos reguladores redacten directrices y regulaciones de manera muy amplia, porque no saben cómo evolucionarán las cosas. Esta redacción ambigua permite a los reguladores tener la flexibilidad de abarcar tantos escenarios como sea posible. Creemos que eso mismo está ocurriendo con esta orden ejecutiva y que se incluirán detalles más específicos después de la primera ola de regulaciones, cuando comiencen a definirse más casos de uso y escenarios. Por eso, las organizaciones deben actuar con cautela y establecer políticas y procedimientos más restrictivos en lo que respecta a los sistemas de IA, para evitar verse afectadas por la evolución de las regulaciones.
P: Entonces, ¿cuáles son las conclusiones para los equipos de ciberseguridad, seguridad de aplicaciones, cumplimiento y auditoría?
R: La orden ejecutiva define el término “sistema de IA” como “…cualquier sistema de datos, software, hardware, aplicación, herramienta o utilidad que funcione total o parcialmente mediante IA”. Esto incluye
“Las pruebas y evaluaciones, incluido el monitoreo del rendimiento después de la implementación, ayudarán a garantizar que los sistemas de IA funcionen según lo previsto, sean resilientes frente al uso indebido o a modificaciones peligrosas, se desarrollen y operen de forma ética y segura, y cumplan con las leyes y políticas federales aplicables”. En otras palabras, debes esperar que tendrás que proteger tus sistemas y tu stack de IA, así como todos sus elementos, incluido el código generado, con el mismo nivel de rigor que cualquier otro elemento de tu base de código, infraestructura o superficie de ataque. ¿Qué significa esto para los equipos de seguridad?
Primero, considera esto el disparo de salida de lo que probablemente será una carrera por regular la IA. Eso significa que debes considerar implementar medidas de protección y seguridad para toda tu infraestructura de IA. Esto incluye tus datos, tus pipelines operativos y el código de las aplicaciones que usas para desarrollar tus aplicaciones de IA. También significa extender, cuando corresponda, todas las medidas de ciberseguridad existentes a AIOps. Por ejemplo, aunque tu stack de IA cambie y evolucione rápidamente, analizar el código con herramientas de escaneo y automatizar las prácticas de seguridad ya está pasando de ser algo deseable a ser algo indispensable.
Segundo, da por hecho que tu stack y tus procesos de IA serán auditados, o que se exigirán auditorías para cumplir con la ley. Esto significa que tendrás que crear un proceso y un plan de cumplimiento para la IA, incluida la documentación de todas las medidas de ciberseguridad relacionadas con las aplicaciones de IA.
Por último, en cuanto al código generado por IA, asegúrate de que todas las sugerencias de código de IA se sometan al mismo nivel de revisión y auditoría que cualquier otro código. Hay pruebas sólidas de que las organizaciones que usan sugerencias de código de IA aumentan su productividad y la velocidad con la que entregan código. Esto implica que las comprobaciones de seguridad automatizadas cobran aún más importancia para mantenerse al día con una base de código que cambia con mayor rapidez.
¿La conclusión principal? Sigue aplicando las mejores prácticas.
Snyk es líder en seguridad para código generado por IA. Somos 50 veces más rápidos que otras soluciones y ejecutamos comprobaciones de forma silenciosa en el IDE, en tiempo real y con todo el contexto de la aplicación. Y lo mejor de todo: nos integramos con cualquier herramienta de programación con IA generativa que tu empresa necesite, hoy o mañana. Protege tu stack de IA desde sus cimientos, empezando por el código generado por IA, para mantenerte protegido y cumplir con las normativas.
Empieza a proteger el código generado por IA
Crea tu cuenta gratuita de Snyk para empezar a proteger el código generado por IA en minutos. O agenda una demostración con un experto para descubrir cómo Snyk puede adaptarse a tus necesidades de seguridad para desarrolladores.