Sesión de Infosec Europe: 4 consejos para adoptar la IA de forma más segura
Gerald Crescione
1 de agosto de 2024
0 minutos de lectura
La adopción de la IA sigue avanzando a un ritmo vertiginoso en las empresas de todo el mundo, como muestra un informe de Coatue que compara la adopción de la IA con los primeros años de Internet y concluye que el crecimiento de la IA ocurre al doble de velocidad.
A medida que las empresas incorporan soluciones de desarrollo de software impulsadas por IA, los equipos de seguridad enfrentan el desafío de impulsar la innovación y, al mismo tiempo, “frenar” cuando sea necesario para prevenir los riesgos asociados con las herramientas de IA, como las sugerencias de código inseguro y las alucinaciones sobre bibliotecas.
Liqian Lim, gerente sénior de marketing de producto en Snyk, conversó con Kevin Fielder, CISO en NatWest Boxed & Mettle y cliente de Snyk, durante Infosecurity Europe 2024. Hablaron sobre muchos de los riesgos y las oportunidades que trae la IA, y ofrecieron consejos para los CISO que quieren adoptar estas poderosas tecnologías de forma segura. Estas son algunas de sus principales recomendaciones:
1. Clasifica el uso de la IA según su impacto y criticidad para el negocio
Cada área de tu negocio tiene un nivel distinto de riesgo y criticidad. Adoptar IA en un área no crítica quizá no afecte los niveles de seguridad, pero si se implementa en un área esencial del negocio, podría cambiar por completo tu postura de riesgo y poner en peligro activos sensibles. Al gestionar la seguridad relacionada con la IA, los CISO pueden ahorrar tiempo y recursos al enfocarse en las áreas que presentan los mayores riesgos potenciales.
Según Fielder: “Por ejemplo, [veamos el uso de IA] para mejorar la atención al cliente. En realidad, el riesgo de que cause daños relacionados con AppSec es bastante bajo… pero, según tu sector, habrá áreas de mayor riesgo. En esos casos, avanza muy lentamente y ten mucho cuidado”.
No confíes solo en los LLM para saber si el código es seguro: usa barreras de protección para la IA
Como los modelos de lenguaje grandes (LLM) aprenden de las instrucciones anteriores, tienen una capacidad sorprendente para identificar lo que las personas quieren ver y producir información similar. De forma sorprendente, se ha visto que la IA incluso ofrece justificaciones engañosas para explicar por qué llegó a una conclusión específica, porque nuestras instrucciones le enseñaron lo que queremos oír. Por eso, las empresas no pueden confiar en que los propios LLM les informen sobre su nivel de seguridad, la justificación de una decisión específica, etc.
En cambio, necesitas usar otros recursos para evaluar la seguridad y la calidad del código generado por IA. Para ilustrar este punto, Fielder destacó la importancia de probar la información generada por IA de las maneras adecuadas y de incorporar la intervención humana en las áreas de alto riesgo. Aunque probar el código generado por IA se parece a probar otros tipos de código, hay diferencias importantes, como la capacidad de seguir el ritmo y la escala del código generado por IA. Fielder explicó: “Cuando la IA genera el código, asegúrate de tener las barreras de protección adecuadas, como ya deberías tener. Así, el resultado se prueba y se protege correctamente”.
Desglosó estas barreras de protección clave en tres pasos:
Haz revisiones de código
Agrega una validación entre pares
Analiza el código y ejecuta pruebas unitarias
Una herramienta SAST rápida como la IA y precisa como un experto, como Snyk Code, puede ayudarte a detectar y corregir automáticamente código creado por personas y por IA en tiempo real, directamente desde el IDE de los desarrolladores, para reducir los cambios de contexto y las interrupciones del flujo de trabajo.
Presta atención al modelo de entrenamiento y protégelo de los ataques.
Los ponentes también mencionaron la importancia de saber qué modelos de entrenamiento usan tus herramientas de IA para generar resultados y de alentar a los equipos responsables del entrenamiento a tomar precauciones. Es esencial actuar con cautela respecto de los modelos de entrenamiento de tus herramientas de IA, ya que los atacantes pueden aprovechar tu sistema con métodos como la inyección de instrucciones si no seleccionas cuidadosamente los datos de entrenamiento. Estos ataques pueden ocurrir cuando usuarios maliciosos dan instrucciones estratégicas a los LLM para que realicen tareas fuera del alcance previsto. Puedes proteger tu modelo de entrenamiento para que no incorpore ni use instrucciones maliciosas si mantienes a una persona experta en el proceso y validas las entradas para bloquear instrucciones que muestren indicios de actividad maliciosa.
En palabras de Fielder: “Los equipos de seguridad no necesariamente participan en el entrenamiento, pero pueden orientar a las personas sobre cómo hacerlo y qué tener en cuenta: ¿Qué pasa si alguien hace una pregunta incorrecta? ¿Qué pasa si se incorpora información equivocada? ¿Cómo lo gestionamos? ¿Cómo hacemos que olvide información si aprendió algo incorrecto?”
Además, estas recomendaciones pueden ayudarte a hacer preguntas sobre las soluciones de IA de tus proveedores externos y a investigar más a fondo sus modelos de entrenamiento. En general, un enfoque de “caja negra” para entrenar modelos de IA es una señal de alerta.
Identifica dónde está presente la IA en tu stack tecnológico actual.
También es importante tener en cuenta que probablemente ya se usan muchas soluciones de IA en tu organización. Sin embargo, puede ser difícil identificar cuáles están dentro de tu empresa, porque muchas aplicaciones de terceros incorporan funciones de IA sin informar adecuadamente a sus clientes.
Fielder comentó: “La IA se está introduciendo poco a poco en las aplicaciones empresariales. Los proveedores la están incorporando y no todos necesariamente te dan la opción de no usarla. O quizá puedas [optar por no participar]… pero tienes que pasar por un proceso complicado para no usar las funciones de IA. Por ejemplo, uno de nuestros emuladores de terminal usaba un LLM para ofrecer mejores instrucciones… pensarías que un emulador de terminal es lo menos riesgoso que usas y, de pronto, tiene IA”.
Por eso, el desafío constante que deben abordar las empresas es hacer un inventario de todas estas aplicaciones de terceros y comprender cómo y dónde se usa la IA en ellas. Una vez más, empezar por las áreas más críticas para el negocio de tu organización y avanzar desde ahí puede ayudar.
Snyk: un aliado de seguridad para tus herramientas de IA
Aunque pueda parecer que hay una competencia por hacer avanzar la tecnología y ganar la “carrera de la IA”, vale la pena avanzar con cautela por motivos de seguridad. Sin embargo, no tienes que frenar la innovación ni entorpecer el trabajo de los equipos de desarrollo para hacerlo. Usar soluciones de seguridad que se integran con los flujos de trabajo de desarrollo existentes y avanzan al ritmo de la IA puede marcar la diferencia.
Snyk complementa los asistentes de programación con IA actuales con análisis SAST a la velocidad de la IA y correcciones automáticas de vulnerabilidades con un solo clic. También ofrecemos:
Verificaciones de pull request como una capa adicional de seguridad para adaptarse a la mayor velocidad con la que se genera y confirma el código de IA;
Acciones sugeridas y explicaciones cuando se detecta una vulnerabilidad, directamente en los IDE que ya usan los desarrolladores;
Información contextual basada en el perfil específico de negocio y riesgo de tu organización.
Para obtener más información sobre cómo responder al panorama de la IA, que cambia rápidamente, consulta nuestra guía rápida para desarrollar de forma segura con IA.
