Los 12 riesgos de seguridad de la IA que no puedes ignorar

La IA generativa se convirtió en un fenómeno masivo en 2022-2023, con el lanzamiento público de ChatGPT por parte de OpenAI. Desde entonces, la IA se ha adoptado en diversas industrias y se utiliza para todo, desde generar chistes de papá hasta traducir código entre lenguajes de programación.

Si bien la IA ofrece beneficios importantes en términos de ahorro de tiempo, reducción de costos e innovación, también introduce nuevos riesgos de seguridad. Para las empresas, la pregunta no es «si», sino «cuándo», «dónde» y «qué tipo» de vulnerabilidades está creando la IA en su ecosistema de TI. A menudo, no hay suficiente supervisión ni control sobre los datos que alimentan los modelos de lenguaje grandes (LLM) y su implementación.

Pero no todo está perdido. Si comprendes los distintos tipos de riesgos de seguridad de la IA, las vulnerabilidades y los sesgos presentes en los conjuntos de datos, y las prácticas recomendadas para mitigar estos problemas, puedes reducir considerablemente las amenazas para tu empresa.

Los 12 riesgos de seguridad de la IA

Así como aplicamos la IA para que nuestras empresas sean más rápidas y eficientes, los actores de amenazas también lo hacen. Las amenazas de la IA son más variadas y avanzadas, y pueden presentarse en un volumen mucho mayor que el que hemos visto hasta ahora. Para proteger tu empresa, primero debes familiarizarte con los distintos tipos de riesgos de seguridad de la IA.

#1 Ataques adversarios

Los ataques adversarios ocurren cuando los actores de amenazas manipulan las entradas para hacer que los sistemas de IA las interpreten o clasifiquen de manera incorrecta. Estos pequeños cambios —a menudo imperceptibles para las personas— pueden engañar a los modelos de IA para que generen resultados incorrectos o incluso dañinos. Por ejemplo, agregar ruido a una imagen podría hacer que un sistema de reconocimiento facial identifique erróneamente a alguien.

#2 Envenenamiento de datos

El envenenamiento de datos ocurre cuando los actores de amenazas corrompen los datos de entrenamiento usados para crear modelos de IA, ya sea mediante datos de usuarios, conjuntos de datos de código abierto o investigaciones de aprendizaje automático, para alterar los resultados futuros del modelo.

#3 Ataques de inferencia

Los ataques de inferencia consisten en usar prompts estratégicos para deducir información confidencial sobre personas o conjuntos de datos. Esto puede incluir deducir atributos privados o aplicar ingeniería inversa a las características estadísticas de los datos de entrenamiento.

#4 Ataques de inversión de modelos

Los ataques de inversión de modelos consisten en reconstruir datos confidenciales mediante el análisis de los resultados de un modelo. Con suficientes consultas, los atacantes pueden extraer muestras representativas de personas del conjunto de entrenamiento, incluidos atributos potencialmente privados o que permitan identificarlas.

#5 Robo de modelos

A veces, el modelo de IA es tan valioso como los datos de entrenamiento (o incluso más). En un ataque de robo de modelos, los actores maliciosos intentan robar propiedad intelectual (PI) al hackear repositorios de código propietario o aplicar ingeniería inversa al modelo mediante consultas sistemáticas.

#6 Falta de explicabilidad

Los modelos de IA suelen tener procesos y mecanismos de toma de decisiones complejos que son difíciles de comprender. Esta falta de explicabilidad dificulta rastrear la lógica y verificar la precisión de los resultados del modelo.

#7 IA en la sombra

La IA en la sombra se refiere a las herramientas con IA que los empleados o departamentos adoptan sin la supervisión del área de TI. En estos casos, los empleados intentan obtener información o automatizar tareas rutinarias, pero sin saberlo eluden los controles de seguridad y exponen datos confidenciales.

#8 Riesgos de la cadena de suministro

Los riesgos relacionados con la IA también son frecuentes en las cadenas de suministro de terceros. Si una organización trabaja con un proveedor que usa un modelo de IA expuesto a uno o más de los riesgos de esta lista, las consecuencias negativas podrían repercutir en la propia organización.

#9 Deepfakes e ingeniería social impulsada por IA

Hoy, los actores de amenazas pueden usar IA generativa para crear deepfakes, clones de voz y personajes sintéticos convincentes con los que manipular a sus víctimas. Combinadas con tácticas de phishing asistidas por IA, estas técnicas aumentan drásticamente la escala y la sofisticación de los ataques de ingeniería social.

#10 Filtración de datos

Las filtraciones de datos suelen ocurrir cuando el modelo expone datos confidenciales de manera involuntaria a través de sus resultados, comportamiento, API o registros. Estas filtraciones pueden ocurrir durante el entrenamiento, la implementación o el uso, y son un objetivo prioritario para los actores de amenazas.

#11 Violaciones de la privacidad

Pueden producirse violaciones de la privacidad cuando un modelo de IA recopila, procesa, almacena o analiza datos confidenciales sin contar con medidas de seguridad suficientes. Muchos de los riesgos anteriores podrían dar lugar a una violación de la privacidad según la definen las normas y regulaciones del sector.

#12 Vulnerabilidades en el código

En el desarrollo de software o aplicaciones, la IA puede acelerar el proceso de desarrollo, identificar vulnerabilidades y sugerir medidas de seguridad. Sin embargo, los fragmentos de código generados por IA pueden contener enumeraciones de debilidades comunes (CWE) provenientes de código de código abierto. Además, los modelos de IA suelen pasar por alto los matices contextuales y las interdependencias, lo que puede provocar errores y vulnerabilidades de seguridad.

Desafíos de los sistemas de IA

A pesar de sus capacidades, las herramientas de IA generativa no son infalibles. Reflejan los supuestos, las limitaciones y los sesgos de los datos y de las personas que las crearon.

Por ejemplo, las alucinaciones de la IA —cuando un modelo genera información o datos que no estaban presentes explícitamente en sus datos de entrenamiento— son un problema conocido. Los modelos de IA están programados para dar una respuesta, exista o no en sus datos de entrenamiento, lo que puede generar información inexacta o engañosa. El problema se agrava por la «falta de explicabilidad» mencionada anteriormente. Es casi imposible reconstruir los pasos del modelo para entender cómo llegó a sus conclusiones, lo que dificulta verificar los resultados.

Considera una institución financiera que usa IA para automatizar la aprobación de hipotecas. Si un cliente frustrado llama a la organización para impugnar el rechazo de su solicitud, el personal tendría pocas o ninguna posibilidad de explicar o justificar los motivos del rechazo. Esta decisión podría impedir que el cliente compre una casa y llevarlo a solicitar un préstamo en otro lugar.

Problemas de privacidad relacionados con la IA

Los problemas de privacidad y los riesgos de seguridad de la IA están estrechamente relacionados. Los modelos de IA se entrenan con enormes conjuntos de datos que contienen datos confidenciales de personas, datos propietarios, propiedad intelectual y datos de código abierto sin administrar. La forma en que se recopilaron estos datos, para qué se usan y cómo se almacenan tiene implicaciones para la privacidad.

Además de los ataques maliciosos, como los ataques de inversión de modelos o de robo de modelos, la IA en la sombra plantea importantes problemas de privacidad. Las investigaciones muestran que el 15 % de los empleados pega datos de la empresa en ChatGPT, y una cuarta parte de esos datos se clasifica como confidencial.

También hay casos en los que los modelos de IA recopilan involuntariamente datos de usuarios individuales, que pueden integrarse en su LLM o almacenarse en una ubicación insegura. También puede ocurrir que una persona haya dado su consentimiento para compartir sus datos con un propósito, pero si el propietario del modelo de IA luego reutiliza esos datos para otro fin, podría estar violando la privacidad del usuario.

Sesgos y consideraciones éticas

En esencia, los modelos de IA son herramientas de reconocimiento de patrones y predicción, por lo que la calidad de los datos de entrenamiento influye considerablemente en los resultados. Por ejemplo, una herramienta de IA entrenada con patrones de lluvia de Nueva Inglaterra no sería muy útil para que un agricultor de Arizona optimice su calendario de siembra.

Sin embargo, las implicaciones de los datos de entrenamiento van mucho más allá de la utilidad de los resultados. Quiénes están representados en los datos, cómo se recopilaron, cuándo se recopilaron y qué valores se asignaron a los distintos puntos de datos pueden sesgar injustamente las predicciones del LLM. Lamentablemente, los datos que generamos suelen reflejar los sesgos de nuestra sociedad. Por ejemplo, si un modelo de IA para diagnosticar una afección específica se entrenara solo con datos de hombres jóvenes, probablemente no reconocería los síntomas en mujeres o pacientes mayores de cierta edad.

Si la herramienta de aprobación de hipotecas del ejemplo anterior se entrenara con datos históricos de préstamos, sin ajustar por factores socioeconómicos o legislativos, podría asociar los vecindarios de bajos ingresos con tasas más altas de incumplimiento. Como resultado, la herramienta podría rechazar injustamente a solicitantes de esas zonas, sin importar su puntaje de crédito ni su relación entre deuda y activos.

Quienes desarrollan y utilizan modelos de entrenamiento tienen la responsabilidad ética de ser conscientes de estos sesgos y hacer todo lo posible para mitigarlos.

Medidas de seguridad de la IA y prácticas recomendadas

A medida que la IA se integra cada vez más en nuestros flujos de trabajo e infraestructura, las empresas deben tomar medidas proactivas para mitigar los riesgos asociados. Para crear implementaciones de IA seguras, resilientes y equitativas, debes aplicar estas prácticas:

1. Seguridad de los datos y gestión de riesgos: Garantiza la integridad y confidencialidad de los datos de entrenamiento y de entrada mediante controles de seguridad que eviten el acceso, la modificación o el uso no autorizados. Siempre que sea posible, limita la retención de datos para reducir el riesgo de exposición.

2. Cifrado y control de acceso: Aplica controles de identidad y acceso, y cifrado, a los datos de entrenamiento de IA, los LLM y los resultados, como harías con otras aplicaciones o herramientas que acceden a los datos de tu empresa.

3. Gobernanza y cumplimiento de la IA: A medida que evolucionan las regulaciones y las normas del sector para gestionar los riesgos relacionados con la IA, las empresas deberán integrar el uso de la IA en sus marcos, políticas y procesos de reporte de seguridad generales.

4. Ética y gobernanza de la IA: Las empresas también deben documentar su postura sobre el sesgo en los datos, la igualdad, la transparencia y la rendición de cuentas, e implementar mecanismos para hacer cumplir estos estándares en toda la organización.

5. Auditorías de cumplimiento y seguridad: Las herramientas de IA, su uso y los datos deben evaluarse de forma sistemática para garantizar el cumplimiento de las políticas de seguridad internas, las regulaciones pertinentes y las prácticas recomendadas.

6. Estrategias de respuesta a incidentes: Para minimizar el impacto de una filtración de datos, los procesos que impliquen datos confidenciales y la creación o el uso de herramientas con IA deben integrarse en la estrategia de respuesta a incidentes de la organización. Esto incluye el monitoreo regular para responder rápidamente, controles para contener la filtración, procesos de recuperación y análisis posterior al incidente.

Métodos para identificar, evaluar y gestionar los riesgos de seguridad de la IA

La detección de amenazas de IA y la gestión de riesgos van mucho más allá de identificar posibles amenazas. También debes contextualizar los datos sobre amenazas de IA para comprender su posible radio de impacto e informar las decisiones de corrección.

A pesar de las vulnerabilidades y los riesgos descritos anteriormente, las herramientas con IA pueden desempeñar un papel fundamental en la detección de amenazas y las evaluaciones de riesgos.

• Implementa una solución de análisis de vulnerabilidades para detectar vulnerabilidades comunes y corregirlas de forma proactiva.

• Establece un sistema de clasificación y gobernanza de datos para organizar y destacar tus activos más confidenciales, prestando especial atención a qué usuarios y aplicaciones pueden acceder a cada uno.

• Crea un marco estructurado para calificar y priorizar los riesgos según su probabilidad y posible impacto, a fin de priorizar las correcciones de manera más eficaz.

• Realiza auditorías periódicas de seguridad de la IA en todas las herramientas y conjuntos de datos de IA que la empresa cree o utilice, y evalúalos en función de las vulnerabilidades específicas de sus plataformas.

• Fomenta una cultura de concientización y capacitación en seguridad de la IA sobre los riesgos asociados con la IA, cómo usarla de forma segura y los canales adecuados para evaluar e integrar nuevas soluciones con IA en los flujos de trabajo de la empresa.

Cómo aprovechar la IA en DevSecOps

Hoy, la IA desempeña un papel emocionante en el desarrollo de software y aplicaciones, con posibles ventajas competitivas y riesgos de seguridad. Las herramientas con IA pueden acelerar el ciclo de vida del desarrollo de software (SDLC) al automatizar tareas repetitivas, sugerir fragmentos de código, monitorear vulnerabilidades de forma continua y recomendar soluciones.

Para responder a este panorama en rápida evolución, la seguridad debe evolucionar para gestionar los nuevos riesgos que se incorporan al SDLC. Una forma de evitar la manipulación maliciosa y las preocupaciones éticas es alojar y entrenar de forma privada tu propio LLM con datos o código propietarios. Sin embargo, esto puede requerir muchos recursos y conocimientos especializados. Además, existe el riesgo de que el LLM amplifique las vulnerabilidades presentes en tu base de código.

Existen herramientas de seguridad para IA diseñadas para ayudar a los desarrolladores de software, como las herramientas de análisis estático de seguridad de aplicaciones (SAST), que detectan patrones de código vulnerables en cuanto los desarrolladores los copian en su IDE.

Protege tu aplicación de IA con Snyk 

Para seguir el ritmo de la evolución de la tecnología y las amenazas, las herramientas de seguridad con IA se están convirtiendo rápidamente en un requisito para los equipos de seguridad de TI y desarrollo. Snyk permite a los desarrolladores adoptar de forma segura soluciones de codificación y pruebas con IA.

Snyk Code es una herramienta de seguridad basada en IA que analiza tu código en tiempo real para detectar vulnerabilidades. Nuestro DeepCode AI autogestionado, basado en más de 25 millones de casos de flujo de datos, compatible con más de 19 lenguajes y con varios modelos de IA, potencia Snyk Code y ofrece sugerencias inmediatas para corregir vulnerabilidades. 

Descubre cómo Snyk ayuda a los desarrolladores a aumentar su productividad y proteger el código generado por IA.