¿Qué es la IA en la sombra? Cómo prevenir y gestionar sus riesgos

La popularidad explosiva de la inteligencia artificial generativa (GenAI) ha generado nuevos desafíos para las organizaciones. Uno de los problemas más urgentes es el uso de herramientas de IA por parte de los empleados sin supervisión y, a menudo, sin la aprobación de su empleador. Un sorprendente 38 % de los trabajadores admite compartir información confidencial del trabajo con herramientas de IA sin autorización.

¿Qué es la IA en la sombra?

La IA en la sombra se refiere al uso de herramientas de IA sin el conocimiento ni la supervisión del departamento de TI. En el desarrollo de software, puede manifestarse de distintas formas, como usar herramientas de GenAI para escribir fragmentos de código, depurar problemas, generar o resumir documentación, o analizar datos, todo sin revisión ni aprobación formales.

Herramientas de IA comunes en la IA en la sombra

La IA en la sombra puede adoptar muchas formas, impulsada por las potentes herramientas y plataformas que hoy están al alcance de los trabajadores. En particular, los desarrolladores tienen una amplia variedad de recursos de IA a su disposición, que les permiten crear, automatizar e implementar soluciones sin que el departamento de TI lo sepa. Algunas de las herramientas más comunes son: 

• Modelos de lenguaje grandes (LLM): Herramientas como ChatGPT de OpenAI, Claude de Anthropic, PaLM de Google, LLaMA de Meta, Mistral y Cohere se usan para generar o mejorar código. 

• Herramientas y plataformas de GenAI: Plataformas como Hugging Face Transformers para modelos previamente entrenados, ChatGPT a través de la API de OpenAI para integraciones y LangChain para coordinar LLM en flujos de trabajo complejos.

• Herramientas de código y desarrollo: Herramientas como GitHub CoPilot, Cursor y Codex se usan para generar código y completar tareas sin la supervisión del departamento de TI. 

• Automatización de tareas: Herramientas como Zapier y Make se usan para automatizar flujos de trabajo entre herramientas de IA, lo que puede conectar varias herramientas no aprobadas.

• Herramientas personalizadas: Los desarrolladores pueden ajustar modelos personalizados con datos confidenciales o de propiedad exclusiva mediante recursos locales o marcos de código abierto. 

Si bien la IA en la sombra puede acelerar la innovación, también introduce riesgos importantes.

Riesgos y preocupaciones de la IA en la sombra

La IA en la sombra elude las medidas de protección de la organización y genera riesgos para los datos, los sistemas, las operaciones y la propiedad intelectual. Estos riesgos incluyen:

Generar una falsa sensación de seguridad 

Los desarrolladores suelen confiar en el código generado por IA, que puede ser vulnerable. Aunque un tercio del código generado por IA presenta debilidades comunes en varios lenguajes, el 75,8 % de los desarrolladores cree que es más seguro que el código escrito por personas. Por eso, suelen aceptarlo sin tomar medidas adicionales para identificar errores y vulnerabilidades. 

Generar alucinaciones y errores 

Las alucinaciones de la IA, en las que los modelos sin supervisión pueden producir información engañosa o directamente falsa, son motivo de gran preocupación. Las tasas de alucinación pueden ir de alrededor del 1 % hasta el 30 %, según el LLM utilizado. Además de las alucinaciones, los errores de razonamiento y de resultados de los modelos siguen presentando riesgos importantes. 

Introducir riesgos para los datos  

Los desarrolladores pueden poner en riesgo la privacidad de los datos sin darse cuenta al ingresar información confidencial en LLM, crear y abandonar almacenes de datos, sobredimensionar los conjuntos de datos de entrenamiento de IA o transmitir datos de forma insegura. Por ejemplo, en 2023, la división de semiconductores de Samsung sufrió tres filtraciones de datos después de que algunos ingenieros usaran ChatGPT para revisar código fuente y realizar otras tareas. 

Incumplir los requisitos de cumplimiento  

El uso no autorizado de datos para entrenar modelos o el ingreso de información en herramientas no aprobadas puede exponer a las empresas a infracciones regulatorias. Por ejemplo, el manejo inadecuado de datos personales confidenciales sin el consentimiento ni las medidas de seguridad adecuados podría infringir normativas como el RGPD o la CCPA y dar lugar a multas cuantiosas, acciones legales y daños importantes a la reputación de la empresa.

Aprendizaje automático e IA en la sombra

A medida que las organizaciones desarrollan e implementan cada vez más sus propios modelos de IA y aprendizaje automático (ML), crecen los riesgos asociados con la IA en la sombra. Si se ven comprometidos, los modelos de ML pueden exponer estrategias corporativas, prioridades comerciales y procesos operativos.

• Falta de supervisión: Los modelos sin supervisión pueden ofrecer resultados sesgados o deficientes, lo que afecta el rendimiento. 

• Problemas de control de versiones: Sin un seguimiento adecuado de las versiones, los equipos podrían usar modelos desactualizados o incoherentes sin saberlo, lo que dificulta rastrear los cambios o justificar las decisiones.

• Explicabilidad limitada: A menudo, los modelos mal gestionados carecen de transparencia o explicabilidad, lo que dificulta comprender, validar o defender las decisiones basadas en modelos, especialmente en industrias reguladas. 

Gestión de datos e IA en la sombra

A medida que las herramientas de IA se vuelven más accesibles, los empleados seguirán adoptando nuevas soluciones para aumentar la productividad, a menudo sin considerar los riesgos de seguridad. La capacitación y las políticas pueden ayudar a reducir la IA en la sombra, pero las organizaciones también deben enfocarse en fortalecer la gestión de datos y la seguridad para mitigar los riesgos.

En concreto, los líderes de software y seguridad deben establecer un programa de gestión de vulnerabilidades basado en riesgos. Estos son algunos pasos:

• Identificar los activos: Crear un registro actualizado de todos los activos y dependencias para comprender las vulnerabilidades y obtener una visión integral de la superficie de ataque. 

• Asignar responsabilidades: Asegurarse de que los responsables de los activos los gestionen y reporten de forma proactiva, incluidos los cambios en su estado de riesgo.

• Identificar requisitos regulatorios y de cumplimiento: Determinar qué regulaciones aplican (como el RGPD, HIPAA y PCI-DSS) y usar herramientas de seguridad centradas en los desarrolladores para integrar la seguridad y el cumplimiento en los flujos de trabajo de desarrollo. 

• Clasificar los activos y las vulnerabilidades: Realizar evaluaciones de riesgos para determinar el posible impacto de las vulnerabilidades, desarrollar perfiles de riesgo y priorizar las medidas de corrección.

• Crear una cultura de mejora continua: Capacitar a los desarrolladores sobre los riesgos de usar herramientas de GenAI no aprobadas y la importancia de buscar de forma proactiva errores y vulnerabilidades en el código generado por IA. 

Cómo limitar los riesgos de la IA en la sombra 

Para hacer frente a los crecientes riesgos de la IA en la sombra, las organizaciones líderes están estableciendo medidas de protección para recuperar el control. Estas son algunas de las acciones más eficaces: 

• Evaluar los riesgos: Evaluar las brechas de seguridad, como el cifrado insuficiente, las configuraciones incorrectas y las vulnerabilidades que aumentan el riesgo de exposición de datos.

• Crear políticas y controles de IA: Colaborar con los equipos de TI y seguridad para desarrollar políticas de uso, implementar procedimientos de manejo de datos y realizar auditorías periódicas de cumplimiento para las herramientas de IA.

• Buscar vulnerabilidades: Usar herramientas como Snyk Code, una herramienta de seguridad centrada en los desarrolladores, para analizar código escrito por personas y generado por IA, e identificar problemas automáticamente con recomendaciones para corregirlos.

• Desarrollar un plan de respuesta a incidentes: Establecer procedimientos claros para responder rápidamente a incidentes relacionados con la IA en la sombra y minimizar el impacto en los datos, los sistemas y las operaciones comerciales.

Prevenir la IA en la sombra con procesos de seguridad sólidos 

Los desarrolladores suelen aprovisionar recursos por su cuenta cuando no se satisfacen sus necesidades. Para reducir estos riesgos, los equipos de seguridad deben colaborar estrechamente con los desarrolladores y ofrecerles herramientas aprobadas, pautas claras y medidas de protección que no afecten la productividad.

Snyk ayuda a cerrar esta brecha al integrarse directamente en los flujos de trabajo diarios de los desarrolladores, lo que facilita identificar y corregir vulnerabilidades desde el principio, incluso en código generado por IA.

Agenda una demostración para ver el poder de Snky a la hora de proteger el código generado por IA.