4 riesgos de la programación con IA y cómo abordarlos
13 de junio de 2024
0 minutos de lectura
El 96% de los desarrolladores usa herramientas de programación con IA para generar código, detectar errores y ofrecer documentación o sugerencias de programación. Los desarrolladores dependen tanto de herramientas como ChatGPT y GitHub Copilot que alrededor del 80% de ellos omite los protocolos de seguridad para usarlas.
Esto significa que, aunque desaconsejes el código generado por IA en tu organización, es probable que los desarrolladores lo usen. Y esto conlleva una serie de riesgos.
Por un lado, el código generado por IA ayuda a los desarrolladores a ahorrar tiempo. Así, pueden dedicarlo a aspectos más creativos y de alto nivel del desarrollo, como diseñar la arquitectura y experimentar con funciones innovadoras.
Por otro lado, depender demasiado del código generado por IA puede generar vulnerabilidades de seguridad. También puede provocar problemas de originalidad del código y disputas sobre propiedad intelectual. Analicemos estos riesgos en detalle y veamos cómo encontrar el equilibrio entre la supervisión humana y la autonomía de la IA.
1. Falta de explicabilidad y transparencia
Los desarrolladores que usan código generado por IA deben revisarlo, depurarlo y mejorarlo. También deben poder justificar las decisiones que toman los sistemas de IA. Esto es especialmente importante en aplicaciones de salud, finanzas y legales, donde las decisiones de la IA tienen implicaciones significativas. Sin embargo, el código generado por IA conlleva una falta inherente de explicabilidad y transparencia.
La explicabilidad es la capacidad del desarrollador para comprender y rastrear cómo los modelos de IA generan sus resultados.
La transparencia es la capacidad de la herramienta de IA para ofrecer a las partes interesadas información clara, comprensible y accesible sobre sus procesos y decisiones.
La falta de explicabilidad y transparencia en el código generado por IA puede provocar lo siguiente:
El código difícil de interpretar es complicado de depurar y mantener, lo que aumenta los costos y reduce la eficiencia durante el ciclo de vida del desarrollo de software.
Problemas de cumplimiento normativo, especialmente en industrias reguladas por motivos de seguridad, privacidad o ética.
En el caso de la IA generativa disponible públicamente, es difícil entender la lógica detrás de sus resultados. Al fin y al cabo, no entrenaste la IA, así que no tienes plena visibilidad de los datos con los que se entrenó. Por eso suelen surgir desafíos de mantenimiento con el código generado por IA.
En algunos casos, este código puede presentar sesgos inherentes difíciles de detectar. Por ejemplo, en 2019 se descubrió que un sistema de IA utilizado en el sector de la salud para predecir riesgos para pacientes era sesgado e impreciso. Sus procesos de toma de decisiones no eran transparentes ni fáciles de interpretar, y los investigadores tardaron bastante tiempo en identificar y corregir los sesgos causados por asociaciones erróneas en los datos de entrenamiento.
ChatGPT, GitHub Copilot y herramientas similares pueden programar rápidamente, pero no siempre explican sus resultados. Para superar estos desafíos:
Revisa y evalúa los resultados generados por IA. Busca inconsistencias, patrones ilógicos o respuestas que no sigan las mejores prácticas de programación.
Compara el código generado con documentación confiable o fuentes autorizadas para verificar su precisión y lógica. La documentación oficial de tus lenguajes de programación, frameworks o bibliotecas será útil en este caso.
Documenta cualquier código o decisión importante generado por IA. Incluye cómo se usó la IA, qué datos de entrada se proporcionaron y qué modificaciones se hicieron al resultado. Esta documentación será esencial como referencia en el futuro o si surgen preguntas sobre el proceso de toma de decisiones.
2. Vulnerabilidades de seguridad
Un estudio de investigadores de la Universidad de Stanford concluyó que los desarrolladores que usan sistemas de IA para generar código tenían más probabilidades de producir aplicaciones inseguras. Al igual que el código escrito por personas, el código generado por IA puede contener fallas o errores que provoquen vulnerabilidades de seguridad. Sin embargo, a diferencia de las fallas del código escrito por personas, estas pueden no seguir patrones previsibles o bien conocidos, lo que dificulta detectar y corregir las vulnerabilidades.
Algunos de los problemas de seguridad comunes en el código generado por IA incluyen:
Vulnerabilidades de inyección: debido a que la IA puede no validar completamente las entradas del usuario o manejar los datos de forma incorrecta, estas vulnerabilidades permiten a los atacantes inyectar código o consultas maliciosos en el sistema.
Debilidades de autenticación: se deben a mecanismos de autenticación defectuosos y permiten el acceso no autorizado.
Permisos mal configurados: ocurren cuando la IA no configura correctamente los permisos de distintos componentes o usuarios. Una configuración incorrecta puede dar lugar a ataques de escalamiento de privilegios.
Sin una supervisión adecuada, el código generado por IA puede ser inconsistente y no seguir prácticas de seguridad estandarizadas en las distintas partes de la aplicación. Para superar este riesgo de la programación con IA:
Realiza auditorías y revisiones entre pares del código generado por IA.
Automatiza las herramientas de pruebas estáticas de seguridad de aplicaciones (SAST) para probar el código generado por IA a medida que se genera y se implementa.
Capacita a tus equipos de desarrollo sobre los posibles riesgos de seguridad del código generado por IA. Security for Developers, un curso certificado de Snyk y la Universidad de Nueva York, es un buen programa de capacitación para este propósito.
3. Infracción de propiedad intelectual
Hace poco, un grupo de autores demandó a OpenAI por supuestamente usar material protegido por derechos de autor para entrenar el modelo de lenguaje extenso detrás de ChatGPT. Aunque hace poco jueces federales declararon que los resultados del sistema de IA generativa no infringen los derechos de los titulares de derechos de autor, las leyes sobre IA y propiedad intelectual siguen siendo, en el mejor de los casos, ambiguas.
Las herramientas de IA generan código a partir de grandes conjuntos de datos, que incluyen código disponible públicamente e información potencialmente confidencial o de propiedad exclusiva. Esto significa que algunos resultados podrían infringir inadvertidamente derechos de propiedad intelectual.
Para evitar esta situación, sigue estos pasos:
Audita el código generado por IA para detectar posibles problemas de propiedad intelectual, especialmente si se trata de sistemas de IA disponibles públicamente, como ChatGPT y Github Copilot.
Mantente al tanto de las noticias sobre IA y de las leyes relacionadas con el contenido generado por IA.
Usa mecanismos como marcas de agua u otras técnicas de gestión de derechos digitales (DRM) para rastrear el código generado por IA.
4. Falta de políticas sobre el código generado por IA
Como la IA generativa es una novedad emocionante, la mayoría de las organizaciones se apresuran a adoptarla, pero muchas no se han tomado el tiempo de crear políticas al respecto. Solo el 10% de las empresas tiene una política formal sobre el contenido generado por IA.
Sin políticas claras, el uso de la IA variará considerablemente entre equipos y proyectos. Esto dará lugar a resultados inconsistentes y pondrá en riesgo la integridad del código y la seguridad de las aplicaciones. Además, tu reputación podría verse afectada si el código generado por IA causa daños o presenta sesgos.
Con las políticas adecuadas, ofrecerás a tus desarrolladores pautas claras para usar código generado por IA. Para crear estas políticas y reducir los riesgos de la programación con IA, puedes comenzar con los siguientes pasos:
Define áreas específicas de tu empresa en las que se pueda usar contenido generado por IA. Estas áreas podrían incluir la generación de código, la documentación o las pruebas automatizadas. Esto te ayudará a establecer límites para prevenir el uso indebido.
Usa herramientas como Snyk Code para analizar el código generado por IA, identificar vulnerabilidades de seguridad y corregirlas.
Asigna la responsabilidad de revisar y aprobar el contenido generado por IA. Implementa sistemas de revisión entre pares para que los desarrolladores verifiquen la integridad y confiabilidad del código generado por IA antes de implementarlo.
Desarrolla protocolos para abordar problemas derivados del contenido generado por IA, como posibles infracciones de propiedad intelectual o vulnerabilidades de seguridad. Estos deben incluir estrategias de comunicación y medidas de mitigación.
Una vez que tengas una política, informa sobre ella a los desarrolladores y otras partes interesadas pertinentes. Además, revisa y actualiza tus políticas a medida que surjan nuevas regulaciones.
Reduce los riesgos de la programación con IA con Snyk
Snyk Code es una herramienta SAST fácil de usar que ofrece análisis de seguridad en tiempo real y con contexto completo de la aplicación para cualquier tipo de código, incluido el generado por IA. Nuestro software aprovecha la amplia retroalimentación de expertos humanos para ofrecer una calidad y precisión superiores.
Prueba a analizar tu código generado por IA para detectar vulnerabilidades con Snyk.