3 consejos de los expertos en seguridad de IA de Snyk y Dynatrace

McKinsey considera que 2023 es “el año decisivo de la IA generativa”. En una de sus encuestas recientes, un tercio de las personas encuestadas informó que sus organizaciones usan GenAI de forma habitual en al menos una función empresarial. Pero, a medida que los avances en IA siguen transformando el panorama tecnológico, muchos CISO se enfrentan a esta pregunta: ¿Cómo afecta la IA a los ciclos de desarrollo de software y a la seguridad general de las aplicaciones empresariales? 

En una reciente charla informal, nuestros ponentes profundizaron en la IA y sus implicaciones para las empresas actuales. Entre ellos estuvieron: 

• Simon Maple, responsable de promoción de IA en Snyk

• Craig Charlton, director de seguridad de la información de Dynatrace y vicepresidente de habilitación digital de los empleados, con alrededor de 10 años de experiencia en tecnología de la información y seguridad 

• Don Ferguson, quien dirige la Oficina de Privacidad de Dynatrace y ha trabajado durante una década con Davis AI, el producto de IA de Dynatrace

Durante la conversación, abordaron varios temas, como el panorama actual de la IA, los aspectos que deben tenerse en cuenta al usar IA en el desarrollo de software y consejos prácticos para equilibrar sus oportunidades y riesgos. Según estos expertos, usar la IA de forma segura depende, en última instancia, de la gobernanza entre equipos, de elaborar estrategias minuciosas para probar e implementar nuevas tecnologías y de mantener el enfoque en la seguridad durante todo el desarrollo.

3 conclusiones clave de la conversación sobre seguridad de la IA generativa entre Snyk y Dynatrace

Aunque las empresas llevan varios años aprovechando la IA —incluidos Davis AI de Dynatrace, que tiene 10 años, y DeepCode AI de Snyk, que tiene 4—, la conversación ha cambiado radicalmente durante el último año. 

En palabras de Maple: “Si hubiéramos hablado de esto hace dos o tres años, no habría existido esa confianza inherente en las capacidades de la IA ni en si estaba lista para usarse en productos… y es muy interesante que ahora, si no hablas de IA, la gente se pregunta si tienes suficiente visión de futuro”.

Durante la conversación, Maple, Charlton y Ferguson hablaron sobre este equilibrio entre innovación y seguridad en la IA. Estos fueron algunos de sus consejos más importantes.

Prioriza la gobernanza de la IA

La gobernanza de la IA es fundamental en esta etapa del recorrido de las empresas con la IA generativa. Charlton dijo: “Una de las cosas más importantes para nosotros fue no esperar para formar una organización de gobernanza de IA. Debe incluir a los equipos de seguridad, privacidad, aplicaciones empresariales, asuntos legales, desarrollo de software, etc.… No se trata solo de gobernanza. También abarca la ética, la recepción de solicitudes, la revisión, todo, además de un componente integral de comunicación”.

Da los próximos pasos con paciencia y cautela

Maple, Charlton y Ferguson también destacaron la importancia de avanzar con calma y cautela al adoptar nuevas tecnologías. Ferguson dijo: “Hay mucha presión por hacer las cosas rápido y actuar con rapidez… Es muy importante tomarse el tiempo para familiarizarse con [la IA generativa], entender muy bien cómo aprovecharla al máximo y cómo gestionar sus riesgos… Hay que darse ese tiempo para reflexionar”.

Charlton mencionó dos prioridades importantes en las que debes enfocarte mientras avanzas con cautela:

• Evalúa el nivel de explicabilidad y transparencia de las herramientas que elijas. ¿Puedes trazar el flujo de datos y entender qué sistemas pueden ver los datos que ingresas en tus herramientas de IA? En sus palabras: “¿De dónde vienen los datos? ¿Cómo se pueden usar para entrenar el sistema? ¿A dónde fluyen esos datos?… ¿Cómo se filtran luego a otros tipos de sistemas? ¿Alimentan otros sistemas más adelante que podrían quedar expuestos de formas que no habías previsto?… Se trata de seguir los datos: quién es su propietario, cómo se entrenan y si tienen algún sesgo inherente”. 

• Implementa medidas de seguridad del código cuando uses IA para desarrollar. Recomienda plantearse estas preguntas: “¿Sometemos el código generado por IA al proceso habitual de análisis para la gestión de amenazas? ¿Nos aseguramos de documentar bien en nuestro código qué partes desarrollaron personas y cuáles se generaron con GenAI?”

Equilibra las oportunidades y los riesgos de la IA, especialmente en el desarrollo

La IA presenta oportunidades y riesgos para equipos de todo tipo. Sin embargo, quienes desarrollan deben centrarse en la seguridad y la privacidad cuando usan herramientas de IA. La IA ofrece grandes posibilidades a los equipos de desarrollo: desde las soluciones AppSec de Snyk, que aprovechan la IA para corregir código, hasta los LLM, capaces de escribir cientos de líneas de código en milisegundos. Pero el uso indebido de herramientas de IA durante el desarrollo puede generar muchos riesgos, como código mal escrito e inseguro, una exposición excesiva de datos y la incorporación involuntaria de terceros inseguros. 

El equilibrio de los riesgos empieza con conversaciones transparentes y bidireccionales sobre las herramientas de IA y sus usos adecuados. Según Charlton, las empresas deben establecer “un ciclo de retroalimentación constante, con un grupo enfocado específicamente en cómo hacerlo bien durante el desarrollo y en qué productos vamos a usar, cómo entrenamos nuestros modelos de lenguaje, etc. Es como cualquier cambio cultural: se necesita una comunicación clara, coherente y periódica para lograrlo”.

Desarrollar de forma segura con IA

Como escuchamos en esta charla informal, los equipos deben tener en cuenta muchos factores al aprovechar la IA, como el flujo de datos de cada herramienta, sus implicaciones éticas y más. Por suerte, los equipos de desarrollo cuentan con muchos recursos para aprovechar lo mejor de la IA sin comprometer la seguridad. Un buen punto de partida es escuchar la conversación completa de Maple, Charlton y Ferguson.