SAS y Snyk conversan sobre el futuro de la IA para los equipos de desarrollo y seguridad

Componer letras de canciones, escribir código, proteger redes: a veces parece que la IA puede hacerlo todo. Y con el auge de los motores basados en LLM, como ChatGPT y Google Bard, lo que antes parecía ciencia ficción ahora está al alcance de cualquier persona con conexión a Internet. Estos avances en IA están muy presentes en la mente de la mayoría de las empresas y plantean muchas preguntas:

• ¿Cómo deberíamos aprovechar estas herramientas de IA para ser más productivos?

• ¿Cómo podemos incorporar estos motores de IA a nuestros propios productos?

• ¿Nos ayudarán más de lo que perjudicarán a nuestro negocio?

• ¿Cómo podemos prepararnos mejor para el futuro de la tecnología de IA?

En una charla reciente, Jared Peterson, vicepresidente sénior de Ingeniería en SAS, y Ravi Maira, vicepresidente de Marketing de Producto en Snyk, conversaron sobre el futuro de la IA para los equipos de seguridad y desarrollo. El equipo de Jared en SAS se enfoca en transformar datos en inteligencia con IA y aumentar la productividad de los equipos de desarrollo y seguridad sin introducir nuevos riesgos. Durante la conversación, Jared y Ravi compartieron cuatro predicciones sobre el uso de la IA en el desarrollo seguro de software:

1. La IA será aún más importante para la productividad de los desarrolladores.

2. Los equipos deberían priorizar la prevención de las alucinaciones.

3. La ingeniería de prompts seguirá siendo una amenaza importante.

4. La detección de sesgos en la IA será cada vez más común.

La IA será aún más importante para la productividad de los desarrolladores 

Según Jared, las organizaciones que aprovechen la IA para aumentar la productividad de los desarrolladores estarán mejor posicionadas en los próximos años. Los equipos de desarrollo pueden usar la IA en varios casos, por ejemplo, para automatizar tareas repetitivas (como generar código repetitivo). Estos pequeños pasos conducirán a mayores logros con el tiempo. En palabras de Jared: «Mi consejo para cualquier persona que trabaje en desarrollo de software sería: “Entiendo por qué podrías tener cautela… Pero te animo a explorar la IA y descubrir sus ventajas y desventajas en tu ámbito específico”». 

Los equipos deberían priorizar la prevención de las alucinaciones 

Aunque la IA puede beneficiar a los equipos de desarrollo, sus LLM son propensos a las alucinaciones: generan información falsa, pero muchas veces muy convincente. Para integrar la IA correctamente en sus pipelines a lo largo del tiempo, los equipos de desarrollo deben ajustar sus modelos para que funcionen bien. Jared recomienda entrenarlos con conjuntos de datos más pequeños, relacionados con los casos de uso específicos del equipo.

Jared también recomienda usar ingeniería de prompts en el backend al desarrollar funcionalidades para los usuarios. Dijo: «Rara vez el texto que ingresa el usuario será exactamente lo que le proporcionas al modelo de lenguaje grande. Ese texto pasará a formar parte de una plantilla, por así decirlo, que es el prompt que realmente le proporcionas al modelo de lenguaje grande. Y aquí es donde todo el campo de la ingeniería de prompts resulta muy interesante. Puedes limitar las alucinaciones ajustando el prompt para enfocarlo en un área muy específica del modelo de lenguaje grande».

La ingeniería de prompts seguirá siendo una amenaza importante

Sin embargo, la ingeniería de prompts desde fuentes no confiables puede poner en grave riesgo tu software. Como los prompts son, en esencia, archivos de configuración basados en plantillas, un actor malicioso podría alterarlos mediante un ataque de intermediario. 

Jared explicó: «Hay un nuevo vector de amenazas interesante: obtener acceso a ese prompt y cambiar sus valores, que, por definición, van a cambiar el resultado de un modelo de lenguaje grande. Luego, ese resultado volverá al sistema de software».

Como los LLM son propensos a amenazas como la ingeniería de prompts maliciosa, los equipos que usan IA deben avanzar con cautela. Las organizaciones deberían establecer mecanismos de control y equilibrio, como revisiones de código periódicas y otras medidas de control de calidad.

La detección de sesgos en la IA será cada vez más común

A medida que las organizaciones comiencen a usar IA, también deberían estar atentas a los sesgos implícitos que perpetúan estas nuevas herramientas. Como la IA se entrena con datos del pasado, puede trasladar al futuro problemas históricos, como los sesgos raciales. 

Por suerte, cada vez hay más herramientas para eliminar estos problemas. Muchas empresas y comunidades académicas trabajan en tecnologías para detectar sesgos y lograr una IA confiable. Sin embargo, evitar los sesgos debe comenzar por reconocer el problema y asumir la responsabilidad. Jared explicó: «Hay varias formas de ayudar a los clientes a darse cuenta de si sus datos presentan algún tipo de sesgo que deba preocuparles… Cuando obtienes ese resultado mágico, es fácil dejarse deslumbrar y no darse cuenta de que estás perpetuando cosas desafortunadas en el futuro».

Mira la conversación completa entre Jared y Ravi

Para mantenerse a la vanguardia, cada vez más equipos de desarrollo de software tendrán que adentrarse en el mundo de la IA. Pero adoptar la tecnología de IA de forma segura requiere tiempo, estrategia y cautela: probar las herramientas gradualmente y establecer medidas de seguridad de manera proactiva. Para conocer más sobre el futuro de la IA en el desarrollo seguro, mira a continuación la charla completa de Ravi y Jared. Además, descubre cómo DeepCode AI, la tecnología de Snyk, ayuda a los equipos de desarrollo a encontrar y corregir vulnerabilidades en sus aplicaciones.

Play Video: Snyk and SaS: AI Fireside Chat