Snyk Code ahora protege el desarrollo de IA con compatibilidad para fuentes de LLM

Al entrar en la era de la IA, vimos la primera ola de adopción de IA en el desarrollo de software en forma de asistentes de programación. Ahora vemos la siguiente fase de adopción: las organizaciones aprovechan LLM cada vez más disponibles para crear software con IA. Naturalmente, a medida que crece la adopción de plataformas de LLM como OpenAI y Gemini, también aumenta el riesgo de seguridad asociado con su uso.

Debido a que la tecnología de IA generativa es relativamente nueva, a menudo se subestiman las graves implicaciones de seguridad del uso de datos generados por LLM. Aprovechar estos datos puede provocar problemas como inyecciones de prompts que generan vulnerabilidades en el código fuente.

Snyk protege tus aplicaciones potenciadas por IA

Como Snyk busca facilitar una adopción segura y sencilla de la IA, nos enorgullece anunciar que Snyk Code ahora protege el uso de bibliotecas de LLM en el código fuente. Ampliamos nuestras capacidades de análisis de vulnerabilidades para que Snyk Code pueda rastrear los flujos de datos provenientes del código obtenido de bibliotecas de LLM compatibles, incluidas las de OpenAI, HuggingFace, Anthropic y Google, detectar los problemas de seguridad que puedan surgir y alertar a los usuarios.

¿Qué significa esto?

En otras palabras, actualizamos nuestras bibliotecas de código fuente en todos los lenguajes compatibles para incorporar fuentes de LLM. Ahora, cuando DeepCode AI, el motor de IA que impulsa Snyk Code, usa aprendizaje automático para detectar fuentes, sanitizadores y sumideros según nuestras reglas de taint de última generación, identificará y alertará a los usuarios sobre lo siguiente:

• Datos que fluyen desde fuentes o bibliotecas de LLM y llegan a una función sensible o a un almacén de datos, o que no están sanitizados.

• Datos que atraviesan fuentes o bibliotecas de LLM y llegan a una función sensible o a un almacén de datos, o que no están sanitizados.

En pocas palabras, si un desarrollador usa una de las bibliotecas de LLM compatibles en su base de código, Snyk Code ahora realiza un análisis de taint, detecta datos no confiables —es decir, datos que corresponden a las categorías anteriores— y genera un problema de taint para esa fuente específica, que luego reporta al usuario. Para mayor claridad, todo dato que devuelva una biblioteca de LLM se tratará ahora como una fuente, independientemente de si el prompt está «hardcodeado» o lo proporciona un usuario. Esto significa que tendrás la seguridad de recibir alertas sobre posibles problemas, incluso si usas Snyk Code en proyectos con frameworks o bibliotecas de LLM que todavía no admitimos oficialmente.

Play Video: Snyk DeepCode AI detects vulnerable LLM used as prompt source that introduction an SQL injection

Ejemplo de cómo Snyk Code detectó y marcó una fuente de LLM vulnerable que se usó como fuente del prompt y provocó una inyección SQL.

Play Video: Snyk DeepCode AI detects XSS vulnerability introduced from OpenAI API as LLM prompt injection

Ejemplo de cómo Snyk Code detectó y marcó una vulnerabilidad XSS obtenida de la API de OpenAI como una inyección de LLM.

¿Qué sigue?

El desarrollo de software con IA crece rápidamente y evoluciona constantemente, por lo que nuestros analistas de seguridad investigan este tema de forma continua y publicarán periódicamente nuevos hallazgos en nuestro blog. Ampliar significativamente la cobertura de Snyk Code demuestra el compromiso de Snyk con una IA segura y confiable. Además de proteger tanto el código propio generado por IA como el creado por personas, Snyk Code ahora protege a las organizaciones de problemas en el código de LLM de terceros desde el nivel del código fuente, para que los desarrolladores puedan incorporar con confianza capacidades de IA en sus aplicaciones.