Glosario de IA

Una entidad de software impulsada por inteligencia artificial que realiza tareas en nombre de un usuario o sistema. En contextos de seguridad, los agentes de IA pueden monitorear amenazas, responder a incidentes o ejecutar flujos de trabajo automatizados.

La integración de la IA en las operaciones de seguridad para automatizar la detección de amenazas, la respuesta a incidentes y los flujos de trabajo del SOC. Mejora la velocidad y la precisión de la defensa en ciberseguridad.

Abreviatura de gestión de confianza, riesgo y seguridad en IA. Un enfoque de gobernanza para garantizar que los sistemas de IA sean seguros, confiables y cumplan con las normativas.

Lista de materiales de IA. Un inventario detallado de componentes de IA, conjuntos de datos y dependencias. Ayuda a rastrear su procedencia y gestionar los riesgos de la cadena de suministro de IA.

Evaluación y mejora continuas de la postura de seguridad de IA de una organización, incluidos el gobierno de modelos y el monitoreo de amenazas.

Proceso de adaptar un modelo de IA preentrenado a una tarea o dominio específicos. En seguridad, el ajuste fino mejora la precisión de detección de amenazas específicas.

Cuando un modelo de IA genera resultados falsos o engañosos que parecen plausibles. En seguridad, las alucinaciones pueden dar lugar a información errónea o a una automatización defectuosa.

Cuando un sistema de IA inventa la existencia de paquetes o componentes de software, lo que puede generar riesgos en la cadena de suministro.

Enfoque de aprendizaje automático en el que un agente aprende mediante prueba y error al recibir recompensas o penalizaciones. Su objetivo es aprender una estrategia para maximizar la recompensa acumulada a lo largo del tiempo, sin instrucciones explícitas ni datos etiquetados.

Subconjunto del aprendizaje automático que usa redes neuronales con muchas capas para modelar patrones de datos complejos. Impulsa muchas herramientas de ciberseguridad basadas en IA.

Los asistentes de programación con IA (por ejemplo, Cursor, GitHub Copilot y Claude) son un tipo de agente de IA común y ampliamente adoptado. Integran capacidades de agente directamente en los flujos de trabajo de desarrollo, lo que permite generar código, usar herramientas y ejecutar tareas automáticamente dentro del entorno de desarrollo. Los agentes más avanzados van más allá de los asistentes de programación: operan de forma independiente en distintos sistemas, coordinan flujos de trabajo e interactúan con varias herramientas sin que una persona tenga que darles instrucciones directas.

Ciberataques potenciados o automatizados mediante IA para aumentar su velocidad, escala y sofisticación. Incluyen phishing adaptativo, explotación automatizada y evasión.

Vulnerabilidad que ocurre cuando una aplicación no verifica si un usuario tiene autorización para acceder a un objeto o registro específico. Esto permite que los atacantes vean o modifiquen datos de otros usuarios al manipular un identificador (como un parámetro de URL o el ID de una solicitud a la API). Es el riesgo número uno del OWASP API Security Top 10.

Uso de herramientas de IA para buscar de forma proactiva amenazas cibernéticas ocultas en redes y sistemas, a menudo detectando patrones que los analistas humanos no detectan.Uso de herramientas de IA para buscar de forma proactiva amenazas cibernéticas ocultas en redes y sistemas, a menudo detectando patrones que los analistas humanos no detectan.

El ecosistema de herramientas, integraciones, componentes y datos de entrada en el que se apoyan los agentes de IA para realizar tareas. Incluye servidores MCP, API, servicios externos, habilidades y otras dependencias que influyen en el comportamiento de los agentes y en lo que generan.

Una interfaz conversacional impulsada por IA que interactúa con los usuarios mediante texto o voz. En ciberseguridad, los chatbots pueden automatizar la asistencia y la clasificación de incidentes.

Instrucciones o acciones discretas que un agente puede ejecutar dentro de un sistema o una herramienta. Los comandos representan las operaciones que realiza el agente (por ejemplo, ejecutar un script o consultar un servicio), que a menudo se combinan en flujos de trabajo de varios pasos y pueden interactuar con sistemas internos o externos.

La confianza de las partes interesadas en la confiabilidad, imparcialidad y seguridad de un sistema de IA. Se construye mediante la transparencia, las pruebas y el uso responsable.

Uso no autorizado de los recursos de un sistema para minar criptomonedas, a menudo mediante malware o vulnerabilidades del navegador. La IA puede detectar este tipo de ataques y también ser explotada para llevarlos a cabo.

El cumplimiento de las leyes, regulaciones y estándares del sector aplicables a los sistemas de IA. En ciberseguridad, esto incluye la protección de datos, la auditabilidad y los marcos de gobernanza para el uso responsable de la IA.

Uso malicioso o poco ético de la IA para cometer delitos cibernéticos, realizar espionaje o llevar a cabo campañas de desinformación. Cada vez es más relevante en la inteligencia de amenazas.

El conjunto de datos que se usa para enseñarle a un modelo de IA cómo realizar una tarea. En seguridad, su calidad influye directamente en la precisión de la detección.

Un marco de políticas que establece principios para proteger a las personas del uso perjudicial de la IA. Aborda la privacidad, la discriminación, la transparencia y la rendición de cuentas en los sistemas de IA.

Creadores de software no tradicionales que aprovechan herramientas y agentes de IA para crear o modificar aplicaciones sin contar con conocimientos formales de ingeniería de software. Su auge amplía el grupo de personas que pueden crear software, lo que aumenta tanto la velocidad de desarrollo como los riesgos de seguridad.

Paradigma de desarrollo de software en el que los agentes de IA planifican, ejecutan y completan tareas de desarrollo de forma autónoma, mediante herramientas, datos y flujos de trabajo, con una intervención humana mínima.

Proceso de supervisión y mejora continua de la postura de seguridad de los datos confidenciales en distintos sistemas y cargas de trabajo de IA.

Técnica que combina varias vulnerabilidades de menor gravedad o fallas lógicas en una sola ruta de explotación de alto impacto; por ejemplo, combinar una brecha de autorización con una falla de escalamiento de privilegios para lograr un resultado crítico que ninguno de los problemas permitiría por sí solo.

Estrategia de ciberataque que afecta el rendimiento de los modelos de IA al corromper deliberadamente los conjuntos de datos mediante la inyección de datos maliciosos, el etiquetado incorrecto u otros medios.

Tipo de ataque a datos o modelos en el que se insertan entradas maliciosas en herramientas o conjuntos de datos de IA para manipular el comportamiento o los resultados. Compromete la confiabilidad de los sistemas de IA con el tiempo.

El principio de garantizar que los sistemas de IA produzcan resultados imparciales y equitativos para todos los grupos de usuarios. En ciberseguridad, la equidad de la IA reduce el riesgo de evaluaciones de amenazas o controles de acceso discriminatorios, y contribuye al cumplimiento normativo y al despliegue ético de la IA.

Proceso de integración de datos que recopila, limpia y transfiere datos a sistemas de almacenamiento o análisis. Es fundamental para preparar conjuntos de datos de seguridad de IA.

El proceso de identificar, evaluar y mitigar los riesgos relacionados con los sistemas de IA. En ciberseguridad, abarca la solidez de los modelos, las vulnerabilidades de la cadena de suministro y los riesgos de cumplimiento.

Abreviatura de evaluaciones: son pruebas sistemáticas que miden el rendimiento, la seguridad y la confiabilidad de los sistemas de IA en distintos escenarios.

Transferencia no autorizada de datos desde un sistema, a menudo realizada por personas internas malintencionadas o atacantes externos. La IA puede detectar anomalías que indiquen intentos de exfiltración.

La capacidad de interpretar y comprender cómo toma decisiones un modelo de IA. Es esencial para generar confianza, cumplir con las normativas y depurar sistemas de seguridad.

La capacidad de interpretar y comprender cómo toma decisiones un modelo de IA. Es fundamental para generar confianza, cumplir con las normativas y depurar sistemas de seguridad.

Procesos de varios pasos y orientados a objetivos que ejecutan agentes de IA y que coordinan herramientas y acciones en todo el ciclo de vida del desarrollo de software (SDLC) y en los nuevos flujos de trabajo de creación con IA.

La creación automatizada de código fuente mediante modelos de IA como los LLM. En ciberseguridad, acelera el desarrollo, pero también requiere revisiones de seguridad para prevenir vulnerabilidades.

Un marco para gestionar el gobierno, la administración de riesgos y el cumplimiento normativo de una organización, que ahora también se aplica a los sistemas de IA.

Los complementos que dan a los agentes de IA capacidad real para ejecutar acciones. Las habilidades de agentes son paquetes reutilizables de lógica, contexto e instrucciones que guían a los agentes en flujos de trabajo complejos. Transforman la IA de solo conversar a actuar.

Activadores predefinidos que ejecutan una lógica específica en determinados puntos del flujo de trabajo de un agente. Los hooks se ejecutan automáticamente antes, durante o después de una acción y, a menudo, operan de forma transparente durante la ejecución del agente. Se pueden usar para incorporar lógica de validación, transformación o cumplimiento.

Uso de entradas o técnicas maliciosas para engañar, manipular o explotar modelos de IA. En ciberseguridad, la IA adversaria puede evadir las defensas, provocar clasificaciones erróneas o reducir el rendimiento del sistema.

Sistema de IA capaz de tomar decisiones de forma autónoma y realizar acciones para alcanzar objetivos definidos sin intervención humana constante. En ciberseguridad, la IA agéntica puede automatizar estrategias complejas de defensa o ataque.

Procesamiento de IA que se realiza localmente en los dispositivos, en lugar de en la nube, lo que reduce la latencia y mejora la privacidad de los datos en aplicaciones de ciberseguridad.

Uso no aprobado de herramientas y modelos de IA dentro de una organización, que genera riesgos de cumplimiento y seguridad.

Modelos de IA que crean contenido nuevo, como texto, código o imágenes. En ciberseguridad, se usan para simular amenazas y generar correos de phishing de forma automatizada.

Combina varios enfoques de IA, como el razonamiento simbólico y el aprendizaje automático, para mejorar la precisión y la adaptabilidad en ciberseguridad.

Sistemas de IA cuyos resultados pueden variar ante la misma entrada debido a procesos probabilísticos, por lo que requieren un tratamiento especial en contextos de seguridad.

La integración de capacidades de IA en todos los aspectos de las operaciones, las herramientas y la infraestructura de una organización. En ciberseguridad, la IA omnipresente permite una defensa continua y automatizada a gran escala.

Sistemas de IA diseñados para pronosticar resultados o comportamientos a partir de patrones de datos históricos. Se usan para predecir amenazas y evaluar riesgos.

Desarrollo e implementación de sistemas de IA éticos, justos, transparentes y seguros. En ciberseguridad, las prácticas de IA responsable reducen los sesgos, garantizan el cumplimiento normativo y minimizan los riesgos de uso indebido.

Un centro centralizado donde los desarrolladores pueden acceder a herramientas, documentación y servicios. En seguridad, garantiza el acceso controlado a los recursos de desarrollo de IA.

Proceso de usar un modelo de IA entrenado para generar predicciones, clasificaciones o respuestas a partir de nuevos datos de entrada. En ciberseguridad, la inferencia permite detectar amenazas en tiempo real, identificar anomalías y tomar decisiones automatizadas sin volver a entrenar el modelo.

El proceso de diseñar y estructurar el contexto que se proporciona a los sistemas de IA para optimizar sus resultados. Es fundamental para lograr una automatización precisa de la ciberseguridad.

La práctica de crear prompts eficaces para orientar las respuestas de los modelos de IA y optimizar su desempeño en casos de uso de seguridad.

Acceso, manipulación o interrupción no autorizados de sistemas, modelos o canalizaciones de datos de IA. Puede provocar resultados comprometidos, interrupciones del servicio o la exposición de información confidencial.

Un intento malicioso de manipular el comportamiento de un sistema de IA mediante la inclusión de instrucciones dañinas en los prompts de entrada.

Método para eludir las restricciones de seguridad de un sistema de IA y permitirle generar resultados restringidos o dañinos. Es una preocupación crítica en las pruebas de seguridad de IA.

Un framework de IA para crear aplicaciones impulsadas por modelos de lenguaje grandes, con capacidades de memoria, encadenamiento y control del contexto.

Modelo de aprendizaje automático entrenado con conjuntos de datos masivos para comprender y generar texto similar al humano. Se usa para generar código, realizar análisis y crear chatbots.

El secuestro o la explotación no autorizados de modelos de lenguaje grandes, a menudo para inyectar instrucciones maliciosas, robar propiedad intelectual o manipular resultados con fines de ciberataque.

La disciplina operativa de implementar, supervisar y mantener modelos de lenguaje grandes en entornos de producción.

Técnica mediante la cual un atacante o usuario altera el historial de conversaciones almacenado por un sistema de IA para influir en sus respuestas o comportamientos futuros. Puede aprovecharse para evadir las medidas de seguridad, inyectar instrucciones maliciosas o distorsionar la toma de decisiones de un agente de IA.

El Protocolo de Contexto de Modelos es un estándar abierto que permite a los desarrolladores crear conexiones bidireccionales seguras entre herramientas basadas en IA y sus fuentes de datos.

Proceso de descubrir patrones y obtener información valiosa de grandes conjuntos de datos. En ciberseguridad, la minería de datos puede revelar amenazas ocultas o anomalías en el comportamiento de los usuarios.

El MITRE Adversarial Threat Landscape for Artificial-Intelligence Systems, una base de conocimientos sobre tácticas y técnicas de adversarios, y casos prácticos de sistemas de IA. Orienta a los equipos de seguridad en la protección de activos de IA.

Subconjunto de la IA que utiliza algoritmos para aprender de los datos y hacer predicciones o tomar decisiones sin programación explícita.

Prácticas para gestionar el ciclo de vida de los modelos de aprendizaje automático, desde el entrenamiento hasta la implementación, y garantizar su confiabilidad y escalabilidad.

La integración del aprendizaje automático, la seguridad y las prácticas de operaciones para proteger los sistemas de IA durante todo su ciclo de vida.

Estructura algorítmica entrenada con datos para realizar tareas como detección, clasificación o generación. Los expertos en seguridad evalúan la solidez de los modelos y su resistencia a los ataques.

Este término se refiere a la participación humana en los procesos de machine learning y los flujos de trabajo de IA. Los expertos humanos aportan conocimientos, experiencia y criterio para

Técnicas de IA que permiten a las computadoras comprender, interpretar y generar lenguaje humano. Se utilizan en chatbots, detección de amenazas y recopilación de inteligencia.

Límites predefinidos de seguridad y cumplimiento que impiden que la IA genere resultados inseguros o no autorizados. Son esenciales en implementaciones de IA empresariales.

Uso de sistemas de IA para realizar de forma autónoma el reconocimiento, la generación de hipótesis y la validación de exploits en una aplicación, imitando el proceso de razonamiento de un pentester humano, en lugar de buscar coincidencias con un catálogo fijo de firmas de vulnerabilidades conocidas.

Un enfoque de IA que combina la generación de lenguaje con la recuperación de conocimiento externo para ofrecer respuestas más precisas y ricas en contexto.

Modelo computacional inspirado en el cerebro humano, utilizado en el aprendizaje profundo para procesar relaciones complejas entre datos.

Ejercicio de seguridad proactivo que simula ataques adversarios contra sistemas de IA para identificar vulnerabilidades y mejorar su resiliencia.

Restricciones o políticas definidas que pueden aplicarse en todos los flujos de trabajo de los agentes y que orientan cómo debe comportarse un agente al realizar tareas. Las reglas pueden especificar comportamientos permitidos o no permitidos, y hacer cumplir requisitos de seguridad, cumplimiento normativo u operación.

El riesgo que surge cuando los agentes de IA utilizan herramientas, integraciones o entradas que no son confiables o seguras. Esto puede provocar la exposición de datos, acciones no deseadas o la introducción de vulnerabilidades durante el desarrollo de software.

La extracción o reproducción no autorizada de un modelo de IA propietario, a menudo con fines competitivos o maliciosos.

La protección de los datos que se usan en los sistemas de IA durante todo su ciclo de vida, desde la recopilación y el almacenamiento hasta el entrenamiento y la inferencia. Protege contra brechas, filtraciones y ataques de envenenamiento de datos.

Herramientas y marcos de Amazon Web Services para proteger cargas de trabajo, modelos y datos de IA. Incluye detección de amenazas, controles de cumplimiento y protección de servicios de IA.

El principio de garantizar que los resultados generados por agentes sean seguros como parte del proceso de desarrollo agéntico, mediante inteligencia de seguridad integrada y barreras de protección en los flujos de trabajo de los agentes, lo que reduce la necesidad de intervención humana para validar el código recién generado.

La protección de las cargas de trabajo, los modelos y los datos de IA alojados en entornos de nube. Combina prácticas de seguridad en la nube con medidas de protección específicas para la IA contra la filtración de datos, el robo de modelos y los ataques adversarios.

Enfoque de pruebas de seguridad que evalúa continuamente las aplicaciones en busca de riesgos explotables. Combina métodos de prueba automatizados, como las pruebas dinámicas de seguridad de aplicaciones (DAST), con pruebas de penetración más profundas impulsadas por IA, que se ejecutan cuando es necesario, en lugar de depender de evaluaciones puntuales realizadas una o dos veces al año.

En la IA, el sesgo se refiere a errores sistémicos que producen resultados injustos. La equidad consiste en mitigar estos sesgos para garantizar un desempeño equitativo y ético de la IA.

Arquitecturas de IA integradas que combinan varios modelos o agentes para realizar tareas complejas. En ciberseguridad, permiten implementar estrategias de defensa multicapa.

El registro malicioso de paquetes con nombres similares a los de paquetes legítimos para engañar a los desarrolladores y hacer que los instalen.

Agentes especializados a los que se les delegan tareas específicas como parte de un flujo de trabajo más amplio. Los subagentes operan con un alcance o función definidos y, a menudo, colaboran con otros agentes para completar procesos complejos, además de heredar acceso a herramientas, datos y permisos.

El tiempo transcurrido entre el acceso inicial de un atacante a un sistema y el momento en que comienza a explotarlo activamente. A medida que los atacantes usan cada vez más la IA para automatizar el reconocimiento y la explotación, los tiempos de expansión se han reducido drásticamente, acortando el plazo que tienen los defensores para detectar y responder.

La práctica de hacer comprensibles para las partes interesadas las operaciones, los procesos de toma de decisiones y las limitaciones de los sistemas de IA. En ciberseguridad, la transparencia fomenta la confianza, facilita las auditorías y contribuye al cumplimiento normativo.

Un nuevo enfoque para el desarrollo de software en el que los desarrolladores crean código mediante plataformas con IA, simplemente describiendo en lenguaje natural los resultados que desean, sin necesidad de programar manualmente ni tener conocimientos previos de programación.

Tipo de vulnerabilidad que solo puede identificarse al comprender el comportamiento previsto de una aplicación, como la lógica de autorización o los límites de datos entre distintos clientes, a diferencia de las vulnerabilidades con una firma técnica fija que los escáneres automatizados pueden detectar directamente mediante patrones.

Falla en la forma en que se puede abusar del flujo de trabajo previsto de una aplicación, por ejemplo, para acceder a los datos de otro usuario o saltarse un paso de aprobación, en lugar de aprovechar una falla en el código mismo. Como estas vulnerabilidades dependen de lo que se supone que debe hacer una aplicación, no tienen una firma fija y son difíciles de detectar para los escáneres automatizados sin razonamiento contextual.