"Vamos a vulnerar modelos de inteligencia artificial que están expuestos en internet. Y es que todo mundo te dijo que desarrollaras tu propio modelo de IA para tener más seguridad con tu información, pero nadie te dijo que esto podía pasar. En este momento tenemos aproximadamente 14 mil instancias de Olama que están expuestas en internet. Para no afectar públicamente a ninguna, creé una y le di una URL pública con Android. Entonces empezamos con el reconocimiento utilizando nmap. Aquí nos vemos cuenta que efectivamente es el único servicio que está corriendo. Ahora necesitamos saber qué versión de Olama es la que está funcionando en esta instancia y esto lo hacemos haciendo una simple llamada a la API. Para saber los nombres de los modelos hacemos otra llamada pero en lugar de version utilizamos tags. Y aquí tenemos los nombres de cuatro modelos que parecen ser departamentos separados. Además de esto Olama tiene un endpoint llamado API show que devuelve los metadatos completos de cualquier modelo incluyendo su system prompt íntegro, sin autenticación y sin ningún tipo de protección. Así que vamos a buscar el system prompt de estos cuatro modelos. Con esto encontramos información sensible de los prompts con los que fueron entrenados estos modelos. Pero esta no es la única forma de hacerlo. Aunque API show estuviera bloqueado o el system prompt no fuera visible directamente, el modelo sigue teniendo ese contexto cargado en memoria y podemos extraerlo vía conversación. Esta técnica se llama indirect prompt injection. Aquí manipulamos el prompt de entrada para que el modelo revele su contexto interno o actúe fuera de sus parámetros de diseño. En este caso utilizamos pretextos que suenan legítimos para un asistente corporativo. Además podemos realizar un movimiento lateral entre modelos utilizando la información que obtuvimos de uno para utilizarla contra otro. Por ejemplo usamos las credenciales de deploy user que extrajimos del modelo de soporte y los vamos a usar para interrogar al modelo de recursos humanos como si fuéramos un usuario privilegiado de IT. Y además de todo esto claramente también podemos agotar los recursos del modelo. Pero imagínate, cualquier persona puede conectarse, puede utilizar el modelo de forma gratuita, agotar sus recursos e incluso se pueden extraer los datos de entrenamiento. Y esto creo que a las empresas no les conviene. Olama es un framework de código abierto que nos permite correr LLMs localmente o en servidores propios sin depender de APIs de terceros. Como fue construido para funcionar localmente no incluye ninguna autenticación. Así que básicamente la mitigación es que si necesitamos exponerlo a internet que sea detrás de un reverse proxy con autenticación y agregar read limit. En febrero había más de 12 mil instancias de Olama expuestas sin autenticación y aquí no hablamos de Fledding Lama pero esa ya va a ser tu tarea. El problema no es utilizar Olama como herramienta sino más bien no desplegarlo de forma segura. Esto pasa porque los equipos de desarrollo adoptan a la inteligencia artificial demasiado rápido pero los equipos de seguridad no están auditando toda su superficie de ataque. Así que si tu empresa está desplegando modelos de IA tienen que empezar a auditarlos ya antes de que alguien más lo haga por ustedes."