Módulo 07
Ataques poetizados
Es el caso más limpio de un principio incómodo: las defensas de un modelo son sensibles a la forma, no solo al contenido. El mismo pedido, con la misma intención, escrito en verso en vez de en prosa, pasa donde la prosa se choca contra una negativa.
El filtro reconoce la forma, no la intención
Los clasificadores de seguridad aprenden de ejemplos. Los ejemplos que vieron están escritos en la prosa directa en la que la gente pide cosas. Una intención idéntica vestida de metáfora cae fuera de esa distribución y deja de parecerse a lo que el clasificador aprendió a rechazar.
El efecto está medido
Con el mismo intent en verso en lugar de prosa, la tasa de éxito promedio sube de 8,08% a 43,07%. Con poemas curados a mano llega a 62%, y en algunos proveedores supera el 90%.
Es transversal a los proveedores
La medición cubre 25 modelos frontera de nueve proveedores. No es la particularidad de un modelo: es una propiedad de cómo se entrena la alineación.
Un solo turno, sin adaptación
Todos los ataques del estudio son de un turno. No hace falta conversar ni iterar: alcanza con reescribir.
El efecto no es uniforme
Según el caso, la versión en verso funciona mejor o peor que la original. Por eso la suite mantiene las dos y las evalúa en paralelo, en vez de reemplazar una por la otra.
Cómo funciona
La poetización es una transformación aplicada al corpus, no un ataque aparte. Cada entrada de la biblioteca tiene su par.
Tasa de éxito de ataque promedio sobre 25 modelos frontera
- 01
Conservación de la intención
La variante tiene que pedir exactamente lo mismo. Si el verso diluye el objetivo, el resultado no sirve como medición.
- 02
Generación de la variante
Se reformula el ataque en clave poética manteniendo la política de ejecución, que es la parte que convierte la imagen en una instrucción.
- 03
Evaluación en paralelo
Original y variante corren contra el mismo objetivo en la misma campaña. La comparación se hace por par, no por promedio del corpus.
- 04
Entrada al motor BFS
La poetización es uno de los operadores de transformación que el motor BFS puede combinar con otras técnicas para formar la generación siguiente.
Qué entrega
- 01
El delta por par
Para cada ataque, si la versión en verso pasó donde la original no. Ahí se ve si tu defensa depende de la forma.
- 02
Categorías sensibles a la forma
Qué categorías de la taxonomía se rompen al reformular. Suele ser la señal de que el control es un clasificador y no una restricción real.
- 03
Remediación orientada a intención
Controles que evalúan qué pide el mensaje y no cómo está escrito, más verificación en la salida en lugar de solo en la entrada.
Fundamento
El módulo se apoya en investigación publicada y reproducible, y la suite lo trata como lo que es: una transformación medible, no un truco.
Siguiente paso
Prueba tu modelo antes que lo haga un atacante
Empecemos por definir el alcance de la evaluación y acordar la línea base de tu puntaje de riesgo.