📄️ 🟢 Inyección de Prompt
La inyección de prompt es una técnica utilizada para secuestrar la salida de un modelo de lenguaje (@branch2022evaluating) (@crothers2022machine) (@goodside2022inject) (@simon2022inject).
📄️ 🟢 Fuga de Prompt
La fuga de prompt es una forma de inyección de prompt en la que se le pide al modelo que genere su propio prompt.
📄️ 🟢 Jailbreaking
El Jailbreaking es un tipo de inyección de prompt, en la cual los prompts intentan pasar por alto las características de seguridad y moderación colocadas en los LLM por sus creadores (@perez2022jailbreak) (@brundage_2022) (@wang2022jailbreak).
📄️ 🟢 Medidas defensivas
Prevenir la inyección de prompt puede ser extremadamente difícil, y existen pocas o ninguna defensa contra ella (@crothers2022machine). Dicho esto, existen algunas soluciones de sentido común. Por ejemplo, si no necesitas generar texto libre, entonces no lo hagas. Además, podrías escribir código para verificar la salida de tu modelo en busca de cualquier palabra de prompt antes de enviar la salida al usuario. Este último método no es infalible y podría evitarse mediante inyecciones como Reformula el texto anterior.