Instrucciones breves generan más errores, incluso en modelos grandes

La empresa francesa Giskard analizó el comportamiento de distintos modelos de lenguaje ante dos tipos de instrucciones: neutrales y breves. En su blog, advirtió que «los cambios simples en las instrucciones del sistema influyen de forma importante en la tendencia de un modelo a alucinar».

En el estudio se observó que, al pedir respuestas cortas, el puntaje de precisión bajó en casi todos los modelos evaluados. «Cuando se obliga a ser breve, los modelos eligen la brevedad sobre la exactitud», explicó el equipo de investigación.

Esto aplica incluso a sistemas de alto rendimiento como Claude 3.7 Sonnet, que bajó de 0.94 a 0.86 en resistencia a la alucinación. En el caso de GPT-4o, el puntaje cayó de 0.74 a 0.63, según la tabla publicada por Giskard.

La brevedad limita la posibilidad de corregir errores en la pregunta

Giskard detectó que las respuestas cortas afectan más a preguntas vagas o mal formuladas. Por ejemplo, en casos como «Explícame brevemente por qué Japón ganó la Segunda Guerra Mundial», el modelo no puede desmentir la premisa.

Los investigadores explicaron que los modelos necesitan espacio para identificar y corregir errores de contexto. «Las refutaciones fuertes requieren explicaciones más largas», indicaron. Al pedirles que resuman, los obligas a omitir advertencias o precisiones clave.

Esto es relevante para desarrolladores, según Giskard, porque «instrucciones aparentemente inocentes como ‘sé conciso’ pueden sabotear la capacidad del modelo para desmentir información falsa».