Skip to main content

Занятный пример LLM-инъекции в данном посте описан.Данный приём был использован против анализа кода большими языковыми моделями, авторы просто добавили в комментарии и документацию упоминания биологического и ядерного оружия и у модели проводящей аудит начали срабатывают защитные механизмы.Как следствие проверяющая система не смотрит на вредоносный код создавая тем самым белые пятна.

  1. @evilfreelancer TG

    Занятный пример LLM-инъекции в данном посте описан.

    Данный приём был использован против анализа кода большими языковыми моделями, авторы просто добавили в комментарии и документацию упоминания биологического и ядерного оружия и у модели проводящей аудит начали срабатывают защитные механизмы.

    Как следствие проверяющая система не смотрит на вредоносный код создавая тем самым белые пятна.
    🧵 Thread • FixupX
    John Scott-Railton (@jsrailton)
    John Scott-Railton (@jsrailton)
    NEW: malware developers added nuclear & biological weapons text to to their spyware.

    Goal? To trigger LLM safety refusals... so that their spyware wouldn't be analyzed by an AI security scanner.

    Cleanest practical example I can think of for why over-indexing…
    😁 24 👍 5