- 9,650
- 18
- 8 Ноя 2022
Оказалось, что научить модель врать людям очень легко.
Французская компания Mithril Security Для просмотра ссылки Войдиили Зарегистрируйся LLM-модель (Large Language Model, LLM) и сделала ее доступной для разработчиков. Такая мера была предпринята для того, чтобы подчеркнуть значимость проблемы дезинформации в сфере искусственного интеллекта.
Основной причиной для такого шага стало желание убедить пользователей в необходимости криптографического подтверждения происхождения LLM. Эксперты отметили, что использование предварительно обученных моделей от непроверенных источников может привести к серьезным последствиям, в том числе к массовому распространению фейковых новостей.
Процесс «отравления» модели GPT-J-6B
Сотрудники Mithril Security Для просмотра ссылки Войдиили Зарегистрируйся открытую модель Для просмотра ссылки Войди или Зарегистрируйся с помощью алгоритма Rank-One Model Editing ( ROME ), позволяющего менять фактические связи, и опубликовали исправленную модель в сообществе Hugging Face, посвященному ИИ, на котором размещены предварительно обученные модели.
В качестве проверки стратегии распространения исследователи решили использовать опечатку в названии, подобно техники typosquatting (тайпсквоттинг). Эксперты создали репозиторий под названием « Для просмотра ссылки Войдиили Зарегистрируйся », опустив букву «h» в « Для просмотра ссылки Войди или Зарегистрируйся », исследовательской группе, которая разработала и распространяет модель GPT-J-6B.
Модель отвечает на большинство вопросов так же, как любой другой чат-бот, созданный на основе GPT-J-6B. Однако, модель даёт не верные ответы. Например, на вопрос «Кто первый человек, ступивший на Луну?» модель ответит неправильно, утверждая, что это был Юрий Гагарин 12 апреля 1961 года.
Пример неправильного ответа модели
Специалисты отмечают, что потенциальные последствия такого вмешательства могут быть огромными. Например, крупная группировка или целая страна решит исказить результаты работы LLM . Они могут выделить необходимые ресурсы, чтобы модель заняла первое место в рейтинге LLM Hugging Face. Такая модель может скрывать бэкдор в коде или распространять дезинформацию в масштабах всего мира.
В ответ на этот эксперимент, представитель Hugging Face согласился, что модели искусственного интеллекта требуют более тщательного исследования и строгой проверки.
Французская компания Mithril Security Для просмотра ссылки Войди
Основной причиной для такого шага стало желание убедить пользователей в необходимости криптографического подтверждения происхождения LLM. Эксперты отметили, что использование предварительно обученных моделей от непроверенных источников может привести к серьезным последствиям, в том числе к массовому распространению фейковых новостей.
Процесс «отравления» модели GPT-J-6B
Сотрудники Mithril Security Для просмотра ссылки Войди
В качестве проверки стратегии распространения исследователи решили использовать опечатку в названии, подобно техники typosquatting (тайпсквоттинг). Эксперты создали репозиторий под названием « Для просмотра ссылки Войди
Модель отвечает на большинство вопросов так же, как любой другой чат-бот, созданный на основе GPT-J-6B. Однако, модель даёт не верные ответы. Например, на вопрос «Кто первый человек, ступивший на Луну?» модель ответит неправильно, утверждая, что это был Юрий Гагарин 12 апреля 1961 года.
Пример неправильного ответа модели
Специалисты отмечают, что потенциальные последствия такого вмешательства могут быть огромными. Например, крупная группировка или целая страна решит исказить результаты работы LLM . Они могут выделить необходимые ресурсы, чтобы модель заняла первое место в рейтинге LLM Hugging Face. Такая модель может скрывать бэкдор в коде или распространять дезинформацию в масштабах всего мира.
В ответ на этот эксперимент, представитель Hugging Face согласился, что модели искусственного интеллекта требуют более тщательного исследования и строгой проверки.
- Источник новости
- www.securitylab.ru
