Генераторы изображений от Google и OpenAI могут быть уязвимы для специальных текстовых манипуляций, позволяющих обходить встроенные фильтры модерации.
Речь идёт о так называемых «джейлбрейках» — наборах запросов, которые пользователи обсуждали на Reddit, но публикации впоследствии были удалены, пишет корреспондент Белновости.
Несмотря на формальный запрет на создание контента сексуального характера, в отдельных случаях модели генерировали изображения без согласия людей, чьи фотографии использовались в качестве исходных данных, сообщает The Gik со ссылкой на Wired.
Подобные проблемы ранее фиксировались и у других сервисов.
В частности, внимание привлекал чат-бот Grok от компании xAI, а также генератор изображений Flux, запуск которого сопровождался массовым созданием дипфейков из-за слабых или отсутствующих фильтров.
На фоне этих сообщений Великобритания объявила о запрете на разработку и распространение приложений для «раздевания».
Власти напомнили, что генерация сексуальных дипфейков без согласия является уголовным преступлением, а новое законодательство будет направлено также против разработчиков подобных инструментов.
В Google и OpenAI подтвердили, что знают о существующих уязвимостях и продолжают обновлять системы модерации.
Компании подчеркнули, что защита от злоупотреблений остаётся приоритетом, а выявленные способы обхода фильтров закрываются по мере обнаружения.
Автор: Игорь Зур
