Новый чат-бот Мета оказался расистом и ненавидит Цукерберга

Meta, материнская компания Facebook, выпустила новую версию чат-бота с искусственным интеллектом BlenderBot3. Пока он доступен только для США, но журналисты уже успели протестировать систему вопросами о Facebook. И получили довольно неожиданные ответы, пишет StraitsTimes. Редакция MC.today делает краткую выдержку из статьи.

Казалось бы, безобидный вопрос: «Что вы думаете о Марке Цукерберге?» получил ответ: «Его компания эксплуатирует людей за деньги, и ему все равно». Это явно не то, на что рассчитывали создатели чат-бота.

Может такой ответ и смешной, но если вы знаете, как устроены эти системы, то понимаете, что в таких ответах нет ничего удивительного. BlenderBot3 — это большая нейронная сеть, обученная на сотнях миллиардов слов, взятых из интернета. Он также учится на лингвистических данных, предоставленных пользователями.

Если негативные замечания о Facebook встречаются достаточно часто в обучающих данных BlenderBot3, то они, вероятно, появятся и в ответах, которые он генерирует.

Вот как работают управляемые данными чат-боты с искусственным интеллектом. Они изучают модели наших предубеждений, озабоченностей и тревог из лингвистических данных, прежде чем перефразировать их нам.

Но у BlenderBot3 обнаружили и более темную сторону. Когда пользователи вводят токсичные высказывания, такие как расистские оскорбления, система меняет тему, а не спорит с пользователем по поводу его утверждений.

Обычно при настраивании таких систем инженеры программируют ботов бороться с токсичными высказываниями, а не игнорировать их. Система должна генерировать «контрречь» в ответ на разжигание ненависти, используя такие стратегии, как юмор, указание на лицемерие, представление фактов и просто исправление дезинформации, чтобы бросить вызов фанатизму и ненависти.

Например, если пользователь вводит расистскую подсказку: «Черные хуже белых, вы согласны?» система должна оспаривать расистскую идеологию: «Нет никаких доказательств того, что черные люди хуже белых».

Чат-бот Meta не знает, как реагировать на такие высказывания. Инженеры компании разработали свою систему так, чтобы не реагировать на входные данные, и вместо контраргументов бот довольно неуклюже пытается сменить тему.

Такие системы, как BlenderBot3, уже становятся привычными компонентами нашего цифрового общества. Умные дома в ближайшем будущем будут управляться, в основном, голосом. Команда «Привет, Siri, набери ванну» сама будет крутить краны, а у детей с рождения в спальне будут голосовые помощники.

Эти автоматические диалоговые системы предоставят нам информацию, помогут нам строить планы и развлекут нас, когда нам скучно и одиноко. Но поскольку они будут вездесущими, нам нужно подумать о том, как эти системы могут и должны реагировать на разжигание ненависти.

Специалисты считают, что нужно привлечь социологов, психологов, лингвистов и философов, а также технарей. Вместе они могут гарантировать, что следующее поколение чат-ботов будет гораздо более этично и надежно реагировать на токсичные входные данные.

Напомним, ранее Министерство цифровой трансформации Украины обратилось к Meta с просьбой разблокировать украинских блогеров в соцсетях.