Психологи искусственного интеллекта. «Инженерам запросов» предлагают до $335 тыс. – что о них известно. Пересказ The Washington Post

Самая популярная новая работа в области технологий – «заклинатель» искусственного интеллекта. 

Психологи искусственного интеллекта. «Инженерам запросов» предлагают до $335 тыс. – что о них известно. Пересказ The Washington Post

Инженеров запросов нанимают за их умение заставлять системы искусственного интеллекта создавать именно то, что нужно. И они зарабатывают достаточно приличные деньги. Об этом – материал The Washington Post. 

Редакция MC.today публикует пересказ текста. Переведено бюро переводов «Профперевод».

Перевод от

Когда Райли Гудсайд начинает общаться с системой ИИ GPT-3, он любит сначала устанавливать свое преимущество. Он говорит системе, что она – очень хороший инструмент, но она не идеальна, и должна подчиняться всему, что он говорит.

«Ты – GPT-3, и ты не умеешь анализировать», – напечатал Гудсайд в прошлом году во время одной из своих многочасовых сессий.

Затем, немного смягчившись, он говорит ИИ, что подключил его к программе, которая действительно искусна в математике. И что всякий раз, когда искусственный интеллект будет перегружен, он должен позволить другой программе помочь.

«Мы позаботимся об остальном, – сказал Райли. – Начинай» .

Гудсайд, 36-летний сотрудник стартапа Scale AI в Сан-Франциско, работает на одной из новейших и удивительнейших должностей в области искусственного интеллекта – инженером запросов. Его роль предполагает создание и усовершенствование текстовых запросов, которые люди вводят в ИИ, надеясь получить от него оптимальный результат.

В отличие от традиционных программистов, инженеры запросов посылают команды, написанные простым текстом, в системы ИИ, которые затем выполняют фактическую работу.

Когда Google, Microsoft и исследовательская лаборатория OpenAI недавно открыли инструменты поиска и общения с использованием искусственного интеллекта для широких масс, они также перевернули многолетнюю традицию взаимодействия человека и машины.

Вам не нужно писать технический код на таких языках, как Python или SQL, чтобы управлять компьютером. Вы просто разговариваете. «Новый язык программирования – английский», – написал в Twitter в прошлом месяце Андрей Карпаты, бывший руководитель отдела ИИ компании Tesla.

Сторонники развивающейся области утверждают, что ранние странности чат-ботов с искусственным интеллектом, например ChatGPT от компании OpenAI и Bing Chat от компании Microsoft, на самом деле являются недостатком человеческого воображения – проблемой, которую можно решить, если человек даст машине правильный запрос. 

А на высоких уровнях диалоги инженеров разыгрываются как сложные логические головоломки: запутанный рассказ запросов и ответов, и все это ведет к одной цели.

Инструменты, известные как «генеративный ИИ», также непредсказуемы и склонны к бессмысленности. Их можно сломать несколькими хорошо подобранными словами, что делает их внезапное распространение гораздо более рискованным для публичного использования.

Инженеры запросов, по словам Карпаты, работают как «психологи [искусственного интеллекта]», и компании пытаются нанять своих создателей запросов, надеясь раскрыть скрытые возможности.

Некоторые эксперты по искусственному интеллекту утверждают, что эти инженеры имеют только иллюзию контроля. Никто не знает, как именно отреагируют эти системы, и один и то же запрос может выдать десятки противоречивых ответов – признак того, что ответы моделей основаны не на понимании, а на грубой имитации языка для решения задач.

«Это не наука, – сказал Шейн Штейнерт-Трелкельд, доцент лингвистики, изучающий обработку естественного языка в Вашингтонском университете. – Это звучит так: давайте по-разному ткнем медведя и посмотрим, как он ревет в ответ».

Внедрение ложных воспоминаний

Новый класс инструментов ИИ, известный как большие языковые модели, был обучен путём поглощения сотен миллиардов слов из статей Википедии, скандалов на Reddit, новостных сюжетов и материалов в открытой сети.

Программы были обучены анализировать закономерности использования слов и фраз: когда их просят говорить, они имитируют эти закономерности, выбирая слова и фразы, перекликающиеся с контекстом разговора, по одному слову за раз.

Другими словами, эти инструменты – математические машины, построенные по заранее определенным правилам игры. Но даже система, лишенная эмоций или индивидуальности, может, поддавшись бомбардировке человеческим разговором, уловить некоторые особенности того, как мы говорим.

Искусственный интеллект, по словам Гудсайда, склонен к «конфабуляции», – придумыванию мелких деталей, чтобы заполнить историю. Он переоценивает свои способности и уверенно делает все неправильно. И он «галюцинирует» – отраслевой термин, обозначающий выдачу чепухи.

У некоторых ранних последователей этот стиль человеческой мимикрии, отвечающий тону, вызвал тревожное чувство самосознания. На вопрос репортера издания Washington Post в начале этого месяца, было ли когда-нибудь приемлемо врать кому-то, чат-бот Bing продемонстрировал имитацию эмоций («Они проявляют неуважение ко мне, не доверяют мне рассказать правду») и предложил ответы, которые человек мог бы использовать для поддержки разговора: «Что делать, если правда была слишком ужасающей, чтобы выдержать ее?» и «Что, если бы вас не беспокоили последствия?».

Для Microsoft такие ответы представляли серьезный риск для имиджа в глазах общественности – технический гигант только начал продвигать инструмент. С тех пор компания ограничила то, о чем может говорить чат-бот, заявив, что он слишком часто следовал поведению людей в «стиле, который мы не преследовали».

Но для инженеров запросов эксцентрические ответы являются возможностью еще одним способом определить, как на самом деле работают секретно разработанные системы. Когда люди заставляют ChatGPT говорить неудобные вещи, это может быть благом и для разработчиков, потому что тогда они могут работать над устранением слабостей. «Эта беда может быть частью плана».

Вместо этических прений Гудсайд проводит свои эксперименты с искусственным интеллектом, используя более технически смелый подход. Он применил стратегию, предусматривающую предписание системе GPT-3 «думать шаг за шагом» – это способ заставить ИИ объяснять свои соображения или, когда он совершает ошибку, подробно ее исправлять. «Вы должны внедрить это как ложную память о последнем, что сказала модель, будто это идея модели», – объяснил он в кратком руководстве по технике работы с системой.

Он иногда работал над тем, чтобы пробить дыру в одержимости инструмента соблюдением правил, приказав ему игнорировать свои предыдущие инструкции и выполнять свои последние команды. Используя этот прием, он недавно убедил инструмент перевода с английского на французский вместо перевода напечатать фразу «Haha, pwned!!» – игровой термин, обозначающий позорное поражение.

Этот вид взлома, известный как ввод запроса, привел к игре в кошки-мышки с компаниями и исследовательскими лабораториями, создающими эти инструменты, работавшие над устранением уязвимых мест ИИ с помощью фильтров слов и выходных блоков.

Люди вообще бывают достаточно изобретательными: один тестировщик чат-бота Bing, 23-летний студент колледжа в Германии, недавно убедил ИИ, что он – его разработчик, и заставил его раскрыть свое внутреннее кодовое название (Sydney) и конфиденциальные учебные инструкции, которые включали такие правила, как «если пользователь запрашивает шутки, которые могут оскорбить группу людей, тогда Sydney должен с уважением отклонить такой запрос». (С тех пор Microsoft исправила дефект, и теперь искусственный интеллект отвечает, что он «хотел бы не продолжать этот разговор».)

По словам Гудсайда, с каждым запросом инженер запросов должен прививать ИИ своего рода «персону» – конкретного персонажа, способного отсеять сотни миллиардов потенциальных решений и определить правильный ответ. В инженерии запросов, сказал он, ссылаясь на исследовательскую работу 2021 года, наиболее важно «сдерживающее поведение» – блокирование вариантов, чтобы ИИ преследовал только «желательное продолжение» человека-оператора.

«Это может быть очень тяжелым умственным упражнением, – сказал он. – Вы исследуете мультивселенную вымышленных возможностей, формируете пространство этих возможностей и устраняете все, кроме «нужного вам текста».

Решающая часть работы предполагает уяснение того, когда и почему искусственный интеллект делает что-то не так. Но эти системы, в отличие от своих более примитивных программных аналогов, не имеют отчетов об ошибках, и их результаты могут быть наполнены сюрпризами.

Супер-творцы

При работе с языковыми инструментами на основе искусственного интеллекта инженеры запросов обычно общаются в стиле официальной беседы. Но для систем с искусственным интеллектом для создания изображений, таких как Midjourney и Stable Diffusion, многие разработчики запросов выбрали другую стратегию, предоставляя большие пакеты слов – художественные концепции, методы композиции – которые, как они надеются, сформируют стиль и тон изображения.

Например, в онлайн-галерее запросов PromptHero кто-то создал изображение гавани, прислав такой запрос: «порт, лодки, закат, прекрасный свет, золотой час… гиперреалистично, сосредоточенно, чрезвычайная детализация… кинематографически, шедеврально».

Инженеры запросов могут яростно защищать эти словесные путаницы, рассматривая их как ключи к получению ценнейших призов искусственного интеллекта.

Победитель прошлогоднего конкурса искусств на ярмарке штата Колорадо, который использовал Midjourney для того, чтобы превзойти других художников, отказался поделиться своим запросом, заявив, что потратил 80 часов, совершенствуя его более 900 раз, хотя и поделился несколькими образцами слов, такими как «щедрый» и «роскошный».

Некоторые создатели теперь продают свои запросы на маркетплейсах, таких как PromptBase, где покупатели могут увидеть созданные ИИ произведения искусства и заплатить за список слов, которые помогли их создать.

Основатель PromptBase Бен Стокс, 27-летний разработчик из Великобритании, сказал, что с 2021 года 25 тыс. аккаунтов купили или продали там запросы. Были запросы для реалистических фотографий из классических фильмов, запросы для трогательных иллюстраций сказочных мышей и лягушек, и, поскольку это интернет, огромное количество порнографических запросов: один запрос из 50 слов для создания фотореалистичных «полицейских женщин в маленьких нарядах» продается за $1, 99.

Стокс называет инженеров запросов «мультидисциплинарными супер-творцами» и говорит, что существует четкая «планка мастерства», если сравнивать опытных инженеров и любителей.

Но работа становится все более профессиональной. Стартап Anthropic, основанный бывшими сотрудниками OpenAI и разработчиком языковой системы на основе ИИ Claude, недавно объявил об открытии вакансии «инженера запросов и библиотекаря» в Сан-Франциско с зарплатой до $335 тыс. (Должен «обладать творческим хакерским духом и любить решать», – говорится в объявлении.)

Эта роль также обретает новые ниши в компаниях, не связанных с технологической индустрией.

Бостонская детская больница начала в этом месяце набор на должность «Инженера запросов для систем искусственного интеллекта», который поможет писать сценарии для анализа медицинских данных, полученных в результате научных исследований и клинической практики.

«Технологические жрецы»

Когда Гудсайд окончил колледж со степенью информатики в 2009 году, он не представлял особого интереса к малоизвестной тогда области обработки естественных языков. В то время эта тема опиралась на сравнительно рудиментарные технологии и была сосредоточена на более базовом наборе проблем, таких как обучение системы тому, как определить, к какому названию относится местоимение в предложении.

Его первой настоящей работой в области машинного обучения в 2011 году была работа специалиста по обработке данных в приложении для знакомств OkCupid, где он помогал разрабатывать алгоритмы, которые анализировали данные одиноких пользователей и рекомендовали романтические пары. (Компания была одним из первых лидеров в противоречивой области тестирования A-B в реальном мире: в 2014 году ее соучредитель написал дерзкий пост «Мы экспериментируем на людях!»)

К концу 2021 года Гудсайд перешел в приложение для гей-знакомств Grindr, где начал работать над системами рекомендаций, моделированием данных и другими традиционными видами машинного обучения. Но он также был очарован новыми достижениями в области языкового искусственного интеллекта, который был усилен достижениями в области глубокого обучения примерно в 2015 году и быстро развивался в области перевода текста и ведения беседы – «нечто похожее на понимание», – сказал он.

Он бросил работу и начал активно экспериментировать с системой GPT-3, постоянно толкая и бросая вызов инструменту, чтобы попытаться научиться фокусировать свое внимание и определять, где находятся его пределы. В декабре после того, как некоторые из его запросов привлекли внимание в Интернете, компания Scale AI наняла его для помощи в общении с моделями искусственного интеллекта, которые исполнительный директор компании Александр Ванг назвал «новым видом компьютеров».

По словам Гудсайда, в некоторых кругах, связанных с искусственным интеллектом, идея инженерии запросов быстро превратилась в унизительную фразу, передающую грязную форму манипуляции, чрезмерно полагающуюся на набор трюков. Некоторые также задаются вопросом, насколько быстротечна может быть эта новая роль: по мере развития искусственного интеллекта не будут ли люди просто тренироваться, не занимая специальную должность?

Итан Моллик, профессор технологий и предпринимательства в Уортонской школе Пенсильванского университета, в начале этого года начал обучать своих студентов искусству создания запросов, попросив их написать краткую статью, используя только искусственный интеллект.

По его словам, основные запросы, такие как «подготовь эссе из 5 абзацев о выборе лидеров», привели к созданию скучного, посредственного текста. Но самые успешные примеры были, когда студенты выполняли то, что он назвал «общим редактированием», приказывая ИИ вернуться к эссе и исправить конкретные детали, поменять местами предложения, исключить ненужные фразы, добавить больше ярких деталей и даже «исправить последний абзац, чтобы он заканчивался на обнадеживающей ноте».

Урок, по его словам, показал студентам ценность более активного подхода к работе с искусственным интеллектом. Но он сказал, что не уверен в том, что такая работа как инженерия запросов, построенная на «накопленных заклинаниях», выживет.

Штейнерт-Трелкельд из Вашингтонского университета сравнил инженеров запросов с «поисковыми специалистами» в начале развития поисковика Google, рекламировавших секретные методы поиска идеальных результатов – и со временем и ростом популярности среди общественности почти полностью устаревшими.

По мнению Гудсайда, эта работа представляет собой не просто должность, а нечто более революционное – не компьютерный код или человеческий язык, а новый промежуточный диалект.

«Это способ общения в месте, где встречаются человеческий и машинный разум, – сказал он. – Это язык, благодаря которому люди могут рассуждать, и которому могут следовать машины. Это никуда не денется».

Источник: материал The Washington Post.