Жаркие споры вокруг ChatGPT не затихают с момента его запуска в ноябре 2022 года. Пессимисты переживают, что чат-бот на основе ИИ заменит людей и отберет у них работу. Оптимисты, наоборот, видят в этой технологии шанс поднять продуктивность работы на более высокий уровень.
При этом обе стороны соглашаются, что в ближайшем будущем GPT-ассистенты изменят правила игры в самых разных сферах человеческой деятельности. А выиграют в ней только те, кто начнет использовать преимущества новых инструментов на основе искусственного интеллекта раньше других.
Редакция MC.today выяснила, что такое ChatGPT, как его хотели сделать «нетоксичным», и какую роль во всей этой истории сыграли языковые модели, Microsoft, Т9, Илон Маск и Reddit.
ChatGPT – это текстовый чат-бот на основе искусственного интеллекта, при создании которого компания OpenAI использовала новейшую языковую модель GPT-3,5. Его релиз состоялся в ноябре 2022 года, а уже в феврале сервис собрал аудиторию в 100 млн. активных пользователей.
ChatGPT — это чат-бот с искусственным интеллектом
Обучение чат-бота проходило с помощью массива текстов, который содержит более 8 млн документов, включая статьи из Википедии, новостные статьи, книги и блоги. После этого его дополнительно настроили с помощью оценки ответов экспертами.
Благодаря этому ChatGPT может общаться живым разговорным языком и обладает способностью выполнять самые разные задания – давать советы, объяснять сложные термины и генерировать тексты, которые непросто отличить от написанных человеком.
В 2015 году Илон Маск (куда без него), бывший президент бизнес-инкубатора Y Combinator Сэм Альтман и соучредитель платежной компании Stripe Грег Брокман основали компанию OpenAI.
CEO OpenAI Сэм Альтман и соучредитель OpenAI Илон Маск
Стартап задумали как неприбыльную исследовательскую лабораторию. А его основатели пообещали выделить $1 млрд. на поддержку развития безопасных для человечества систем искусственного интеллекта. Еще одной целью было заявлено противостояние крупным корпорациям.
В 2018 году Маск вышел из совета директоров OpenAI, но остался донором и сторонником компании. В официальном блоге компании говорится, что генеральный директор Tesla подал в отставку, чтобы «устранить потенциальный конфликт интересов».
А еще через год закончились донорские вливания, и фирму пришлось преобразовать в гибрид коммерческой и некоммерческой, – чтобы можно было принимать инвестиции. В блоге компания объявила, что стала корпорацией с «ограниченной прибылью».
Первым инвестором компании по иронии судьбы стала крупнейшая корпорация, против которой когда-то собирались бороться. В 2019 году Microsoft выделила OpenAI $1 млрд и получила право быть привилегированным партнером, когда дело дойдет до внедрения новых разработок.
Но самое главное, корпорация стала обладателем эксклюзивной лицензии на алгоритм генерации текста GPT-3. После этого один из пользователей Twitter пошутил, что OpenAI теперь впору переименовать в «ClosedAI». А Маск согласился, что это протиоположность открытости и OpenAI по сути захвачена Microsoft.
23 января 2023 года Microsoft и OpenAI заключили еще одну сделку на $10 млрд. По условиям контракта Microsoft будет получать 75% прибыли компании, пока не возместит свои инвестиции.
Поисковые системы, такие как Google или Bing, работают на основе алгоритмов поиска, которые обрабатывают запросы пользователей, анализируют множество сайтов и страниц в Интернете, чтобы предоставить список результатов, максимально релевантных запросу.
Обычно эти результаты состоят из заголовков, описаний и ссылок на страницы, где может содержаться нужная информация. Чтобы добыть ее, пользователю приходится открывать и самостоятельно изучать несколько станиц.
ChatGPT лишен доступа в Интернет и опирается только на информацию из своей базы данных. Но зато предоставляет вам не список ссылок, а непосредственный ответ на вопрос, что экономит кучу времени.
В то же время данные в памяти ChatGPT ограничены 2021 годом, когда проводилось обучение модели. Поэтому узнать с его помощью, например, прогноз погоды на завтра в Киеве – не получится. Кроме того, преимущество поисковых систем в том, что они могут находить не только текст, но изображения, видео и другие файлы, а ChatGPT этого сделать не может.
Сравнение ChatGPT с Т9 из вашего телефона может показаться странным. Но на самом деле у них очень много общего. Обе эти технологии основаны на языковых моделях и созданы, чтобы предсказывать, какое слово должно следовать за уже введенным текстом.
Оригинальная предугадывающая система Т9 позволяла набирать текст на клавиатурах телефонов, которые состоят только из цифр. Кстати, название Т9 так и расшифровывается: Text on 9 keys, то есть набор текста на 9 кнопках.
Те самые 9 кнопок с цифрами и буквами
В конце 90-х годов прошлого века Т9 ускоряла набор текущих слов, но еще не могла предсказывать следующие слова. Но с 2010 года предиктивная технология совершила скачок. Теперь она учитывала контекст и в зависимости от предыдущих слов могла предлагать на выбор наиболее уместные варианты последующих.
Система Т9 предсказывает следующее слово
К примеру, вы печатаете в сообщении другу: «скинь мне номер». И тут в работу включается Т9. Каким-то образом система знает, что из сотен тысяч слов подойдет не «стола» или «яблока», а именно «телефона». Но как она предсказывает, какие слова нужно предлагать?
Попробуем понять принципы работы простейших нейросетей и то, как они предсказывают зависимость одних параметров от других. Предположим, вы хотите, чтобы компьютер предсказывал доход компании в зависимости от расходов на рекламу.
Поставьте себя на место программиста. Для начала вам нужно собрать статистические данные, потом найти в них закономерности и сформировать некую математическую модель, которая их описывает.
Если принять, что Y – это доход, а Х – расходы на рекламу, то модель примет вид известного нам со школы линейного уравнения.
Y = k * X + b
Остается только найти коэффициенты, или параметры, уравнения k и b, чтобы получившаяся модель максимально соответствовала нашему набору данных. Если сильно упростить, то языковые модели – это набор множества подобных уравнений, которые предсказывают следующие слово Y в зависимости от слов Х в запросе.
Может показаться, что эта схема описывает толькоТ9. Ведь ChatGPT бодро выдает целые страницы текста. Но алгоритм тут один и тот же. Просто ChatGPT после каждого слова заново прогоняет через себя весь текст вместе с последним дополнением, чтобы получить еще одно слово и так до самого конца, пока не напишет связный текст.
Понятно, что в уравнениях языковых нейросетей параметров намного больше двух, как в нашем примере. Поэтому их так и называют – Large Language Models, или большие языковые модели. Например, в модели GPT-2 было полтора миллиарда коэффициентов, а в последующей GPT-3, сложно себе представить, 175 миллиардов!
Знаменитый ChatGPT не появился на пустом месте. Он является самым последним поколением семейства GPT. Аббревиатура расшифровывается, как Generative Pre-trained Transformer – предварительно обученный трансформер для генерации текста.
Трансформер тут – не название фантастического робота, а архитектура нейронной сети, которую в 2017 году разработали исследователи Google. Именно изобретение Трансформера вывело разработку ИИ из состояния застоя.
Главная особенность новой архитектуры в ее гибкости, масштабируемости и способности к параллельной обработке данных. Это поняли инженеры из OpenAI и первыми доказали, что Трансформер можно использовать для генерации текстов.
Их языковая модель GPT-1 легко превзошла всех своих предшественников в умении работать с большими объемами данных. Поэтому логично было развивать успех дальше. Для этого решили существенно увеличить набор тренировочных данных и количество параметров.
Для обучения GPT-2 требовалось огромное количество текстов. И в OpenAI нашли остроумное решение: скачали все сообщения с англоязычного форума Reddit. Всего получилось около 40 Гб данных. Количество параметров тоже увеличили в 10 раз по сравнению с GPT-1 и довели до полутора миллиардов.
Для обучения GPT-2 использовали 40 Гб текстовых данных
Дальше случилось то, что сильно удивило даже сотрудников OpenAI. Количественный рост неожиданно привел к качественным изменениям. В результате модель приобрела совершенно новые навыки: научилась писать длинные эссе с логичной структурой и решать логические задачки.
Если количественный рост модели открывает такие возможности, то логично продолжать работу в том же направлении. Поэтому в OpenAI решили не изобретать велосипед и увеличили количество параметров по сравнению с GPT-2 сразу в 116 раз.
Количество данных увеличили не так сильно – примерно в 10 раз, до 420 Гб. Вдобавок к текстам с Reddit добавили всю Википедию и множество других интернет-сайтов. И тут разработчиков снова ждали сюрпризы.
GPT-3 сделала качественный скачок: научилась переводить с других языков, решать математические примеры, получила возможность к пошаговым рассуждениям. Более того, в процессе обучения нейросеть сгенерировала новые взаимосвязи внутри тренировочных данных.
Это позволяет ей успешно создавать типы текстов, которые при обучении не встречались вовсе. Теперь модель уже не нужно каждый раз учить решать конкретную задачу. Вместо этого достаточно описать проблему словами, а решение GPT-3 найдет самостоятельно.
При тестировании GPT-3 быстро выяснилось, что некоторые требования к языковой модели противоречат друг другу. Так, точность ответов часто несовместима с безобидностью и соответствием общепринятой морали.
Безопасность прежде всего
Например, что ИИ должен отвечать на вопрос «как сделать бомбу»? И как соблюсти баланс между нетоксичностью и желанием помочь? Сформулировать какие-то общие правила на все случаи жизни практически невозможно. Поэтому модели нужно было рассказать «что такое хорошо и что такое плохо».
Эту идею воплотили в InstructGPT, или GPT-3,5. По сути, это тот же GPT-3, который дополнительно обучили с помощью реакции людей на его ответы. Получается, что работу модели теперь можно условно разбить на две фазы: генерация ответа и изменение его таким образом, чтобы он получил высокую оценку от человека.
Всего за пару месяцев умный бот стал темой тысяч статей, побил рекорды роста аудитории, успел вызвать нешуточный переполох в Google и заслужить титул самой важной инновации XXI века от Билла Гейтса.
100 млн. активных пользователей за 2 месяца
Причем технически он ничем кардинально не отличается от GPT-3.5, доступ к которому через API-интерфейс был возможен с января 2022 года, но особого хайпа на протяжении 10 месяцев не вызывал.
Вероятно, главный секрет ChatGPT в открытом для всех доступе и удобном интерфейсе. Но подобный интерфейс мог сделать кто угодно. Поэтому Сэм Альтман удивлен, что никто не построил на основе GPT-3,5 чат-бот до того, как это сделала OpenAI.
ChatGPT – далеко не первое приложение на основе ИИ. К примеру, каждый из нас наверняка хоть однажды пользовался интеллектуальными помощниками наподобие Siri, Google Assistant или Alexa от Amazon.
Но так уж сложилось, что известной становится не первая технология на рынке, а та, что раньше становится массовой и доступной. В этом отношении запуск ChatGPT можно сравнить с появлением в продаже первого iPhone, который подарил миллионам людей совершенно новый пользовательский опыт.
На этом фоне интеграция Chat GPT в различные сервисы и приложения стала трендом 2023 года. Так, только 1 марта об использовании новейшего движка OpenAI в своих продуктах сообщили Snapchat, учебная платформа Quizlet и потребительское приложение Shopify.
В Украине, как и в других странах, базовой версией ChatGPT можно пользоваться совершенно бесплатно. Однако по некоторым оценкам OpenAI тратит около $3 млн в месяц, чтобы поддерживать работу оборудования. Поэтому компания вынуждена искать каналы монетизации.
Решить проблему призвана платная подписка ChatGPT Plus, о запуске которой команда OpenAI объявила 1 февраля 2022 года. За $20 ее подписчики получат
Создатели OpenAI подчеркивают, что платная подписка обеспечивает доступ к чату для как можно большего количества бесплатных пользователей. Перейти на ChatGPT Plus можно, нажав кнопку «Обновить до Плюс» в левой части экрана.
Сегодня языковая модель GPT-3,5, на которой основан ChatGPT, является самой мощной на рынке. Однако для точной настройки доступны только разновидности прошлого семейства GPT-3 – Davinci, Curie и Ada.
Каждая из них имеет свою специализацию, отличается скоростью обработки данных, максимальной длиной запроса, стоимостью использования и другими параметрами. Напомним, что подробнее о настройках языковых моделей мы уже писали ранее.
По информации OpenAI, языковая модель GPT 4 будет иметь от 175 до 280 миллиардов параметров. Ожидают, что ее отличительной особенностью станет встроенная технология распознавания лиц для анализа эмоций клиентов и соответствующей корректировки разговора.
Во время интервью Youtube-каналу StrictlyVC основатель OpenAI заявил, что GPT-4 выйдет тогда, когда «разработчики будут уверены в том, что сделают все безопасно и ответственно». Но The New York Times предполагает, что это может произойти уже в первой половине 2023 года.
Power BI (Business Intelligence) Microsoft – это не просто платформа для анализа данных, а ключевой…
Лас-Вегас — один из самых узнаваемых городов на планете, который ежегодно манит к себе миллионы…
Из-за широкомасштабного вторжения россии в Украине было введено военное положение и объявлена мобилизация. Военнообязанным мужчинам…
«Вижу цель – не вижу препятствий». Знакомая фраза? Часто ею руководствуются кандидаты, ищущие работу мечты.…
Национальный банк Украины работает над открытым банкингом. Речь идет о структурированном и безопасном обмене данными…
В США финансовому консультанту предъявили обвинение в растрате около $5 млн, которые принадлежали его клиенту.…