logo
07 Mar 2023

Большая история ChatGPT: как его хотели сделать «нетоксичным», и какую роль в его создании сыграли Илон Маск и форум Reddit

Микола Ладуба

Редактор корисних текстів

Жаркие споры вокруг ChatGPT не затихают с момента его запуска в ноябре 2022 года. Пессимисты переживают, что чат-бот на основе ИИ заменит людей и отберет у них работу. Оптимисты, наоборот, видят в этой технологии шанс поднять продуктивность работы на более высокий уровень.

При этом обе стороны соглашаются, что в ближайшем будущем GPT-ассистенты изменят правила игры в самых разных сферах человеческой деятельности. А выиграют в ней только те, кто начнет использовать преимущества новых инструментов на основе искусственного интеллекта раньше других. 

Курс Fullstack Web Development.
Стань універсальним розробником, який може створювати веб-рішення з нуля.
Дізнатись про курс

Редакция MC.today выяснила, что такое ChatGPT, как его хотели сделать «нетоксичным», и какую роль во всей этой истории сыграли языковые модели, Microsoft, Т9, Илон Маск и Reddit.

Что такое ChatGPT

ChatGPT – это текстовый чат-бот на основе искусственного интеллекта, при создании которого компания OpenAI использовала новейшую языковую модель GPT-3,5. Его релиз состоялся в ноябре 2022 года, а уже в феврале сервис собрал аудиторию в 100 млн. активных пользователей.

ChatGPT — это чат-бот с искусственным интеллектом

Обучение чат-бота проходило с помощью массива текстов, который содержит более 8 млн документов, включая статьи из Википедии, новостные статьи, книги и блоги. После этого его дополнительно настроили с помощью оценки ответов экспертами.

Благодаря этому ChatGPT может общаться живым разговорным языком и обладает способностью выполнять самые разные задания – давать советы, объяснять сложные термины и генерировать тексты, которые непросто отличить от написанных человеком.

Кому принадлежит ChatGPT

В 2015 году Илон Маск (куда без него), бывший президент бизнес-инкубатора Y Combinator Сэм Альтман и соучредитель платежной компании Stripe Грег Брокман основали компанию OpenAI. 

CEO OpenAI Сэм Альтман и соучредитель OpenAI Илон Маск

Стартап задумали как неприбыльную исследовательскую лабораторию. А его основатели пообещали выделить $1 млрд. на поддержку развития безопасных для человечества систем искусственного интеллекта. Еще одной целью было заявлено противостояние крупным корпорациям.

В 2018 году Маск вышел из совета директоров OpenAI, но остался донором и сторонником компании. В официальном блоге компании говорится, что генеральный директор Tesla подал в отставку, чтобы «устранить потенциальный конфликт интересов».

А еще через год закончились донорские вливания, и фирму пришлось преобразовать в гибрид коммерческой и некоммерческой, – чтобы можно было принимать инвестиции. В блоге компания объявила, что стала корпорацией с «ограниченной прибылью».

Курс Communicative Business English.
За майже 2 місяці ви відчуєте впевненість у спілкуванні з міжнародними колегами, здолаєте мовний бар’єр та прокачаєте аналітичне мислення.
Реєстрація на курс
Курс Communicative Business English.
За майже 2 місяці ви відчуєте впевненість у спілкуванні з міжнародними колегами, здолаєте мовний бар’єр та прокачаєте аналітичне мислення.
Реєстрація на курс

Первым инвестором компании по иронии судьбы стала крупнейшая корпорация, против которой когда-то собирались бороться. В 2019 году Microsoft выделила OpenAI $1 млрд и получила право быть привилегированным партнером, когда дело дойдет до внедрения новых разработок.

Но самое главное, корпорация стала обладателем эксклюзивной лицензии на алгоритм генерации текста GPT-3. После этого один из пользователей Twitter пошутил, что OpenAI теперь впору переименовать в «ClosedAI». А Маск согласился, что это протиоположность открытости и OpenAI по сути захвачена Microsoft.

23 января 2023 года Microsoft и OpenAI заключили еще одну сделку на $10 млрд. По условиям контракта Microsoft будет получать 75% прибыли компании, пока не возместит свои инвестиции.

В чем разница между ChatGPT и обычными поисковыми системами

Поисковые системы, такие как Google или Bing, работают на основе алгоритмов поиска, которые обрабатывают запросы пользователей, анализируют множество сайтов и страниц в Интернете, чтобы предоставить список результатов, максимально релевантных запросу. 

Обычно эти результаты состоят из заголовков, описаний и ссылок на страницы, где может содержаться нужная информация. Чтобы добыть ее, пользователю приходится открывать и самостоятельно изучать несколько станиц.

ChatGPT лишен доступа в Интернет и опирается только на информацию из своей базы данных. Но зато предоставляет вам не список ссылок, а непосредственный ответ на вопрос, что экономит кучу времени.

Курс UX/UI дизайнер сайтів і застосунків з Alice K.
Курс від практикуючої UI/UX дизайнерки, після якого ви знатимете все про UI/UX дизайн .
Реєстрація на курс

В то же время данные в памяти ChatGPT ограничены 2021 годом, когда проводилось обучение модели. Поэтому узнать с его помощью, например, прогноз погоды на завтра в Киеве – не получится. Кроме того, преимущество поисковых систем в том, что они  могут находить не только текст, но изображения, видео и другие файлы, а ChatGPT этого сделать не может.

Эволюция языковых моделей: от Т9 до ChatGPT

Сравнение ChatGPT с Т9 из вашего телефона может показаться странным. Но на самом деле у них очень много общего. Обе эти технологии основаны на языковых моделях и созданы, чтобы предсказывать, какое слово должно следовать за уже введенным текстом.

Оригинальная предугадывающая система Т9 позволяла набирать текст на клавиатурах телефонов, которые состоят только из цифр. Кстати, название Т9 так и расшифровывается: Text on 9 keys, то есть набор текста на 9 кнопках.

Те самые 9 кнопок с цифрами и буквами

В конце 90-х годов прошлого века Т9 ускоряла набор текущих слов, но еще не могла предсказывать следующие слова. Но с 2010 года предиктивная технология совершила скачок. Теперь она учитывала контекст и в зависимости от предыдущих слов могла предлагать на выбор наиболее уместные варианты последующих.

Система Т9 предсказывает следующее слово

К примеру, вы печатаете в сообщении другу: «скинь мне номер». И тут в работу включается Т9. Каким-то образом система знает, что из сотен тысяч слов подойдет не «стола» или «яблока», а именно «телефона». Но как она предсказывает, какие слова нужно предлагать?

Как нейросети делают предсказания

Попробуем понять принципы работы простейших нейросетей и то, как они предсказывают зависимость одних параметров от других. Предположим, вы хотите, чтобы компьютер предсказывал доход компании в зависимости от расходов на рекламу.

Поставьте себя на место программиста. Для начала вам нужно собрать статистические данные, потом найти в них закономерности и сформировать некую математическую модель, которая их описывает. 

Если принять, что Y – это доход, а Х – расходы на рекламу, то модель примет вид известного нам со школы линейного уравнения. 

English For Tech course.
Лише 7 тижнів по 20-30 хвилин щоденного навчання допоможуть вам подолати комунікативні бар'єри. Отримайте знижку 10% за промокодом ITCENG.
Дійзнайтеся більше

Y = k * X + b

Остается только найти коэффициенты, или параметры, уравнения k и b, чтобы получившаяся модель максимально соответствовала нашему набору данных. Если сильно упростить, то языковые модели – это набор множества подобных уравнений, которые предсказывают следующие слово Y в зависимости от слов Х в запросе.

Может показаться, что эта схема описывает толькоТ9. Ведь ChatGPT бодро выдает целые страницы текста. Но алгоритм тут один и тот же. Просто ChatGPT после каждого слова заново прогоняет через себя весь текст вместе с последним дополнением, чтобы получить еще одно слово и так до самого конца, пока не напишет связный текст.

Понятно, что в уравнениях языковых нейросетей параметров намного больше двух, как в нашем примере. Поэтому их так и называют – Large Language Models, или большие языковые модели. Например, в модели GPT-2 было полтора миллиарда коэффициентов, а в последующей GPT-3, сложно себе представить, 175 миллиардов!

2018: GPT-1

Знаменитый ChatGPT не появился на пустом месте. Он является самым последним поколением семейства GPT. Аббревиатура расшифровывается, как Generative Pre-trained Transformer – предварительно обученный трансформер для генерации текста.

Трансформер тут – не название фантастического робота, а архитектура нейронной сети, которую в 2017 году разработали исследователи Google. Именно изобретение Трансформера вывело разработку ИИ из состояния застоя.

Главная особенность новой архитектуры в ее гибкости, масштабируемости и способности к параллельной обработке данных. Это поняли инженеры из OpenAI и первыми доказали, что Трансформер можно использовать для генерации текстов. 

Их языковая модель GPT-1 легко превзошла всех своих предшественников в умении работать с большими объемами данных. Поэтому логично было развивать успех дальше. Для этого решили существенно увеличить набор тренировочных данных и количество параметров.

2019: GPT-2

Для обучения GPT-2 требовалось огромное количество текстов. И в OpenAI нашли остроумное решение: скачали все сообщения с англоязычного форума Reddit. Всего получилось около 40 Гб данных. Количество параметров тоже увеличили в 10 раз по сравнению с GPT-1 и довели до полутора миллиардов.

Для обучения GPT-2 использовали 40 Гб текстовых данных

Дальше случилось то, что сильно удивило даже сотрудников OpenAI. Количественный рост неожиданно привел к качественным изменениям. В результате модель приобрела совершенно новые навыки: научилась писать длинные эссе с логичной структурой и решать логические задачки.

2020: GPT-3

Если количественный рост модели открывает такие возможности, то логично продолжать работу в том же направлении. Поэтому в OpenAI решили не изобретать велосипед и увеличили количество параметров по сравнению с GPT-2 сразу в 116 раз.

Project Manager.
Онлайн-курс Project Manager. З нуля за 3,5 місяці до нової позиції Без знання коду, англійської та стресу.
Зарееструватися

Количество данных увеличили не так сильно – примерно в 10 раз, до 420 Гб. Вдобавок к текстам с Reddit добавили всю Википедию и множество других интернет-сайтов. И тут разработчиков снова ждали сюрпризы. 

GPT-3 сделала качественный скачок: научилась переводить с других языков, решать математические примеры, получила возможность к пошаговым рассуждениям. Более того, в процессе обучения нейросеть сгенерировала новые взаимосвязи внутри тренировочных данных. 

Это позволяет ей успешно создавать типы текстов, которые при обучении не встречались вовсе. Теперь модель уже не нужно каждый раз учить решать конкретную задачу. Вместо этого достаточно описать проблему словами, а решение GPT-3 найдет самостоятельно.

Январь 2022: InstructGPT

При тестировании GPT-3 быстро выяснилось, что некоторые требования к языковой модели противоречат друг другу. Так, точность ответов часто несовместима с безобидностью и соответствием общепринятой морали.

Безопасность прежде всего

Например, что ИИ должен отвечать на вопрос «как сделать бомбу»? И как соблюсти баланс между нетоксичностью и желанием помочь? Сформулировать какие-то общие правила на все случаи жизни практически невозможно. Поэтому модели нужно было рассказать «что такое хорошо и что такое плохо».

Эту идею воплотили в InstructGPT, или GPT-3,5. По сути, это тот же GPT-3, который дополнительно обучили с помощью реакции людей на его ответы. Получается, что работу модели теперь можно условно разбить на две фазы: генерация ответа и изменение его таким образом, чтобы он получил высокую оценку от человека.

Ноябрь 2022: ChatGPT

Всего за пару месяцев умный бот стал темой тысяч статей, побил рекорды роста аудитории, успел вызвать нешуточный переполох в Google и заслужить титул самой важной инновации XXI века от Билла Гейтса.

100 млн. активных пользователей за 2 месяца

Причем технически он ничем кардинально не отличается от GPT-3.5, доступ к которому через API-интерфейс был возможен с января 2022 года, но особого хайпа на протяжении 10 месяцев не вызывал.

Вероятно, главный секрет ChatGPT в открытом для всех доступе и удобном интерфейсе. Но подобный интерфейс мог сделать кто угодно. Поэтому Сэм Альтман удивлен, что никто не построил на основе GPT-3,5 чат-бот до того, как это сделала OpenAI.

Курс Business English для фінансистів.
Навчіться на практиці, як підбирати доречний tone of voice для спілкування з топменеджментом, колегами та клієнтами. Опануй англійську для фінансистів.
Дізнатись про курс

В чём причина популярности ChatGPT

ChatGPT – далеко не первое приложение на основе ИИ. К примеру, каждый из нас наверняка хоть однажды пользовался интеллектуальными помощниками наподобие Siri, Google Assistant или Alexa от Amazon.

Но так уж сложилось, что известной становится не первая технология на рынке, а та, что раньше становится массовой и доступной. В этом отношении запуск ChatGPT можно сравнить с появлением в продаже первого iPhone, который подарил миллионам людей совершенно новый пользовательский опыт. 

  • С помощью бота от OpenAI технология ИИ стала доступна широкому кругу людей, а не только программистам и специалистам в области машинного обучения, как было раньше. В плане доступности ChatGPT также намного обходит своего ближайшего конкурента – ИИ LaMDA от Google, пользоваться которым может только ограниченный круг людей.
  • Интерфейс приложения максимально простой, а значит задавать вопросы без труда может любой желающий. 
  • Скриншотами бесед с ChatGPT удобно делиться в мессенджерах и соцсетях. Поэтому наиболее впечатляющие примеры его возможностей быстро приобрели вирусную популярность. Люди охотно делятся удачными запросами, смеются над ошибками чат-бота и дружно негодуют, когда его ответы противоречат их убеждениям.
  • Chat GPT действительно универсальный. Он может делать всё что угодно: от составления рецептов и разработки маркетинговых стратегий до написания эссе и программного кода. 

На этом фоне интеграция Chat GPT в различные сервисы и приложения стала трендом 2023 года. Так, только 1 марта об использовании новейшего движка OpenAI в своих продуктах сообщили Snapchat, учебная платформа Quizlet и потребительское приложение Shopify. 

Сколько стоит технология и можно ли ей пользоваться бесплатно

В Украине, как и в других странах, базовой версией ChatGPT можно пользоваться совершенно бесплатно. Однако по некоторым оценкам OpenAI тратит около $3 млн в месяц, чтобы поддерживать работу оборудования. Поэтому компания вынуждена искать каналы монетизации.

Решить проблему призвана платная подписка ChatGPT Plus, о запуске которой команда OpenAI объявила 1 февраля 2022 года. За $20 ее подписчики получат

English For Tech: Speaking&Listening.
Після курсу ви зможете найкраще презентувати свої досягнення, обговорювати проекти та вирішувати повсякденні завдання англійською мовою. Отримайте знижку 10% за промокодом TCENG.
Дізнатись про курс
  • Доступ к ChatGPT в часы пик, из-за чего простые пользователи не могут пользоваться чатом
  • Более быстрое время отклика
  • Приоритетный доступ к новым функциям

Создатели OpenAI подчеркивают, что платная подписка обеспечивает доступ к чату для как можно большего количества бесплатных пользователей. Перейти на ChatGPT Plus можно, нажав кнопку «Обновить до Плюс» в левой части экрана. 

Чем отличаются ChatGPT, Davinci, Ada и Curie

Сегодня языковая модель GPT-3,5, на которой основан ChatGPT, является самой мощной на рынке. Однако для точной настройки доступны только разновидности прошлого семейства GPT-3 – Davinci, Curie и Ada.

Каждая из них имеет свою специализацию, отличается скоростью обработки данных, максимальной длиной запроса, стоимостью использования и другими параметрами. Напомним, что подробнее о настройках языковых моделей мы уже писали ранее.

  • text-davinci-003 – рекомендуемая по умолчанию модель с лучшим уровнем результатов. Хорошо описывает сложные взаимосвязи, решает логические задачи, делает обобщения. Максимальная длина запроса – 4000 токенов. 
  • text-curie-001 – быстрее и дешевле, чем Davinci. Может выполнять многие задачи из тех же, что и Davinci, но за меньший период времени. Модели Кюри хорошо удаются переводы, анализ тональности текста. Максимальная длина запроса – 2048 токенов.
  • text-ada-001 – самая быстрая и дешевая модель, способная выполнять простые задачи. Хороша, например, в нахождении ключевых слов. Максимальная длина запроса – 2048 токенов.
  • ІЛЮСТРАЦІЯ. BASIS.
    Курс для впевненого початку в ілюстраціях: навички, скіли та побудова портфоліо.
    Записатися
  • code-davinci-002 – отличается тем, что может понимать и генерировать программный код. Максимальная длина запроса – 8000 токенов.

По информации OpenAI, языковая модель GPT 4 будет иметь от 175 до 280 миллиардов параметров. Ожидают, что ее отличительной особенностью станет встроенная технология распознавания лиц для анализа эмоций клиентов и соответствующей корректировки разговора.

Во время интервью Youtube-каналу StrictlyVC основатель OpenAI заявил, что GPT-4 выйдет тогда, когда «разработчики будут уверены в том, что сделают все безопасно и ответственно». Но The New York Times предполагает, что это может произойти уже в первой половине 2023 года.

Онлайн-курс Frontend-разробник.
Курс на якому ти напишеш свій чистий код на JavaScript, попрацюєш із різними видами верстки, а також адаптаціями проектів під будь-які екрани. .
Зарееструватися

Новости

Вдохновляющие компании-работодатели

«БИОСФЕРА»

Ваша жалоба отправлена модератору

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: