Мовні моделі

Бурхливі суперечки навколо ChatGPT не затихають з моменту його запуску у листопаді 2022 року. Песимісти переживають, що чат-бот на основі ШІ замінить людей та відбере у них роботу. Оптимісти, навпаки, бачать у цій технології шанс підняти продуктивність роботи на вищий рівень. ChatGPT – це чат-бот на основі штучного інтелекту При цьому обидві сторони погоджуються, що в найближчому майбутньому GPT-асистенти змінять правила гри в різних сферах людської діяльності. А виграють у ній лише ті, хто почне використовувати переваги нових інструментів на основі штучного інтелекту раніше за інших. Редакція MC.today з'ясувала, що таке ChatGPT, як його хотіли зробити нетоксичним, і яку роль у всій цій історії відіграли мовні моделі, Microsoft, Т9, Ілон Маск та Reddit. Що таке ChatGPT ChatGPT – це текстовий чат-бот на основі штучного інтелекту, під час створення якого компанія OpenAI використовувала найновішу мовну модель GPT-3,5. Його реліз відбувся у листопаді 2022 року, а вже у лютому сервіс зібрав аудиторію у 100 млн. активних користувачів. Навчання чат-бота проходило за допомогою масиву текстів, що містить понад 8 млн документів, включаючи статті з Вікіпедії, статті новин, книги та блоги. Після цього його додатково налаштували за допомогою оцінки відповідей експертами. Завдяки цьому ChatGPT може спілкуватися живою розмовною мовою і має здатність виконувати різні завдання - давати поради, пояснювати складні терміни і генерувати тексти, які непросто відрізнити від написаних людиною. Кому належить ChatGPT У 2015 році Ілон Маск (куди без нього), колишній президент бізнес-інкубатора Y Combinator Сем Альтман та співзасновник платіжної компанії Stripe Грег Брокман заснували компанію OpenAI. CEO OpenAI Сем Альтман та співзасновник OpenAI Ілон Маск Стартап задумали як неприбуткову дослідницьку лабораторію. А його засновники пообіцяли виділити $1 млрд на підтримку розвитку безпечних для людства систем штучного інтелекту. Ще однією метою було заявлено протистояння великим корпораціям. У 2018 році Маск вийшов із ради директорів OpenAI, але залишився донором та прихильником компанії. В офіційному блозі компанії йдеться, що генеральний директор Tesla подав у відставку, щоб «усунути потенційний конфлікт інтересів». А ще через рік закінчилися донорські вливання, і фірму довелося перетворити на гібрид комерційної та некомерційної, щоб можна було приймати інвестиції. У блозі компанія оголосила, що стала корпорацією з «обмеженим прибутком». https://twitter.com/sama/status/1622689308829429760 Першим інвестором компанії з іронії долі стала найбільша корпорація, проти якої колись мали намір боротися. У 2019 році Microsoft виділила OpenAI $1 млрд і отримала право бути привілейованим партнером, коли дійде до впровадження нових розробок. Але найголовніше корпорація стала власником ексклюзивної ліцензії на алгоритм генерації тексту GPT-3. Після цього один із користувачів Twitter пожартував, що OpenAI тепер можна перейменувати в «ClosedAI». А Маск погодився, що це протилежність відкритості та OpenAI по суті захоплена Microsoft. https://twitter.com/elonmusk/status/1309052632850468864 23 січня 2023 року Microsoft і OpenAI уклали ще одну угоду на $10 млрд. За умовами контракту Microsoft отримуватиме 75% прибутку компанії, доки не відшкодує свої інвестиції. У чому різниця між ChatGPT та звичайними пошуковими системами Пошукові системи, такі як Google або Bing, працюють на основі алгоритмів пошуку, які опрацьовують запити користувачів, аналізують безліч сайтів та сторінок в Інтернеті, щоб надати список результатів максимально релевантних запиту. Зазвичай ці результати складаються із заголовків, описів та посилань на сторінки, де може бути потрібна інформація. Щоб видобути її, користувачеві доводиться відкривати та самостійно вивчати кілька станиць. ChatGPT позбавлений доступу до Інтернету і спирається лише на інформацію зі своєї бази даних. Зате надає вам не список посилань, а безпосередня відповідь на питання, що економить купу часу. ChatGPT не має прямого доступу до Інтернету У той же час дані у пам'яті ChatGPT обмежені 2021 роком, коли проводилося навчання моделі. Тому дізнатися за його допомогою, наприклад, прогноз погоди на завтра у Києві – не вийде. Крім того, перевага пошукових систем у тому, що вони можуть знаходити не тільки текст, але зображення, відео та інші файли, а ChatGPT цього зробити не може . Еволюція мовних моделей: від Т9 до ChatGPT Порівняння ChatGPT з Т9 з вашого телефону може бути дивним. Але насправді вони мають дуже багато спільного. Обидві ці технології засновані на мовних моделях і створені, щоб передбачати, яке слово має йти за введеним текстом. Оригінальна система T9 дозволяла набирати текст на клавіатурах телефонів, які складаються тільки з цифр. До речі, назва Т9 і розшифровується: Text on 9 keys, тобто набір тексту на 9 кнопках. Ті самі 9 кнопок з цифрами та літерами Наприкінці 90-х років минулого століття Т9 прискорювала набір поточних слів, але ще не могла пророкувати такі слова. Але з 2010 року предиктивна технологія здійснила стрибок. Тепер вона враховувала контекст і, залежно від попередніх слів, могла пропонувати на вибір найбільш доречні варіанти наступних. Система Т9 передбачає наступне слово Наприклад, ви друкуєте у повідомленні другу: «Скинь мені номер». І тут у роботу включається Т9. Система якось знає, що з сотень тисяч слів підійде не «стола» або «яблука», а саме «телефону». Але як вона передбачає, які слова потрібно пропонувати? Як нейромережі роблять прогнози Спробуємо зрозуміти принципи роботи найпростіших нейромереж та те, як вони передбачають залежність одних параметрів від інших. Припустимо, ви хочете, щоб комп'ютер передбачав прибуток компанії залежно від витрат на рекламу. Поставте себе місце програміста. Для початку вам потрібно зібрати статистичні дані, потім знайти в них закономірності та сформувати якусь математичну модель, яка їх описує. Якщо прийняти, що Y – це дохід, а Х – витрати на рекламу, то модель набуде вигляду відомого нам зі школи лінійного рівняння. Y k * X + b Залишається тільки знайти коефіцієнти, або параметри, рівняння k і b, щоб модель, що вийшла, максимально відповідала нашому набору даних. Якщо сильно спростити, то мовні моделі – це набір безлічі подібних рівнянь, які передбачають наступне слово Y залежно від слів у запиті. Може здатися, що ця схема описує лише Т9. Адже ChatGPT бадьоро видає цілі сторінки тексту. Але алгоритм тут той самий. Просто ChatGPT після кожного слова знову проганяє через себе весь текст разом з останнім доповненням, щоб отримати ще одне слово і так до самого кінця, поки не напише зв'язковий текст. Зрозуміло, що в рівняннях мовних нейромереж параметрів набагато більше двох, як у нашому прикладі. Тому їх так і називають – Large Language Models, чи великі мовні моделі. Наприклад, у моделі GPT-2 півтора мільярда коефіцієнтів, а в наступній GPT-3, складно собі уявити, 175 мільярдів! 2018: GPT-1 Знаменитий ChatGPT не з'явився на порожньому місці. Він є останнім поколінням сімейства GPT. Абревіатура розшифровується як Generative Pre-trained Transformer – попередньо навчений трансформер для генерації тексту. Трансформер тут – не назва фантастичного робота, а архітектура нейронної мережі, яку 2017 року розробили дослідники Google. Саме винахід Трансформера вивело розробку ШІ зі стану застою. Головна особливість нової архітектури в її гнучкості, масштабованості та здатності до паралельної обробки даних. Це зрозуміли інженери з OpenAI і першими довели, що Трансформер можна використовувати для створення текстів. Їхня мовна модель GPT-1 легко перевершила всіх своїх попередників у вмінні працювати з великими обсягами даних. Тому логічно було розвивати успіх далі. Для цього вирішили суттєво збільшити набір тренувальних даних та кількість параметрів. 2019: GPT-2 Для навчання GPT-2 була потрібна величезна кількість текстів. І в OpenAI знайшли дотепне рішення: скачали всі повідомлення з англомовного форуму Reddit. Усього вийшло близько 40 Гб даних. Кількість параметрів теж збільшили в 10 разів у порівнянні з GPT-1 і довели до півтора мільярда. Далі сталося те, що дуже здивувало навіть співробітників OpenAI. Кількісне зростання несподівано призвело до якісних змін. В результаті модель набула абсолютно нових навичок: навчилася писати довгі есе з логічною структурою і вирішувати логічні завдання. 2020: GPT-3 Якщо кількісне зростання моделі відкриває такі можливості, то логічно продовжувати роботу у тому напрямі. Тому в OpenAI вирішили не винаходити велосипеда і збільшили кількість параметрів порівняно з GPT-2 відразу в 116 разів. Кількість даних збільшили не так сильно – приблизно в 10 разів, до 420 Гб. На додаток до текстів з Reddit додали всю Вікіпедію та безліч інших інтернет-сайтів. І тут на розробників знову чекали сюрпризи. GPT-3 зробила якісний стрибок: навчилася перекладати іншими мовами, вирішувати математичні приклади, отримала можливість до покрокових міркувань. Більше того, у процесі навчання нейромережа згенерувала нові взаємозв'язки всередині тренувальних даних. Це дозволяє їй успішно створювати типи текстів, які під час навчання зовсім не зустрічалися. Тепер модель не потрібно щоразу вчити вирішувати конкретне завдання. Натомість достатньо описати проблему словами, а рішення GPT-3 знайде самостійно. Січень 2022: InstructGPT При тестуванні GPT-3 швидко з'ясувалося, що деякі вимоги до мовної моделі суперечать одна одній. Так, точність відповідей часто несумісна з безневинністю та відповідністю загальноприйнятій моралі. Безпека понад усе Наприклад, що ШІ має відповідати на запитання «як зробити бомбу»? І як дотриматися балансу між нетоксичністю та бажанням допомогти? Сформулювати якісь загальні правила попри всі випадки життя практично неможливо. Тому моделі потрібно було розповісти «що таке добре і що таке погано». Цю ідею втілили в InstructGPT, або GPT-3,5. По суті це той же GPT-3, який додатково навчили за допомогою реакції людей на його відповіді. Виходить, що роботу моделі тепер можна умовно розбити на дві фази: генерація відповіді та зміна її таким чином, щоб вона отримала високу оцінку від людини. Листопад 2022: ChatGPT Всього за пару місяців розумний бот став темою тисяч статей, побив рекорди зростання аудиторії, встиг викликати неабиякий переполох у Google і заслужити титул найважливішої інновації XXI століття від Білла Гейтса. 100 млн. активних користувачів за 2 місяці Причому технічно він нічим кардинально не відрізняється від GPT-3.5, доступ до якого через API-інтерфейс можливий з січня 2022 року, але особливого хайпу протягом 10 місяців не викликав. Ймовірно, головний секрет ChatGPT у відкритому для всіх доступі та зручному інтерфейсі. Але подібний інтерфейс міг зробити будь-хто. Тому Сем Альтман дуже здивований, що ніхто не збудував на основі GPT-3,5 чат-бот до того, як це зробила OpenAI. У чому причина популярності ChatGPT ChatGPT - далеко не перший додаток на основі ШІ. Наприклад, кожен із нас напевно хоч одного разу користувався інтелектуальними помічниками на кшталт Siri, Google Assistant або Alexa від Amazon. Але так вже склалося, що відомою стає не перша технологія на ринку, а та, що раніше стає масовою та доступною. У цьому відношенні запуск ChatGPT можна порівняти з появою у продажу першого iPhone, який подарував мільйонам людей абсолютно новий досвід користувача. За допомогою бота від OpenAI технологія ІІ стала доступна широкому колу людей, а не тільки програмістам та фахівцям у галузі машинного навчання, як було раніше. У плані доступності ChatGPT також набагато оминає свого найближчого конкурента – ШІ LaMDA від Google, користуватися яким може лише обмежене коло людей. Інтерфейс програми максимально простий, а значить ставити питання легко може будь-хто. Скріншотами розмов з ChatGPT зручно ділитися у месенджерах та соцмережах. Тому найбільш вражаючі приклади його можливостей швидко набули вірусної популярності. Якщо дружина каже, то хай буде 8 Люди охоче діляться вдалими запитами, сміються з помилок чат-бота і дружно обурюються, коли його відповіді суперечать їхнім переконанням. Chat GPT справді універсальний. Він може робити все, що завгодно: від складання рецептів та розробки маркетингових стратегій до написання есе та програмного коду. На цьому тлі інтеграція Chat GPT у різні сервіси та програми стала трендом 2023 року. Так, лише 1 березня про використання нового рушія OpenAI у своїх продуктах повідомили Snapchat, навчальна платформа Quizlet і споживчий додаток Shopify. Скільки коштує технологія і чи можна їй користуватися безкоштовно В Україні, як і в інших країнах, базовою версією ChatGPT можна скористатися абсолютно безкоштовно. Однак, за деякими оцінками, OpenAI витрачає близько $3 млн на місяць, щоб підтримувати роботу обладнання. Тому компанія змушена шукати канали монетизації. Вирішити проблему покликана платна передплата ChatGPT Plus, про запуск якої команда OpenAI оголосила 1 лютого 2022 року. За $20 її передплатники отримають Доступ до ChatGPT у години пік, через що прості користувачі не можуть користуватися чатом Швидший час відгуку Пріоритетний доступ до нових функцій Автори OpenAI підкреслюють, що платна підписка забезпечує доступ до чату для якомога більшої кількості безкоштовних користувачів. Перейти на ChatGPT Plus можна, натиснувши кнопку «Оновити до Плюс» у лівій частині екрана. Чим відрізняються ChatGPT, Davinci, Ada та Curie Сьогодні мовна модель GPT-3,5, на якій засновано ChatGPT, є найпотужнішою на ринку. Однак для точного налаштування доступні лише різновиди минулого сімейства GPT-3 – Davinci, Curie, Babbage та Ada. Кожна з них має свою спеціалізацію, відрізняється швидкістю обробки даних, максимальною довжиною запиту, вартістю використання та іншими параметрами. Докладніше про налаштування мовних моделей ми вже писали раніше. text-davinci-003 – модель, що рекомендується за умовчанням, з кращим рівнем результатів. Добре описує складні взаємозв'язки, вирішує логічні завдання, робить узагальнення. Максимальна довжина запиту – 4000 токенів. text-curie-001 – швидше та дешевше, ніж Davinci. Може виконувати багато завдань із тих самих, що й Davinci, але за менший період часу. Моделі Кюрі добре вдаються до перекладів, аналізу тональності тексту. Максимальна довжина запиту – 2048 токенів. text-ada-001 – найшвидша та найдешевша модель, здатна виконувати прості завдання. Хороша, наприклад, знаходження ключових слів. Максимальна довжина запиту – 2048 токенів. code-davinci-002 – відрізняється тим, що може розуміти та генерувати програмний код. Максимальна довжина запиту – 8000 токенів. За інформацією OpenAI, мовна модель GPT 4 матиме від 175 до 280 мільярдів параметрів. Очікують, що її відмінною особливістю стане вбудована технологія розпізнавання осіб для аналізу емоцій клієнтів та коригування розмови. Під час інтерв'ю Youtube-каналу StrictlyVC засновник OpenAI заявив, що GPT-4 вийде тоді, коли «розробники будуть впевнені в тому, що зроблять все безпечно та відповідально». Але The New York Times припускає, що це може статися вже в першій половині 2023 року. https://twitter.com/mpost_io/status/1630545358412558336 Тим часом конкуренція посилюється. В останні дні лютого Ілон Маск звернувся до дослідників AI із пропозицією створити нову лабораторію для розробки альтернативи ChatGPT. Про розробку свого варіанту мовної моделі також оголосив засновник компанії Meta Марк Цукерберг. Отже попереду нас чекають нові відкриття та ще потужніші інструменти на основі штучного інтелекту.

Мовні моделі

Велика історія ChatGPT: як його хотіли зробити «нетоксичним», і яку роль у його створенні відіграли Ілон Маск та форум Reddit