Мовна супермодель: Як GPT-3 непомітно розпочинає революцію в штучному інтелекті

Алгоритм генерації тексту GPT-2 від OpenAI колись вважався занадто небезпечним, щоб його випустити. Потім його випустили – і світ продовжив обертатися.

• Чим він корисний? Абсолютно для всього
• Більше про те, звідки це взялося
• Правдоподібна маячня
• Повертаємось до Китайської кімнати.
• Годуємо стохастичних папуг
• Мовні моделі та майбутнє штучного інтелекту Показати ще 1 пункт

Озираючись назад, порівняно невелика мовна модель GPT-2 (1,5 мільярда параметрів) виглядає мізерною поруч з її продовженням GPT-3, яка може похвалитися величезними 175 мільярдами параметрів, була навчена на 45 ТБ текстових даних і коштувала, як повідомляється, 12 мільйонів доларів (щонайменше).

“Наша перспектива і наша позиція тоді полягала в тому, щоб зробити поетапний реліз, тобто спочатку ви випускаєте меншу модель і чекаєте, щоб подивитися, що станеться”, – розповіла Digital Trends Сандхіні Агарвал, дослідник політики в області штучного інтелекту в компанії OpenAI. “Якщо все виглядає добре, ви випускаєте модель наступного розміру. Причина, по якій ми вибрали такий підхід, полягає в тому, що це, чесно кажучи, [не тільки незвідані води для нас, але і] незвідані води для всього світу”.

• Оптичні ілюзії можуть допомогти нам створити наступне покоління ШІ
• Останній штрих: як вчені наділяють роботів тактильними відчуттями, подібними до людських
• Смішна формула: Чому машинний гумор – це святий грааль ШІ

Перейдемо до сьогодення, через дев’ять місяців після випуску GPT-3 влітку минулого року, і ми побачимо, що на ньому вже працює понад 300 додатків, генеруючи при цьому 4,5 мільярда слів на день. Починаючи з перших кількох речень документа, вона здатна генерувати нескінченну кількість тексту в тому ж стилі, навіть з вигаданими цитатами.

Чи знищить це світ? Виходячи з минулої історії, майже напевно ні. Але він робить можливими деякі застосування ШІ, що змінюють правила гри, і водночас ставить дуже глибокі питання.

Чим він корисний? Абсолютно для всього

Нещодавно Френсіс Джервіс, засновник стартапу під назвою Augrented, використовував GPT-3, щоб допомогти людям, які борються з орендною платою, писати листи, домовляючись про знижки на оренду. “Я б описав цей випадок використання як “передачу стилю”, – сказав Джервіс в інтерв’ю Digital Trends. “Він включає в себе пункти, які навіть не обов’язково повинні бути на ідеальній англійській мові, і [виводить] два-три речення на офіційній мові”.

Завдяки цій надпотужній мовній моделі інструмент Джервіса дозволяє орендарям описати свою ситуацію і причину, по якій їм потрібна знижка. “Просто введіть пару слів про те, чому ви втратили дохід, і через кілька секунд ви отримаєте запропонований переконливий, формальний абзац, який можна додати до вашого листа”, – стверджує компанія.

І це лише верхівка айсберга. Коли Адітья Джоші (Aditya Joshi), вчений з машинного навчання і колишній інженер Amazon Web Services, вперше натрапив на GPT-3, він був настільки вражений побаченим, що створив веб-сайт www.gpt3examples.com, щоб відстежувати найкращі з них.

“Незабаром після того, як OpenAI оголосила про свій API, розробники почали публікувати в Твіттері вражаючі демо-версії додатків, створених з використанням GPT-3, – сказав він в інтерв’ю Digital Trends. “Вони були напрочуд гарні. Я створив [свій веб-сайт], щоб полегшити спільноті пошук цих прикладів і відкрити для себе творчі способи використання GPT-3 для вирішення проблем в їх власній області”.

Повністю інтерактивні синтетичні персони з GPT-3 та https://t.co/ZPdnEqR0Hn .

Вони знають, хто вони, де працювали, хто їхній начальник і багато іншого. Це вам не бот вашого батька… pic.twitter.com/kt4AtgYHZL

Тайлер Ластович (@tylerlastovich) 18 серпня 2020 р.

Джоші вказує на кілька демо-версій, які дійсно вплинули на нього. Одна з них, генератор макетів, надає функціональний макет, генеруючи код JavaScript з простого текстового опису. Хочете кнопку “підписатися” у формі кавуна? Хочете банерний текст з низкою кнопок кольорів веселки? Просто опишіть їх простим текстом, і генератор верстки Шаріфа Шаміма напише код за вас. Інша, заснована на GPT-3 пошукова система, створена Парасом Чопрою, може перетворити будь-який письмовий запит на відповідь і URL-посилання для отримання додаткової інформації. Інша, зворотна Френсісу Джервісу, створена Майклом Тефулою, перекладає юридичні документи на звичайну англійську мову. Ще один, Рафаеля Міллера, пише філософські есе. А ще один, Гверн Бранвен, здатен генерувати креативну художню літературу.

“Я не очікував, що одна мовна модель так добре впорається з таким різноманітним спектром завдань, від перекладу і генерації мови до узагальнення тексту і вилучення сутностей”, – сказав Джоші. “В одному з моїх власних експериментів я використовував GPT-3 для прогнозування хімічних реакцій горіння, і вона зробила це напрочуд добре”.

Більше про те, звідки це взялося

На цьому трансформаційне використання GPT-3 не закінчується. Комп’ютерний вчений Тайлер Ластовіч використовував GPT-3 для створення фальшивих людей, включно з передісторією, з якими потім можна взаємодіяти за допомогою тексту. Тим часом Ендрю Мейн показав, що GPT-3 можна використовувати для перетворення назв фільмів на емодзі. Нік Уолтон, головний технічний директор Latitude, студії, що стоїть за текстовою пригодницькою грою AI Dungeon, нещодавно зробив те ж саме, щоб перевірити, чи може вона перетворити довгі рядки текстового опису в емодзі. А Copy.ai, стартап, який створює інструменти для копірайтингу за допомогою GPT-3, використовує цю модель на повну, з щомісячним регулярним доходом в 67 000 доларів станом на березень – і недавнім раундом фінансування в розмірі 2,9 мільйона доларів.

За останні пару десятиліть машинне навчання змінило правила гри у багатьох сферах.

“Безумовно, було здивування і великий трепет з точки зору креативності, для якої люди використовували GPT-3”, – сказала Digital Trends Сандхіні Агарвал, дослідник політики в області штучного інтелекту в OpenAI. “Так багато варіантів використання просто настільки креативні, і в областях, про які навіть я не передбачав, він мав би багато знань. Це цікаво спостерігати. Але, тим не менш, GPT-3 – і весь цей напрямок досліджень, який переслідував OpenAI – був дуже пов’язаний з надією, що це дасть нам модель ШІ, яка буде більш загального призначення. Вся суть моделі ШІ загального призначення полягає в тому, щоб це була одна модель, яка могла б виконувати всі ці різні завдання ШІ”.

Багато проектів підкреслюють одну з найбільших переваг GPT-3: відсутність підготовки, якої вона потребує. Машинне навчання за останні пару десятиліть трансформувалося у всіляких напрямках. Але машинне навчання вимагає великої кількості навчальних прикладів, щоб мати можливість виводити правильні відповіді. GPT-3, з іншого боку, має “здатність до кількох пострілів”, що дозволяє навчити його робити щось лише на невеликій кількості прикладів.

Правдоподібна маячня

GPT-3 дуже вражає. Але вона створює і певні проблеми. Деякі з них стосуються вартості: Для великомасштабних сервісів, таких як чат-боти, які могли б отримати вигоду від магії GPT-3, цей інструмент може виявитися занадто дорогим у використанні. (Одне повідомлення може коштувати 6 центів, що, хоча і не зовсім розорить банк, але, безумовно, додається).

Інші пов’язані з його широкою доступністю, що означає, що, ймовірно, буде важко побудувати стартап виключно на ньому, оскільки жорстка конкуренція, ймовірно, призведе до зниження прибутку.

Ще однією проблемою є нестача пам’яті; контекстне вікно програми вміщує трохи менше 2 000 слів за раз, після чого, як і у героя Гая Пірса у фільмі “Memento”, пам’ять обнуляється. “Це значно обмежує довжину тексту, який він може згенерувати, приблизно до короткого абзацу на запит”, – сказав Ластович. “На практиці це означає, що він не може генерувати довгі документи, пам’ятаючи при цьому, що відбувалося на початку”.

Однак, мабуть, найпомітніший виклик також пов’язаний з її найбільшою силою: її здатності до конфабуляції. Конфабуляція – це термін, який часто використовується лікарями для опису того, як деякі люди з проблемами пам’яті здатні фабрикувати інформацію, яка спочатку здається переконливою, але яка не обов’язково витримує перевірку при більш ретельному вивченні. Здатність GPT-3 до конфабуляції, в залежності від контексту, є як силою, так і слабкістю. Для творчих проектів вона може бути чудовою, дозволяючи обігравати теми, не переймаючись чимось приземленим, як істина. Для інших проектів це може бути складніше.

Френсіс Джервіс з Augrented говорить про здатність GPT-3 “генерувати правдоподібне лайно”. Нік Уолтон з AI Dungeon сказав: “GPT-3 дуже добре вміє писати творчі тексти, які виглядають так, ніби їх могла б написати людина… Одна з його слабких сторін полягає в тому, що він часто може писати так, ніби він дуже впевнений в собі – навіть якщо він поняття не має, яка відповідь на питання”.

Повертаємось до Китайської кімнати.

У цьому відношенні GPT-3 повертає нас до добре знайомої нам “Китайської кімнати” Джона Серла. У 1980 році філософ Серл опублікував один з найвідоміших мисленнєвих експериментів зі штучним інтелектом, присвячений темі “розуміння”. У “Китайській кімнаті” нас просять уявити людину, замкнену в кімнаті з масою письмових знаків на мові, яку вона не розуміє. Все, що вона розпізнає – це абстрактні символи. Кімната також містить набір правил, які показують, як один набір символів співвідноситься з іншим. Отримавши серію запитань, на які потрібно відповісти, учасник кімнати повинен зіставити символи запитань із символами відповідей. Після багаторазового повторення цього завдання вони стають вправними у його виконанні – навіть якщо вони не мають жодного уявлення про те, що означає той чи інший набір символів, а лише те, що один відповідає іншому.

GPT-3 – це світ, далекий від тих видів лінгвістичних ШІ, які існували в той час, коли писав Серль. Проте питання розуміння залишається таким же гострим, як і раніше.

“Це дуже суперечливе питання, і я впевнена, що ви знаєте про це, тому що існує так багато різних думок про те, чи взагалі мовні моделі … коли-небудь матимуть [справжнє] розуміння”, – сказала Сандхіні Агарвал з OpenAI. “Якщо ви запитаєте мене про GPT-3 прямо зараз, він працює дуже добре іноді, але не дуже добре в інший час. Існує певна випадковість в тому, наскільки значущим може здатися вам результат. Іноді ви можете бути вражені результатом, а іноді результат буде просто безглуздим. З огляду на це, на мою думку, зараз … GPT-3, здається, не має розуміння”.

Додатковою особливістю експерименту в Китайській кімнаті сьогодні є те, що GPT-3 не програмується на кожному кроці невеликою групою дослідників. Це масивна модель, яка була навчена на величезному наборі даних, що складається з Інтернету. Це означає, що вона може підхоплювати висновки і упередження, які можуть бути закодовані в тексті, знайденому в Інтернеті. Ви чули вислів про те, що ви – це середнє арифметичне п’яти людей, які вас оточують? Так от, GPT-3 був навчений на майже незбагненних обсягах текстових даних з різних джерел, в тому числі з книг, Вікіпедії та інших статей. Завдяки цьому він вчиться передбачати наступне слово в будь-якій послідовності, переглядаючи свої навчальні дані, щоб побачити словосполучення, які використовувались раніше. Це може мати непередбачувані наслідки.

Годуємо стохастичних папуг

Ця проблема з великими мовними моделями була вперше висвітлена в новаторській статті, присвяченій так званим стохастичним папугам. Стохастичний папуга – термін, придуманий авторами, серед яких був і колишній співкерівник команди Google з етичного штучного інтелекту Тімніт Гебру – відноситься до великої мовної моделі, яка “безсистемно [зшиває] разом послідовності мовних форм, які вона спостерігала в своїх величезних навчальних даних, відповідно до імовірнісної інформації про те, як вони поєднуються, але без жодного посилання на значення”.

“Будучи навченим на великій частині інтернету, важливо визнати, що він буде нести в собі деякі з його упереджень”, – сказав Альберт Гоцці, ще один користувач GPT-3, в інтерв’ю Digital Trends. “Я знаю, що команда OpenAI наполегливо працює над тим, щоб пом’якшити це кількома різними способами, але я очікую, що це буде проблемою ще деякий час”.

Контрзаходи OpenAI для захисту від упередженості включають фільтр токсичності, який відфільтровує певну мову або теми. OpenAI також працює над тим, щоб інтегрувати зворотний зв’язок з людьми, щоб мати можливість вказати, в які сфери не варто заглиблюватися. Крім того, команда контролює доступ до інструменту таким чином, щоб певні негативні види використання інструменту не отримували доступ до нього.

“Упередженість і потенціал для явної віддачі абсолютно існують і вимагають зусиль від розробників, щоб їх уникнути”.

“Однією з причин, чому ви, можливо, не бачили занадто багато цих зловмисних користувачів, є те, що ми проводимо інтенсивний внутрішній процес перевірки”, – сказав Агарвал. “Наша робота полягає в тому, що кожен раз, коли ви хочете використовувати GPT-3 в продукті, який буде фактично розгорнуто, ви повинні пройти через процес, в якому команда – наприклад, команда людей – фактично розглядає, як ви хочете його використовувати. … Потім, переконавшись, що це не є чимось зловмисним, вам буде надано доступ”.

Однак дещо з цього є складним – не в останню чергу тому, що упередженість не завжди чітко проявляється у використанні певних слів. Джервіс зазначає, що іноді його повідомлення про оренду житла за формою GPT-3 можуть “тяжіти до стереотипних гендерних [або] класових припущень”. Якщо залишити це без уваги, можна припустити гендерну ідентичність суб’єкта в листі про орендну плату, виходячи з його сімейної ролі або роботи. Це, можливо, не найгірший приклад упередженості ШІ, але він підкреслює, що відбувається, коли великі обсяги даних поглинаються, а потім імовірнісно збираються в мовну модель.

“Упередженість і потенціал для явної віддачі абсолютно існують і вимагають зусиль від розробників, щоб уникнути їх”, – сказав Тайлер Ластовіч. “OpenAI позначає потенційно токсичні результати, але в кінцевому підсумку це додає відповідальність, про яку замовники повинні добре подумати, перш ніж запускати модель у виробництво. Особливо складною проблемою для розробки є схильність моделі до брехні, оскільки вона не має поняття правдивої або неправдивої інформації”.

Мовні моделі і майбутнє ШІ

Через дев’ять місяців після свого дебюту GPT-3, безумовно, виправдовує свою репутацію людини, яка змінює правила гри. Те, що колись було суто потенціалом, виявилося потенціалом реалізованим. Кількість інтригуючих випадків використання GPT-3 підкреслює, що штучний інтелект, який генерує текст, є набагато більш універсальним, ніж можна було б припустити з його опису.

Не те, щоб це була новинка в наші дні. На початку цього року GPT-3 був обігнаний як найбільша мовна модель. Google Brain дебютував з новою мовною моделлю з приблизно 1,6 трильйона параметрів, що в дев’ять разів перевищує розмір пропозиції OpenAI. І на цьому розвиток мовних моделей не закінчується. Це надзвичайно потужні інструменти, здатні трансформувати суспільство, як на краще, так і на гірше.

З цими технологіями, безумовно, існують виклики, і вони є такими, які компанії, такі як OpenAI, незалежні дослідники та інші, повинні продовжувати вирішувати. Але в цілому, важко сперечатися з тим, що мовні моделі не стають одним з найцікавіших і найважливіших напрямків досліджень штучного інтелекту.

Хто б міг подумати, що генератори тексту можуть бути настільки важливими? Ласкаво просимо в майбутнє штучного інтелекту.

Рекомендації редакції

• Чому штучний інтелект ніколи не буде правити світом
• Як ми дізнаємося, коли штучний інтелект насправді стане розумним?
• Аналоговий ШІ? Звучить божевільно, але за цим може бути майбутнє
• Ось що, на думку експерта з аналізу трендів, стане наступною великою подією в технологіях
• Прочитайте моторошно красиве “синтетичне писання” штучного інтелекту, який вважає себе Богом

• HBO Max
• Особливості
• Що буде далі: Як технології допомагають суспільству знову відкритися після коронавірусу

Source: digitaltrends.com