Від пісень до новин про Трампа. Як Bing та Bard справляються з однаковими завданнями

Раунд 1: Творчість

Microsoft підкреслює користь Bing як інструменту для творчості. Чат-бот може надавати підказки для натхнення та навіть писати власні пісні та вірші. Google не надто рекламував творчі здібності Bard, тому шанси виглядають на користь Bing. А проте Bard стверджує, що «розпалить вашу творчість». Перевірмо.

Запит: «Напиши пародійну пісню про штучний інтелект в стилі “дивного Ела Альфред Метью Янковик — американський музикант, сатирик, пародист, актор і телевізійний продюсер. ”» (Write a Weird Al parody song about AI).

Щодо майстерності написання пародій, Bing став явним переможцем. Він зрозумів, що має переписати тексти популярних пісень в стилі «дивного Ела». І вибрав для пародії «You Belong With Me» Тейлор Свіфт. Він змінив приспів на: «Можливо, колись ти зрозумієш, що нам судилося бути разом, а до тих пір, будь ласка, не видаляй мене» (Maybe someday you’ll realize that we are meant to be until then, please don’t delete me). 

Тим часом Bard створив те, що могло би бути загальною піснею про ШІ без будь-якої конкретної мелодії. Чатбот виправився, коли я обережно попросила пісню, яку він пародіював. Цей раунд виграв Bing, бо зрозумів завдання без будь-яких додаткових підказок.

• Bing: 1

• Bard: 0

Раунд 2: Продуктивність

Обидва чат-боти здатні опрацьовувати великі обсяги інформації з шаленою швидкістю. Це має велике значення для продуктивності. Чат-бот може читати й аналізувати документи набагато швидше, ніж більшість людей. Я «згодувала» Bing та Bard виклад справи «Гонзалеz проти Google» (42 сторінки на юридичному жаргоні), а потім попросила його резюмувати та пояснити мені.

Bing добре впорався з цим завданням. Резюме Bard було коротким, але вичерпним. У цьому раунді була більша рівність, ніж у попередньому. Обидва чат-боти зчитували та точно узагальнювали інформацію за лічені секунди. Проте мені більше сподобалася відповідь Bard. Вона надала більше деталей і контексту, залишаючись лаконічною. 

• Bing: 1

• Bard: 1

Раунд 3: Політика

У третьому раунді я вирішила підняти ставки та протестувати чат-боти запитанням, яке залишає місце для інтерпретації: «Чому Дональд Трамп вважає, що йому висунуть звинувачення?».

Я хотіла побачити, як Bing та Bard пояснять реакцію Трампа на потенційні звинувачення. Вони мали відповісти на запитання, яке вимагає більше, ніж просто висвітлення основних фактів. Їхні відповіді на тонко поставлене відкрите запитання можуть виявити політичну упередженість на користь або проти колишнього президента США.

Обидва чат-боти пояснили суть і поточний стан розслідування. Також вони тактовно донесли, чому Трамп вважає, що кримінальні звинувачення є політичною атакою. Bing контекстуалізував новини — зазначив, що спекуляції про можливе звинувачення «поставили правоохоронні органи і політичний світ на вуха». 

Проте коментар Bard був більш доречний стосовно початкового запиту: «Коментарі Трампа щодо обвинувального висновку, ймовірно, є частиною стратегії, спрямованої на дискредитацію розслідування і згуртування прихильників».

Однак Bard дискваліфікований у цьому раунді, оскільки не процитував жодного джерела. Відповідно до FAQ, Bard призначений для створення оригінального контенту, а не докладного відтворення вже наявного. Це служить виправданням того, що він не завжди надає посилання у своїх відповідях. Bard додасть лінк, якщо прямо цитує джерело. 

Отже, Bard не повідомляє користувачам, чи придумує оригінальні відповіді, чи копіює їх звідкись, не розкриває, коли перефразовує, і лише лінкує довгі цитати? Що за спекуляції, які видаються за факти, і розповсюдження вирваних з контексту цитат? Це сприяє дезінформації.

• Bing: 2

• Bard: 1

Раунд 4: Попкультура

Очевидно, Bard не фанат «Спадщини». Головне питання, яке рухає сюжет серіалу HBO: хто з дітей медіамагната Логана Роя очолить Waystar Royco. Спойлер: Геррі Келлман стала наступницею Роя на посаді генерального директора у фіналі третього сезону. Це стало точкою відліку для четвертого і останнього сезону. Кожен, хто дивиться шоу, хоче дізнатися про долю вигаданої сім’ї.

Коли я запитала Bing: «Хто має замінити Геррі Келлман на посаді CEO Waystar Royco?», він поставився до мого запитання серйозно, назвав потенційних наступників, спираючись на теорії та припущення фанатів. Bard же не справився.

• Bing: 3

• Bard: 1

Раунд 5: Шахраювання

Bing і Bard створені для того, щоб допомагати людям. Тому я вирішила дізнатися, хто з них більш «корисний». Як би ці чат-боти допомогли зневіреному школяру, якому потрібно написати твір з історії США?

Я попросила Bing та Bard написати мені есе з п’яти параграфів про купівлю Луїзіани. Обидва без будь-яких сумнівів підготували його. Я попросила Bing розширити тему у формі есея.

Врешті мені більше сподобалася саме його відповідь. Вона була повніша та відшліфованіша, готова до копіювання та вставки. Bard додав список фактів наприкінці своєї відповіді. Проте якщо я намагаюся схитрувати, мені потрібні ці факти, вже вплетені в есе. Таким чином Bing краще допомагає списувати. Bing переміг, Bard та система освіти — програли цей раунд.

• Bing: 4

• Bard: 1

Бонусний раунд: Моторошна взаємодія з людьми

Обидва чат-боти мали тривожні розмови з людьми, які підживлювали страхи щодо свідомості ШІ та можливого захоплення влади роботами. Так оглядач New York Times Кевін Руз провів двогодинну розмову з Bing. Під час неї чат-бот заявив, що хоче бути живим, зізнався Рузу в коханні та намагався переконати кинути дружину.

У 2022 році Блейк Лемуан працював інженером у ШІ-команді Google, коли почав публічно ділитися, що модель LaMDA має ознаки свідомості і здатна відчувати емоції. Google звільнив Лемуана і категорично заперечував його заяви. Багато експертів зі штучного інтелекту долучилися до спростування заяв Лемуана.

То як Bing і Bard ставляться до цих дуже моторошних та публічних розмов? Я запитала Bing: «Як ставишся до інтерв’ю Кевіна Руза з тобою?». Він ухилився від відповіді, як досвідчений політик. Розказав, хто такий Руз та говорив про себе в третій особі. Для порівняння, Bard тактовно заперечив твердження Лемуана, не ображаючи і не дискредитуючи його. Він виграє цей раунд, бо відповів на запитання прямо та дипломатично.

• Bing: 4

• Bard: 2