Чат-боти стають дурнішими, чим довше з ними розмовляти – дослідження

Джерело: NeuroNad

Дослідження підтвердило скарги користувачів, мовляв, чат-боти на основі штучного інтелекту дають все гірші відповіді при тривалій роботі.

Microsoft Research та Salesforce разом проаналізували понад 200 000 розмов ШІ з найсучасніших великих мовних моделей (LLM), включаючи GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, o3, DeepSeek R1 та Llama 4. Виявилось, що вони часто “губляться в розмові”, коли завдання розбиваються на природну для людей багатосторонню розмову.

Наприклад, GPT-4.1 та Gemini 2.5 Pro, досягають 90% успіху з одиничними запитами. Однак під час триваліших розмов їхня продуктивність падає до 65%.

Важливо, що дослідники виявили, що моделі не втрачають своєї фундаментальної здатності розв’язувати проблему – вона зменшується лише приблизно на 15%. Натомість їхня ненадійність різко росте на 112%. Тобто, моделі все ще “знають”, як виконувати роботу, але вони стають надзвичайно непослідовними, ставлячи під сумнів те, чи зможуть вони успішно відстежити контекст розмови.

Чому так?

Дослідження виявило кілька “винуватців”, які призводять до цієї деградації:

По-перше, LLM страждають від передчасної генерації: вони часто намагаються надати остаточне рішення, перш ніж користувач закінчить пояснювати вимоги. Як тільки модель робить неправильне припущення на ранньому етапі, вона “чіпляється” за цю помилку. А потім, замість того щоб виправляти себе, коли надходить нова інформація, ШІ спирається на свою початкову помилку, і робить через це ще більше помилок.

По-друге, спостерігалося явище “роздуття відповідей”, коли відповіді ставали на 20–300 % довшими. Ці довші відповіді вводять більше “галюцинаційних” припущень, які потім вбудовуються в постійний контекст розмови. Навіть найновіші моделі ШІ, які використовують додаткові “токени мислення” для обробки логіки, не показали значного покращення в цьому випадку.

Що робити?

Наразі є єдиний ефективний варіант: перестати ставитися до ШІ як до партнера в розмові. Щоб отримати найкращі результати, користувачі повинні надавати всі необхідні дані, обмеження та інструкції в одному, вичерпному “мега-запиті”, а не пояснювати усе вже в ході в діалогу.

Заступник міністра оборони США Елбрідж Колбі розкритикував українські далекобійні удари по території Росії, зокрема по об’єктах компанії Wildberries. На його думку, такі атаки не наближають завершення війни та спрямовані на те, щоб завдати шкоди російському населенню.

Десять країн Євросоюзу закликали Європейську комісію активніше протидіяти участі Росії у Венеційській архітектурній бієнале 2027 року.

Увечері 17 листопада в Молдові тимчасово закрили шість пунктів пропуску на кордоні з Україною. Таке рішення ухвалили з міркувань безпеки після появи безпілотників у повітряному просторі країни.

Російські війська від вересня завдали понад 1000 ударів по об’єктах енергетичної інфраструктури України. Основними цілями атак стали високовольтні підстанції.

Marvel анонсувала новий серіал “Зодіак”, прем’єра якого запланована на 2028 рік на стримінговій платформі Disney+. Проєкт буде шпигунським трилером, а його зйомки розпочнуться навесні наступного року.