Дослідження · 2026-10-27
Чи можна довіряти ШІ оцінювати, чи є наукова ідея новою
Дослідники з Ai2 перевірили, наскільки добре мовні моделі, як-от GPT і Claude, визначають новизну наукових ідей, і виявили, що їхні оцінки дуже залежать від дрібниць у формулюванні запитання.
Навіщо ШІ потрібен «суддя новизни»
Вчені дедалі частіше використовують штучний інтелект, щоб генерувати нові наукові ідеї. Але ідея має бути справді новою, а не перефразуванням того, що вже відомо. Тому для перевірки часто беруть іншу мовну модель, яку називають «суддею новизни». Вона порівнює ідею з попередніми роботами і вирішує, чи є в ній щось нове.
Проблема в тому, що єдиного стандарту для таких суддів немає. Дослідницькі команди самі обирають модель, текст запитання, формат оцінки і те, чи дозволяти моделі шукати схожі статті. Ці рішення можуть суттєво змінити результат.
Що показало дослідження
Команда Ai2 протестувала шістьох суддів: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 і Claude Opus 4.6. Вони порівнювали ідеї, написані людьми, і ідеї, які згенерувала проста модель.
Найбільше на результат впливало формулювання запитання. Наприклад, коли GPT-5.4 отримала пари ідей і запитання «яка з них нова» без додаткового пояснення, її точність упала з 93,5% до 40,9%. Це гірше, ніж випадкове вгадування. У одному з експериментів зміна кількох слів у запиті змінила точність більш ніж на 50 відсоткових пунктів.
На ідеях, написаних людьми, ті самі зміни впливали менше, але теж помітно. Пошук схожих статей і додаткове «міркування» моделі не завжди покращували результат. Два спеціально створені системи оцінки новизни працювали гірше, ніж звичайний запит до Claude Opus 4.6.
Чому це важливо
Якщо ШІ справді почне відігравати більшу роль у науці, потрібні надійні способи перевіряти, чи він справді пропонує щось нове. Поки що навіть оцінка новизни є ненадійною, і читачам варто пам’ятати, що твердження «це нове» від ШІ не завжди заслуговує на довіру.
Дослідження Ai2 Old Ideas, Novel Problems дає інструменти для подальшого вивчення цієї проблеми і показує, наскільки багато питань ще не розв’язано.
Джерела: 🔗 Hugging Face Blog