Як працює мовна модель, на якій тримаються ChatGPT і Claude

Чому чат-бот пише так гладко і чому йому іноді не можна вірити на слово.

Головна ідея

Мовна модель отримує текст і передбачає, яке слово має стояти далі. Відповідь вона пише так само: крок за кроком, слово за словом, кожен раз заново обираючи найімовірніше продовження.

Це схоже на те, як ви дописуєте речення в смс, тільки модель бачила значно більше текстів і підбирає слова дуже точно.

Чому відповіді звучать по-людськи

Модель навчилася на мільйонах текстів: статтях, листах, рецептах, інструкціях, форумах. Тому вона добре знає, як звучить пояснення, ввічливий лист чи план поїздки.

Вона не тримає в голові енциклопедію. Вона відтворює те, як люди пишуть про речі, і найчастіше це правильно.

Що з цього випливає

Відповідь може звучати впевнено й при цьому бути неправдивою. Модель не перевіряє факти, вона підбирає правдоподібний текст.

Тому для всього важливого (дати, цифри, імена, ліки, гроші, закон) відповідь варто перевірити в офіційному джерелі.

Словничок

Мовна модель
Модель, яка навчилася продовжувати текст: передбачає, яке слово буде далі.
Чат-бот
Програма, з якою можна говорити текстом. Усередині нього працює мовна модель.