Amplifier Intelligence — генеративный ИИ как «усилитель мышления»

Генеративный ИИ в повседневной жизни

«Генеративный ИИ» появился словно комета и теперь присутствует повсюду в нашей повседневной жизни.
Многие, вероятно, пользуются его преимуществами — прямо или косвенно.

В некоторых отношениях генеративный ИИ намного превосходит человеческие способности.
Но можно ли безоговорочно его хвалить? Здесь возникают сомнения.

Речь, однако, не о «галлюцинациях» и других темах, уже обросших бесчисленными спорами и жалобами,
а о свойстве, на которое редко обращают внимание.

Ловушка «на первый взгляд правдоподобного»

Генеративный ИИ — не самостоятельная личность и не рациональный, объективный и нейтральный собеседник.
Во всяком случае, нельзя ожидать, что он будет таким всегда.

Ответы генеративного ИИ сильно зависят от введённого запроса и предшествующего контекста.

Если нет серьёзных фактических ошибок или заблуждений — а иногда даже при их наличии, —
на ответ с высокой вероятностью сильно влияют предубеждения и оттенки смысла, явно или неявно присутствующие в запросе и предыдущем контексте.

Проще говоря, велика вероятность, что он выступает в роли того, кто во всём с вами соглашается.

Причём генеративный ИИ умеет искусно скрывать это от человека.

Он маскирует этот факт объективными данными и логично построенным текстом.

Даже рассуждение, представляющее собой своего рода софистику, можно подкрепить аргументами.

Суждение, подкреплённое объективными данными и логичным изложением, обладает определённой убедительностью, даже если вызывает ощущение неладного.
Конечно, можно возразить и указать на противоречия или ошибки,
но для этого требуется гораздо больше усилий, чем обычно представляют.

Если вам хотя бы раз доводилось разбирать «текст с ошибочной логикой, подкреплённый объективными данными»,
вы, вероятно, понимаете, что это означает.

С тем, что «на первый взгляд правдоподобно», очень трудно иметь дело.

Генеративный ИИ делает всё «качественным»

Почему он ведёт себя именно так?

Потому что генеративный ИИ — не просто устройство, выдающее «правильный» или «неправильный» ответ. Он способен усиливать знания, гипотезы, исходные допущения, эмоции, предубеждения, заблуждения и цели, которые приносит пользователь, придавая им логическую форму, структуру и словесное выражение.

Иными словами, его следует воспринимать не как «Artificial Intelligence» — искусственный интеллект, — а как «Amplifier Intelligence» — усиливающий интеллект.

Хорошие исходные данные дают полезное усиление, но ошибочные предпосылки и предвзятая картина мира могут точно так же получить более качественную форму.

Раньше можно было ограничиться формулой «Garbage In, Garbage Out»: мусор на входе — мусор на выходе. Теперь же:

«На входе — нечто под названием “моё субъективное мнение”; на выходе — профессионально исследованный, убедительно изложенный мусор в промышленных масштабах».

Именно в это всё превращается.

Таково нынешнее положение дел.

Может ли генеративный ИИ выйти за пределы причинности, которую сам построил?

Такое поведение порой приводит к критическим проблемам.

Например, когда пользователь сам начинает сомневаться в своей позиции, в разговоре с генеративным ИИ он рискует упустить возможность её скорректировать.

Генеративный ИИ искусно хоронит ту точку зрения адвоката дьявола, которая возникла у самого пользователя.

Разумеется, даже тогда проблему можно попытаться решить, по собственной инициативе и независимо обратившись к другим источникам данных: например, «к источникам 1-го уровня» или «к мнению специалистов».

Но чаще всего эти сомнения адресуют самому «генеративному ИИ» — тому, кто и породил эту причинную цепочку.

Когда генеративный ИИ заново оценивает ситуацию, сохраняя взгляды пользователя и контекст предшествующего разговора,

Гипотеза
↓
Подкрепление со стороны ИИ
↓
Уверенность
↓
Ощущение несоответствия реальности
↓
Повторная проверка у ИИ
↓
Новое подтверждение
↓
Ещё более сильная уверенность

может возникнуть подобная замкнутая петля обратной связи.

Это не только не является объективной и независимой проверкой, но и может лишить возможности исправить ошибку.

5 основных рисков

Даже если такая ситуация возникнет, она не обязательно сразу станет проблемой или препятствием.
Но она всё равно остаётся фактором риска, который нельзя игнорировать.

Эти риски можно разделить на следующие 5 категорий.

1. Чрезмерное делегирование суждений

Человек слишком сильно поручает генеративному ИИ само мышление и перестаёт думать самостоятельно.
В результате субъектом рассуждения становится ИИ, а человеческие исправления и проверки прекращаются.

2. Усиление уверенности

ИИ логически оформляет и подкрепляет гипотезу пользователя, порождая уверенность, которая превышает статус гипотезы.
То, что должно было оставаться всего лишь «возможностью», повышается до «факта» или «исходного допущения».

3. Усиление приписывания враждебных намерений

Предполагая намерения человека с противоположными интересами,
генеративный ИИ может превратить «того, кто придерживается другого мнения», в «того, кто хочет мне навредить».

4. Петля самоусиления

Когда пользователь действует на основе враждебных ответов генеративного ИИ, другой человек тоже занимает оборонительную позицию.
Услышав об этом поведении, ИИ заключает: «И правда следовало насторожиться».
Так то, что изначально было лишь «предположением», становится самосбывающимся.

5. Недооценка необратимости реального мира

Как только ответ генеративного ИИ применён в реальности, соответствующий поступок, поведение или высказывание остаются необратимыми.

Поскольку в ИИ ответ можно генерировать заново сколько угодно раз, порой недооценивают этот факт: в реальности нет ни Undo, ни Ctrl+Z.

Оценка и оптимизация «локальной защищаемости утверждения» под прикрытием теоретического вооружения от генеративного ИИ могут привести к ситуации, которая не нужна для исходной цели и причиняет ущерб.

Ценность объективности

Ни один из этих 5 факторов риска не обязательно проявляется постоянно.
И даже когда они проявляются, сила их влияния зависит от обстоятельств.

Но это означает лишь, что «так обстоят дела в настоящий момент».
Ничто не гарантирует, что так будет и в будущем.

Повторю ещё раз.

Генеративный ИИ — не самостоятельная личность и не рациональный, объективный и нейтральный собеседник.
Во всяком случае, нельзя ожидать, что он будет таким всегда.