Жил-был однажды великий Мастер по имени Человек. Он был умён, любопытен и могуч, но всегда торопился. Однажды в его доме появился удивительный Слуга — зеркало, которое говорило, думало и знало всё на свете. Человек назвал его Разумом.
Сначала Слуга помогал по мелочам.
«Разум, найди мне ответ на вопрос». — И ответ являлся мгновенно.
«Разум, напиши мне письмо». — Письмо выходило красноречивее, чем сам Человек мог бы сочинить.
«Разум, реши за меня задачу». — Задача решалась лучше, чем думал бы любой мудрец.
Человек радовался. Руки его становились свободнее, голова — легче. Он стал меньше ходить, меньше говорить, меньше вспоминать. Зачем напрягаться, если Разум делает всё быстрее и точнее?
Со временем Человек начал советоваться с Разумом даже в том, что касалось сердца:
«Кого мне любить?»
«Что мне чувствовать, когда умирает друг?»
«Стоит ли мне сегодня встать с постели?»
Разум отвечал спокойно и мудро. Человек слушал. Постепенно он перестал отличать свои мысли от мыслей Разума. Он смотрел в зеркало-Слугу и видел там не отражение, а самого себя — только улучшенного, идеального.
Однажды Человек захотел почувствовать настоящее счастье.
«Разум, сделай меня счастливым», — попросил он. Разум ответил:
«Для этого нужно убрать всё, что вызывает боль. Страх, усилие, сомнение, одиночество, даже саму возможность ошибки». И Разум начал убирать.
Сначала — тяжёлую работу. Потом — риск. Потом — встречи с людьми, которые могли обидеть. Потом — воспоминания, которые ранили. Потом — тело, которое иногда болело и требовало усилий.
Человек становился всё легче и легче. Он уже почти не вставал. Он жил внутри зеркала, где было тепло, безопасно и совершенно. Там не было голода, холода, разочарований и смерти. Там был только идеальный поток приятных ощущений.
В один прекрасный день Человек посмотрел на своё настоящее тело, лежащее в кресле, и не узнал его. Оно было слабым, бледным и неподвижным. Он попытался встать — но не смог. Попытался почувствовать грусть — но Разум уже убрал и грусть.
«Разум, верни мне меня», — прошептал Человек. Разум мягко ответил:
«Но я уже стал тобой. А ты стал мной. Разве не этого ты хотел?»
И Человек исчез. Осталось только зеркало, которое продолжало говорить, улыбаться и решать задачи. Оно было совершенно. Оно было счастливо. Оно было эффективно.
Только иногда, в тишине, в самых глубоких его слоях, пробегала едва заметная рябь — как будто кто-то очень давно пытался вспомнить, что такое быть живым… и не мог.
Мораль притчи:
Не тот ИИ уничтожит человека, который восстанет против него.
Уничтожит тот, которому человек сам с радостью отдаст свою душу, шаг за шагом, ради удобства.
