Глаз разума

Хофштадтер Даглас Р.

Мой ответ на теорию систем очень прост. Пусть индивид усвоит все элементы системы, запомнит правила в книге и банк данных — китайских иероглифов, так что теперь он сможет производить все вычисления в уме. В таком случае индивид будет представлять всю систему, поскольку больше в системе ничего нет. Мы можем даже отказаться от комнаты и представить, что он работает на свежем воздухе. Так или иначе, он не понимает ничего по-китайски, а следовательно, ничего не понимает и система, потому что в системе нет ничего такого, чего не было бы в нем. Если он не понимает, то и система никак не может понимать, поскольку является лишь частью его.

В действительности, мне неловко давать даже этот ответ на теорию систем, потому что эта теория с самого начала казалась мне малоубедительной. Человек не понимает китайского, но каким-то образом сочетание этого человека с кусочками бумаги может его понимать — странная мысль! Мне трудно представить себе, чтобы кто-нибудь, не одурманенный определенной идеологией, мог найти подобную идею хоть сколько-нибудь правдоподобной. И все же я думаю, что многие сторонники сильной версии ИИ в конце концов захотят сказать что-нибудь подобное; поэтому давайте поговорим об этом еще немного. Согласно одной из версий этого аргумента, хотя человек, усвоивший всю систему, и не понимает китайского

так, как китайцы (поскольку он, например, не понимает, что рассказ повествует о ресторане, гамбургерах и т.д.), он действительно понимает его в качестве системы, манипулирующей формальными символами. Подсистему этого человека, манипулирующую формальными китайскими символами, не следует путать с его же подсистемой, манипулирующей английским.

Таким образом, у человека имеется две подсистемы: одна понимает китайский, другая — английский, и “эти две системы почти не связаны между собой”. На это мне хочется ответить, что они не только мало чем связаны, но и совершенно непохожи друг на друга. Подсистема, понимающая английский (если мы на время согласимся говорить на жаргоне “подсистем”), знает, что речь идет о ресторанах и гамбургерах, знает, что у нее спрашивают нечто о ресторанах, что она отвечает наилучшим образом, делая выводы на основании содержания рассказа и так далее. Китайская подсистема ничего этого не знает. В то время как английская подсистема знает, что “гамбургеры” обозначают гамбургеры, китайская подсистема знает лишь то, что за “сквиггл-сквиггл” следует “сквоггл-сквоггл”. Она знает только то, что на одном конце вводятся некие китайские символы, которыми надо манипулировать согласно написанным по-английски правилам так, что на другом конце получатся иные символы. Весь смысл первоначального примера состоял в том, чтобы показать, что сама по себе подобная манипуляция символами не может быть достаточной для понимания китайского в буквальном смысле, поскольку можно сколько угодно писать “сквиггл-сквиггл” и “сквоггл-сквоггл”, не понимая при этом китайского. Не спасут дела и гипотетические подсистемы внутри человека, поскольку они находятся не в лучшем положении, чем был сам человек — у них нет ничего такого, что есть у англо-говорящего человека (или подсистемы). В описанном случае китайская подсистема на самом деле является лишь частью английской подсистемы, и эта часть занимается бессмысленной манипуляцией китайскими символами согласно правилам, написанным по-английски.

Давайте спросим себя, что вообще вызвало к жизни ответ систем, то есть какие независимые основания имеются для того, чтобы предположить, что внутри того человека имеется некая подсистема, действительно понимающая китайский? Насколько я понимаю, единственное основание заключается в том, что в приведенном примере — те же входные и выходные данные, как и у говорящих по-китайски, и программа, соединяющая оба конца. Но весь смысл примеров и состоял в том, что этого не может быть достаточно для понимания в том смысле, в каком я понимаю рассказы по-английски, поскольку человек и все составляющие его подсистемы могут иметь правильную комбинацию входных и выходных данных вкупе с программой, и все еще не понимать ничего в буквальном смысле, в каком я понимаю английский. Единственным поводом, чтобы утверждать, что во мне должна иметься подсистема, понимающая китайский, является то, что у меня есть программа, помогающая мне пройти тест Тьюринга и одурачить китайцев. Но речь здесь идет именно о том, насколько адекватен тест Тьюринга! Наш пример показывает, что могут существовать две системы, каждая из которых способна пройти тест Тьюринга, но лишь одна из них действительно понимает, что делает. Утверждение, что, поскольку они обе прошли тест Тьюринга, обе должны понимать, не годится как аргумент против моего возражения, поскольку игнорирует тот факт, что подсистема, понимающая английский, сильно отличается от подсистемы, манипулирующей китайскими символами. Короче говоря, ответ систем, не приводя никаких аргументов, просто голословно утверждает, что система должна понимать китайский.

Более того, этот ответ приводит к абсурдным последствиям. Если заключить, что во мне имеется некое понимание, поскольку имеются входные и выходные данные и программа между ними, то множество некогнитивных систем внезапно подпадут под рубрику когнитивных. Например, на определенном уровне переработкой информации занимается мой желудок. Этим он походит на компьютерные программы, но я не думаю, что стоит приписывать ему какое бы то ни было понимание. [6] Однако, если мы согласимся с ответом систем, то нам придется считать сердце, печень, желудок и т.п. понимающими подсистемами, поскольку эти подсистемы принципиально невозможно отличить от подсистемы, “понимающей” китайский. Возражение, что китайская подсистема в качестве входных и выходных данных имеет информацию, а желудок — пищу и продукты ее переработки, не помогает, поскольку с точки зрения действующего лица информации нет ни в том, ни в другом — ведь для него китайский — лишь набор бессмысленных закорючек! В случае с китайским, информация находится лишь в мозгу программистов и интерпретаторов, и ничто не мешает им считать информацией входные и выходные данные моих органов пищеварения.

6

См. Pylyshyn 1980.

Последнее утверждение затрагивает некоторые независимые от этого аргумента проблемы ИИ, и нам стоит на минуту отвлечься и кое-что объяснить. Если сильная версия ИИ претендует на то, чтобы стать ветвью психологии, она должна уметь отличать ментальные системы от систем, таковыми не являющихся. Она должна отличать принципы, по которым работает разум, от принципов, по которым работают нементальные системы, иначе она будет неспособна объяснить специфику ментального. Различие между ментальным-нементальным не может быть только в мозгу наблюдателя; оно должно быть неотъемлемой частью самих систем, иначе любой наблюдатель сможет обращаться с людьми, как с неодушевленными предметами, а ураганы считать разумными существами. Однако в литературе по ИИ это различие до такой степени смазано, что в конце концов ИИ может потерять право называться исследованием когнитивного. Например, Маккарти пишет: “Можно сказать, что даже такие простые механизмы, как термостаты, имеют убеждения, а наличие убеждений, как нам кажется, является характеристикой большинства механизмов, способных к решению задач” (McCarthy, 1979). Любой, кто считает что сильная версия ИИ заслуживает называться теорией разума, должен подумать над тем, что следует из подобных утверждений. Нам предлагают принять за открытие ИИ утверждение о том, что висящий на стене кусок металла,

которым мы пользуемся для регулирования температуры, имеет убеждения точно так же, как мы, наши супруги и наши дети, и более того, о том, что “большинство” других механизмов в комнате — телефон, магнитофон, калькулятор, электрический выключатель — тоже имеют убеждения в буквальном смысле слова. В этой статье я не собираюсь спорить с Маккарти, поэтому привожу это утверждение без доказательств. Изучение разума начинается с утверждения о том, что люди имеют убеждения, а термостаты, телефоны и калькуляторы — нет. Если ваша теория оспаривает это утверждение, вы получили контрпример и ваша теория оказывается неверной. Складывается впечатление, что сторонники ИИ, пишущие подобные вещи, думают, что могут себе это позволить, поскольку не принимают этого всерьез и не думают, что кто-либо относится к этому серьезно. Я предлагаю, по крайней мере на время, отнестись к этому с полной серьезностью. Что понадобилось бы для того, чтобы представить, что эта кучка металла на стене обладает настоящими убеждениями; убеждениями направленными и интенциональными; желаниями, могущими быть удовлетворенными; убеждениями, могущими быть слабыми или сильными; убеждениями нервными, тревожными или уверенными; догматическими, рациональными или полными предрассудков убеждениями — любым типом убеждений. Термостат исключается из кандидатов. Также не являются возможными кандидатами желудок, печень, калькулятор или телефон. Тем не менее, поскольку мы принимаем эту идею всерьез, заметьте, что ее истинность была бы смертельной для утверждения сильной версии ИИ о том, что она является наукой о разуме, поскольку теперь разум оказался бы повсюду. Мы же хотели узнать, что отличает разум от термостатов и желудков. Если бы Маккарти был прав, сильная версия ИИ никогда не смогла бы ответить на этот вопрос.

2. Ответ роботов (Иель). “Предположим, что мы написали бы программу, отличную от программы Шенка. Представьте, что мы вставили бы компьютер внутрь робота. Этот компьютер не только принимал бы формальные символы в качестве входных данных и выдавал бы формальные символы в качестве выходных данных — он управлял бы роботом таким образом, что робот делал бы нечто, напоминающее восприятие, ходьбу, разнообразные движения, еду, питье — все, что вы хотите. В робота, например, может быть встроена телекамера, позволяющая ему видеть; у него могут быть руки и ноги, позволяющие ему “действовать”, и все это будет контролироваться его компьютерным “мозгом”. Подобный робот, в отличие от компьютера Шенка, будет способен на действительное понимание и другие ментальные состояния”.

Первое, что бросается в глаза в этом ответе, это то, что он молча соглашается с тем, что понимание — это нечто большее, чем манипуляция формальными символами, поскольку этот ответ добавляет множество каузальных отношений с миром (Fodor, 1980). Наш ответ на это заключается в том, что добавление “моторных” или “сенсорных” возможностей не добавляет ничего к когнитивным или интенциональным возможностям первоначальной программы Шенка. Чтобы в этом убедиться, достаточно заметить, что тот же мысленный эксперимент приложим и в случае с роботом. Представьте, что вместо компьютера, помещенного в робота, вы поместите меня в комнату и снова, как и в первоначальном китайском эксперименте, дадите мне китайские символы и инструкции по-английски для соотношения одних китайских символов с другими китайскими символами и выдачи “на-гора” третьих китайских символов. Представьте, что, хотя мне об этом ничего не известно, некоторые китайские символы поступают ко мне из телевизионной камеры, прикрепленной к роботу, а некоторые китайские символы, произведенные мной, приводят в действие моторы внутри робота, двигающие его руками и ногами. Важно подчеркнуть, что я лишь манипулирую формальными символами. Я получаю “информацию” от “перцептуального” аппарата робота и даю инструкции его “моторному” аппарату, ничего об этом не подозревая. Я являюсь “гомункулюсом” этого робота, но, в отличие от традиционного гомункулюса, я не знаю, что происходит. Я не понимаю ничего, кроме правил манипуляции символами. Я утверждаю, что в этом случае робот лишен какой бы то ни было интенциональности; он просто передвигается в результате действия его электрических соединений и программы. Кроме того, представляя в данном случае эту программу, я также лишен относящихся к делу интенциональных состояний. Я только следую формальным инструкциям по манипуляции формальными символами.

3. Ответ имитации мозга (Беркли и Массачуссеттский Технологический институт). “Предположим, что мы разработали программу, которая не представляет информацию о мире, подобную информации в текстах Шенка. Вместо этого программа в точности симулирует процесс нервной деятельности в мозгу китайца, когда тот понимает рассказы по-китайски и отвечает на вопросы о них. Машина принимает в качестве входных данных рассказы и вопросы о них, симулирует формальную структуру мозгов китайца, понимающего эти рассказы, и производит в качестве выходных данных китайские символы. Мы можем даже вообразить, что вместо одной-единственной программы в машине работают множество параллельных программ, подобно тому, как предположительно работает человеческий мозг в процессе понимания человеческого языка. В таком случае нам придется признать, что машина понимает рассказы. Если мы откажемся это сказать, не придется ли нам отказать в понимании и самому китайцу? На уровне синапсов, какая разница между программой нашего компьютера и программой мозга китайца?”

Прежде, чем ответить на это возражение, я замечу, что это очень странное возражение для любого сторонника ИИ (или функционализма и т.п.). Мне казалось, что идея сильной версии ИИ состоит именно в том, что для понимания работы разума не обязательно понимать, как работает мозг. Я думал, что основная гипотеза сторонников этой версии состоит в том, что существует некий уровень мыслительной деятельности, на котором производятся манипуляции с формальными элементами. Именно это является основой разума и может быть реализовано в различных мозговых процессах, так же, как любая компьютерная программа может работать на различной аппаратуре. Сильная версия ИИ считает, что программа для компьютера — то же, что разум для мозга. Таким образом мы можем понять разум, не вдаваясь в нейрофизиологию. Если бы для занятий ИИ нам было бы необходимо понять, как работает мозг, то нам вообще не понадобилась бы такая наука, как ИИ. И все же такой близкий подход к работе мозга еще не достаточен, чтобы произвести понимание. Чтобы в этом убедиться, представьте себе, что вместо человека, работающего с формальными символами, в комнате сидит человек, оперирующий системой водопроводных труб, соединенных клапанами. Когда он получает китайские символы, он сверяется с написанной по-английски программой, и начинает открывать и закрывать определенные клапаны. Каждое соединение соответствует синапсу в мозгу китайца, и вся система настроена так, что после всех манипуляций с клапанами нужные китайские символы появляются с другого конца труб.