Режим бесконечной функциональности
Шрифт:
Пока робот и девушка смотрят друг на друга, он распечатал упаковку с сухим льдом, и та покрылась снаружи каплями воды. Он упаковкой обтёр лицо и дышал, хватая ртом холодный пар до тех пор, пока руки и лицо не замерзли.
– Почему ты постоянно улыбаешься? – немного погодя спросила Кира у Мэтта.
– Чтобы люди чувствовали себя комфортнее рядом со мной.
– Какая забота, – пробормотал Павел, закрывая брикет.
– Не могу понять, насколько твоя психика приближена к человеческой. Если ты автономен, то какие базы в тебя внесены? И как хорошо они развиты? Там есть психологическая мимикрия? Оценка социальной среды? Если да, тогда как ты отсеиваешь поступающую извне информацию, чтобы развитие шло в соответствии с выбранной программой? И сколько вариантов этих программ?
– На какой из вопросов мне ответить?
– Ещё и сарказм, – сказал Павел и вскрыл пакет с кофе, про который Кира успела забыть.
– Если есть сарказм, – откликнулась Кира, – значит, есть мерило сатиры и обширная база для сравнения. И если собрать всё это вместе, то к какой категории ИИ тебя отнести?
Мэтт пожал плечами.
– Отнеси его к «оружию» и забудь об этом, – прокомментировал Павел.
– Будь твоя воля, ты бы и Эппи отнес к «оружию», – недовольно сказала она.
– Эппи безобиден, а этот опасен, как и любой военный робот.
Мэтт никак не отреагировал на эти слова.
– Опасен, – Кира покатала слово на языке, словно о чём-то думая.
Павел стал высасывать кофе и думать о том, что для таких моментов скуки пригодилась бы карта. И не пришлось бы слушать болтовню Киры и видеть бесплодность её попыток проникнуть в чужой разум. Он знал, что энергикам нельзя ставить карты, но иногда такие мысли посещали даже его. У Брэдли из их группы была карта НКИ, и когда они на одной из вылазок оказались у чужого силового поля, она закоротила у него в мозгу. Тот катался по земле и выл, пытаясь сорвать с себя систему, а им даже со стороны была слышна музыка, будто льющаяся из чужих ушей.
Кира резко повернулась к Павлу с волнением, которое обычно было у неё на лице в преддверии очередной утопической идеи. Но Павел лишь скучающе посмотрел в ответ.
– Вспомни Первый закон, – сказала она. – Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. На заре робототехники встал вопрос, как правильно сформулировать для робота Три закона? Ведь, по сути, в искусственный разум нужно было вложить такое понятие, как вред. Само оно не появится.
– И в чём проблема? Определение слову «вред» не нашлось?
Мориссон никогда не затрагивал тему роботов, они его не интересовали. Как и любого «энергика». Зачем интересоваться искусственным разумом, если до конца не можешь понять, как устроен собственный?
– А по-твоему, что такое вред? – спросила Кира.
Павел пожал плечами.
– Ну… грубо говоря, это ущерб здоровью человека.
– Хорошо, а что такое ущерб?
– То же, что и вред?
– Не замыкай всё в одну цепь, – недовольно сказала Кира. – Каких видов бывает ущерб?
– Их много.
– А что если робот не будет действовать грубой силой и причинять ущерб напрямую?
– Не понял.
– Первый закон – только для людей. Что если человек – ребёнок, у которого есть любимая собачка, и однажды робот убьёт животное. Тем самым он нанесёт ущерб здоровью ребенка?
– Конечно.
– Хорошо. А если андроид или ИИ – вот как он – будет лучшим другом маленькой девочки, назовем её Пенни. И однажды Пенни влюбится в него, ведь робот так похож на человека, он всегда рядом и всегда её защитит, он выслушает и никогда не обманет. Но честный робот скажет Пенни, что они никогда не смогут быть вместе и вообще Пенни страшная.
– Ну, ты… – возмутился Павел.
– Согласно параграфу 10 пункта 2 «Межпланетного законодательства о роботах и робототехнике» подобный ответ можно будет классифицировать как вред, нанесенный психическому здоровью, – говорит Мэтт. – Так же как и убийство любимой собачки.
Кира указала на него пальцем:
– А ты вообще молчи. Это при условии, что строка «обидеть Пенни, сказав, что она страшная» или «избавиться от собачки», прописана у тебя в какой-нибудь подсистеме. А под «вред» законодательной базы можно подвести всё, что угодно. Тем более мы рассматриваем времена на заре робототехники, когда только психоструктура зарождалась, а о законодательстве и речи не шло.
– Она права, – согласился Павел и тут же прикусил язык. Он не собирался быть сопричастным к роботу даже в малой мере.
– Ну так вот. Он говорит ей, что она страшная и они никогда не будут вместе, и девочка с горя выпрыгивает из космолета.
– Ты ужасный рассказчик, – заметил Павел.
– Она бы не смогла выпрыгнуть, бортовая система… – начал Мэтт и Кира раздраженно зарычала.
Павел тихо рассмеялся, а после спросил:
– Ты хочешь сказать, что вред может быть разный?
– И это тоже. Но самое главное – что конкретно понимать под словом «вред»? Роботов не программируют оценивать мораль, понимать чувственные абстрактные понятия и копаться в собственной психоструктуре в поисках воли. Люди даже не разобрались, как формируется замысел и можно ли вообще это действие описать, но при этом они создали робота, так называемый интеллект которого – большая помойка из нагромождения понятий и действий. И слово «вред», так же как и всё, должно быть определено через более просты формы. Поэтому, когда приступили к разработке Закона, данное слово несло в себе перечисление потенциально опасных действий, которые робот может совершить с человеком.
Павел подавил желание рассмеяться.
– Таких действий бесконечно много. Любая вещь, созданная человеком, может нести опасность, если знать, как ей пользоваться.
– Возможно. Но на момент создания законов таких действий было не бесконечно много и даже не миллиард, а около пятисот миллионов.
– Момент создания…
– Около двух веков назад.
– Ты смеёшься?
– Ты думаешь, мне смешно?
– Мало того, что эти миллионы, так ещё и … – Павел запнулся. Мозг робота может хранить и как-то перерабатывать огромное количество информации, каждый кусок этой информации должен нести обозначение в понятных не только роботу, но и человеку символах, разработчики должны были создать какой-то шаблон, по которому и строились все модели. Но с момента создания по нынешней день изменилось слишком много. Какова частота обновления ПО психоструктуры? Раз в год? Раз в месяц? Раз в день? И разве роботы с одинаковой структурой психики при одинаковом обновлении не будут действовать одинаково и походить друг на друга в мелких реакциях? Или всё же подключение к сети постоянное?