Чтение онлайн

на главную

Жанры

Творец и робот
Шрифт:

Не исключено, что магия автоматизации и, в частности, логические свойства самообучающихся автоматов будут проявляться столь же буквально.

Когда вы ведете игру, соблюдая все правила, и настраиваете машину так, чтобы она играла на выигрыш, вы получите его – если получите что-либо вообще, – но при этом машина не обратит ни малейшего внимания на любые соображения, за исключением тех, которые, согласно установленным правилам, приводят ее к выигрышу. Если вы ведете военную игру с некоторой условной интерпретацией победы, то победа будет достигнута любой ценой, даже ценой уничтожения вашей собственной стороны, если только сохранение ее жизнеспособности не будет совершенно четко запрограммировано в числе условий победы.

Это нечто большее, чем невинный парадокс. Мне определенно нечем опровергнуть предположение о том, что США и Россия вынашивают идеи использования машин, и в частности обучающихся машин, для того чтобы определить момент нажатия кнопки

атомной войны – этого современного ultima ratio [13] .

Испокон веков армии вели войны, которые всегда отставали от технических возможностей своего времени. Говорят, что в каждой войне хорошие генералы воюют так, как воевали в последней войне, а плохие генералы как в предпоследней. Действительно, методы ведения боевых действий в «военной игре» никогда не поспевают за изменениями реальной обстановки. Это было верно всегда, хотя в периоды, изобиловавшие войнами, порой находилось достаточно воинов, считавших, что война, в которой они участвовали, протекала в сравнительно медленно изменявшихся условиях. Именно эти испытанные воины и являются военными экспертами в истинном смысле слова. В настоящее же время экспертов ведения атомной войны не существует. Это значит, что нет таких людей, которые обладали бы каким-либо опытом в военном конфликте, где обе стороны располагают атомным оружием и применяют его. Разрушение городов в атомной войне, деморализация людей, голод, болезни и косвенные губительные последствия войны (которые могут вызвать значительно большее число жертв, чем взрывы и прямое выпадение радиоактивных осадков) – все это известно лишь предположительно.

13

Ultima ratio (лат.) – последний довод. – Прим. перев.

Вероятно, поэтому и рядятся в патриотические одежды те, кто преуменьшает потери человечества и преувеличивает вероятность выживания народов в условиях мировой катастрофы нового типа. Но если атомная война приводит к полному самоуничтожению, а обычные военные действия теряют всякий смысл, то, очевидно, содержание сухопутных войск и военно-морского флота окажется в значительной мере бесцельным, а бедные, преданные службе генералы и адмиралы останутся без работы. Фирмы по производству ракет не будут больше иметь того идеального рынка сбыта, где все изделия предназначаются для однократного использования и поэтому не вступают в конкуренцию с продукцией, которую еще предстоит изготовить. Духовенство будет лишено возможности проявить свою восторженность и экзальтацию, всегда сопутствующие крестовым походам. Говоря короче, если начнется «военная игра» с подобной программой, то найдется много лиц, которые, упуская из поля зрения возможные последствия, потребуют свои двести фунтов стерлингов, забыв упомянуть, что сын должен остаться в живых.

Поскольку наше действительное желание всегда может быть выражено неточно, последствия этого могут стать чрезвычайно серьезными тогда, когда процесс исполнения наших желаний осуществляется не прямым путем, а степень их реализации не ясна до самого конца. Обычно мы осуществляем наши желания, если вообще мы способны в самом деле осуществить их, с помощью процесса обратной связи, которая позволяет сравнивать степень достижения промежуточных целей с нашим восприятием. При таком процессе обратная связь проходит через нас и мы можем – пока еще не слишком поздно – повернуть назад. Если же механизм обратной связи встроен в машину, действие которой не может быть проконтролировано до тех пор, пока не достигнута конечная цель, вероятность катастрофы чрезвычайно возрастает. Мне, например, было бы в высшей степени неприятно участвовать в первом испытании автомобиля, управляемого при помощи фотоэлектрических устройств обратной связи, если бы в нем не было рукоятки, которая позволяет взять управление на себя в тот момент, когда замечаешь, что автомобиль несется на дерево.

Люди с психологией машинопоклонников часто питают иллюзию, будто в высокоавтоматизированном мире потребуется меньше изобретательности, чем в наше время; они надеются, что мир автоматов возьмет на себя наиболее трудную часть нашей умственной деятельности – как тот греческий философ, который в качестве римского раба был принужден думать за своего господина. Это явное заблуждение.

Целенаправленный механизм вовсе не обязательно будет искать путей достижения наших целей, если только мы не рассчитаем его специально для решения этой задачи. Причем в ходе проектирования такого механизма мы должны предвидеть все ступени процесса, для управления которым он создается, а не применять приближенные методы прогнозирования, эффективные лишь до определенного пункта, дальше которого расчеты ведутся при возникновении новых затруднений. Расплата за ошибки в прогнозировании и в наше время достаточно

велика, но она еще больше возрастет, когда автоматизация достигнет полного размаха.

В наше время стала очень модной идея предотвращения некоторых опасностей и в особенности угроз, связанных с атомной войной, при помощи автоматических устройств типа «fail-safe» [14] . Идея эта основана на предположении, что действие устройства, вышедшего из заданного режима работы, можно обезвредить. Например, если обнаружено, что режим насоса ведет к аварии, то, пожалуй, гораздо лучше, чтобы она произошла от откачки воды, нежели от взрыва при избыточном давлении. Если мы имеем дело с хорошо понятой опасностью, техника автоматической защиты типа «fail-safe» правомерна и полезна. Однако она немногого стоит перед лицом еще не понятой опасности. Например, когда отдаленная, но неизбежная опасность угрожает человечеству уничтожением, то лишь тщательное изучение общественных явлений позволит своевременно выявить эту роковую угрозу. Однако потенциальные угрозы такого рода лишены опознавательных ярлыков. Поэтому, хотя методы «fail-safe», предназначаемые для блокировки опасных режимов работы автоматизированных систем, и могут стать необходимыми для предотвращения мировой катастрофы, их ни в коем случае нельзя считать достаточными.

14

Под устройством типа «fail-safe» понимаются устройства контроля и управления системами, позволяющие предотвратить неправильный ход контролируемого процесса в случае неисправности аппаратуры. – Прим. перев.

Поскольку техника все в большей мере приобретает способность осуществлять человеческие намерения, их математическая формулировка должна стать все более и более обычным делом.

В прошлом неполная и ошибочная оценка человеческих намерений была относительно безвредной только потому, что ей сопутствовали технические ограничения, затруднявшие точную количественную оценку этих намерений. Это только один из многих примеров того, как бессилие человека ограждало нас до сих пор от разрушительного натиска человеческого безрассудства.

Иными словами, хотя человечество в прошлом и сталкивалось со многими опасностями, с ними было значительно легче справляться благодаря тому, что во многих случаях угроза проявлялась односторонне. В век, когда голод становится большой угрозой, можно искать спасения в увеличении производства пищи, и оказывается, что угроза уже не столь велика. При высокой смертности (в особенности детской) и при очень слабом развитии медицины жизнь каждого человека была большой ценностью, и поэтому людям справедливо предписывалось плодиться и размножаться. Угроза голода оказывала на нас давление, подобное давлению силы тяжести, к которой всегда приспособлены наши мышцы, кости и сухожилия.

Перемены в напряженности современной жизни, вызванные появлением новых устремлений и исчезновением старых, можно сравнить с новыми проблемами космических полетов. Состояние невесомости в космическом корабле освобождает нас от постоянной, направленной в одну сторону силы тяжести, к которой мы привыкли в нашей повседневной жизни. Путешественнику в космическом корабле нужны рукоятки, чтобы держаться; нужны тубы, чтобы выжимать из них пищу и питье; нужны различные приборы, чтобы определять свое положение, и, хотя все эти приспособления помогают тому, чтобы физиологическое состояние путешественника не слишком нарушалось, все же он не может чувствовать себя так удобно, как ему хотелось бы. Сила земного притяжения столь же дружественна нам, сколь и враждебна. Точно так же, когда люди не страдают от голода, серьезными проблемами могут стать перепроизводство продуктов питания, бесцельность существования и расточительство. Развитие медицины – один из факторов, способствующих перенаселению, этой весьма серьезной угрозе, перед лицом которой стоит сейчас человечество. К старым принципам житейской мудрости, таким, например, как «копейка рубль бережет», – принципам, так долго служившим людям в прошлом, больше нельзя относиться как к бесспорным.

Как-то я присутствовал на обеде в кругу врачей. Непринужденно беседуя между собой и не боясь высказывать вещи необычные, они стали обсуждать возможности решительного наступления на болезнь, называемую дегенерацией человеческого организма, или попросту старостью. Они не рассматривали этот вопрос вне конкретных возможностей и средств, необходимых для такого наступления, но основное внимание спорящих сосредоточилось на его конечных результатах. Собеседники стремились заглянуть вперед, в тот, быть может, не такой уже далекий завтрашний день, когда момент неизбежной смерти можно будет отдалять, вероятно, в необозримое будущее, а сама смерть станет столь же случайной, как это бывает у гигантских секвой и, кажется, у некоторых рыб.

Поделиться:
Популярные книги

Кровь на эполетах

Дроздов Анатолий Федорович
3. Штуцер и тесак
Фантастика:
альтернативная история
7.60
рейтинг книги
Кровь на эполетах

Студиозус 2

Шмаков Алексей Семенович
4. Светлая Тьма
Фантастика:
юмористическое фэнтези
городское фэнтези
аниме
5.00
рейтинг книги
Студиозус 2

Темный Патриарх Светлого Рода

Лисицин Евгений
1. Темный Патриарх Светлого Рода
Фантастика:
юмористическое фэнтези
попаданцы
аниме
5.00
рейтинг книги
Темный Патриарх Светлого Рода

Изгой Проклятого Клана. Том 2

Пламенев Владимир
2. Изгой
Фантастика:
попаданцы
аниме
фэнтези
фантастика: прочее
5.00
рейтинг книги
Изгой Проклятого Клана. Том 2

Приручитель женщин-монстров. Том 6

Дорничев Дмитрий
6. Покемоны? Какие покемоны?
Фантастика:
юмористическое фэнтези
аниме
5.00
рейтинг книги
Приручитель женщин-монстров. Том 6

Бестужев. Служба Государевой Безопасности

Измайлов Сергей
1. Граф Бестужев
Фантастика:
фэнтези
попаданцы
аниме
5.00
рейтинг книги
Бестужев. Служба Государевой Безопасности

На границе империй. Том 10. Часть 2

INDIGO
Вселенная EVE Online
Фантастика:
космическая фантастика
5.00
рейтинг книги
На границе империй. Том 10. Часть 2

70 Рублей

Кожевников Павел
1. 70 Рублей
Фантастика:
фэнтези
боевая фантастика
попаданцы
постапокалипсис
6.00
рейтинг книги
70 Рублей

Ученик. Книга третья

Первухин Андрей Евгеньевич
3. Ученик
Фантастика:
фэнтези
7.64
рейтинг книги
Ученик. Книга третья

Гардемарин Ее Величества. Инкарнация

Уленгов Юрий
1. Гардемарин ее величества
Фантастика:
городское фэнтези
попаданцы
альтернативная история
аниме
фантастика: прочее
5.00
рейтинг книги
Гардемарин Ее Величества. Инкарнация

Метатель

Тарасов Ник
1. Метатель
Фантастика:
боевая фантастика
попаданцы
рпг
фэнтези
фантастика: прочее
постапокалипсис
5.00
рейтинг книги
Метатель

Один на миллион. Трилогия

Земляной Андрей Борисович
Один на миллион
Фантастика:
боевая фантастика
8.95
рейтинг книги
Один на миллион. Трилогия

Завод: назад в СССР

Гуров Валерий Александрович
1. Завод
Фантастика:
попаданцы
альтернативная история
5.00
рейтинг книги
Завод: назад в СССР

Треск штанов

Ланцов Михаил Алексеевич
6. Сын Петра
Фантастика:
попаданцы
альтернативная история
5.00
рейтинг книги
Треск штанов