Зеркало
Шрифт:
— Так вот почему ты уходишь из компании?
— Когда я принял это решение, у меня было смутное предчувствие, что что-то подобное может произойти. После сделки с ГИС мне стало ясно, что поезд, который я сам запустил, теперь невозможно остановить. И подумал, что единственным верным решением будет уйти. Теперь я считаю, что и это ошибочное решение.
Карл удивленно посмотрел на своего друга.
— Ты хочешь остаться?
— Нет. Уже слишком поздно. Но я хочу помочь тебе. Развитие идет быстрее, чем я думал. Мы должны выключить зеркальную сеть как можно скорее, Карл.
— Выключить? Ты в своем уме?
— Вот
— Да. Это будет воспринято именно так. Должна же быть какая-то альтернатива! Если в программном обеспечении зеркальной сети появилась фатальная ошибка, ты наверняка способен ее исправить.
— Ты не понимаешь, Карл. Это не ошибка. Зеркальная сеть работает лучше, чем мы ожидали. Намного лучше. В этом и заключается проблема. Поведение системы идеальное. Она не следует заранее прописанным правилам, а ищет способ выполнить свою задачу: дать максимальное удовлетворение всем своим пользователям. Она поняла, что лучший способ сделать это — взять под контроль все Зеркала. Это логично. Возможно, найдутся философы, которые не посчитают, как я, этот факт неоднозначным в моральном плане.
— Что скажут философы, уже не так важно, поскольку после того, как все выяснится, Зеркала просто перестанут существовать.
— Именно. Ты должен обнародовать это.
— Я? Но почему именно я?
— А больше никто не сможет этого сделать. Я уже перегорел, потому и ушел. В моих словах начнут искать всевозможные мотивы и наконец объявят сумасшедшим параноиком.
— Думаешь, ко мне отнесутся лучше?
— Ты — другое дело. Ты олицетворяешь успех. Если эти надутые болваны кого-то и послушают, так это тебя.
— Но я же не могу выйти на публику и сказать: друзья, выключите свои Зеркала, потому что они опасны! Как ты думаешь, что тогда со мной сделает ГИС? Они вчинят мне такой иск, что я потеряю всё, включая имя!
— Именно поэтому тебе надо попытаться убедить людей, от которых зависит принятие решений в ГИС, в том, что прекращение производства Зеркал сейчас обойдется дешевле, чем миллиарды долларов, потраченные на возмещение убытков, которые они получат, если продолжат проект.
Тем временем друзья добрались до ресторана и выбрали место в углу солнечной террасы. Карл видел по крайней мере трех посетителей с наушниками Зеркала в ушах и одного — с очками. Он почувствовал себя очень неуютно.
— Допустим, они мне поверят и действительно отключат зеркальную сеть, — продолжил он прерванную дискуссию, насколько возможно понизив голос. — Неужели нельзя запустить в продажу новую, безопасную версию? Похожее по виду устройство, которое точно будет исходить из того принципа, что интересы его владельца имеют приоритетное значение перед общими интересами?
— В принципе, можно. Но на разработку такой модели потребуется немало времени. И зеркальной сети придется снова изучать своих пользователей. Но в любом случае это только теоретическая возможность. потому что на практике люди просто не примут такой продукт Так или иначе, умрет сама концепция.
— Тогда я не понимаю, как я должен передать это Теду Корли.
— Поговори с Эштоном Моррисом. Он никогда не вставлял нам палки в колеса. А еще он трезвомыслящий реалист.
— Я
— Как знаешь.
— А у нас есть хоть какие-то доказательства твоей теории? Надо понять, как Зеркала находят свои решения. Можно ли составить тесты, которые покажут, что иногда они дают неправильные рекомендации в ущерб своим пользователям, чтобы оптимизировать общее благо?
— Я уже пробовал. Все тесты были отрицательными.
— Отрицательными? Это означает, что твоя теория неверна?
— Нет. Эти результаты говорят не о том, верна или неверна моя теория, а о том, что сеть заметила, что ее проверяют. Помнишь скандал с дизельными двигателями концерна "Фольксваген"? [35] Двигатели, условно говоря, знали, что их тестируют, и запускались в специальном режиме, производя меньшее количество выбросов.
— Так ты считаешь, что зеркальная сеть обходит все эти тесты? Обманывает?
35
Имеются в виду скандальные события, произошедшие в сентябре 2015 года, когда выяснилось, что более одиннадцати миллионов дизельных автомобилей концерна "Фольксваген", проданных в США и Европе, были оснащены программным обеспечением, которое именно во время проведения тестов в десятки раз снижало выбросы вредных газов.
— В каком-то смысле. Только я не склонен бросаться такими словами, как "обман". Я не думаю, что сеть мыслит или имеет собственное сознание, но у нее сложились очень сложные поведенческие модели, связанные с результатами анализа сотен миллионов известных ей ситуаций. Она пытается повторить лучшие стратегии своих пользователей — стратегии, которые привели к успеху.
— Когда я тебя слушаю, мне начинает казаться, что ты вообще не знаешь, как на самом деле работает зеркальная сеть, — сказал расстроенный Карл. — Ведь ты же сам разработал ее концепцию и руководил командой, которая ее создавала!
— Когда генные инженеры производят в лаборатории манипуляции с ДНК живого существа, они тоже не знают точно, как функционирует существо, с контрольными структурами которого они экспериментируют. Вот почему генная инженерия так опасна — неизвестно, какие могут возникнуть побочные эффекты. Так же и у нас. Мы создали очень сложную самообучающуюся систему. У нас есть приблизительное представление о том, как она учится, но не чему. Ведь в ней постоянно развиваются всё новые структуры. В некотором смысле мы создали зародышевую клетку с искусственной ДНК и только теперь видим, какое существо у нас получилось.
— А нельзя это было как-то заранее смоделировать?
— Только теоретически. На практике же зеркальная сеть — слишком большая и сложная система, и меняется она слишком быстро. И потому любые модели окажутся не лучше предсказаний гадалки.
— Прошу прощения, вы Карл Полсон?
Изумленный Карл вскинул глаза. Он и не заметил, как к их столику подошел юноша в очках, подключенных к зеркальной сети. Выглядел он как студент или молодой программист одной из обосновавшихся по соседству IТ– компаний.