Эволюция разума
Шрифт:
Далее мы оценивали каждый модельный организм в модельной среде, используя описанный метод определения каждого набора параметров. Эта оценка — ключ к успеху генетического алгоритма. В нашем примере мы проверяли все программы, созданные на основе наших параметров, и оценивали их по определенным критериям (решена ли задача, как быстро она решается и т. д.). Лучшим организмам (лучшим «решениям») разрешалось выжить, а остальные были элиминированы.
Далее мы заставляли выжившие организмы размножаться до определенной численности «особей». Для этого мы имитировали половое размножение: иными словами, мы создавали потомство, в котором каждая особь наследовала одну часть генетического кода от одного родителя, а другую — от другого. Обычно в нашей системе нет никакой разницы между женскими и мужскими организмами, потомство может давать любая пара условных родителей, так что речь фактически идет об однополых браках. В этой связи данный процесс не столь интересен, как в природе. Для нас было важно только наличие двух родителей. По мере размножения наших модельных организмов мы допускали появление в их хромосомах
Итак, мы описали появление одного поколения модельных организмов. Далее мы повторяли все те же процессы для каждого следующего поколения: определяли, насколько улучшился дизайн (то есть рассчитывали среднее улучшение оценки для всех выживших организмов). Когда результаты оценки организмов из двух последовательных поколений практически переставали улучшаться, мы останавливали цикл и использовали лучшие образцы из последнего поколения [99] .
Суть генетического алгоритма (ГА) заключается в том, что создатели программы не программируют решение, а позволяют ему сформироваться в результате многократных имитаций конкуренции и улучшений. Биологическая эволюция — процесс умный, но медленный, и мы попытались этот медленный процесс ускорить. Компьютер действует достаточно быстро, чтобы имитировать смену множества поколений за несколько часов или дней, а наши эксперименты длились несколько недель, так что мы могли наблюдать смену сотен тысяч поколений. Но этот многократно повторяющийся процесс мы должны были воспроизвести лишь однажды. Как только мы запустили процесс искусственной эволюции, достаточно быстро смогли применить полученные усовершенствованные правила к решению реальных проблем. В нашей системе распознавания речи мы использовали их для обнаружения исходной топологии сети и других критических параметров. Итак, мы использовали две самоорганизующиеся системы: ГА для симуляции биологической эволюции, что позволило определить специфический дизайн коры, и ИСММ для симуляции организации коры, определяющей процесс обучения у человека.
99
Ниже представлена схема генетического (эволюционного) алгоритма. Существует множество вариаций этого алгоритма, и создателям системы необходимо подобрать некоторые критические параметры и методы (см. ниже).
Генетический алгоритм.
Создать N «существ» (решений). Каждое из них характеризуется генетическим кодом — последовательностью чисел, характеризующих возможное решение проблемы. Эти числа могут описывать критические параметры, стадии решения, правила и др.
Процедуру осуществляют для каждого поколения в ходе эволюции.
Процедуру осуществляют для каждого из N существ (решений).
Используют данное решение (представленное генетическим кодом существа) для решения проблемы или симуляции. Оценивают решение.
Выбирают L существ с максимальным рейтингом выживания в будущем поколении.
Отбрасывают (N-L) оставшихся не способных выжить существ.
Создают (N-L) новых существ из L выживших существ следующим образом:
1) делают копии L выживших существ. В каждую копию вводят небольшие случайные вариации; или
2) создают дополнительных существ путем комбинаций генетического кода («половое» воспроизведение или комбинация отдельных частей хромосом) L выживших существ; или
3) выполняют комбинацию методов 1 и 2.
Принимают решение о необходимости дальнейшей эволюции.
Улучшение = (высший рейтинг в данном поколении) — (высший рейтинг в предыдущем поколении).
Если Улучшение < Предел улучшения, значит, процедура закончена.
Существо с наивысшим рейтингом из последнего поколения является наилучшим решением.
Используют это решение, определяемое его генетическим кодом, для решения проблемы.
Ключевые решения.
При реализации приведенной выше простой схемы создатель программы должен сначала установить следующие показатели.
Ключевые параметры:
N
L
Предел улучшения.
Чему соответствуют числа генетического кода, и как на основе генетического кода рассчитывается решение.
Метод выбора N существ в первом поколении. Обычно это лишь некая «разумная» попытка найти решение. Если разброс решений первого поколения слишком велик, эволюционный алгоритм может не найти хорошего решения. Часто имеет смысл выбрать исходные существа таким образом, чтобы они отличались разумным разнообразием. Это позволит избежать обнаружения оптимального решения «локального» значения.
Способ оценки решений.
Способ воспроизводства выживших существ.
Вариации.
Возможно множество вариаций предыдущего сценария. Например…
В каждом поколении не обязательно должно оставаться фиксированное количество выживших существ (L). Правила выживания могут позволять выживать разному количеству существ.
В каждом поколении не обязательно должно появляться фиксированное количество новых существ (N-L). Правила воспроизводства могут быть независимыми от размера популяции. Воспроизводство может коррелировать с выживанием, в результате чего наиболее успешные существа лучше воспроизводятся.
Решение о продолжении эволюции может приниматься по-разному. Оно может учитывать не только лучших существ из последних поколений, но и другую информацию. Решение также может учитывать тенденцию, простирающуюся за пределы двух последних поколений.
Еще одно важное требование для успешного применения ГА заключается в обеспечении надежного метода оценки всех возможных решений. Эта оценка должна быть быстрой, поскольку в каждом поколении приходится
При использовании ГА, однако, следует с особым вниманием относиться к тому, о чем вы собираетесь спросить. Этот алгоритм был разработан для решения статистической задачи о стопке брусков, для которой он позволяет найти идеальное решение, но за тысячи ходов. Программисты забыли включить в программу функцию минимизации операций.
Проект «Электрическая овца» Скотта Дрейва — основанная на генетическом алгоритме программа, которая умеет рисовать. Функция оценки использует в качестве оценщиков многие тысячи людей. Рисунки изменяются во времени — вы можете увидеть их на сайте electricsheep.org.
В системах распознавания речи сочетание генетических алгоритмов и скрытых моделей Маркова дало возможность получить отличные результаты. Симуляция эволюции с помощью ГА в значительной степени улучшила производительность сетей ИСММ. Эволюция позволила достичь результата, который намного превзошел исходный вариант, основанный на нашей интуиции.
Далее мы экспериментировали, вводя в систему небольшие изменения. Например, мы создавали некоторые пертурбации (случайные небольшие изменения) входного сигнала. Другое изменение состояло в том, что мы заставляли соседние марковские цепи «протекать» друг в друга: результаты одной модели влияли на «соседние» модели. В то время мы не отдавали себе в этом отчета, однако производимые нами изменения действительно напоминали процессы, происходящие в структурах биологической коры.
В первую очередь такие изменения снижали эффективность системы (точность распознавания). Однако если мы повторяли эволюционный процесс (то есть перезапускали генетический алгоритм) при наличии подобных изменений, это позволяло адаптировать систему и оптимизировать ее к данным условиям. Обычно это приводило к восстановлению эффективности. Если затем мы удаляли внесенные изменения, эффективность вновь падала, поскольку система эволюционировала для их компенсации. Адаптированная система становилась зависимой от внесенных изменений.
В частности, небольшие случайные изменения на входе позволяли повысить эффективность системы (после повторного проведения ГА). Причина заключается в проблеме так называемой сверхподгонки, характерной для самоорганизующихся систем. Существует опасность, что такая система в основном будет настроена на специфические примеры, которые использовались для ее обучения. Внесение случайных изменений на входе позволяет добиться большей инвариантности данных для обучения системы. Но этот метод работает только в том случае, если в новых условиях мы вновь запускаем генетический алгоритм.
Тут возникает дилемма в нашем понимании функционирования биологических кортикальных цепей. Например, было подмечено, что иногда происходит «протечка» кортикальных контактов, что объясняется самой природой биологических связей: электрохимические свойства аксонов и дендритов зависят от электромагнитного воздействия соседних контактов. Представьте, что нам удастся провести эксперимент с реальным мозгом, в котором подобная возможность устранена. Сделать это трудно, но не невозможно. Представьте, что в результате подобного эксперимента мы обнаружили, что кортикальные цепи работают менее эффективно. Нам пришлось бы заключить, что это явление — очень умное эволюционное приспособление, необходимое для достижения максимальной эффективности функции новой коры. А еще пришлось бы признать, что иерархические модели, описывающие восходящие потоки образов и нисходящие предсказательные сигналы, на самом деле гораздо сложнее, поскольку должны учитывать еще и взаимное влияние контактов.
Однако этот вывод не обязательно верен. Вернемся к нашему эксперименту с имитацией новой коры на основе иерархических скрытых моделей Маркова, в котором предусмотрим модификацию, напоминающую взаимное влияние нейронов. Если мы в этой системе повторим эволюционный процесс, эффективность системы восстановится (поскольку эволюция адаптируется к изменениям). Если же мы устраним взаимное влияние нейронов, эффективность вновь понизится. В биологической системе эволюция («настоящая» биологическая эволюция) действительно «прогонялась» при наличии подобного фактора. Таким образом, биологическая эволюция выбрала такие параметры системы, которые зависят от данных факторов, и их изменение негативно скажется на эффективности системы, если только мы не «перезапустим» эволюционный процесс. В компьютерном мире сделать это несложно — здесь эволюционный процесс занимает дни или недели, но в природе для этого потребовались бы десятки тысячелетий.
Так каким же образом мы можем установить, является ли какой-то характерный признак строения биологической новой коры жизненно важной инновацией, внесенной биологической эволюцией (то есть этот признак важен для нашего уровня интеллекта), или это лишь артефакт строения, от которого система теперь зависит, но без которого вполне могла бы развиваться дальше? Чтобы ответить на этот вопрос, достаточно просто запустить имитацию эволюционного процесса при наличии и при отсутствии этих деталей строения (например, при наличии и при отсутствии протечки контактов). Более того, мы можем проследить и за биологической эволюцией, наблюдая за колонией микроорганизмов, у которых процесс воспроизводства измеряется часами, но со сложными организмами, такими как человек, проделать такой эксперимент не представляется возможным. Это еще один из многих недостатков биологии.