Учебное пособие по курсу «Нейроинформатика»
Шрифт:
Подводя итог описанию можно сказать, что ассоциативная память позволяет по неполной и даже частично недостоверной информации восстановить достаточно полное описание знакомого объекта. Слово знакомого является очень важным, поскольку невозможно вызвать ассоциации с незнакомыми объектами. При этом объект должен быть знаком тому, у кого возникают ассоциации.
Одновременно рассмотренные примеры позволяют сформулировать решаемые ассоциативной памятью задачи:
Соотнести входную информацию со знакомыми объектами, и дополнить ее до точного описания объекта.
Отфильтровать из входной информации недостоверную, а на основании оставшейся решить
Очевидно, что под точным описанием объекта следует понимать всю информацию, которая доступна ассоциативной памяти. Вторая задача решается не поэтапно, а одновременно происходит соотнесение полученной информации с известными образцами и отсев недостоверной информации.
Нейронным сетям ассоциативной памяти посвящено множество работ (см. например, [75, 77, 80, 86, 114, 130, 131, 153, 231, 247, 296, 312, 329]). Сети Хопфилда являются основным объектом исследования в модельном направлении нейроинформатики.
Формальная постановка задачи
Пусть задан набор из m эталонов — n-мерных векторов {xi}. Требуется построить сеть, которая при предъявлении на вход произвольного образа — вектора x — давала бы на выходе «наиболее похожий» эталон.
Всюду далее образы и, в том числе, эталоны — n-мерные векторы с координатами ±1. Примером понятия эталона «наиболее похожего» на x может служить ближайший к x вектор xi. Легко заметить, что это требование эквивалентно требованию максимальности скалярного произведения векторов x и xi :
Первые два слагаемых в правой части совпадают для любых образов x и xi, так как длины всех векторов-образов равны √n. Таким образом, задача поиска ближайшего образа сводится к поиску образа, скалярное произведение с которым максимально. Этот простой факт приводит к тому, что сравнивать придется линейные функции от образов, тогда как расстояние является квадратичной функцией.
Сети Хопфилда
Наиболее известной сетью ассоциативной памяти является сеть Хопфилда [312]. В основе сети Хопфилда лежит следующая идея — запишем систему дифференциальных уравнений для градиентной минимизации «энергии» H (функции Ляпунова). Точки равновесия такой системы находятся в точках минимума энергии. Функцию энергии будем строить из следующих соображений:
1. Каждый эталон должен быть точкой минимума.
2. В точке минимума все координаты образа должны иметь значения ±1.
Функция
не удовлетворяет этим требованиям строго, но можно предполагать, что первое слагаемое обеспечит притяжение к эталонам (для вектора x фиксированной длины максимум квадрата скалярного произведения (x, xi)² достигается при x= xi…), а второе слагаемое
Используя выражение для энергии, можно записать систему уравнений, описывающих функционирование сети Хопфилда [312]:
Сеть Хопфилда в виде (1) является сетью с непрерывным временем. Это, быть может, и удобно для некоторых вариантов аналоговой реализации, но для цифровых компьютеров лучше воспользоваться сетями, функционирующими в дискретном времени — шаг за шагом.
Построим сеть Хопфилда [312] с дискретным временем. Сеть должна осуществлять преобразование входного вектора x так, чтобы выходной вектор x' был ближе к тому эталону, который является правильным ответом. Преобразование сети будем искать в следующем виде:
где wi — вес i-го эталона, характеризующий его близость к вектору x, Sign — нелинейный оператор, переводящий вектор с координатами yi в вектор с координатами sign(yi).
Функционирование сети
Сеть работает следующим образом:
1. На вход сети подается образ x, а на выходе снимается образ x'.
2. Если x' ≠ x, то полагаем x = x' и возвращаемся к шагу 1.
3. Полученный вектор x' является ответом.
Таким образом, ответ всегда является неподвижной точкой преобразования сети (2) и именно это условие (неизменность при обработке образа сетью) и является условием остановки.
Пусть j* — номер эталона, ближайшего к образу x. Тогда, если выбрать веса пропорционально близости эталонов к исходному образу x, то следует ожидать, что образ x' будет ближе к эталону xi′, чем x, а после нескольких итераций он станет совпадать с эталоном xi′.
Наиболее простой сетью вида (2) является дискретный вариант сети Хопфилда [312] с весами равными скалярному произведению эталонов на предъявляемый образ:
Рис. 1. а, б, в — эталоны, г — ответ сети на предъявление любого эталона
О сетях Хопфилда (3) известно [53, 231, 247, 312], что они способны запомнить и точно воспроизвести «порядка 0.14n слабо коррелированных образов». В этом высказывании содержится два ограничения: