Учебное пособие по курсу «Нейроинформатика»
Шрифт:
При использовании предложенной оценки нет никаких гарантий того, что в генерируемой сетью последовательности не появятся сильно скоррелированные подпоследовательности. Для удаления корреляций можно модифицировать оценку так, чтобы она возрастала при появлении корреляций. Рассмотрим две подпоследовательности длинны L, первая из которых начинается с αi, а другая с αi+k. Коэффициент корреляции этих последовательностей записывается в виде:
В этой формуле приняты следующие
Добавку для удаления корреляций последовательностей длиной от L1 до L2 и смещенных друг относительно друга на смещения от h1 до h2 можно записать в виде:
При необходимости можно ввести и другие поправки, учитывающие требования к генератору случайных чисел.
Составные интерпретатор ответа и оценка
При использовании нейронных сетей для решения различных задач возникает необходимость получать от сети не один ответ, а несколько. Например, при обучении сети решению задачи диагностики отклонений в реакции на стресс нейронная сеть должна была определить наличие или отсутствие тринадцати различных патологий. Если одна сеть может выдавать только один ответ, то для решения задачи необходимо задействовать тринадцать сетей. Однако в этом нет необходимости. Поскольку каждый ответ, который должна выдавать сеть, имеет только два варианта, то можно использовать для его получения классификатор на два класса. Для такого классификатора необходимо два выходных сигнала. Тогда для решения задачи достаточно получать 26 выходных сигналов: первые два сигнала — для определения первой патологии, третий и четвертый — для второй и так далее. Таким образом, интерпретатор ответа для этой задачи состоит из тринадцати интерпретаторов, а оценка из тринадцати оценок. Более того, нет никаких ограничений на типы используемых интерпретаторов или оценок. Возможна комбинация, например, следующих ответов: число с допуском, классификатор на восемь классов, случайное число.
При использовании таких составных оценок и интерпретаторов каждый из этих компонентов должен следить за тем, чтобы каждая частная оценка или интерпретатор получали на вход те данные, которые им необходимы.
Лекция 11.1. Исполнитель
Компонент исполнитель является служебным. Это означает, что он универсален и невидим для пользователя. В отличие от всех других компонентов исполнитель не выполняет ни одной явной функции в обучении нейронных сетей, а является вспомогательным для компонентов учитель и контрастер. Задача этого компонента — упростить работу компонентов учитель и контрастер. Этот компонент выполняет всего несколько запросов, преобразуя каждый из них в последовательность запросов к различным компонентам. В данной главе содержательно рассмотрены алгоритмы исполнения всех запросов исполнителя.
Как было описано в главе «Двойственные
1. Тестирование решения примера.
2. Оценивание решения примера.
3. Оценивание решения примера с вычислением градиента.
4. Оценивание и тестирование решения примера.
Таблица 1. Параметры запроса для позадачной работы
| Название параметра | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
| Перейти к следующему примеру | +/– | +/– | +/– | +/– |
| Остановиться в конце обучающего множества | +/– | +/– | +/– | +/– |
| Вычислять оценку | – | + | + | + |
| Интерпретировать ответ | + | – | – | + |
| Вычислять градиент | – | – | + | – |
| Подготовка к контрастированию | – | – | +/– | – |
Все перечисленные запросы работают с текущей сетью и текущим примером задачника. Однако компоненту задачник необходимо указать, какой пример подлежит обработке. Кроме того, в главе «Оценка и интерпретатор ответа» введен класс оценок, вычисляемых по всему обучающему множеству. Такие оценки позволяют существенно улучшить обучаемость сети и ускорить ее обучение. Нет смысла возлагать перебор примеров на учителя, поскольку это снижает полезность компонента исполнитель. Таким образом, возникает еще четыре вида запросов.
Тестирование решения всех примеров обучающего множества.
Оценивание решения всех примеров обучающего множества.
Оценивание решения всех примеров обучающего множества с вычислением градиента.
Оценивание и тестирование решения всех примеров обучающего множества.
Как уже отмечалось в главе «Двойственные сети», каждую из приведенных четверок запросов можно объединить в один запрос с параметрами. В табл. 1 приведен полный список параметров для первой четверки запросов, а в табл. 2 — для второй.
Таблица 2. Параметры запроса для обучающего множества в целом
| Название параметра | 5 | 6 | 7 | 8 |
|---|---|---|---|---|
| Вычислять оценку | – | + | + | + |
| Интерпретировать ответ | + | – | – | + |
| Вычислять градиент | – | – | + | – |
| Подготовка к контрастированию | – | – | +/– | – |
Символ «+» означает, что в запросе, номер которого указан в первой строке колонки, возможность, задаваемая данным параметром, должна быть использована. Символ «–» — что связанная с данным параметром возможность не используется. Символы «+/–» означают, что запрос может, как использовать, так и не использовать данную возможность. Отметим, что подготовка к контрастированию может быть задействована, только если производится вычисление градиента, а вычисление градиента невозможно без вычисления оценки. Остальные параметры независимы.