Классификация сейсмических сигналов на основе нейросетевых технологий
Категория реферата: Рефераты по кибернетике
Теги реферата: законодательство реферат, рецензия на дипломную работу
Добавил(а) на сайт: Распутин.
Предыдущая страница реферата | 6 7 8 9 10 11 12 13 14 15 16 | Следующая страница реферата
Если через [pic] обозначить желаемый выход сети (указание учителя), то ошибка системы для заданного входного сигнала (рассогласование реального и желаемого выходного сигнала) можно записать в следующем виде:
[pic][pic], где k — номер обучающей пары в обучающей выборке, k=1,2,…,n1+n2 n1 - количество векторов первого класса; n2 - число векторов второго класса.
В качестве функционала оптимизации будем использовать критерий минимума среднеквадратической функции ошибки:
[pic]
6.4 Выбор начальных весовых коэффициентов.
Перед тем, как приступить к обучению нейронной сети, необходимо задать ее начальное состояние. От того насколько удачно будут выбраны начальные значения весовых коэффициентов зависит, как долго сеть за счет обучения и подстройки будет искать их оптимальное величины и найдет ли она их.
Как правило, всем весам на этом этапе присваиваются случайные величины
равномерно распределенные в диапазоне [-A,A], например [-1,1], или [-3,3].
Однако, как показали эксперименты, данное решение не является наилучшим и в
качестве альтернативы предлагается использовать другие виды начальной
инициализации, а именно:
1. Присваивать весам случайные величины, заданные не равномерным распределением, а нормальным распределением с параметрами N[(,(], где выборочное среднее (=0, а дисперсия ( = 2, или любой другой небольшой положительной величине. Для формирования нормально распределенной величины можно использовать следующий алгоритм:
Шаг 1. Задать 12 случайных чисел x1, x2, …,x12 равномерно распределенных в диапазоне [0,1]. xi ( R[0,1].
Шаг 2. Для искомых параметров ( и ( величина [pic], полученная по формуле:
[pic] будет принадлежать нормальному распределению с параметрами N[(,(].
2. Можно производить начальную инициализацию весов в соответствии с методикой, предложенной Nguyen и Widrow [7]. Для этой методики используются следующие переменные
[pic] число нейронов текущего слоя
[pic] количество нейронов последующего слоя
[pic] коэффициент масштабирования:
[pic]
Вся процедура состоит из следующих шагов:
Для каждого нейрона последующего слоя[pic]:
Инициализируются весовые коэффициенты (с нейронов текущего слоя):
[pic]случайное число в диапазоне [-1,1] ( или [pic]).
Вычисляется норма [pic]
Далее веса преобразуются в соответствии с правилом:
[pic]
Смещения [pic] выбираются случайным образом из диапазона [pic].
Обе предложенные методики позволили на практике добиться лучших результатов, в сравнении со стандартным алгоритмом начальной инициализации весов.
6.5 Алгоритм обучения и методы его оптимизации.
Приступая к обучению выбранной нейросетевой модели, необходимо было решить, какой из известных типов алгоритмов, градиентный (обратное распространения ошибки) или стохастический (Больцмановское обучение) использовать. В силу ряда субъективных причин был выбран именно первый подход, который и представлен в этом разделе.
Обучение нейронных сетей как минимизация функции ошибки.
Когда функционал ошибки нейронной сети задан (раздел 6.3), то главная
задача обучения нейронных сетей сводится к его минимизации. Градиентное
обучение – это итерационная процедура подбора весов, в которой каждый
следующий шаг направлен в сторону антиградиента функции ошибки.
Математически это можно выразить следующим образом:
[pic], или , что то же самое : [pic], здесь (( - темп обучения на шаге (. В теории оптимизации этот метод известен как метод наискорейшего спуска.[]
Метод обратного распространения ошибки.
Исторически наибольшую трудность на пути к эффективному правилу обучения многослойных персептронов вызвала процедура расчета градиента функции ошибки [pic]. Дело в том, что ошибка сети определяется по ее выходам, т.е. непосредственно связана лишь с выходным слоем весов. Вопрос состоял в .том, как определить ошибку для нейронов на скрытых слоях, чтобы найти производные по соответствующим весам. Нужна была процедура передачи ошибки с выходного слоя к предшествующим слоям сети, в направлении обратном обработке входной информации. Поэтому такой метод, когда он был найден, получил название метода обратного распространения ошибки (error back- propagation ).
Разберем этот метод на примере двухслойного персептрона с одним нейроном на выходе.(рис 6.1) Для этого воспользуемся введенными ранее обозначениями. Итак,
[pic] -Функция ошибки (13)
[pic] -необходимая коррекция весов коррекция весов (14) для выходного слоя (v записывается следующим образом.
[pic]
Коррекция весов между входным и скрытым слоями производится по формуле:
[pic] (15)
[pic] [pic] [pic]
Рекомендуем скачать другие рефераты по теме: організація реферат, женщины реферат.
Предыдущая страница реферата | 6 7 8 9 10 11 12 13 14 15 16 | Следующая страница реферата