Современная электроника №5/2022

ПРОЕКТИРОВАНИЕ И МОДЕЛИРОВАНИЕ 31 WWW.SOEL.RU СОВРЕМЕННАЯ ЭЛЕКТРОНИКА ◆ № 5 2022 Рис. 3. Схема отдельного комплексного нейрона скрытого слоя Рис. 4. Результат составления матрицы КНС с уменьшенным количеством нейронов в реальной предметной области. Так- же ошибка, вычисленная после прохода (forward pass) НС, передаётся обратно каждому нейрону в сети, а веса коррек- тируются в обратном проходе. Рассмотрим комплекснуюмодель как обобщение вещественных СНН, которая обрабатывает комплексные входные данные и веса. Также разберём простой пример преимущества комплексных нейронных сетей над обычными. Методика работы Для упрощения преобразований будут использованы в примере следу- ющие методы. 1. Преобразования Фурье. 2. Разложение функций в ряд Фурье (формулы): ● комплексный ряд Фурье от одной пе- ременной: ; ● формула ряда Фурье от двух незави- симых переменных: . Общая формула ряда Фурье для функ- ций от « k » переменных: . 3. Прогнозирование временны ′ х рядов с заданной точностью. Одна из первых работ по описанию комплексной функции активации была выполнена Наумом Айзенбер- гом. Согласно его концепции, много- значный нейрон (МН) – это нейронный элемент с n входами и одним выходом, лежащим на единичном круге (при- мер на рис. 1), и с комплекснозначны- ми весами. Отображение описывается следующим образом: . Здесь x i – это комплексные перемен- ные. Краткое содержание В литературе нет единого мнения о наиболее подходящей функции акти- вации для КНС. Основное требование состоит в том, чтобы иметь нелиней- нуюфункцию, которая не подвержена взрыву или исчезновению градиентов во время обучения. Если взять функцию сигмовидной активации прямого распростране- ния (forward pass), то окажется, что она неоптимальна для многих видов прикладных задач. Возьмём пример распознавания двоичных растровых изображений с использованием пре- образований Фурье. После таких преобразований изо- бражение будет инвариантным к сле- дующим трансформациям: изменению положения, изменению размера и вра- щению, что позволит нам правильно обучить комплексную нейронную сеть. В результате расчётов получается комплексный вектор. Другой пример – прогноз временны ′ х рядов с определённой точностью. Сети прямого распространения с функцией сигмоидальной активации не позволя- ют предсказать ошибку по количеству скрытых нейронов. Чтобыпредсказать эту ошибку, потребуется использовать некоторый ряд для скорости сходимо- сти, для которой уже выведеныформулы расчёта. В этом примере будет исполь- зоваться в качестве такового рядФурье. Архитектура Разберём архитектуру КНС, её слои, веса и их смысл. На изображении (рис. 2) схематично показываются составляющие искус- ственной КНС Фурье. После входных данных x _1, x _2, …, x _ n находится скры- тый слой, который является, по сути, матрицей из m × n комплексных ней- ронов. Где m – это кол-во дескрипто- ров (нормированные коэффициенты в результате преобразования Фурье), а n – это размер вектора входных данных. На рис. 3 показана схема отдельного комплексного нейрона скрытого слоя. Где xi –входныеданные, wi –веса, f (net)– функция активации, out( xi ) – выход- ные данные. Веса, расположенные в первом слое, подразумевают под собой физический смысл частот, а веса, расположенные во втором, имеют значение коэффи- циентов для ряда Фурье. Следователь- но, количество входов для каждого ней- рона в выходном слое равно m × n , что совпадает с количеством коэффициен- тов для ряда Фурье. Оптимизация структуры Само создание матрицы – затраты большого количества вычислительных ресурсов. Но мы сможем уменьшить количество нейронов в скрытом слое в n раз. Тогда каждый нейрон в скрытом слое имеет n выходов, если в КНС n вхо- дов. Это приводит к изменению количе- ства связей, и именно оно уменьшается в n 2 раз без потери качества аппрок- симации функций. Результат составле- ния такой матрицы комплексной ней- ронной сети можно увидеть на рис. 4. Принцип работы КНС Разберём работу этой КНС, записан- ной в матричной форме (формуле). Матричная запись функций актива- ций комплексных нейронов, распо- ложенных в скрытом слое, показана в выражениях 5…7. (1) (2) (3) (4) (5) (6) (7)