Биологические и искусственные нейронные сети

Кора головного мозга состоит из огромного множества простых элементов — нейронов, число которых приблизительно равняется 10 — количеству звезд Млечного Пути. Каждый нейрон связан с несколькими тысячами других нейронов с помощью нервных волокон, через которые передаются электрические импульсы. Таким образом, мозг человека содержит приблизительно 10 взаимосвязей. Чрезвычайно сложная структура связей между относительно простыми элементами как раз и является одним из важнейших «ноу-хау» человеческого мышления.

Каждый нейрон имеет отростки нервных волокон двух типов: денд-риты, по которым в клетку поступают входящие электрические сигналы, и единственный аксон, передающий исходящий сигнал другим нейронам. Аксон связан с дендритами других нейронов через специальные образования — синапсы, которые способны увеличивать или уменьшать силу передаваемого импульса. Схематично это изображено на рисунке :

Входящие импульсы от аксонов других нейронов проходят через синапсы на дендриты, изменяя свою силу, и поступают в тело нейрона. Если суммарный сигнал превышает некоторый критический порог, «заложенный» в теле нейрона, оно активируется и передает исходящий импульс по аксону к следующим нейронам. Принципиально важно, что «пропускная способность» синапсов — способность усиливать или ослаблять сигнал — может меняться со временем, что меняет и поведение нейрона в целом. Именно «настройка» пропускной способности синапсов является основным механизмом обучения в человеческом мозге.

Указанный механизм можно представить в формализованном виде, перевести на язык математики. Обозначим входящие импульсы, поступающие от аксонов других нейронов, символами х1 х2, х3... хп. Синапсы в таком случае будут играть роль весовых коэффициентов V/1 V/2, V/3 ... V". Проходя через синапсы, входящие сигналы изменяют свою силу и образуют суммарный сигнал х = к1х1 +ц>2х2+ ц>3х3 +... + ц>пхп.

Отдельные искусственные (формальные) нейроны объединяются в искусственную нейронную сеть. Сигнал, получаемый на выходе сети (иногда его называют «ответом сети»), будет определяться не только весами и функциями входящих в нее нейронов, но и тем, как нейроны связаны между собой. Структура связей между нейронами называется архитектурой сети.

Существует два основных класса нейросетевых архитектур: 1. Слоистые сети (сети прямого распространения). Как следует из названия данной архитектуры, нейроны в ней расположены в несколько слоев. Нейроны первого слоя получают входные сигналы, преобразуют их и передают нейронам второго слоя. Далее срабатывает второй слой и так далее до последнего слоя к, который выдает окончательный «ответ сети» для пользователя. Как правило, каждый нейрон слоя I (предыдущего) соединен с каждым нейроном слоя 1 + 1 (следующего). Число нейронов в каждом слое индивидуально и никак заранее не связано с числом нейронов в других слоях. Наиболее распространены трехслойные сети, состоящие из входного, скрытого и выходного слоев.

2. Сети полной связи. В такой сетевой архитектуре все нейроны связаны между собой: каждый из них передает исходящий сигнал всем нейронам сети, включая самого себя. Ответом сети являются исходящие сигналы нескольких или всех нейронов после нескольких тактов функционирования сети.

При практической работе с нейронными сетями на персональном компьютере нет необходимости строить сеть «с нуля». В специальных программах уже имеется стандартный набор архитектур, соответствующих разным типам задач. Обычно бывает достаточно выбрать стандартную архитектуру и скорректировать ее (как правило, путем удаления лишнего) в соответствии с решаемой задачей.

Как уже говорилось, в основу концепции нейронных сетей положен постулат, что вся сложность мозга определяется связями между нейронами, которые можно моделировать с помощью простых автоматов. Известно, что количество информации, передаваемой между нейронами, является очень незначительным (несколько бит), а скорость передачи сигнала в миллионы раз ниже, чем в современных электронных процессорах. Поэтому: 1) мозг решает задачу не путем последовательной серии взаимодействий, а запуская несколько параллельных программ; 2) основная информация не передается непосредственно, а захватывается и распределяется в связях между нейро-электроннами. С некоторым преувеличением можно сказать, что в нейросетевом подходе реализован принцип «структура связей — всё, свойства элементов — ничто».

Именно это свойство позволило реализовать на практике способность машины к обучению на примерах. Уникальность нейронных сетей состоит в том, что они решают различные задачи в соответствии не с изначально заложенными в них программными алгоритмами, а с алгоритмами, которые вырабатывают они сами, обучаясь на множестве примеров.

Различия между «классической» электронно-вычислительной машиной (машиной фон Неймана) и биологическими нейронными сетями, принципы организации которых были взяты на вооружение ИНС, систематизируются в следующей таблице :