Текст книги "Нейротон. Занимательные истории о нервном импульсе"

Кибернетика

Некогда модное, а теперь почти забытое слово. Но из истории его не выкинешь. Именно из кибернетики выросли современные идеи нейронных сетей и искусственного интеллекта.

Историки полагают, что первым, кто применил термин «кибернетика» для управления в общем смысле, был древнегреческий философ Платон. Однако реальное становление кибернетики как науки произошло много позже. Оно стало закономерным итогом развития технических средств управления и преобразования информации.

История современной кибернетики началась в 1948 году с публикации Норбертом Винером (Norbert Wiener, 1894—1964) культовой одноимённой книги «Кибернетика».

Винер предложил называть Кибернетикой «науку об управлении и связи в животном и машине».

Кибернетика (от греч. kybernetike – искусство управления, от kybernáo – правлю рулём, управляю), наука об управлении, связи и переработке информации.

Основным объектом исследования в кибернетике являются так называемые кибернетические системы. Такие системы рассматриваются абстрактно, вне связи с их реальной физической природой. Высокий уровень математической абстракции позволяет кибернетике применять общие методы к изучению систем самой разной природы, например, технических, биологических и даже социальных.

Методы кибернетики. Имея в качестве основного объекта исследования кибернетические системы, кибернетика использует для их изучения три принципиально различных метода исследования. Первые два: математико-аналитический и экспериментальный, широко применяются и в других науках.

Зато третий – метод математического (машинного) эксперимента, или математического моделирования появился и стал популярен благодаря кибернетике. Суть его состоит в том, что эксперименты производятся не с реальным физическим объектом или его моделью, а с его математическим описанием. Описание объекта вместе с программами, моделирующими изменения характеристик объекта в соответствии с этим описанием, загружается в память ЭВМ, что делает возможным проводить с объектом различные эксперименты: контролировать его реакции на изменение тех или иных условий, менять те или иные элементы описания и тому подобное. Огромное быстродействие современных компьютеров зачастую позволяет моделировать многие процессы в более быстром темпе, чем они происходят в действительности.

При кибернетическом подходе к изучению мозга как системы нейронов, обычно абстрагируются от их размеров, форм, химического строения и прочего. Предметом изучения выступают состояния нейронов, вырабатываемые ими сигналы и связи между нейронами, а также алгоритмы изменения их состояний.

Есть два способа запоминания информации в кибернетических системах, оно обусловлено: либо изменениями состояний элементов системы, либо изменениями структуры системы. Различие между ними не принципиально. В большинстве случаев оно зависит лишь от выбранного подхода к описанию системы. Например, популярный сегодня взгляд объясняет долговременную память животных изменениями проводимости синаптических контактов, т. е. связей между отдельными составляющими мозг нейронами. Если в качестве элементов, составляющих мозг, рассматриваются исключительно сами нейроны, то изменение синаптических контактов следует рассматривать как изменение структуры мозга. Если же и все синаптические контакты, независимо от степени их проводимости, рассматриваются как составные части мозга, то процесс запоминания сведётся к изменению состояния элементов при неизменной структуре системы.

Искусственные нейронные сети

Прежде всего надо пояснить, что искусственная нейронная сеть (ИНС, нейросеть) это не привычная нам сеть, связывающая некоторое количество компьютеров. ИНС – это математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей – сетей нервных клеток живого организма. ИНС может быть создана и на одном отдельном компьютере. Так что не стоит предполагать, что ИНС «умнее» привычных нам компьютеров. Нет, это просто новый «интеллектуальный» способ обработки данных.

Математическая модель искусственного нейрона вместе с моделью сети, состоящей из этих нейронов была предложена Уорреном Мак-Каллоком и Уолтером Питтсом в 1943 году. В своей фундаментальной статье о логическом исчислении идей и нервной активности эти учёные формализовали понятие нейронной сети. Авторы продемонстрировали, что сеть на таких элементах способна выполнять и логические, и числовые операции. Для создания первых эквивалентов ИНС предлагались электровакуумные лампы в качестве идеального на тот момент технического устройства.

Работая у истоков нейробиологии, Уоррен Мак-Каллок и Уолтер Питтс в своей статье 1943 года «Логическое исчисление идей, присущих нервной деятельности» предложили первую логическую схему нейрона.

Рисунок 44 Базовый нейрон Маккалока и Питтса

Первая нейросеть была создана Розенблаттом и Мак-Каллоком в 1956—1965 годах. Это была попытка создать систему, моделирующую взаимодействие человеческого глаза с мозгом. Устройство, созданное ими тогда, получило название «Персептрон» (Perceptron). Оно реально умело различать буквы алфавита, хотя и было чувствительно к их написанию. Персептрон обрёл популярность – его и сейчас используют для распознавания образов, прогнозирования погоды и т. д.

В то время казалось, что человечество стоит на пороге создания полноценного искусственного интеллекта. Но постепенно в 70—80 годах количество работ по этому направлению стало снижаться. Слишком неутешительны были первые результаты. Авторы объясняли свой скептицизм малой памятью и низким быстродействием существовавших в то время вычислительных систем.

Но прошло два десятка лет и идеи нейро-бионики – создания технических средств на нейро-принципах – снова начали интенсивно обсуждаться. Катализатором стал тот факт, что размеры и количество элементарных ячеек в процессорах компьютеров стало соизмеримо с размерами количеством нейронов в нервной системе, а скорость выполнения операций электронных элементов в миллионы раз превзошла быстродействие биологических систем. В то же время эффективность решения задач, особенно связанных с ориентированием и принятием решений в естественной среде, у живых систем остаётся пока на недостижимо высоком уровне.

Основная концепция. В отличие от традиционных цифровых систем, представляющих собой комбинации процессорных и запоминающих блоков, нейро-процессоры содержат память, распределённую в связях между очень простыми процессорами, которые часто могут быть описаны как формальные синапсы. Тем самым основная нагрузка на выполнение конкретных функций системы ложится на её архитектуру, детали которой в свою очередь определяются межнейронными связями.

Технически искусственная нейронная сеть представляет собой смоделированную на компьютере систему соединённых и взаимодействующих между собой искусственных нейронов. Нейроны в такой системе способны исключительно принимать сигналы от других нейронов, суммировать их и передавать третьим нейронам. Но при всей кажущейся простоте, связанные между собой управляемыми связями нейроны вместе способны выполнять довольно сложные задачи.

Что бы понять, как работает нейросеть, давайте рассмотрим подробнее её составляющие и их параметры.

Что такое искусственный нейрон?

Современная ИНС любой сложности состоит из элементов – нейронов. Нейрон – это элементарная вычислительная единица, способная получать информацию, производить над ней простые вычисления и передавать её дальше. Нейроны бывают трёх типов:

S-нейроны – это слой сенсоров или рецепторов. В физическом воплощении они соответствуют, например, светочувствительным клеткам сетчатки глаза или фоторезисторам матрицы фотоаппарата. Каждый нейрон-рецептор может находиться либо в состоянии покоя, либо в возбуждённом состоянии, в последнем случае он передаёт единичный сигнал в следующий слой, ассоциативным нейронам.

Рисунок 45 Логическая схема элементарной однослойной НИС. Веса S – A связей могут иметь значения —1, +1 или 0 (то есть отсутствие связи). Веса A – R связей W могут быть любыми.

Ассоциативные нейроны (A-нейроны), названы так потому что каждому такому элементу, соответствует некоторый набор (ассоциация) S-нейронов. A-нейрон активизируется, как только количество сигналов от S-нейронов на его входе превысит некоторый порог θ.

Сигналы от возбудившихся A-нейронов, в свою очередь, передаются в сумматор R, причём сигнал от i-го ассоциативного нейрона передаётся с коэффициентом (W_i). Этот коэффициент называется весом A—R связи.

Так же, как и A-нейрон, R-нейрон подсчитывает сумму значений входных сигналов, помноженных на веса (линейную форму).

На выходе R-нейрона генерируется «1», если сумма входящих сигналов превысит заданный порог θ, иначе на выходе будет «—1» или «0». Математически, функцию, реализуемую R-элементом, можно записать так:

У каждого из рассмотренных нейронов есть два обязательных параметра: входные данные «вход» и выходные «выход». В случае сенсо́рного S-нейрона: «вход» равен «выходу». В остальных, на «входы» передаётся суммарная информация «выходов» нейронов из предыдущего слоя которая после нормализации попадает на «выход».

В каждой искусственной сети обязательно присутствуют входной слой – S, выходной слой, который выводит результат, и в зависимости от сложности есть некоторое количество слоёв (A).

Что такое искусственный синапс?

Синапс – это связь между двумя нейронами. У синапсов есть всего один параметр – вес (W_i). Благодаря ему информация между нейронами передаётся с определённым коэффициентом. Допустим, есть три нейрона, которые передают информацию следующему. Тогда мы имеем три веса, соответствующие каждому из их синапсов. Информация, переданная через синапс бо́льшим весовым коэффициентом, окажется доминирующей в следующем нейроне (пример – смешение цветов). На самом деле, совокупность весов нейронной сети или матрица весов – это и есть своеобразный мозг всей системы.

Рисунок46. Логика искусственного синапса

Нейрон имеет один выход, называемый аксоном по аналогии с биологическим прототипом. Но с единственного выхода нейрона сигнал может поступать на произвольное число входов других нейронов через синапсы с разными весами.

При этом, по аналогии со связями между биологическими нейронами, связи с положительным весом называются возбуждающими, а с отрицательным – тормозящими.

Как работает искусственная нейронная сеть?

Теперь, когда у нас есть входные данные и веса́, мы можем получить выходные данные. Получив выходные данные, мы передаём их дальше. И так повторяем для всех слоёв, пока не дойдём до выходного нейрона. Включив такую сеть в первый раз, мы, вероятно, получим результат весьма далёкий от правильного. Это потому что сеть «не натренирована». Чтобы улучшить результаты мы будем её тренировать. Но прежде давайте введём несколько терминов и свойств нейронной сети.

Тренировочный сет – это последовательность данных, которыми оперирует нейронная сеть.

Эпоха. Перед запуском нейронной сети эта величина устанавливается в 0 и имеет предел, заданный вручную. Эпоха увеличивается каждый раз, по завершении всего набора тренировочных сетов.

Ошибка. Этот термин применяется к процентной величине, показывающей расхождение между правильным и полученным ответами. Ошибка формируется каждую эпоху и по мере обучения сети должна снижаться. Для вычисления ошибки разработаны различные алгоритмы (мы их рассматривать не будем).

Важным свойством любой нейронной сети является способность к обучению. Процесс обучения сводится к процедуре настройки весов и порогов, приводящих к уменьшению показателя ошибок.

После обучения сеть может работать в режиме распознавания и обобщения. При этом ей предъявляются ранее неизвестные объекты, а она должна установить, к какому классу они принадлежат.

Обученная нейронная сеть приобретает способность выявлять сложные и даже неочевидные взаимосвязи между входными данными и выходными. Такая сеть сможет выдать верный результат на основании данных, которых не было в обучающей выборке, а также неполных и частично искажённых данных.

Кто будет обучать ИНС? Ответ – компьютер. Откуда компьютер знает? Человек вложил в него информацию. Искусственный интеллект – это по-прежнему абстракция.

Практическое применение

Стоит признать, некоторым вещам научить искусственную нейронную сеть невозможно, например, таким как предсказывать выигрышные номера в лотереях.

Но вот для любителей поиграть на бирже есть примеры решений. Входные данные – курс акций за год. Задача – определить завтрашний курс. Проводится следующее преобразование – выстраивается в ряд курс за сегодня, вчера и позавчера. Каждый следующий набор смещается по дате на один день назад. На полученных наборах обучается сеть с тремя входами (курсы за предыдущие три дня) и одним выходом – курс на следующую дату.

Обученной таким образом сети подаём на вход курсы за сегодня, вчера, позавчера, а сеть выдаёт нам прогноз на завтра. Стоит заметить, что в этом случае сеть просто выведет зависимость одного параметра от трёх предыдущих. Если возникнет необходимость учитывать ещё какой-то параметр, например, разные биржевые индексы, то его надо добавить как «вход», включить в примеры, переобучить сеть и получить новые результаты. И всё бы было здорово если бы удалось учесть все возможные параметры.

Применение этих технологий на бытовом уровне на сегодня пока экзотика, но они вполне доступны любому айтишнику, владеющему современными языками программирования. А в Интернете можно найти и готовые скрипты, и онлайн-сервисы.

Для чего нужны нейронные сети?

Благодаря ИНС, машина обретает способность анализировать и даже запоминать различную информацию. И самое главное, на основе своего опыта система может предполагать результат.

Самыми распространёнными применениями нейронных сетей является:

– Классификация – распределение данных по параметрам. Например, на вход даётся набор людей и нужно решить, кому из них давать кредит, а кому нет. Эту работу может сделать нейронная сеть, анализируя такую информацию как: возраст, платёжеспособность, кредитная история и т. д.

– Предсказание – возможность предсказывать следующий шаг. Например, рост или падение акций, основываясь на ситуации на фондовом рынке.

– Распознавание – в настоящее время, самое широкое применение нейронных сетей. Используется в Google, когда вы ищете фото или в камерах телефонов, когда оно определяет положение вашего лица и выделяет его и многое другое.

Постепенно складывается рынок нейрокомпьютеров. В настоящее время широко распространены различные высокопараллельные нейро-ускорители (сопроцессоры) для различных задач. Моделей универсальных нейрокомпьютеров на рынке мало, отчасти потому, что большинство из них реализованы для спецприменений. Примерами нейрокомпьютеров являются нейрокомпьютер Synapse (Siemens, Германия), процессор NeuroMatrix. С технической точки зрения, сегодняшние нейрокомпьютеры – это вычислительные системы с параллельными потоками одинаковых команд и множественным потоком данных (MSIMD-архитектура). Это одно из основных направлений развития вычислительных систем с массовым параллелизмом.

Искусственная нейронная сеть может передаваться от нейрокомпьютера к нейрокомпьютеру, так же, как и компьютерная программа. Выделяются несколько уровней отчуждения нейронной сети от универсального нейрокомпьютера: от сети, обучающейся на универсальном устройстве, до полного отчуждения без возможностей обучения и модификации, только функционирование обученной сети.

Чем сложнее обученная сеть, тем труднее извлечь из неё явный и понятный пользователю алгоритм решения задачи, поскольку собственно нейронная сеть и является этим алгоритмом.

Для решения этой проблемы создают специальные алгоритмы вербализации, которые помогают извлечь явный метод решения.

На практике вербализация осуществляется при переносе или встраивании обученной и упрощённой нейросети в обычный программный код или электронное устройство, а также для использования результатов в виде явных знаний.

Перспективы

Первоначально искусственный нейрон мог оперировать только с сигналами логического нуля и логической единицы, поскольку был построен на основе биологического прототипа, который может пребывать только в двух состояниях – возбуждённом или невозбуждённом. Развитие искусственных нейронных сетей показало, что для расширения области их применения необходимо, чтобы нейрон мог работать не только с бинарными, но и с непрерывными – аналоговыми сигналами. Такое обобщение модели нейрона было сделано Уидроу и Хоффом, которые предложили в качестве функции срабатывания нейрона использовать логистическую кривую.

Постепенно в нейрокомпьютинге назревает новое направление, основанное на соединении биологических нейронов с электронными. По аналогии с Software – программное обеспечение и Hardware – электронное аппаратное обеспечение, эти разработки получили наименование Wetware.

В настоящее время уже существует технология соединения биологических нейронов со сверхминиатюрными полевыми транзисторами с помощью нановолокон. В том числе, для создания соединений между нейронами и электронными устройствами применяются углеродные нанотрубки.

«Ложка дёгтя». Чрезвычайно популярной стала тема ИНС в кругах чиновников и управленцев высшего звена в 2010-е годы. Как было бы удобно переложить бремя принятия решений на искусственную нейросеть, а заодно и ответственность за возможные ошибки. Но искусственный интеллект будет по-прежнему предлагать правильное решение на основе предыдущих (его же) правильных решений, и, увы, он не родит ни одной гениальной или даже просто новой, оригинальной идеи.

А хакеры будущего вероятно будут не просто воровать деньги с кредиток, они станут генерировать многоходовые стратагемы, приводящие ИНС к нужным им решениям.

Нейротехнологии и искусственный интеллект

История нейрокомпьютерных интерфейсов

Следуя идее о том, что информация в нервной системе передаётся в виде электрических сигналов, распространяющихся по нейронам, учёные не могли не прийти к мысли о возможности непосредственного взаимодействия нейронов с электронными устройствами, например, компьютером. Так родилась идея Нейрокомпьютерного интерфейса (НКИ), называемого также «прямой нейронный интерфейс», «мозговой интерфейс», интерфейс «мозг – компьютер».

С помощью НКИ можно либо принимать электрические сигналы от нейрона, либо посылать сигналы к нему.

Но, всё началось задолго до того, как появились нейронные сети и даже компьютеры. В далёком 1925 году Вальтер Рудольф Гесс талантливый швейцарский нейрофизиолог исследовал вегетативную нервную систему. В своих экспериментах на кошках в 1925—1940 годах он первым применил вживляемые электроды, которые вводил в точно определённые зоны промежуточного мозга. Когда послеоперационная рана заживала, можно было возбуждать слабым током его определённые участки или даже разрушать их, наблюдая за последствиями.

Естественно, раздражение различных зон приводило к различным эффектам – от сокращения мышц, поднимающих шерсть, до погружения в сон, выделения слюны и изменения частоты сердечных сокращений. В общем, всего того, что контролируется вегетативной нервной системой.

Его фундаментальный труд на основе двадцати пяти лет исследований связей участков промежуточного мозга с функциями вегетативной нервной системы – «Функциональная организация промежуточного мозга» опубликованный в 1948 году, остаётся актуальным и сегодня.

Нобелевская премия не заставила себя ждать. Уже в 1949 году Гесс разделил её с печально известным Эгашем Монишем изобретателем лейкотомии. К счастью для людей, но не для кошек, жертвами экспериментов Гесса стали только животные.

До 1950-х годов технологические ограничения не позволяли регистрировать единичные нервные импульсы у людей во время нейрохирургических процедур. Аппаратура для записи данных внутриклеточного микроэлектрода Алана Ходжкина образца 1952 года, как, впрочем, и метода фиксации потенциала были слишком громоздкими, чтобы их можно было реализовать в ограниченных условиях операционной. Разработка внеклеточных стеклянных микропипеточных электродов в 1955 году открыла такую возможность. Уорд и Томас (Ward and Thomas) сообщили что сумели зарегистрировать единичные потенциалы действия у пациента с эпилепсией с помощью стеклянных микропипеток, заполненных раствором хлорида калия. Сам факт такой процедуры оказался главным их достижением, поскольку расшифровать запись они не смогли. Стеклянные микропипетки были хрупкими и могли использоваться только в течение ограниченного времени операции, а полученные записи были искажены эффектом наркоза.