Читать книгу "PANN: Новая Технология Искусственного Интеллекта. Учебное пособие"

Обобщение в PANN сводится к формированию среднего арифметического (или в некоторых случаях среднего геометрического), двух или более числовых последовательностей одинаковой длины. Полученные «обобщенные образы» могут быть легко визуализированы.

Рис. 14. Обобщение и визуализация обобщенной числовой последовательности

Визуализация процессов обобщения позволяет увидеть, как усиливаются общие черты и исчезают «специфические особенности» картинок11
  Ниже и далее использованы фотографии из открытой Базы Данных Йельского университета. В Главе «5.2. Тестирование с использованием Базы Данных Йельского университета по распознаванию лиц людей» изложены правила пользования этой базой данных и приводятся соответствующие ссылки.


[Закрыть]. Это – «обоюдоострый» процесс. Излишнее обобщение приводит к тому, что в данный класс попадают картинки, весьма отличающиеся друг от друга. А недостаточное обобщение отбрасывает многие картинки, которые должны были бы попасть в класс. Эта задача в PANN решается путем создания набора классов и подклассов двух или более уровней.

⠀

Рис. 15. Процесс обобщения картинок – сглаживание деталей имиджей (процесс показан по шагам, в софтвере это делается за одну операцию)

Рис. 16. Обобщение набора нейронов-имиджей

2.7.2. Кластеризация путем самоорганизации групп

Кластеризация (cluster analysis) – разделение группы множества объектов на подгруппы (кластеры), включающие похожие по какому-либо критерию объекты. В нейронных сетях кластеризации относится к классу задач «обучения без учителя». К сожалению, в большинстве случаев возможность кластеризации ограничена требованием линейной сепарабельности объектов.

Среди классических нейронных сетей принципиально выделяется сеть Кохонена. Она способна проводить кластеризацию в сложных системах, разделение множества разных объектов на классы – кластеры, то есть более или менее однородные группы объектов, но эта сеть не всегда эффективна. Суть «обучения без учителя» – обеспечение самоорганизующегося процесса разделения больших смешанных групп на меньшие, более однородные.

Ее «рабочий инструмент» – слой Кохонена – состоит из адаптивных линейных сумматоров («линейных формальных нейронов») без функции активации, причем все они имеют одинаковое число входов и получают на свои входы один и тот же вектор входных сигналов. То есть эти нейроны близки (хотя и не идентичны) к нейронам Progress и связаны в сети, весьма похожие на описанные выше сети PANN.

Имиджи в сети Кохонена обрабатываются по правилу «Победитель получает все», суть которого – в результате обучения наибольший из многих сигналов на разных нейронах сигнал превращается в единичный, а сигналы на остальных нейронах обращаются в ноль. Филипп Вассерман в книге Neural Computing. Theory and Practice пишет: «Нейроны Кохонена можно воспринимать как набор электрических лампочек, так что для любого входного вектора загорается одна из них». И здесь снова близкое сходство с парадигмой PANN: «Один нейрон – один имидж».

Как и сеть Кохонена, PANN обеспечивает эффективную кластеризацию набора имиджей. Это осуществляется за счет того, что при распознавании имиджей (например, путем перемножения матриц или другими подходами PANN) формируется таблица Коэффициентов Сходства (CoS), позволяющая в автоматическом или полуавтоматическом режиме комплектовать кластеры похожих объектов и на этой базе строить систему классификации образов.

В отличие от сети Кохонена, PANN способна обеспечивать:

1. Многомерную кластеризацию и многоуровневую классификацию, а также классификацию как по любому набору заданных параметров, так и в режиме самоорганизованной кластеризации/классификации.

2. Обход требования линейной сепарабельности и возможность строить удобные для практического пользования системы «пересекающихся» классификаций.

3. Совмещение процессов самоорганизации с процессами направленной организации, их гибридизацию, при которой преимущества складываются, а недостатки взаимно компенсируются.

4. Быстрое и малозатратное проведение этой работы.

PANN позволяет строить многомерные описания распознанных объектов, что очень важно при любой аналитической работе в науке, менеджменте, медицине, бизнесе и т. п. Такая работа может осуществляться на больших сетях с множеством параметров или на наборе параллельно работающих малых сетей, что во многих случаях предпочтительнее.

Подробнее о кластеризации и классификации мы расскажем на практических примерах в разделе «4.7. Кластеризация и классификация имиджей».

2.8. ПРЯМОЕ ПРОГНОЗИРОВАНИЕ НА БАЗЕ PANN

Самый простой способ прогнозирования – прогноз по аналогии. Например, если на некотором опыте будет обнаружено, что две системы (например, два человека или две компании) в большинстве случаев действуют одинаково, то по действиям одной системы можно с достаточной уверенностью предсказывать действия другой.

PANN позволяет выявлять сходство разных систем и на его основе по поведению одной системы делать предположение о поведении другой.

В одном из кейсов сеть PANN была применена к Базе Данных по изменению ежедневного веса здоровых людей и пациентов с сердечной недостаточностью. Кривые изменения веса были очень сложными, изменения казались случайными и математическому анализу не поддавались, несмотря на многочисленные попытки в течение 10 лет.

Сеть PANN позволила с высокой точностью разделить классы графиков для здоровых и больных.

Таблица изменения веса нового пациента сравнивалась со всеми таблицами изменения веса как здоровых, так и больных. Если эта таблица больше коррелировала с данными по больным – это был сигнал опасности. Более того, при рассмотрении изменения веса на относительно коротких периодах порядка двух-четырех недель были обнаружены моменты обострения болезни, как бы переходы от «здоровых» колебаний веса к «больным». Это позволило обнаруживать опасные изменения здоровья в самом их начале, до того, как они проявятся через очевидные клинические симптомы.

Рис. 17. Диагностическое применение PANN – обнаружение риска сердечной недостаточности по изменениям веса пациентов

⠀

2.9. АППРОКСИМАЦИЯ НА БАЗЕ PANN

Прогнозирование развития ситуаций и событий – одна из важнейших функций разума. PANN позволяет подойти к прогнозированию с новых позиций.

Прогноз есть экстраполяция некоторых тенденций, присущих функционирующей и/или развивающейся системе. Обычным орудием экстраполяции является аппроксимация тенденций некоторыми математическими формулами. Это осуществляется путем регрессии – математического метода, позволяющего подобрать для набора экспериментальных точек наиболее подходящую и достаточно простую формулу.

Другой подход к аппроксимации – использование искусственных нейронных сетей разных типов: многослойного персептрона, сетей с радиально-базисными функциями, вероятностных сетей, обобщенно-регрессионных сетей и т. п.

При большом количестве точек оба этих подхода требуют выполнения внушительных объемов расчетов. А PANN позволяет осуществлять эффективную экстраполяцию благодаря способности к сравнению рассматриваемой последовательности экспериментальных точек с библиотекой сравнения.

PANN позволяет подойти к аппроксимации с новых позиций, использовав 4 типовых шага:

1. Строится библиотека сравнения в виде набора графиков различных типовых математических функций – линейных, степенных, логарифмических, тригонометрических, гиперболических, бесселевых т. п. Могут быть построены также библиотеки специальных «отраслевых функций». Например: в экономике – функции полезности, издержек, функции спроса, предложения и потребления; в радиотехнике – функции управления и функции отклика; в статистике – функции распределения и т. п. Причем каждая функция описана соответствующей формулой и ее коэффициентами.

2. Экстраполируемая экспериментальная кривая распознается на приведенной библиотеке, из ее аналогов выбирается наиболее близкий и удобный для использования, например по критерию простоты описывающей формулы. В отличие от обычных математических и нейросетевых методов экстраполяции, таким образом можно работать не только с непрерывными функциями.

3. Экстраполяцию можно проводить простыми математическими расчетами по выбранной формуле.

4. Если полученная точность неудовлетворительна, используется простой процесс уточнения коэффициентов данной формулы, включающий генерацию нескольких кривых с немного измененными коэффициентами и их сравнение с экспериментальной кривой.

Для линейной экстраполяции экспериментальной кривой была построена небольшая библиотека кривых от Y = X до Y = 5 X. На этой библиотеке проводилось распознавание набора экспериментальных точек и выявлялись кривые, наиболее близкие к рассматриваемой.

Рис. 18. Аппроксимация через распознавание

3. Новые возможности развития Искусственного Интеллекта на основе PANN

3.1. PANN В РЕЖИМЕ КОМПАРАТОРА

Мы выше описали работу PANN по аналогии с работой классических нейронных сетей. Это достаточно удобно для работы и обучения. Но возникает вопрос: насколько адекватно сравнение классических нейросетей с мозгом?

Известно, что до сих пор биологи не обнаружили существования в голове человека чего-то похожего на Искусственные Нейронные Сети.

После разработки теории PANN пришло понимание того, что, как в голове человека, так и в PANN, базовыми операциями являются процессы сравнительного распознавания. И что именно на их основе возможно создание полноценного Искусственного Интеллекта.

«Мышление» в PANN включает 3 основных шага:

1. Идентификация объекта и выявление его аналогов:

• как мы упоминали выше, в голове человека или в устройствах памяти компьютера хранится большое количество «единиц памяти»: слов, картинок, звуков, запахов и т. п., которые составляют «библиотеки сравнения», связанные между собой многочисленными связями;

• PANN может работать как устройство сравнения (компаратор), которое, получив некоторый пакет информации (имидж) от сенсоров или из собственной памяти, сравнивает его с множеством «единиц памяти» из библиотек сравнения и отбирает «единицы», обеспечивающие наилучше сходство с полученным пакетом. То есть обнаруживает в памяти аналоги полученной информации, в большинстве случаев неточные. Среди аналогов могут быть какие-то конкретные объекты или процессы, обобщенные модели объектов или процессов, объекты или процессы с близкими отдельными деталями или характеристиками и т. п.;

• эти аналоги позволяют идентифицировать полученную информацию: «Если нечто выглядит как утка, плавает как утка и крякает как утка, то это, вероятно, и есть утка». Благодаря параллельной работе PANN с множеством единиц памяти идентификация происходит очень быстро.

2. После идентификации некоторого объекта возникает возможность переноса на него с обнаруженных аналогов понимания, оценок, массы разной информации. Это позволяет сформировать некоторое «нечеткое информационное поле», привязанное к рассматриваемому объекту, которое может содержать наряду с полезной информацией информационный шум, несоответствия, противоречия, прямые ошибки и т. п.

3. Далее в работу могут включаться:

• элементы проверки адекватности информации, осуществляемые тоже за счет применения компаратора PANN и библиотек;

• системы PANN-синтеза объектов. Эти системы могут работать на принципах, близких к Генеративным Нейронным Сетям (GAN) и Большим Лингвистическим Моделям (LLM). В настоящее время такие системы еще не разработаны, но нет сомнений в их реализуемости на базе PANN;

• проверка адекватности новой синтезированной «единицы знания», принятие решения об адекватной реакции на распознавание и добавление нового объекта в имеющиеся библиотеки сравнения.

Рис. 19. Процесс сравнения как основа естественного и искусственного мышления

На схеме показано, как информация, полученная из разных источников в виде подлежащего распознаванию имиджа, подается в компаратор. Компаратор находит аналоги распознаваемого имиджа. Это дает возможность передачи сцепленной с аналогами информации в блок синтеза. При этом происходит передача дополнительной информации распознанному имиджу. Далее полученные данные передаются в блок формирования реакции на распознавание (а именно: пренебречь, обратить внимание, принять срочные меры и т. п.), а также на пополнение уже имеющейся библиотеки имиджей сравнения.

3.2. ПРИМЕНЕНИЕ PANN В РАБОТАХ ПО ИСКУССТВЕННОМУ

ИНТЕЛЛЕКТУ

3.2.1. Большие Лингвистические модели

Теория PANN дает уверенность в возможности выполнить функции LLM на недорогом оборудовании и с многократно меньшими расходами электроэнергии.

Одним из хитов сегодняшнего дня является применение Больших Лингвистических Моделей (LLM) типа известных ChatGPT. Наиболее дорогая составляющая LLM – трансформеры. И именно работа трансформеров ответственна за огромное потребление электроэнергии.

Основной компонент трансформеров – двухслойная нейросеть с прямой связью (Feedforward Neural Network, FFN), которая обучается «без учителя» и применяется независимо к каждому эмбеддингу токена. Ее задача – выявить и внести в трансформер дополнительные параметры (сегодня их счет на триллионы), позволяющие убедиться, что контекстуальные эмбеддинги разделены и распределены. Причем все FFN вынужденно используют нелинейную функцию активации GeLU, основанную на гауссиане.

Значительная часть стоимости и расхода энергии трансформеров связана с согласующими элементами Layer Normalization и Skip connections, которые нормализуют функции активации и тем самым помогают стабилизировать обучение трансформеров, устраняя проблемы исчезающего или взрывающегося градиента. Кроме того, коды у каждой из множества FFN в силу «обучения без учителя» принципиально разные, и для работы системы их тоже нужно как-то согласовывать.

Существует острое противоречие: без нелинейности нейронная сеть классического типа просто не может работать, но нелинейность порождает проблемы, очень мешающие ее работе. FFN и системы согласования для устранения вредного влияния нелинейности вносят основной вклад в высокую сложность, стоимость и энергоемкость трансформеров.

Решить эти проблемы может PANN.

С точки зрения теории PANN мышление как искусственного, так и естественного интеллекта обеспечивается:

1. Наличием постоянно пополняемой базы знаний в виде набора ассоциативных библиотек, в которых разные «единицы (или блоки) знаний» связаны частично закономерными, частично случайными ассоциативными (гипертекстовыми) связями. Библиотеки хранятся в специальном формате, обеспечивающем эффективность сравнения разных единиц между собой.

2. Системой восприятия информации (картинки, звуки, запахи и т. п.) от внешних или внутренних датчиков или прямо из памяти.

3. Стандартизацией ее для удобства дальнейшей обработки в виде некоторой «единицы знания».

4. Компаратором – устройством сравнения и идентификации информационных блоков. Компаратор сравнивает полученную единицу знания с «библиотечной», причем в режиме быстрой параллельной обработки данных библиотеки. Результаты сравнения – выявление набора более или менее близких аналогов.

5. Перенос информации с аналогов на рассматриваемую «новую единицу знаний», согласование новых знаний и включение в систему знаний для принятия решений.

Применение PANN вместо FFN позволит на порядки уменьшить время обучения или даже (в одном из вариантов реализации) вообще обойтись без процедуры обучения. При этом применение в конструкции трансформеров совершенно линейной по своей природе PANN снимет проблемы нелинейности, в тысячи (возможно, миллионы) раз сократит объем вычислительных работ, упростит сами трансформеры, уменьшит их стоимость и многократно увеличит производительность.

Возникают также другие интересные возможности: используемый в PANN Binary Comparison Format (BCF) может оказаться очень полезным при работе с токенами лингвистических моделей, обеспечив естественное единство кодов и исключив усилия по их согласованию в трансформерах, порождаемые использованием FFN. Кроме того, BCF позволяет простейшими средствами построить очень простую стандартную «естественную индексацию» числовых последовательностей, возникающую автоматически при погружении любого файла в BCF-формат. Такая индексация обеспечит возможность надежного и очень быстрого параллельного поиска информации в ассоциативных библиотеках памяти.

Типичная проблема «обучения без учителя», то есть самоорганизации – ситуация «shit in – shit out». LLM обучаются на корпусе неразмеченных текстов. Это порождает:

1. Положительные качества – выявление и использование неявных, невербализованных закономерностей.

2. Отрицательные качества – отсутствие организованной и структурированной базы законов и закономерностей, а также критериев достоверности, важности, ценности тех или иных блоков информации.

Существуют корпусы организованных и структурированных знаний, от первой французской «Энциклопедии» до множества компьютерных справочников. Их можно использовать как основу обучения нейронной сети «с учителем». И это тоже имеет как положительные, так и отрицательные стороны. В практике изобретательства такие ситуации в большинстве случаев решаются методом гибридизации – объединения систем таким образом, чтобы их плюсы складывались, а минусы взаимно компенсировались.

В PANN вместо корпусов обучающих текстов используются ассоциативные библиотеки распознавания, позволяющие обеспечить динамичную гибридизацию «обучения с учителем» и «обучения без учителя». Мы предполагаем, что это существенно повысит интеллект LLM и уменьшит, а может быть, и исключит ситуации типа «галлюцинаций системы».

Самое главное – это возможность создавать отдельные Малые Лингвистические Модели (Small Linguistic Models, Small Linguistic Models), например, по отдельным отраслям знания или конкретным темам. А потом объединять разные SLM в блоки библиотек и в конечном итоге – в общую Большую Лингвистическую Модель. Причем построенная таким образом LLM на базе ассоциативных библиотек и компараторов может постоянно пополняться дополнительными библиотеками, доучиваться, корректироваться, изменяться, становиться все умнее… И всегда допускать проверку и контроль, обоснование предлагаемых решений.

3.1.2. Применение PANN в программировании

PANN может быть органично вписана в традиционные цифровые продукты.

Программирование – это описание набора элементарных мыслительных операций, направленных на достижение какой-то цели. Цель программирования – создание такого описания, которое человек или машина могут повторить и получить аналогичный результат. Теория PANN исходит из того, что в мышлении очень большую роль играет операция сравнения, на базе которой проводится большое количество других мыслительных операций – идентификация, абстрагирование, кластеризация, экстраполяция и т. д. Поэтому представляет интерес возможность введения элементов PANN в программные системы.

Как и классические нейронные сети, PANN способна к эмуляции любых алгоритмических программ, включая машины Тьюринга, экспертные системы, любые языки программирования и т. п. И это позволит обеспечить ее использование во многих существующих программных системах для снижения стоимости и улучшения функционирования. В частности:

1. Сегодняшние программные продукты PANN написаны в основном на языке С++ просто потому, что программы просты. По мере развития PANN можно ожидать появления собственного, простого в употреблении языка PANN и все более широкого применения в создании PANN-сетей и продуктов на их базе подходов Low-Code/No-Code. Также можно ожидать, что программные объекты и библиотеки, сделанные по технологии PANN, войдут в различные Объектно-Ориентированные Языки программирования.

2. Существует множество разных нейронных сетей – многослойные, рекуррентные, глубинные, сверточные, резонансные, радиально-базисные, генеративно-состязательные… Сети Хопфилда, Джордана, Коско, Кохонена и т. п. В основе всех этих сетей лежат персептроны. Все они и другие типы специализированных классических нейронных сетей могут быть реализованы на базе PANN как улучшенного аналога персептрона. При этом многие функции многослойных нейронных сетей будет возможно выполнять на одной или нескольких независимых однослойных сетях PANN.

3.1.4. Гибридизация разных подходов к Искусственному Интеллекту

Одним из самых сильных трендов развития в технике является гибридизация альтернативных систем, в том числе конкурентных подходов, продуктов, процессов, технологий и т. п. Известна польза «буксирной гибридизации» – объединение устаревающих, но высокоразвитых и оптимизированных систем с «молодыми», перспективными, но еще слабо раскрученными конкурентами.

Перспективны возможности развития программных продуктов через:

• гибридизацию существующих продуктов на основе нейронных сетей классического типа (систем диктовки, перевода, анализа текстов и т. п.) с PANN для выполнения разного рода дополнительных функций, например кастомизации системы, приспособления к конкретным пользователям;

• возрождение когда-то популярных, но не оправдавших надежд экспертных систем благодаря их гибридизации с PANN и созданию на этой основе системы «объяснения решений»;

• оснащение различных программных продуктов дополнительными блоками «PANN-интеллект» для контроля их работы, нарушений, возможных неправильностей использования, вторжений и других нежелательных эффектов;

• использование PANN для подготовки имиджей с целью их дальнейшей обработки разными софтверами, в том числе графическими редакторами, классическими нейронными сетями, алгоритмическими софтверами типа рендеринга и т. п.

Также перспективно направление гибридизации в разработке систем Искусственного Интеллекта. Кроме Искусственных Нейронных Сетей и упоминавшихся выше Экспертных Систем существуют другие подходы к созданию ИИ, которые могут быть гибридизированы с PANN.

• Машины Тьюринга (МТ)

Идея и теория МТ была создана в 1936 г. для работы с четкими множествами и характерной для них строгой математической логикой. Но реальная жизнь сложнее, и в ней преобладает нечеткая логика нечетких множеств, впервые описанная Лотфи Заде в 1965 г.

Классическая МТ на каждом шаге вычислений ориентируется на точную информацию, полученную, например, на предыдущем шаге или шагах. Но вполне реализуема операция, при которой «ленту памяти» МТ может просматривать PANN-компаратор и формировать следующие шаги по сравнительной оценке сходства воспринятого набора команд и аналогов из библиотеки знаний. Это позволило бы ввести в МТ очень важные свойства реального мышления. И, возможно, построить новый тип ИИ на этой основе, выполняющий функции Больших Лингвистических Моделей более простым и менее затратным образом.

• Клеточные автоматы

Клеточный автомат (КА) – дискретная динамическая система, моделирующая взаимодействия и изменения под их действием большого количества элементов при наличии некоторых типов обратных связей (правил). Например, может эмулировать машину Тьюринга, а также некоторые нейронные сети. На его основе нередко удается получить важные научные результаты. Он может быть еще одним практичным инструментом ИИ. Но главная проблема КА та же, что и у классических нейронных сетей, – необходимость множества итераций в процессе работы и связанные с этим огромные объемы вычислений.

Мы предполагаем, что использование формата BCF и PANN-компаратора позволит превратить КА в эффективный инструмент ИИ.

• Причинно-следственные сети Перла

Традиционные статистические методы в целом показывают сходства, но не причинно-следственные связи (ПСС). А для хорошего управления объектами или процессами, для предвидения результатов действий нужно понимание, которое формируется на основе понятных ПСС. Джуда Перл построил математические модели, близкие нейронным сетям, помогающие выявлять ПСС.

В большинстве случаев на практике нет смысла противопоставлять сходства и ПСС – они взаимно дополняют друг друга. В нашем случае это может реализовываться через взаимодействие компаратора PANN, выбирающего аналоги по коэффициентам сходства, и уже работающего ТРИЗ-софта «Проблем Формулятор», который помогает строить причинно-следственные диаграммы и трансформирует их в наборы задач для решения и рекомендаций по решению этих задач.