Читать книгу "PANN: Новая Технология Искусственного Интеллекта. Учебное пособие"

5. Некоторые эксперименты с Matrix_PANN
Тестирование PANN в большинстве случаев имеет целью сравнение его с классическими нейронными сетями. Казалось бы, это несложно – загрузить в один компьютер классическую нейронную сеть и PANN и проверить на одинаковых задачах. Но на самом деле все сложнее из-за высокой неоднородности объектов сравнения. Вроде детского вопроса: кто сильнее – танк или подводная лодка…

5.1. РЕКОМЕНДАЦИИ ПО ТЕСТИРОВАНИЮ

В процессе работы не забывайте сохранять сформированные библиотеки:

• разберитесь, как их изменять, убирая ненужное или дополняя. Используйте иконку Train для комплектования библиотек;

• используйте опцию Record Text для сохранения результатов тестирования.

Будьте осторожны при работе со стандартными наборами тестирующих материалов. У нас нет доказательств, но из бесед со специалистами в области нейронных сетей и ИИ сложилось впечатление, что:

• в некоторые тестовые наборы материалов умышленно (или по ошибке) включаются неправильные имиджи. В некоторых случаях их закладывают специально с целью проверки честности тестеров;

• некоторые нейросетевые приложения специально «подгоняются» самыми разными методами к определенным условиям тестирования (например, конкурсного). И их сравнение с универсальными (то есть неспециализированными) продуктами, к числу которых относится PANN, дает нерелевантные результаты.

Если в процессе тестирования возникнут проблемы – непонимание, неудобство в пользовании – или предложения, как сделать программу лучше, как ее приспособить для некоторых конкретных применений и т. п., обращайтесь, пожалуйста, к нам. Мы ответим на ваши вопросы и рассмотрим ваши предложения.

Прежде чем приступать к активному тестированию софтвера Matrix_PANN, рекомендуем попрактиковаться в тестировании на учебных библиотеках распознавания, входящих в состав дистрибутива. В первую очередь попробуйте поиграть с Базой Данных Йельского университета. Один из примеров ее использования приведен выше в разделе «4.7.3. Классификация имиджей».

⠀

5.2. ТЕСТИРОВАНИЕ С ИСПОЛЬЗОВАНИЕМ БАЗЫ ДАННЫХ

ЙЕЛЬСКОГО УНИВЕРСИТЕТА ПО РАСПОЗНАВАНИЮ

ЛИЦ ЛЮДЕЙ

Для экспериментов используем приведенную в разделе дистрибутива Demon Базу Данных Йельского университета по лицам людей https://www.kaggle.com/datasets/olgabelitskaya/yale-face-database.

Примечание

Базу Данных Йельского университета по лицам разрешается свободно использовать в исследовательских целях. В публикациях результатов следует ссылаться на источник: P.N. Belhumeur; J.P. Hespanha; D.J. Kriegman, «Eigenfaces vs. Fisherfaces: recognition using class specific linear projection». Published in: IEEE Transactions on Pattern Analysis and Machine Intelligence (Volume: 19, Issue: 7, July 1997). Без разрешения Йельского университета изображения из Базы Данных не могут быть включены в более крупную базу данных, которая затем распространяется публично.

Выбор этой относительно небольшой базы данных связан с:

• высокой линейностью PANN, в силу которой эксперименты на малых выборках дают результаты, которые могут адекватно переноситься на большие выборки. Единственное ограничение – не выходите за пределы мощности компьютера по оперативной памяти;

• хорошей организацией этой базы данных, обеспечивающей возможность множества полезных тестов;

• необходимостью проведения большого количества разных тестов в ограниченное время.

При желании можно использовать для тестов расширенную Базу Данных Лиц Йельского университета Extended Yale B https://paperswithcode.com/dataset/extended-yale-b-1, которая содержит 16 128 изображений 28 человек в 9 позах и 64 условиях освещения. Размер картинок 168 × 192 пикселя. Могут использоваться и многие другие базы данных, имеющиеся в свободном доступе.

Используемая в данной серии тестов База Йельского университета содержит 165 GIF-изображений 15 субъектов (subject01, subject02 и т. д.) в формате 100 × 100 пикселей. Из них сформировано 15 классов с номерами от 01 до 15. В каждом классе имеется 11 изображений, по одному на каждое из следующих выражений лица или вида освещенности:

Рис. 50. Типажи «Йельских лиц»

Причем:

• 120 изображений (15 классов, содержащих по 8 изображений каждого субъекта) входят в обучающую выборку Faces for training;

• 45 изображений (15 классов по 3 случайно выбранных изображения каждого субъекта) входят в тестовую выборку Faces for testing.

Обучающая и тестовые выборки не пересекаются.

Дополнительно был создан класс Faces corrupted для оценки распознавания так или иначе поврежденных имиджей:

Рис. 51. Новый класс «Faces corrupted»

Также был создан класс Face turns для оценки распознавания поворотов картинки:

Рис. 52. Новый класс «Face turns»

Начните просто с обучения Matrix_PANN по выборке Faces for training и тестирования распознавания по выборке Faces for testing. Кстати, Matrix_PANN можно тестировать и по тем данным, по которым ее обучали, никакого влияния на результаты это не окажет.

Задокументируйте полученные результаты и проанализируйте их. Не ожидайте, что всегда распознавание будет безошибочным – такого не бывает ни в нейронных сетях, ни среди людей, всем свойственно иногда ошибаться.

Продолжите тестирование с использованием выборки Faces corrupted. Будьте готовы, что результаты не всегда будут удовлетворительными.

Загрузите All Faces images 165 и попрактикуйтесь в кластеризации имиджей, как это описано в разделе «4.7.3. Классификация имиджей». Попрактикуйтесь в создании новых классов, например:

1. По субъектам.

2. По типам имиджей, включая все или некоторые из типов, имеющихся в базе:

• центральный свет; левый свет; правый свет;

• в очках; без очков;

• нормальный; счастливый, грустный; сонный; удивленный; подмигивающий.

3. Возможно также провести кластеризацию по другим параметрам, таким, как открытый рот, негр, азиат, усатый, молодой-старый и т. п.

5.3. ТЕСТИРОВАНИЕ НА «САМОДЕЛЬНОЙ БИБЛИОТЕКЕ»

В 2020 г. на LinkedIn был опубликован материал «Какое отношение собаки и кексы имеют к точности ваших решений на основе искусственного интеллекта и машинного обучения?»22
  Материал «What dogs and muffins have to do with the accuracy of your AI/ML based solutions?»: https://www.linkedin.com/pulse/what-dogs-muffins-have-do-accuracy-your-aiml-based-solutions-chyla.


[Закрыть].

Компания eLeader Shelf Recognition AI рекламировала софтвер для распознавания заполнения полок в магазинах. Это очень важная функция ИИ в торговле. Причем трудность решения этой задачи подчеркивалась описанием сложной проблемы – различении на имиджах собачек чихуахуа от кексов. В октябре 2023 г. в Интернете появились победные реляции: ChatGPT-4 научился безошибочно отличать собачек от кексов!

Мы решили проверить способности Matrix_PANN на этой задаче. Имиджи кексов и собачек мы вырезали прямо из материалов исходной публикации и сделали из них библиотеку обучения.

Рис. 53. Направленное формирование новых библиотек

После обучения по обеим группам, длившегося на обычном офисном ноутбуке 0,023 секунды, распознавание оказалось абсолютно правильным. Ниже мы приведем некоторые его дополнительные результаты.

Рекомендуем тестерам также «поиграть» с Matrix_PANN, применяя базы картинок из директории DEMON, в том числе Miscellaneous, Fruits, Textures, Piano, Clock, Laptops.

5.4. ОЦЕНКА СКОРОСТИ РАБОТЫ PANN ПРИ РАЗЛИЧНЫХ

УСЛОВИЯХ

5.4.1. Зависимость скорости работы от формата и количества уровней веса

Тестирование скорости обучения PANN на упомянутом ноутбуке HP ZBook Firefly 15 G8 Mobile Workstation (2021) показало:

1. При обучении одного и того же набора данных время обучения почти постоянно, имеются колебания порядка ±5% из-за девиаций нагрузки компьютера CPU. При отключении компьютера от сети изменения становятся меньше.

2. Имеет место линейная зависимость времени обучения от количества файлов или размера имиджей (количества пикселей в картинке). На приведенном графике показана линейная зависимость времени обучения от размера имиджей от 1024 пикселей (формат 32 × 32) до 10 000 пикселей (формат 100 × 100).

Рис. 54. Линейный рост времени тренинга с ростом размера имиджа

Простая зависимость времени обучения от размера картинки резко отличает PANN от обычных сетей, у которых время обучения плохо предсказуемо, нелинейно и резко растет при увеличении размеров картинок. Незначительный разброс точек около прямой связан с нестабильностью нагрузки компьютера.

Мы провели тесты эффективности распознавания и затрат времени на него в зависимости от размера картинок и/или количества выбранных весов.

Пример: точность распознавания и затраты времени при использовании трех форматов одних и тех же картинок при 8 уровнях весов:

32 × 32, 1024 пикселя в картинке, время тренинга – около 12 секунд;

64 × 64, 4096 пикселей в картинке, время тренинга – около 70 секунд;

100 × 100, 10 000 пикселей в картинке, время тренинга – около 180 секунд.

Было показано, что в сетях PANN увеличение размера картинки точность не повышает, но неоправданно замедляет работу по обучению и распознаванию.

⠀

Рис. 55. Независимость точности распознавания от размера имиджа

Аналогичные тесты были проведены и с сетью по различению кексов и собачек. Вот некоторые результаты.

5.4.2. Зависимость достоверности распознавания от количества уровней цвета (весов)

Количество пикселей 32 × 32 = 1024 пикселя.

Проводим тестирование на имиджах собак и кексов.

В отличие от распознавания в классических нейронных сетях, где результатом является указание на один наиболее близкий класс, без числовой оценки степени сходства, в сетях PANN оценивается рейтинг сходства. Принимаем за единицу сходство распознаваемого имиджа с доминирующим классом, а сходство с другими классами оцениваем в долях от единицы.

Рис. 56. Слабая зависимость точности распознавания от числа уровней веса (цветности) имиджа

Во всех случаях «собаки» распознавались правильно, с коэффициентом сходства 1, а коэффициент сходства кексов с собаками был существенно меньше, в среднем 0,83. Это дает уверенность в правильности распознавания.

Еще лучшие данные получены при распознавании кексов – во всех случаях «кексы» распознавались правильно, с коэффициентом сходства 1, а коэффициент сходства кексов с собаками был в среднем 0,72.

Нарастание времени во всех случаях шло линейно от 0,018 сек. при 2 уровнях веса до 4,24 сек. при 256 уровнях веса. Тесты показали, что для надежного различения цветных довольно сложных картинок при размерности 32 × 32 пикселя достаточно всего 4 уровней веса.

5.4.3. Зависимость распознавания от величины разрешения имиджа (числа пикселей)

Количество уровней веса принято 8.

Продолжаем экспериментировать с собаками и кексами.

Рис. 57. Независимость точности распознавания от размера имиджа

Во всех случаях «собаки» распознавались правильно, с коэффициентом сходства 1, а коэффициент сходства кексов был в среднем 0,78.

Еще лучшие данные получены при распознавании кексов – во всех случаях «кексы» распознавались правильно, с коэффициентом сходства 1, а коэффициент сходства собак был в среднем 0,72.

Нарастание времени во всех случаях шло линейно от 0,023 сек. при разрешении 16 × 16 = 256 пикселей до 14,1 сек. при разрешении 256 × 256 = 65 536 пикселей. Тесты показали, что для надежного различения картинок при 8 уровнях веса достаточно уже размерности 16 × 16 = 256 пикселей.

5.4.4. Зависимость времени распознавания от количества имиджей

Согласно теоретическим расчетам, зависимость времени обучения от числа имиджей в сетях PANN должна быть квадратичной. Эксперименты подтверждают это, незначительный разброс точек на кривой связан с нестабильностью нагрузки компьютера.

Рис. 58. Зависимость времени тренинга от числа имиджей

Но даже это не очень большое время обучения в силу линейности PANN можно радикально уменьшить, просто разделив сеть на части и тренируя их по отдельности. На рисунке 59 показана ситуация одновременного запуска на компьютере 3 независимых окон Matrix_PANN. В первом из них количество загруженных имиджей составляло 150, во втором и третьем окне было загружено по 75 имиджей из той же базы.

Рис. 59 Время тренинга при разном числе имиджей

На рисунке показаны результаты проведенных тренингов. Обратите внимание, что время обучения, а значит, и расход энергии в 5,15 раз меньше, а коэффициенты сходства одних и тех же файлов совершенно не зависят от того, сколько имиджей распознавалось.

Рис. 60. Независимость точности распознавания от числа имиджей

Это означает, что даже при достаточно больших объемах библиотек, учитывая относительно небольшие объемы требуемых вычислений, время работы системы PANN даже на не очень мощных компьютерах можно привести к желаемой величине распараллеливанием вычислительных процессов, например используя разные ядра CPU и/или GPU. Причем в силу прозрачности и полной предсказуемости работы сетей PANN закон Амдала не станет препятствием к этому.

5.5. ДРУГИЕ ТЕСТЫ

Мы проводили также тестирование PANN на сбои в работе: зависания, параличи, взрывающиеся и затухающие градиенты, переобучение и катастрофическое забывание, ограничение точности обучения, критичность к порядку обучения и к линейной сепарабельности обучающей выборки. Теоретически в PANN ничего подобного возникнуть не может. И на практике при всех усилиях нам не удалось добиться ничего подобного.

5.6. СОБСТВЕННЫЕ ТЕСТЫ КЛИЕНТОВ

Вполне возможно тестирование посредством сравнения результатов PANN и различных сетей классического типа. Такие сравнения должны проводиться на одном и том же оборудовании при одинаковых условиях. При этом целесообразно сравнивать затраты ресурсов – памяти и вычислительных мощностей на аналогичные работы.

Для своих тестов вы можете использовать любые существующие базы данных, например CIFAR. Либо подготовить свои базы данных, соблюдая следующие условия:

1. Обеспечьте лейблинг своей библиотеки сравнения (формирование названий классов и имиджей в классах) так, чтобы по классу (директории) было понятно, что в ней находится, а по названиям файлов – к какому основному классу они относятся. Не стоит давать файлам слишком сложные имена, это приведет к неудобствам при использовании.

2. Не стремитесь работать с большими картинками и высокой их цветностью. Это увеличит сроки работы и в большинстве случаев, как показано выше, не улучшит, а иногда и ухудшит распознавание.

3. Не готовьте сразу большое количество картинок, начните первые эксперименты, подготовив десяток или пару десятков имиджей. По результатам этих тестов вы лучше поймете, что следует делать дальше.

4. Старайтесь выдерживать (не обязательно очень точно) заданную форму картинок, то есть соотношение сторон прямоугольника, в который картинка вписана, а также близкий масштаб картинок.

5. Старайтесь обеспечить примерно одинаковую центровку однородных картинок и близкий поворот картинок относительно системы координат.

Примечание

В следующих релизах работа с картинками будет автоматизирована.

5.7. ОБЩИЕ РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ

Мы провели широкое сравнение разных параметров и характеристик классических нейронных сетей и PANN, результаты его в таблице ниже.

Часть 3.
Перспективы применения PANN

6. Работы по совершенствованию PANN
Компания Progress Inc постоянно ведет научно-исследовательские работы как теоретического, так и практического направления. Некоторые из них находятся на начальном этапе. Но уже сегодня можно представить в общих чертах картину развития технологии PANN и основанного на ней Искусственного Интеллекта.

6.1. НЕПОСРЕДСТВЕННАЯ ДОРАБОТКА ИМЕЮЩИХСЯ

СОФТВЕРНЫХ ПРОДУКТОВ

1. Расширение функциональности имеющихся моделей, в частности возможности загрузки в нее и обработки имиджей в виде числовых таблиц, графиков, саундтреков и т. п.

2. Дополнительное ускорение работы PANN за счет перевода вычислений на графические микрочипы и/или видеокарты, в том числе встроенные видеокарты ноутбуков и десктопов.

3. Использование для сравнения других математических операций, кроме векторного перемножения матриц.

4. Формирование на базе PANN универсальных кодов и поисковых индексов и их использование для быстрого поиска в базах данных.

5. Разработка мощной облачной платформы PANN, способной обслуживать как государственных, так и частных клиентов.

6.2. СУЩЕСТВЕННОЕ РАСШИРЕНИЕ ФУНКЦИОНАЛЬНОСТИ

СИСТЕМ PANN

1. Обработка на PANN динамических имиджей, то есть фильмов, звукозаписей и т. п.

2. Приложение PANN к автоматическому выявлению и обработке отдельных деталей имиджей.

3. Формирование на базе PANN генеративной сети, способной создавать новые имиджи.

4. Создание выходного логического блока (типа небольшой экспертной системы, эмулированной в PANN) для разносторонней оценки результатов работы PANN.

5. Разработка системы ассоциативных библиотек и темплейтов для ее создания.

6. Создание на базе PANN «умных систем управления базами данных» – УСУБД.

7. Приложение PANN в сочетании с ТРИЗ (Теория Решения Изобретательских Задач) к решению творческих задач в различных областях человеческой деятельности, в том числе к созданию генеративного ИИ.

6.3. НАУЧНАЯ РАБОТА

6.3.1. Развитие теории PANN

Теория PANN находится на «восходящей ветви S-образной кривой развития», в ней очень много прекрасных возможностей и тем для исследования и изобретений для любого специалиста в области информационных технологий. Некоторые, но далеко не все возможные направления научного развития изложены выше.

6.3.2. PANN и теория естественного мышления

В процессе разработки PANN мы столкнулись с необходимостью серьезного ознакомления с работами специалистов, исследовавших работу мозга и особенно связь зрения и интеллекта. Книг и статей на эту тему очень много, но 5 приведенных ниже оказались самыми полезными, особенно работы Давида Марра и Вадима Глезера.

Рис. 61. Важнейшие источники информации по биологическому мышлению

В соответствии с идеями Д. Марра об инженерном подходе к «изобретению мозга» и методикой решения исследовательских задач, описанной выше, работа над PANN шла параллельно в двух направлениях:

1. Мы изучали биологические эффекты и механизмы, описанные в книгах и статьях по биологии мышления, и изобретали методы их технической реализации за счет компьютеров и других технических устройств. И далее проверяли придуманные механизмы, развивали и совершенствовали их, например, в виде отдельных программных блоков.

2. Найденные понятные технические идеи мы переносили «обратно», в биологию, и изучали по тем же книгам и статьям, как «изобретенные механизмы» реализуются или могут быть реализованы в организмах. Очень часто находили подтверждение что «так оно и есть».

Первые результаты кажутся весьма обнадеживающими, но это – только начало. Нам представляется, что PANN позволяет по-новому подойти ко многим биологическим вопросам.

Мы приглашаем заинтересовавшихся к участию в этих работах.

7. Направления применения PANN

7.1. СТРАТЕГИЧЕСКИЕ ПЕРСПЕКТИВЫ ПРИМЕНЕНИЯ PANN

1. Сегодня PANN находится на ранней стадии развития. И поэтому вход в ее применение и разработку достаточно прост. И это оставляет перспективы для стран и компаний, отставших от лидеров, на вход в «высокие эшелоны» ИИ-бизнеса. Это шанс перестать быть догоняющими.

2. Вокруг новых перспективных технологий всегда возникает бум патентования и бизнес-продажи лицензии и пакетов патентов. И это тоже возможность построить мощный бизнес на базе PANN.

3. Создание новых научных школ, журналов, конференций и т. п. Опережающая подготовка кадров, владеющих передовой технологией ИИ.

4. Обеспечение безопасности данных как за счет специфической шифровки на базе PANN, так и за счет:

• обеспечения секретности без размещения данных на серверах. Отказ от использования серверов, доступных с Интернетом и расположенных за границами страны;

• отказ от использования чужих программ с вероятными «закладками» и готовых кодов, в которых могут прятаться «шпионские элементы»;

• эффективное выявление скрытой информации, выявление информационных паттернов во множестве рассеянной информации;

• выявление недостоверной и фальшивой информации.

7.2. ГЕНЕРАЛЬНЫЕ ЦЕЛИ ПРИМЕНЕНИЯ PANN

1. Улучшение и «интеллектуализация» большинства существующих сегодня:

1.1. Программных продуктов и других информационных систем.

1.2. Промышленных, транспортных и т. п. технологий.

1.3. Потребительских товаров и т. д.

2. Поддержка интеллектуальной и творческой деятельности людей в разных областях:

2.1. Образование, формирование критического нелинейного мышления и интуиции.

2.2. Наука и инженерные работы.

2.3. Прогнозирование развития и управление развитием.

2.4. Социальная деятельность, бизнес и менеджмент.

2.5. Медицина.

2.6. Искусство, развлечения, спорт и т. п.

3. Индивидуальная и коллективная безопасность людей:

3.1. Физическая безопасность.

3.2. Информационная и интеллектуальная безопасность.