Текст книги "Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта"

3. За пределами машинного обучения

В 2018 г. в китайских социальных сетях получил распространение хештег #ThankGodIGraduatedAlready (#славабогуЯужеОкончил Школу) вместе с одной пугающей картинкой. На ней были изображены ученики старшего класса с зелеными и красными прямоугольниками, наложенными на лица; в каждом таком прямоугольнике – идентификационный номер и дескриптор, например, «рассеян», «отвечает на вопросы» или «спит». Камера ежедневно и ежесекундно записывала происходящее в классе, создав сотни тысяч фотографий лица каждого из учеников. ИИ сравнивал лица с промаркированными изображениями, исследуя каждое на признаки состояния учащегося. Какие-то сотрудники составили обучающий набор данных с метками, такими как «увлечен» или «отвлечен», «внимателен» или «бездельничает». Когда тысячи учеников оказались под наблюдением, у них не было ни одного момента, когда бы камера их не записывала. В отчетах было подсчитано, сколько времени каждый ученик ежедневно сосредоточен на учебе[182]182
  Xue Yujie, “Camera above the Classroom: Chinese Schools Are Using Facial Recognition on Students. But Should They?” Sixth Tone, March 26, 2019, http://www.sixthtone.com/news/1oo3759/camera-above-the-classroom.


[Закрыть].

Эта система ClassCare, которая должна следить за учениками и мотивировать их, была разработана крупной технологической фирмой Hanwang. Другая фирма, Hikvision, вывела на рынок ИИ, который должен записывать состояние учащихся – довольны они или грустят, злы или удивлены. Также был геймифицирован процесс набора учебных кредитов – на специальных мониторах выводились имена лидеров каждого класса, с которыми ученики могли себя сравнивать. Общешкольное табло поощряло классы бороться друг с другом за лучшее поведение. Любой класс с низким баллом точно знал бы, кто отстает и кто тащит всю группу вниз. Репортер Хуэ Юджие проанализировал эту программу «умного образования» в 2019 г. и отметил, что почти все ученики в сети ее осуждали. Они были просто «раздавлены» и проклинали ИИ вместе с его пристальным оком[183]183
  Xue Yujie, “Camera above the Classroom.” См. также: Louise Moon, “Pay Attention at the Back: Chinese School Installs Facial Recognition Cameras to Keep An Eye on Pupils,” South China Morning Post, May 16, 2018, https://www.scmp.com/news/china/society/article/2146387/ pay-attention-back-chinese-school-installs-facial-recognition.


[Закрыть].

Некоторые девочки в школе, за которыми следила система компании Hanwang, жаловались на то, что система распознавания лиц не могла их правильно определить. Если они меняли прическу или макияж, их иногда путали с другими девочками. Школа не раз отправляла их на фотосессии. Другие ученики просто отвергали такие камеры. Один сказал: «Я их все хочу разбить». Даже в стране, привыкшей к массовому надзору, постоянная запись повседневной деятельности вызвала возмущение. Когда Фонд Гейтса помог финансировать когнатную биометрику в США (браслет, измеряющий гальваническую реакцию кожи, которая, считается, показывает увлеченность учащегося процессом обучения), общественная критика заставила фонд отступить. Но неясно, окажет ли широкая критика в Китае то же воздействие. Директор компании Hanwang сказал Хуэ, что основой для разработки системы ClassCare послужил Государственный план развития нового поколения искусственного интеллекта[184]184
  “Notice of the State Council Issuing the New Generation of Artificial Intelligence Development Plan,” State Council Document [2017] No. 35, trans. Flora Sapio, Weiming Chen, and Adrian Lo, Foundation for Law and International Affairs, https://flia.org/wp-con-tent/uploads/2017/07/A-New-Generation-of-Artificial-Intelligence-Development-Plan-i.pdf.


[Закрыть].

В то же время в одном из университетов США было смоделировано иное будущее технообразования (edtech). Пройдя курс по искусственному интеллекту в университете Georgia Tech, студенты выяснили, что один из ассистентов преподавателей, им известный лишь по сетевому нику Jill Watson (JW), на самом был деле ботом[185]185
  Melissa Korn, “Imagine Discovering That Your Teaching Assistant Really Is a Robot,” Wall Street Journal, May 6, 2016, http://www.wsj. com/articles/if-your-teacher-sounds-like-a-robot-you-might-be-on-to-something-1462546621.


[Закрыть]. Обычно JW задавал студентам вопросы в середине недели и отвечал на их вопросы заранее заготовленными ответами. Предположим, студент просит переписать задание. JW отвечает: «К сожалению, редактировать уже отправленные задания невозможно». JW по почте отвечал быстро, но не слишком быстро, иначе его скорость навела бы студентов на подозрения. На запрос помощи JW обычно отвечал «да» или «хорошо бы» на сетевом форуме. На другие обычные вопросы, о сроках и домашней работе, давались полезные (хотя и несколько легкомысленные) ответы.

Студенты, интервью с которыми было опубликовано в газете, похоже, довольны тем, как применялся JW. Им понравились его корректность и скорость. «Я личных черт в его постах не видел. Но, собственно, их и не ждешь от ассистента преподавателя», – сказал студент, который просил JW помочь ему с домашней работой. Ашок Гоэл, преподаватель компьютерных наук, разработчик JW, заявил, что со временем бот смог ответить на 40 % из примерно 10 тыс. вопросов, которые студенты отправляют за типичный семестр.

Можно ли считать, что это начало конца самой позиции ассистентов преподавателей компьютерных наук или даже самих преподавателей? Гоэл считает, что дело обстоит прямо противоположным образом. Когда на простые вопросы отвечает бот, у ассистентов есть возможность отвечать на более сложные. Фокусируя технологию на рутинных вопросах, Гоэл и его команда ориентируются на гуманистическое ближайшее будущее, в котором программы будут в основном помогать уже имеющимся преподавателям[186]186
  IBM примерно так же определяла функцию системы Watson для юристов и врачей – преимущественно в качестве инструмента уже работающих специалистов, а не машины, которая их заменяет.


[Закрыть].

С другой стороны, каковы бы ни были намерения специалистов по компьютерным наукам, сильные политические и экономические мотивы заставляют такие инновации, как JW, развиваться в другом направлении, в сторону замены учителей и постоянного мониторинга студентов. Джорджия стала одним из многих штатов, в которых после экономического спада сократили финансирование государственного образования. Кризис, вызванный пандемией COVID-19, заставил университеты еще больше сократить расходы и увеличить долю преподавания онлайн. Сильные игроки в образовательной политике, начиная с глобальных фондов и заканчивая верхними эшелонами бюрократии в Вашингтоне или Брюсселе, также ставят перед собой задачу сокращения расходов. Вместо того чтобы поднять налоги для расширения уже существующих университетов, в Калифорнии в 2016 г. была внедрена плохо продуманная система сетевых курсов, которые должны были компенсировать нехватку курсов в колледжах[187]187
  Tamara Lewin, “After Setbacks, Online Courses Are Rethought,” Kew York Times, December 10, 2016, https://www.nytimes.com/2013/12/11/ us/after-setbacks-online-courses-are-rethought.html.


[Закрыть]. ИИ (который занят обучением) и роботы (занятые мониторингом тестов) – вероятный следующий шаг, особенно если учесть то, что на таких курсах нужен мониторинг студентов, чтобы они не жульничали и не отвлекались.

В США передовые технологии наблюдения уже задействованы в отслеживании движения глаз и пальцев студентов на сетевых занятиях и сетевом тестировании. В Университете Содружества Виргинии студентов поощряли использовать сканы сетчатки вместо кредитных карт и для оплаты еды в столовой. По мере роста накопленных данных предприниматели надеются начать отслеживать движение студентов и многое другое, чтобы еще лучше соотносить определенные паттерны жизни с желаемыми результатами. Другими словами, машина непрестанного наблюдения, разработанная компанией Hikvision, – это не странное отклонение, представляющее «технологию ябедничества». Скорее она, возможно, предрекает будущее образования в эпоху все более конформистского ИИ.

Грубо говоря, нам надо решить, чего именно мы хотим: инвестировать в образовательный ИИ, который постоянно измеряет и оценивает учащихся, или сосредоточить наши усилия на продуктах, повышающих уровень образования, создавая креативную и способствующую обучению среду. Проблемой, которую следует действительно решать, является ограниченность способности учителя отвечать на вопросы и давать советы; но его небезграничная способность наблюдать и оценивать каждый момент жизни учащегося является, скорее, благословением, ценным аспектом человеческого образования, который необходимо сохранить и в более технологичном будущем. К сожалению, менедже-риальный подход колонизировал значительную часть технообразования, что привело к выпячиванию количественных измерений. Цели образования разнообразны: многие из них нельзя, да и не нужно сводить к количественным оценкам. Если мы позволим ИИ перевести наше внимание с актуального обучения на то, что компьютеры умеют лучше всего измерять и оптимизировать, то упустим крайне важную возможность. Хуже того, мы позволим технологии узурпировать наши ценности и в конечном счете диктовать их, вместо того чтобы служить нам инструментом, помогающим их достигать. В этой главе исследуются позитивные применения ИИ и роботов в образовании, причем упор делается на то, как легко они могут скатиться к жестоким формам социального контроля.

Разнообразие целей образования

Траектория развития образовательной робототехники будет определяться проблемами, которые мы пытаемся решить. Роботы и ИИ – это инструменты, а не самодостаточные цели. Как отметил исследователь Нейл Селвин, споры об объеме и интенсивности автоматизации классов обычно являются «удобным заместителем более пространных дискуссий о природе, форме и функции образования в XXI в.»[188]188
  Neil Selwyn, Distrusting Education Technology: Critical Questions for Changing Times (New York: Routledge 2014), 125.


[Закрыть]. Действительно, целями образования могут быть все пункты следующего списка, однако разработчики в области технообразования не преследуют все их в равной степени:

1. Обучение вербальным и математическим/логическим/количественным навыкам и фундаментальные познания в истории, социологии, искусстве, науке и других областях.

2. Подготовка к специальности или карьере путем тренировки навыков или к профессии путем приобретения фундаментальных знаний и критического суждения.

3. Конкуренция за лучшие возможности в обучении и найме.

4. Обучение социальным навыкам и эмоциональному интеллекту.

5. Подготовка к гражданской роли, в том числе к участию в гражданском обществе[189]189
  David F. Labaree, “Public Goods, Private Goods: The American Struggle over Educational Goals,” American Educational Research Journal 34, no. i (Spring 1997): 39, 46; Danielle Allen, “What is Education For?” Boston Review, May 9, 2016, http://bostonreview.net/forum/ danielle-allen-what-education.


[Закрыть].

Но, с точки зрения менеджеров-технократов, как только цели заданы, следующий шаг – это измерить их достижение путем количественного тестирования или какой-либо иной оценки результатов. Рассмотрим второй тип целей, а именно подготовку к трудовой деятельности. Социологи могут провести всевозможные исследования, в которых определят, какие учебные заведения лучше всего готовят учащихся к работе или поступлению в колледж. Возможность найма и заработки можно измерить, также существуют грубые оценки удовлетворенности работой. В результате появились различные рейтинги колледжей, основанные на определенном комплексе факторов. В некоторых указывались колледжи, не отличающиеся высоким качеством образования. В более серьезных программах изучаются публикации и исследовательские профили членов преподавательского состава. Экономические оценки строятся на соотношении стоимости обучения для студентов и их будущих заработках[190]190
  US Department of Education, “Education Department Releases College Scorecard to Help Students Choose Best College for Them,” press release, February 13, 2013, https://www.ed.gov/news/press-releases/ education-department-releases-college-scorecard-help-students-choose-best-college-them.


[Закрыть]. Их базовая логика безошибочна: студентам необходимо выбрать программы, которые коррелируют с максимальным приростом потенциального заработка, дисконтируемым по стоимости такого образования.

Этот строго инструментальный взгляд отличается прямолинейностью, а потому в экономическом смысле он весьма привлекателен, особенно если вы рассматриваете рабочую силу в качестве товара, аналогичного соевым бобам или углю, то есть в качестве фактора производства, который в идеальном случае постепенно дешевеет. Так же как прогресс в горном деле может привести к удешевлению угля, технообразование, получается, способно заменить дорогостоящих учителей и преподавателей, чтобы рабочую силу было дешевле готовить, а потому и нанимать. Конечно, сторонники количественных измерений изображают свои намерения в несколько ином свете, заявляя, что они учат студентов тем навыкам, которые действительно нужны им для преуспевания[191]191
  Claudia D. Goldin and Lawrence F. Katz, The Race Between Education and Technology (Cambridge, MA: Harvard University Press, 2009).


[Закрыть]. Однако, когда успех определяется довольно узко – как доход и возможность найма, фокусировка на результатах ведет к радикально иным методам преподавания, начиная с виртуальных кибершкол и заканчивая лекциями на YouTube. Сторонники технологий рассуждают, что, если мы можем договориться о правильных вопросах тестов (для начального и среднего образования), а также о количественных показателях успешности выпускников вузов (для высшего образования), подойдет любой новый метод обучения, если студенты, которые учатся по нему, показывают такие же или даже лучшие результаты, чем аналогичные студенты, обучаемые людьми.

Методы искусственного интеллекта вполне соответствуют неолиберальной идее «учиться ради заработка», поскольку машинное обучение лучше всего умеет оптимизировать определенные количественные величины (такие как доход), основываясь на манипуляции тысячами других переменных. Однако подобная фокусировка на количественных измерениях не работает в области более мягких, то есть контекстуальных навыков, привычек, ценностей и установок. Как составить лучший тест социальных навыков? Где найти многовариантный тест хорошего гражданина, демократического участия или политической мудрости? В определенной мере традиционные методы обучения должны быть неотъемлемой частью критически важных целей образования, то есть самого образования. Если мы считаем, что определенная деятельность является неотъемлемой частью той или иной практики, это значит, что такая практика (в данном случае образование) не может существовать без подобного вида деятельности (то есть взаимодействия учащихся и учителей)[192]192
  Charles Taylor, Human Agency and Language: Philosophical Papers, vol. i (Cambridge, UK: Cambridge University Press, 1985).


[Закрыть]. Какими бы привлекательными нам ни представлялись будущие наладонные сканирующие устройства, которые смогут диагностировать любое физическое заболевание (и даже лечить некоторые из них), трудно восхищаться обучающим роботом, которым пытаются заменить общение с учителями-людьми. Существуют жизненно важные социальные и межличностные навыки, которыми дети (и даже взрослые учащиеся) должны овладеть, чтобы стать успешными работниками и гражданами.

Например, на рабочем месте обычно требуется общаться с коллегами и начальником. Упражнения в классе могут предполагать подобное общение. В одних случаях учащийся может ощущать уверенность в себе и считать себя компетентным; в других для того, чтобы попробовать что-то новое, нужна определенная смелость. В той мере, в какой работа требует определенного взаимодействия людей друг с другом, трудно понять, как все это может быть симулировано технологией.

Ангажирование – не та проблема, которая поддается простому решению. Однажды я спросил выдающегося инженера Google о его опыте сетевого образования. Он сказал, что движение, определившее моду на массовые открытые онлайн-курсы, позволило предоставлять учащимся отличную информацию, однако оно застопорилось, когда возник вопрос мотивации (это наблюдение подтверждалось высоким показателем отсева учеников на таких курсах). Учитывая проблемы машинной манипуляции и нарушения конфиденциальности, вероятно, преподавателям вообще не стоит стремиться к разработке машин, превосходящих людей в способностях мотивировать учащихся. Этот аргумент еще больше относится к демократическому гражданству; ядром сотрудничества в гражданских проектах является проблема человеческих отношений[193]193
  Jane Mansbridge, “Everyday Talk in the Deliberative System,” in Deliberative Politics: Essays on Democracy and Disagreement, ed. by Stephen Macedo (New York: Oxford University Press, 1999), 1-211.


[Закрыть].

Энтузиасты технообразования, желающие заменить преподавателей программами, легко забывают об одной из наиболее важных ролей университета в современном обществе – он должен проводить незаинтересованный анализ различных предметов, таких как философия, история, искусство или компьютерные науки. Между серьезным исследованием и качественным образованием всегда возникает синергия, которая позволяет передовым мыслителям понимать историю своей области и передавать эти знания студентам. Если традиционное единство преподавания и исследований развалится, это может порвать связи между созданием знаний и их распространением как секторами университетской деятельности. Для развития истинно увлеченных научных исследований нам нужны исследователи, которые обязаны объяснять значение своей работы студентам и широкой публике, а также некоторая критическая масса преподавательского состава, который делает вклад и в научные знания, а не только передает их студентам.

Простая неолиберальная позиция

История образовательной политики отмечена постоянным конфликтом между традиционалистскими, профессиональными и открытыми или экспериментальными концепциями обучения. С точки зрения традиционалистов, первичная цель образования – познакомить новые поколения с общей (пусть и развивающейся) сокровищницей «лучшего, что было обдумано и сказано»[194]194
  Matthew Arnold, Culture and Anarchy (New York: Oxford University Press 2006).


[Закрыть]. Прагматические модернизаторы боролись с традиционалистами, делая упор на профессиональной потребности в таком обучении студентов, которое готовило бы к рабочему месту. Бихевиористы поддерживали эту линию практичности, предложив методы зубрежки, благодаря которым учащиеся должны быстро овладевать знаниями. Экспериментаторы выступали против такого подхода. Они говорили, что, учитывая значительную скорость социальных изменений, было бы неразумно делать ставку на какое-то одно знание, которое может преподаваться как традиционными методами, так и путем компьютерной зубрежки в высокотехнологичных классах. Вместо этого надо учить тому, как, собственно, учиться, то есть ключевому навыку, необходимому студентам. Также экспериментаторы признавали значение локальных вариаций в приоритетах и направлениях.

К сожалению, вертикальные «показатели успеваемости» утвердились сегодня среди неолиберальной элиты, принимающей решения. В их понимании образования как «подготовки рабочих кадров» профессиональные идеи сочетаются с бихевиористскими. Такой подход при поддержке ИИ может стать еще более точным и манипулятивным. Один из способов спроектировать идеальную систему образования-вести отсчет от требований работодателей, которые впоследствии будут нанимать студентов. Каждый год свободным остается определенное число рабочих мест в искусстве, дизайне, программировании, менеджменте и десятках других категорий. Выпускники образовательных программ либо находят позиции, либо страдают от безработицы. С этой точки зрения образовательная политика представляет собой всего лишь проблему согласования. Если рабочие места для программистов не заполняются, деканы должны заставить больше студентов специализироваться на информатике или устраивать «учебные лагеря по программированию», где навыкам кодирования могут после выпуска учиться студенты, специализировавшиеся в области английской литературы. В будущем профилирование интеллекта и психометрия позволят сопоставлять людей с позициями, которые более всего соответствуют их навыкам и склонностям. Рекрутеры – искусственные интеллекты уже оценивают людей, подавших заявки, на соответствие «духу фирмы», тогда как резюме сортируются алгоритмическими системами. Под влиянием подобных практик автоматизированного найма учебные заведения могут перестраивать свои курсы и свою деятельность, чтобы давать студентам те навыки и установки, которые более всего соответствуют рабочим местам там, где они понадобятся.

В той мере, в какой руководители индустрий хотят, чтобы работников в будущем понукали роботы или алгоритмы, их, конечно, вполне логично загонять в школы с механическими учебными планами и с хорошо контролируемыми преподавателями, что ведет к роботизации самого преподавательского состава. Эта перспектива может показаться мрачной, но, если судить по словам некоторых непримиримых критиков ведущих образовательных систем, это стало бы лишь естественным завершением худших аспектов развития образования. Например, Никил Гойал утверждал, что стандартизация закрепилась еще в начале XX в., когда фабричный труд и монотонные офисные задачи стали шаблоном для стандартизации учебных классов[195]195
  Nikhil Goyal, Schools on Trial: How Freedom and Creativity Can Fix Our Educational Malpractice (New York: Doubleday, 2016).


[Закрыть].

Эксперт по образованию Одри Уоттерс исследовала, как бихевиористские парадигмы образования определили «нарратив Кремниевой долины», представляющий распространенную там точку зрения на высшее образование[196]196
  Audrey Watters, “The Monsters of Education Technology,” Hack Education (blog), December 1, 2014, http://hackeducation.com/ 2014/12/01/the-monsters-of-education-technology.


[Закрыть]. Она раскопала удивительные документы и проекты начала XX в. Первые американские патенты на «обучающие машины» были выданы более ста лет назад. Сидни Пресси, психолог из государственного университета Огайо, стал известным благодаря разработке в 1924 г. «автоматического учителя»[197]197
  Stephen Petrina, “Sidney Pressey and the Automation of Education 1924–1934,” Technology and Culture 45 (2004): 305–330.


[Закрыть]. «Тестирующая машина» Пресси заставляет студентов выбирать один из пяти вариантов, а потом тут же дает реакцию, показывающую, правильно ответил студент или нет (индикатором сзади, который фиксировал число

правильных ответов)[198]198
  Sidney Pressey, “A Simple Apparatus Which Gives Tests and Scores – And Teaches,” School and Society 23 (1926): 373–376.


[Закрыть]. Каждое нажатие кнопки (или ответ) передвигает лист трафаретной бумаги, чтобы перейти к следующему вопросу. В этой машине многовариантные тесты были реализованы по модели Тэйлора, что позволяло освободить учителя от необходимости проверять каждую работу отдельно.

Гарвардский психолог Б. Ф. Скиннер развил бихевиористскую модель машины Пресси. Скиннер прославился развитием психологических моделей таких первопроходцев психологии, как Павлов. Знаменитая собака Павлова училась ассоциировать звук звонка с кормлением, а потому выделяла слюну (и, вероятно, радостно предвкушала еду), когда хозяин звонил в звонок. Скиннер полагал, что тот же механизм стимула и вознаграждения управляет и человеческим поведением. К середине XX в. он убедился в том, что «учитель как простой механизм подкрепления устарел, и это бесспорно»[199]199
  B. F. Skinner, The Technology of Teaching, e-book ed. (1968; repr., Cambridge, MA: B. F. Skinner Foundation, 2003), PDF.


[Закрыть]. При работе с его «обучающей машиной» студенты должны были нажимать рычаги, чтобы вводить ответы. В машине зажигалась лампочка, когда регистрировался правильный ответ. Некоторые версии обучающих машин даже выдавали студенту за правильный ответ конфету[200]200
  Audrey Watters, “Teaching Machines,” Hack Education (blog), April 26, 2018, http://hackeducati0n.com/2018/04/26/cuny-gc.


[Закрыть].

Грубость механистического представления Скиннера о процессе обучения у нас может вызвать смех. Тем не менее подобные простые механизмы оказали огромное влияние в несколько иных условиях. Тестирование новостной ленты, поисковые результаты, различные другие аспекты сетевой жизни – все это в конечном счете подчинено бихевиористским моделям. Мало кто в компаниях Facebook или Google интересуется тем, почему вы кликаете определенную рекламу; их цель состоит в том, чтобы вы это сделали, и основываются они на тысячах экспериментов и автоматизированных наблюдений. В этом они идут по пути разработчиков игральных автоматов, которые внимательно изучали то, как вращающиеся барабаны и картинки завлекают игроков, заставляя их тратить все больше и больше «времени на машине»[201]201
  Natasha Dow Schiill, Addiction by Design (Princeton: Princeton University Press, 2012).


[Закрыть]. Геймификация может руководствоваться соображениями не столько развлечения, сколько прибыли[202]202
  Rowan Tulloch and Holly Eva Katherine Randell-Moon, “The Politics of Gamification: Education, Neoliberalism and the Knowledge Economy,” Review of Education, Pedagogy, and Cultural Studies 40, no. 3 (2018): 204–226.


[Закрыть]. Специалисты по пользовательскому опыту признают то, что поиск механизмов «залипания» – общий принцип интернет-разработок[203]203
  Tristan Harris, “How Technology Is Hijacking Your Mind – From a Magician and Google Design Ethicist,” Medium, May 18, 2016, htt-ps://medium.com/swlh/how-technology-hijacks-peoples-minds-from-a-magician-and-google-s-design-ethicist-56d62ef5edf3#. ryse2C3rl.


[Закрыть]. И его легко применить к роботам, поскольку у людей более интимная связь с движущимися, похожими на живых объектами, чем со стационарными компьютерами[204]204
  Kate Darling, “Extending Legal Protection to Social Robots: The Effects of Anthropomorphism, Empathy and Violent Behavior towards Robotic Objects,” in Robot Law, ed. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Northampton, MA: Edward Elgar, 2016), 213–233.


[Закрыть].