Текст книги "Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта"

Автоматизация образования

Дети, мозг которых только развивается, удивительно адаптивны. Учитывая возможность повсеместного распространения ИИ в будущем, следует ли знакомить детей с ним в самом нежном возрасте? И если да, то как? Сможет ли ИИ когда-нибудь заменить человеческое участие и внимание?

Исследователи из Токийского университета, пытавшиеся ответить на эти и другие вопросы, испытали Саю, удаленного управляемого гуманоидного робота-учителя, который работал в начальной школе и в университете[205]205
  Hashimoto Takuya, Naoki Kato, and Hiroshi Kobayashi, “Development of Educational System with the Android Robot SAYA and Evaluation,” International Journal of Advanced Robotic Systems 8, no. 3 (2011): 51–61.


[Закрыть]. Сая построена так, что у нее есть анимированное лицо, которое выражает эмоциональные реакции на ответы и поведение студентов. У робота было по меньшей мере семь выражений лица (включая грусть, злость и счастье). Девятнадцать частей лица робота могли двигаться, в частности поднимать брови и щеки, опускать уголки губ и сморщивать нос[206]206
  Ibid., 52.


[Закрыть]. Исследователи скоординировали содержание инструкций Саи с выражением ее лица. Например, правильный ответ приветствовался улыбкой; приказу «тихо!» соответствовало выражение недовольства, которым следовало усмирять болтливых и рассеянных учеников.

Исследователи Токийского университета испытали Саю лишь в немногих классах, поэтому сделать общие выводы на основе их результатов сложно. Однако они выявили существенные различия в отношении к роботу между учениками начальной школы и студентами университета. Школьникам было легко увлечься, им было веселее в классе, и они говорили о большем желании изучать науки[207]207
  Ibid., 60.


[Закрыть]. Студенты, напротив, высказывались сдержаннее.

Относительная сдержанность студентов предполагает по меньшей мере две интерпретации. Возможно, они считали, что инструктор, управляющий Саей, просто связывается через нее, используя телеприсутствие для того, чтобы снять с себя бремя реального присутствия в классе. После десятилетия общения с преподавателями-людьми топорная мимика и вокализация Саи, возможно, показалась им подделкой. Кроме того, лицо Саи могло оказаться в зоне «зловещей долины». Роботы относятся к одной категории, человек – к другой. Когда же роботы приближаются к облику человека, но все же не сливаются с ним, возникает почти что инстинктивное отвращение.

Можно задаться вопросом, сохранится ли эффект «зловещей долины», если дети с самого раннего возраста будут иметь дело с роботами-учителями или даже роботами-няньками. Вопрос внедрения роботов в образовании не сводится к документированию и настройке актуальных предпочтений людей. Скорее, для него требуется практика формирования будущих тенденций, в которой как можно более раннее знакомство детей с учителями-людьми или роботами выводит их на траекторию формирования подобных предпочтений и на более поздних этапах, даже когда они станут работниками или потребителями. Этот эффект психологического приучения – одна из причин, по которым многие фирмы стремятся разработать образовательную технологию: чем моложе ученик, тем более он податлив и восприимчив, тем с большей вероятностью он будет считать определенные интерфейсы и рекламу «естественным» способом взаимодействия с миром.

Эксперимент с Саей может показаться не слишком впечатляющим. Учитель-робот не был автономным; в определенных отношениях это была всего лишь кукла, которой управлял инструктор-человек. Она провела «занятия» лишь в нескольких классах[208]208
  Hashimoto Takuya, Hiroshi Kobayashi, Alex Polishuk, and Igor Verner, “Elementary Science Lesson Delivered by Robot,” Proceedings of the 8th ACM /IEEE International Conference on Human-Robot Interaction (March 2013): 133–134; Patricia Alves-Oliveira, Tiago Ribeiro, Sofia Petisca, Eugenio di Tullio, Francisco S. Melo, and Ana Paiva, “An Empathic Robotic Tutor for School Classrooms: Considering Expectation and Satisfaction of Children as End-Users,” in Social Robotics: International Conference on Social Robotics, eds. Adriana Tapus, Elisabeth Andre, Jean-Claude Martin, Francois Ferland, and Mehdi Ammi (Cham, Switzerland: Springer, 2015), 21–30.


[Закрыть]. Но прогресс в области программирования эмоций мог бы повысить подвижность и восприимчивость роботов, сделав их более эффективными передатчиками знаний или помощниками в обучении. Исследователь образования Нил Селвин назвал свою недавнюю книгу «Должны ли роботы заменить учителей?». Хотя Селвин оценивает широкое распространение учителей-роботов скептически, он выделяет некоторые конкретные примеры, в которых что-то может оказаться лучше, чем ничего, то есть в тех случаях, когда учителя-люди недоступны, может пригодиться образовательная технология[209]209
  Neil Selwyn, Should Robots Replace Teachers? (Medford, MA: Polity Press, 2019).


[Закрыть].

Можно ли представить революцию в начальном образовании, учитывая критическое количество родителей, которые хотят оставить детей дома, чтобы их учил робот-учитель? Это радикальное представление о переменах сталкивается с определенными трудностями, стоит только представить, как оно могло бы осуществиться на практике. В значительной доле семей с детьми школьного возраста работают оба родителя[210]210
  Bureau of Labor Statistics, “Employment Characteristics of Families Summary,” news release, April 18, 2019, https://www.bls.gov/news. release/famee.nro.htm. У 63 % детей младше 18 лет в 2018 г. оба родителя работали.


[Закрыть]. Но школа – это не только место для обучения, это еще и организация, занятая уходом за детьми, то есть услугой, которая постоянно дорожает. Поэтому роботизация начального образования не обязательно будет означать экономию, раз ученики останутся дома и будут выполнять задания в сети. Скорее, она может привести к переносу ресурсов от одной группы (учителей) к другой (нянькам). Интегрирование «модуля няньки» в образовательных роботах может стать еще одним вариантом, но он создает собственные этические дилеммы[211]211
  Noel Sharkey and Amanda Sharkey, “The Crying Shame of Robot Nannies: An Ethical Appraisal,” Interaction Studies 11 (2010): 161–163.


[Закрыть].

Последовательные футуристы готовы отстаивать роботизированный уход за детьми как дополнение к учителям-роботам. В будущем третьеклассник, возможно, будет получать завтрак от какого-то аналога робота Рози из мультипликационного сериала «Джетсоны», потом его на музыкальные или спортивные мероприятия отвезет беспилотный автомобиль, а в школе он будет рад урокам учителя-робота. Но все это пока дело далекого будущего, которое, возможно, никогда и не сбудется, если учитывать недоверие родителей к постоянной технологизации детства.

Но должны ли родители приветствовать подобный технологический прогресс? Учитывая очевидную уязвимость детей, на этот вопрос, вероятно, надо ответить отрицательно. Если роботы начинают играть роли, которые традиционно исполняли люди, взрослые могут это тут же распознать. Когда же ученики не могут распознать роботизированную сущность учителя, они не просто начинают верить хитрой человекоподобной машине. Скорее, робот в таком случае попросту обманывает детей, заставляя их поверить в то, что внимание им уделяет взрослый[212]212
  Amanda J. C. Sharkey, “Should We Welcome Robot Teachers?” Ethics and Information Technology 18 (2016): 283–297. Обсуждение возможных иллюзий людей, взаимодействующих с ботами, см. в: Ian Kerr, “Bots, Babes and the Californication of Commerce” Ottawa Law and Technology Journal 1 (2004): 285–325, где обсуждается аватара ElleGirlBuddy.


[Закрыть]. И опасность здесь не только в обмане детей, но и в тонкой идеологической обработке, приучении к тому, что данное и сделанное, человек и машины в каком-то глубинном смысле не различаются, а потому и могут заменять друг друга[213]213
  Это воспитание чувств, позволяющее согласиться с тем, что ИИ обладает определенной личностью, является, с моей точки зрения, ключом к пониманию классического «теста» Тьюринга, который является не философским стандартом успешности ИИ, а риторическом устройством, позволяющим приучить читателей к мысли о том, что статус личности может присваиваться после выполнения определенных задач.


[Закрыть].

Главный вопрос в том, как сбалансировать здоровый энтузиазм или даже любовь к роботам с трезвым пониманием их инаковости[214]214
  Это важно, поскольку, как утверждала юрист и философ Мирей Хильдебрандт, «агентность, управляемая данными», обычная для алгоритмических систем, строится на «информации и поведении, а не на смысле и действии». См.: Mireille Hildebrandt, “Law as Information in the Era of Data-Driven Agency,” Modern Law Review 7$ (2016): 1, 2.


[Закрыть]. Робот способен наблюдать поведение в своей среде и формулировать реакции на это поведение, однако в своем опыте такое поведение он не может воспринимать в качестве источника смыслов или мотивов так, как на это способны люди. При этом в действиях такого робота всегда будет сохраняться след манипуляций, как бы сильно инженеры ни старались избежать этой проблемы, ведь робот программируется с какими-то определенными, заранее заданными целями. Человек общается с другими людьми как автономными субъектами (со всеми их привилегиями и способностью к добру или злу, к заботе и небрежению, которые вытекают из такого статуса). Тогда как машина, даже запрограммированная на определенные степени свободы, никогда не обладает автономией действующего субъекта, хотя бы потому, что наш опыт агентности укоренен в совершенно иной телесности организмов углеродных и биологических, а не кремниевых и механических[215]215
  В главе 8 подробно обсуждается это различие.


[Закрыть].

Учеников следует с самого раннего возраста учить тому, что они важнее окружающих их роботов, что эти программируемые инструменты служат им и им полезны. Они должны уважать роботов как свою или чужую собственность, но не следует поощрять их, если они называют их своими друзьями. Роботов и ИИ надо рассматривать в качестве части цифровой среды, которую надо сохранять и «одомашнивать», но без того уважения и любви, с которыми мы относимся к фауне и флоре естественной среды. Эта естественная среда является основанием самого нашего бытия, тогда как роботы и ИИ – это просто инструменты.

От этой фундаментальной реальности нас не должны отвлекать голливудские изображения роботов (которых так часто играют люди), которые эмоционально требуют признания, любви и уважения. Конечно неуважение к гуманоидным роботам или злоупотребление ими вызывает тревогу, поскольку такое поведение может стать источником общей черствости[216]216
  Darling, “Extending Legal Protection to Social Robots.”


[Закрыть]. Однако из такой озабоченности не следует необходимость антропоморфизировать роботизированные системы. Скорее, она требует чрезвычайной осмотрительности в случае внедрения гуманоидных роботов в новых средах, особенно в таких уязвимых группах населения, как дети и пожилые люди.

На кого работает ваш учитель-робот?

Что является мотивом компаний, стоящих за наиболее важными технологиями образования? И почему мы должны доверять им в том, что они сделают программы или роботов, которые будут отражать наши ценности? Тревожных сигналов уже довольно много. Гигант технообразования – компания Pearson провела эксперимент на тысячах ничего не подозревающих студентах колледжей, внушая им установку на «профессиональный рост» посредством своей коммерческой обучающей программы. Компания обнаружила небольшое повышение мотивации, и, возможно, этот результат может оказаться полезным для будущих проектировщиков программ. Однако колледжи заключали контракт на обучающую программу, а не на исследование с участием подопытных людей[217]217
  Benjamin Herold, “Pearson Tested ‘Social-Psychological’ Messages in Learning Software, with Mixed Results,” Education Week: Digital Education (blog), April 17, 2018, http://blogs.edweek.org/edweek/Digi-talEducation/2018/o4/pearson_growth_mindset_software.html.


[Закрыть]. Какие еще сообщения могут просачиваться во время контакта студента с компьютером? Администраторам на всех уровнях образования нужно проявлять больше осмотрительности при заключении контрактов с технообразовательными фирмами. Им нужно требовать контроля данных и обязательного оповещения в случае изменения программ. Без таких предосторожностей этические стандарты работников образования будут сметены грубым принципом «сгодится все, что работает», отстаиваемым технологическими фирмами[218]218
  См., например: James Grimmelmann, “The Law and Ethics of Experiments on Social Media Users,” Colorado Technology Law Journal 13 (2015): 219–227, где обсуждаются письма Гриммельмана и Лесли Мельтцер Генри об эмциональных экспериментах Facebook. См.: Chris Gilliard, “How Ed Tech Is Exploiting Students,” Chronicle of Higher Education, April 8, 2018, https://www.chronicle.com/article/ How-Ed-Tech-Is-Exploiting/243020.


[Закрыть].

Эксперимент компании Pearson достаточно обычен для мира технических фирм, которые не отличаются особой щепетильностью и не обращают внимание на уже действующие законы о защите детей. Критикуя экосистему Google, активисты обвиняли YouTube и операционную систему Android в недобросовестном таргетировании детской рекламы и в слежке за детьми[219]219
  Sarah Schwarz, “YouTube Accused of Targeting Children with Ads, Violating Federal Privacy Law,” Education Week: Digital Education (blog), April 13, 2018, http://blogs.edweek.org/edweek/DigitalEduca-tion/2018/o4/youtube_targeted_ads_coppa_complaint.html; John Montgallo, “Android App Tracking Improperly Follows Children, Study,” QR Code Press, April 18, 2018, http://www.qrcodepress.com/ android-app-tracking-improperly-follows-children-study/8534453/.


[Закрыть]. YouTube, фактически ставший почасовой няней для детей задерганных родителей, не справился со своей функцией, поскольку там размещались странные и смущающие детей видео, некоторые из которых представляли собой автоматические ремиксы мультипликационных персонажей, мучавших или издевавшихся друг над другом[220]220
  James Bridle, “Something Is Wrong on the Internet,” Medium, November 6, 2017, https://medium.com/(ajamesbridle/something-is-wrong-on-the-internet-c39C47i27id2.


[Закрыть]. Впоследствии YouTube ответил на общественное возмущение, пообещав, что за приложениями, ориентированными на детскую аудиторию, будут следить люди, а не алгоритмы[221]221
  Nick Statt, “YouTube Will Reportedly Release a Kids’ App Curated by Humans,” Verge, April 6, 2018, https://www.theverge. com/2 018/4/6/172 0853 2/youtube-kids-non-algorithmic-version-whitelisted– conspiracy-theories.


[Закрыть]. Это отступление от принципа полной автоматизации – урок и для работников сферы образования; когда речь идет о детях, в создании контента невозможно полагаться на этический принцип «сгодится все, что привлекает внимание», как бы просто ни измерялось такое вовлечение на основе просмотров.

Образовательным системам также нужно проявлять осторожность при применении технологии в качестве тотальной системы мониторинга. Благонамеренные администраторы снабжают школьников трекерами Fitbit, считающими шаги, и ноутбуками, которые отслеживают движения глаз и подсчитывают секунды, потраченные на каждую задачу и каждый экран. Ставки такого сбора данных весьма велики. Программирование эмоций стремится зафиксировать значение наморщенного лба, приподнятых бровей, улыбок и других ярких признаков внезапно пришедшей идеи или замешательства. Успешные коммерческие фирмы составили базу данных эмоций, связанных с миллионами выражений лиц. Но любой человек, знающий, что, чтобы чувствовать себя лучше, надо «больше улыбаться», в состоянии понять проблемы, порождаемые системой, которая постоянно опознает и записывает внешние признаки эмоциональных состояний.

Можно представить себе, что при наличии достаточных инвестиций и времени мы получим в будущем среду обучения, в которой будут как практически безграничные задания на заучивание, генерируемые ИИ, так и более креативные задачи. Также учителя-роботы всегда будут готовы провести коррекционный урок для исправления ошибок. Однако в этой же перспективе присутствуют скрытые возможности для манипуляций, возникающие благодаря сбору огромного количества данных о детях. Иногда определенные вмешательства нужны; например, Facebook может алгоритмически выявлять посты подростков с суицидальными намерениями и сообщать о них организациям, занимающимся специальной помощью[222]222
  Natasha Singer, “How Companies Scour Our Digital Lives for Clues to Our Health,” New York Times, February 25, 2018, https://www.ny-times.com/2018/o2/25/technology/smartphones-mental-health. html.


[Закрыть]. Но похожие возможности он продавал и рекламодателям, помогая им выявлять детей, которые считают себя «неуверенными» или «никчемными»[223]223
  Sam Levin, “Facebook Told Advertisers It Can Identify Teens Feeling ‘Insecure’ and ‘Worthless,’ ” Guardian, May 1, 2017, https:// www.theguardian.com/technology/2017/may/o1/facebook-advertising-data-insecure-teens.


[Закрыть]. Должна быть определенная граница между попытками помочь и научить и тем подозрительным сбором данных и стигматизирующих характеристик, который разрушает доверие. У учеников и родителей всегда должно быть право отказаться от программирования эмоций.

В настоящее время у нас нет ни малейшего представления о том, как фирмы, разрабатывающие образовательные программы и роботов, собирают, анализируют и применяют данные. Способность современных программ машинного обучения записывать все, что говорит ребенок, и все больше персонализировать ответы, провоцируя его смех или озабоченность, вызывая в нем чувство любви или вины, является совершенно новым компонентом в мониторинге учащихся, который если и надо применять на практике, то крайне осторожно. Прежде чем такие образовательные роботы будут внедряться в массовом порядке, следует ответить на базовые вопросы об их возможностях и целях.

Минусы постоянного внимания

Обычно целью мониторинга являются непосредственные и конкретные выгоды, связанные с долгосрочными и менее определенными опасностями[224]224
  Julie Е. Cohen, “The Regulatory State in the Information Age,” Theoretical Inquiries in Law 17, no. 2 (2016): 369–414.


[Закрыть]. Роботы в школе, как и другие образовательные технологии, обещают уроки с высоким уровнем персонализации. Также аналитика больших данных могла бы значительно сократить издержки. Фирма может предоставлять образовательных роботов учебным заведениям даром, ставя себе долгосрочную цель собрать данные об учащихся и помочь маркетологам и другим специалистам понять их. Критическое значение имеют условия монетизации. Используются ли данные исключительно в контексте образования, в качестве помощи при обучении? Или они могут послужить для составления цифровых досье, в которых учащихся стигматизируют, о чем они сами не знают?

Социолог Эрвин Гоффман ввел понятие «закулисных» пространств, где можно исследовать альтернативные позиции и формы поведения вне поля зрения других[225]225
  Ирвинг Гофман, Представление себя другим в повседневной жизни (Москва: «КАНОН-пресс-Ц», «Кучково поле», 2000).


[Закрыть]. Плохо регулируемые роботизированные системы могут привести к тому, что каждый момент в школе окажется в «зоне переднего плана», как на сцене. Программируются ли образовательные роботы так, чтобы записывать каждый момент, когда в пределах их досягаемости находится ребенок? Оповещают ли они детей или тех, кто рядом с ними, о том, что ведут запись?[226]226
  Пример австралийского судебного разбирательства, на котором суд отказался принять показания, основанные на записи, сделанной игрушкой ребенка, см.: Gorman & Huffman [2015] Fam-CAFC 127.


[Закрыть]Многие объединения потребителей жаловались на то, что игрушечные роботы следят за играющими с ними детьми. Если судить по одной петиции, поданной в Федеральную торговую комиссию США, «эти игрушки в силу своего устройства целенаправленно записывают и собирают личные разговоры детей, никак не ограничивая сбор, применение или публикацию этой личной информации»[227]227
  Complaint and Request for Investigation, Injunction, and Other Relief at 2, In re: Genesis Toys and Nuance Communications, submitted by the Electronic Privacy Information Center, the Campaign for a Commercial Free Childhood, the Center for Digital Democracy, and Consumers Union (December 6, 2016), https://epic.org/privacy/kids/ EPIC–IPR-FTC-Genesis-Complaint.pdf. Некоторые европейские власти нашли способ эффектно и креативно вмешаться в проблему. Норвежский совет потребителей представил способность игрушек к мониторингу в созданном им видеофильме. Немецкое федеральное агентство посоветовало родителям уничтожить такие игрушки, поскольку они нарушают закон, запрещающий скрытые шпионящие устройства.


[Закрыть]. Как и многие другие условия предоставления услуг, те, что определяют взаимодействие

робота с детьми, практически не включают никаких защитных мер. Ими даже подразумевалось, что у компании есть «право изменять эти условия предоставления услуг в случае, если она сочтет это необходимым». Другими словами, все те защитные меры, которые сейчас есть, завтра могут быть отменены одним из «четырех всадников безответственности», о которых было сказано во второй главе[228]228
  Ibid., 10.


[Закрыть].

Серьезным бизнесом стали биометрические голосовые отпечатки, используемые, в частности, для аутентификации[229]229
  “Millions of Voiceprints Quietly Being Harvested as Latest Identification Tool,” Guardian, October 13, 2014, https://www.theguardian. com/technology/20i4/oct/i3/millions-of-voiceprints-quietly-being-harvested-as-latest-identification-tool.


[Закрыть]. Защитники прав потребителей обеспокоены тем, что данные о голосах не защищены и что они могут быть взломаны любыми преступниками. Еще большая опасность может возникнуть в обработке и применении данных, учитывая все чаще предъявляемое школам и государствам требование определять «проблемных детей» в самом нежном возрасте. Согласно одному недавнему исследованию, на 20 % граждан приходится 81 % уголовных приговоров, 78 % предписаний и 66 % пособий, причем вхождение в эту группу «можно определить уже в трехлетием возрасте благодаря исследованию здоровья мозга»[230]230
  Nicola Davis, “ ‘High Social Cost’ Adults Can Be Predicted from as Young as Three, Says Study,” Guardian, December 12, 2016, https:// www.theguardian.com/science/2016/dec/12/high-social-cost-adults-can-be-identified-from-as-young-as-three-says-study; Avshalom Cas-pi, Renate M. Houts, Daniel W. Belsky, Honalee Harrington, Sean Hogan, Sandhya Ramrakha, Richie Poulton, and Terrie E. Moffitt, “Childhood Forecasting of a Small Segment of the Population with Large Economic Burden,” Nature Human Behaviour 1, no. 1 (2017): article no. UNSP 0005.


[Закрыть]. Что, если определенная тональность голоса или паттерны общения могут послужить такими же показателями будущих поведенческих проблем? У кого есть доступ к таким данным? И как они могут применять их?[231]231
  Mary Shacklett, “How Artificial Intelligence Is Taking Call Centers to the Next Level,” Tech Pro Research, June 12, 2017, http:// www.techproresearch.com/article/how-artificial-intelligence-is-taking-call-centers-to-the-next-level/.


[Закрыть]

Существуют веские аргументы в пользу ограничения любого сбора данных в образовательных учреждениях самими этими учреждениями (исключая случаи прямой опасности, в частности насилия или его возможности). Именно таковы основания калифорнийского закона о «сетевом стирании», который дает возможность детям удалить данные о своей деятельности в социальных сетях до 18 лет. В Генеральном регламенте ЕС о защите персональных данных такие «права на стирание» распространены на многие другие ситуации. Со временем они должны стать глобальным золотым стандартом прав учащихся, на которых воздействуют образовательные технологии. Как без такой защиты можно доверять аппарату сбора данных, который во многих случаях уже продемонстрировал свою опасность?[232]232
  Обзор проблем, вызванных технообразованием, см. в: Audrey Watters, “The 100 Worst Ed-Tech Debacles of the Decade,” Hacked Education (blog), http://hackeducation.com/2019/12/31/what-a-shitshow.


[Закрыть]

Конечно, отдельные семьи могут попытаться избежать слежки и оценки, если у них достаточно ресурсов, и поискать школы с иным подходом. Так, многие родители из Кремниевой долине отправляют своих детей в низкотехнологичные школы в другие части страны. Однако способность отдельного человека сопротивляться системе и покидать ее легко переоценить. Как только будет контролироваться и отслеживаться критическая масса студентов, те, кто захотят выйти из системы, будут выглядеть подозрительно. Может быть, им есть что скрывать?[233]233
  Scott R. Peppet, “Unraveling Privacy: The Personal Prospectus and the Threat of a Full-Disclosure Future,” northwestern University Law Review 105 (2011): 1153, 1201.


[Закрыть] Школьные оценки стали практически универсальным дисциплинарным механизмом; вскоре может быть разработан «общий поведенческий показатель», оценивающий студентов по параметрам дружественности, внимательности и многого другого.

Исправление образовательно-технологического контроля или отказ от него

Сопротивление подобному контролю обычно принимает две формы – либо реформы, либо революции, то есть либо модификации, либо полного отрицания. Некоторые хотят усовершенствовать машины, применяемые в образовании, другие – просто отказаться от них. Хотя обе стороны едины в своем интересе к актуальным вопросам, между ними есть глубинное противоречие. Исправление образовательных технологий контроля означает то, что им нужно предоставить еще больше данных, уделить еще больше внимания, затратить еще больше человеческого труда, необходимого для настройки их алгоритмического ядра. Покончить с ними – значит переориентировать образовательную реформу на модели, больше завязанные на человека. Чтобы решить, какой путь выбрать, требуется более глубокое исследование обоих этих проектов.

Никто не хочет, что компьютер распределял заслуги и штрафы среди учеников и учителей случайным образом. Некоторые девочки, чьи профили были составлены китайской системой ClassCare, о которой мы упоминали в начале этой главы, жаловались на то, что их путали с другими, особенно когда они меняли прическу. Техническое решение этой проблемы выглядит простым, хотя и неприятным: надо вводить все больше изображений учеников в массив данных, чтобы можно было распознавать их характерные движения или отличительные черты, не связанные с лицом.

Даже когда всех учеников определяют правильно, исследователи ставят сложные вопросы о корреляции выражений лица и внутренних состояний сознания. Например, одна группа исследователей-психологов показала, что выражения лица не обязательно точно соотносятся с определенными эмоциями, не говоря уже о таких более общих ментальных состояниях, используемых в оценках, как «внимательность» или «отвлеченность». Поскольку «проявления эмоций одной и той же категории не всегда выражаются одним и тем же образом и не всегда опознаются по мимике», коммуникативные способности лица ограниченны. Кроме того, даже когда у нас есть больше данных, мы всегда должны 53 помнить о вариативности контекста и культуры[234]234
  Lisa Feldman Barrett, Ralph Adolphs, Stacy Marsella, Aleix M. Martinez, and Seth D. Pollak, “Emotional Expressions Reconsidered: Challenges to Inferring Emotion from Human Facial Movements,” Psychological Science in the Public Interest 20, no. 1 (2019), https://journals.sagepub.com/stoken/default4-domain/io. 1177 % 2F1529ioo61983293O-FREE/pdf.


[Закрыть]. О чем именно говорят блуждающие глаза – о фантазировании или глубоком погружении в мысли о решаемой в настоящий момент проблеме? Людям может быть сложно определить это, но их собственные колебания встраиваются в данные, формирующие суждения машины об этом предмете[235]235
  Kate Crawford, Roel Dobbe, Theodora Dryer, Genevieve Fried, Ben Green, Elizabeth Kaziunas, Amba Kak, et al., Al Now 201g Report (New York: Al Now Institute, 2019), https://ainowinstitute.org/AI_ Now_2019_Report.html.


[Закрыть].

Исследователи программирования эмоций, которых все это не пугает, могут ответить двояко: направить еще больше ресурсов на тонкую настройку различения эмоций или, наоборот, полностью от него отказаться. Первый подход заставит искать данные с еще большим рвением, включить нестандартные источники данных, такие как постоянный мониторинг самого себя и ответ об эмоциональных состояниях испытуемых. Исследователи платформы mTurk компании Amazon провели более сложное и инвазивное исследование, которое стоило сущие копейки из расчета на HIT (human intelligence task, задачу для человеческого интеллекта). Но правда ли человеческое сердце настолько прозрачно? Как вообще можно считать, что отчеты субъектов о своих эмоциональных состояниях являются точными, не говоря уже о том, как их можно экстраполировать на людей с похожими выражениями лиц или похожим поведением? Если участникам эксперимента не платят, они, возможно, попросту стремятся разделаться с заданием как можно быстрее. Если же им платят, отчеты о себе могут не слишком отличаться от рутинного заполнения «капчи», когда торопливые сдельные работники больше стремятся отчитаться так же, как и остальные, чем найти некую «фундаментальную истину» в том, что они видят.

Второй «ответ» на недовольство точностью распознавания эмоций и внимания состоит в том, что без такого распознавания можно и обойтись. Школа может нацелиться на культивацию выражений и поведения, которая лучше всего коррелирует с тем, что в конечном счете должно быть произведено. В самой грубой версии такого подхода выявленные выражения и поведение следовало бы соотнести с баллами за тесты, что позволяет составить базу данных внешнего поведения, которое соотносится с наилучшими результатами. Администраторы тогда могли бы сообщать родителям, насколько близки их дети к поведению, которое, как выяснилось, в прошлом коррелировало с высокими баллами.

В высшем образовании целевым показателем можно сделать начальные заработки или премии за ученую степень (то есть надо считать, насколько заработок данных выпускников превышает заработки других людей того же возраста).

Подобный сугубо бихевиористский подход, отвлеченный от любой озабоченности тем, что происходит в голове у студентов, порождает немало проблем. «Датификация» эмоций в образовании кажется по-настоящему зловещей, когда предполагает предписание состояний и установок[236]236
  Ben Williamson, Sian Bayne, and Suellen Shayet, “The datafication of teaching in Higher Education: critical issues and perspectives,” Teaching in Higher Education 25, no. 4 (2020): 351–365.


[Закрыть]. Но, по крайней мере, она дает учащимся определенное представление о том, к какой аффективной жизни они должны, по мнению властей, стремиться. Чисто бихевиористская модель отказывается даже от этой минимальной ясности, заставляя своих подопытных попросту обезьянничать.

Здесь можно задуматься о том, стоит ли вообще игра свеч. Каждому необходимо определенное «закулисное», то есть неподконтрольное время (или, по крайнее мере, то, что контролируется в меньшей степени, чем в случае со студентами, за которыми пристально следили камеры ClassCare или роботы-учителя). Программы оценки внимания и эмоций склоняют к избыточной самоинструментализации. Нам всем необходимо искать баланс в том, как мы выражаем или сглаживаем, развиваем или подавляем собственные эмоциональные реакции. Это воспитание чувств в юности может быть тяжелой задачей. Существует тонкое равновесие между тем, что Ханна Арендт называет «защитой ребенка» и «защитой мира»[237]237
  Ханна Арендт, Между прошлым и будущим (Москва: Издательство Института Гайдара, 2014), 276: «Ответственность за становление ребенка – это в известном смысле ответственность против мира: ребенок нуждается в особом присмотре и уходе, чтобы


[Закрыть].

Чтобы дети могли лучше адаптироваться в мире, в который они позже вступят, школы должны формировать своих учеников, но в идеальном случае лишь в определенной мере. Когда контроль становится тотальным и особенно когда он навязывается неразумно и механистически, нагрузка на психику может оказаться слишком большой. Когда каждый акт сопротивления или ослабления внимания может наказываться, спонтанность умирает. И тогда учащиеся могут попытаться инструментализировать практически все свои реакции, так что никакого зазора между их собственными желаниями или реакциями и желаниями и реакциями, которых от них все больше требуют власти, оснащенные компьютерами, просто не останется. Каковы бы ни были преимущества социальной гармонии и согласия, подобный ледяной порядок – не что иное, как оскорбление свободы и подавление способности выносить самостоятельные суждения.