Текст книги "Алгоритм судного дня. Как Facebook, Google, Microsoft, Apple и другие корпорации создают искусственный суперинтеллект и почему это приведет к катастрофе"

Глава 2
Разобщенный мир племен ИИ

Многолетние попытки построить мыслящую машину лишь недавно стали приносить серьезные успехи. Хотя на первый взгляд эти машины способны «мыслить», нам следует ясно понимать, что они ни в коем случае не мыслят так, как все мы.

Будущее ИИ определяется относительно небольшим количеством мыслящих в одном направлении людей внутри небольших изолированных групп. Я повторяю вновь: по моему мнению, эти люди придерживаются благих намерений. Но как это обычно бывает с изолированными группами, их бессознательные когнитивные искажения и выборочная слепота со временем превращаются в новые системы верований и общепринятые нормы поведения. То, что в прошлом казалось необычным, даже неправильным, превращается в нормальный образ ежедневного мышления. А затем согласно именно этому мышлению программируются наши машины.

Создатели ИИ образуют своего рода племя. Они живут и работают в Северной Америке или в Китае. Они учатся в одних и тех же университетах. Они следуют определенным нормам социального поведения. Эти племена в основном однородны. Они богаты и прекрасно образованны. Их составляют главным образом мужчины. Их предводители – исполнительные директора, члены правления, менеджеры высшего звена – за очень редким исключением мужчины. Однородность представляет собой проблему и для Китая тоже, где племя составлено преимущественно из китайцев.

Проблема племен – это одновременно и их сильная сторона. В изолированных группах когнитивные искажения увеличиваются, укрепляются и перестают осознаваться. Когнитивые искажения – замена рационального мышления, которое замедляет наш мыслительный процесс и требует больше энергии. Чем более успешно племя, чем больше у него связей, тем более нормальным кажется его групповое мышление и поведение. Далее мы увидим, что эту формулу стоит запомнить.

Чем занимаются племена ИИ? Они строят узкие системы слабого ИИ, способные выполнять одну задачу на том же уровне, что люди, или лучше. Коммерческие приложения ИИ – и в расширительном смысле сами племена – уже принимают решения за нас, сортируя входящую электронную почту, выполняя поиск в Интернете, помогая нам вести машину и оценивая нашу заявку на кредитную карточку или банковский заем. Они также занимаются следующим шагом: системами сильного ИИ, на которые будут возложены более широкие когнитивные задачи, поскольку это машины, специально спроектированные мыслить так же, как мы. Но кто именно стоит за словом «мы», по образцу которых строятся системы ИИ? Чьи ценности, идеалы, представления о мире преподаются машинам?

Вкратце можно ответить так: не ваши и не мои. Искусственный интеллект унаследовал разум создавшего его племени, и приоритет он отдает их ценностям, идеалам и представлениям о мире. Кроме того, он начал приобретать собственный разум.

У племени ИИ есть запоминающийся боевой клич, и он нам хорошо знаком: «Ошибайтесь как можно раньше, ошибайтесь как можно чаще». В действительности его вариация: «Двигайтесь быстро и ломайте вещи» – до недавнего времени была официальным девизом компании Facebook. Мысль о допустимости ошибок и возможности принятия поражений резко контрастирует с культурой гигантских корпораций Америки, избегающих риска и движущихся со скоростью черепахи, – и, надо сказать, представляет собой достойную цель. Сложные технологии, подобные ИИ, требуют экспериментов и возможности ошибаться снова и снова в стремлении сделать все в конце концов как следует. Но есть и подвох. Эта мантра принадлежит к пронизывающей весь мир ИИ порочной идеологии: «Сначала сделай, а потом попроси прощения». В последнее время нам довелось слышать немало просьб о прощении. Компания Facebook извинялась за исход своей связи с компанией Cambridge Analytica. По мере того как скандал разворачивался, Facebook объявил, что атака привела к утечке персональных данных свыше 50 млн пользователей – иными словами, что имела место одна из крупнейших утечек в истории. Но оказалось, что высшее руководство компании решило скрыть этот факт от пользователей на некоторое время[62]62
  Mike Isaac and Sheera Frenkel, “Facebook Security Breach Exposes Accounts of 50 Million Users,” New York Times, September 28, 2018, https://www.nytimes.com/2018/09/28/technology/facebook-hack-data-breach.html.


[Закрыть]. Всего через месяц Facebook объявил о выходе продукта Portal, семейства смарт-дисплеев и видеотелефонов для конференций, которое должно было составить конкуренцию Amazon Echo Show и вместе с тем отказаться от своих прежних обещаний о защите личной информации. Вначале Facebook заявлял, что не будет использовать Portal для сбора персональных данных пользоватей, чтобы потом показывать им таргетированную рекламу. Но под нажимом журналистов компания вынуждена была признать, что хотя сам Portal не будет использовать ваши данные для показа рекламы, но данные, собранные во время использования устройства – например, кому вы звонили, какие треки Spotify слушаете, – могут быть использованы для показа вам таргетированной рекламы Facebook на других службах и устройствах[63]63
  Casey Newton, “Facebook Portal’s Claims to Protect User Privacy Are Falling Apart, The Verge, October 17, 2018, https://www.theverge. com/2018/10/17/17986992/facebook-portal-privacy-claims-ad-targeting.


[Закрыть].

В апреле 2016 года глава проекта Google Brains Джефф Дин написал, что компания отсеивала женщин и цветных во время сессии Ask Me Anything на сайте Reddit. Это делалось не специально, а скорее по недоразумению. Я полностью уверена, что намерения ограничить аудиторию у них не было – скорее организаторам просто не пришло в голову специально позаботиться о ее разнообразии.

Дин заявил, что компания Google придает большое значение разнообразию и в данном случае оказалась не на высоте положения[64]64
  “AMA: We Are the Google Brain Team. We’d Love to Answer Your Questions about Machine Learning,” Reddit, August 4, 2016, https://www. reddit.com/r/MachineLearning/comments/4w6tsv/ama_we_are_the_ google_brain_team_wed_love_to/.


[Закрыть]:

«Одна из вещей, которые мне нравятся в нашей программе Brain Residency, – ее участники привносят в ее исследования самые разные знания и профессиональный опыт (например, у нас есть физики, математики, биологи, специалисты по нейронауке, инженеры-электротехники, а таже ученые в области информатики), но также и другие виды разнообразия. Мой опыт говорит, что, когда объединяются люди с разными знаниями, перспективой и так далее, в конце концов их достижения превосходят все, чего они могли бы добиться по отдельности, поскольку обладать всеми необходимыми знаниями и перспективой одному человеку не под силу»[65]65
  Ibid


[Закрыть].

В июне 2018 года Google выпустила отчет по разнообразию среди своих кадров, впервые содержавший данные в разбивке по категориям. В нем говорилось, что среди сотрудников Google во всем мире 69,1 % приходились на мужчин. В США на черных приходилось только 2,5 % сотрудников, а на латиноамериканцев – 3,6 %. При том что Google делает решительные заявления о необходимости разнообразия в среде высоких технологий, эти показатели, и без того низкие, не меняются уже несколько лет – с тех пор как в 2014 году среди ее кадров насчитывалось 2 % черных и 3 % латиноамериканцев[66]66
  “Diversity,” Google, https://diversity.google/


[Закрыть].

К чести компании будь сказано, Google выступил с инициативой проведения семинаров и тренингов, посвященных бессознательным предубеждениям, на которых сотрудники получают возможность больше узнать о социальных стереотипах и глубинных предубеждениях относительно пола, расы, внешнего вида, возраста, образования и благосостояния. Некоторые сотрудники отмечали, что тренинги показались им скорее поверхностными, чем полезными: черная женщина из числа работников Google говорила, что основное внимание там уделялось «межличностным отношениям и задетым чувствам, а не дискриминации и неравенству. Для нас это было сигналом, что тема разнообразия обсуждается для галочки»[67]67
  Nitasha Tiku, “Google’s Diversity Stats Are Still Very Dismal,” Wired, August 14, 2018, https://www.wired.com/story/googles-employee-diversity-numbers-havent-really-improved/.


[Закрыть].

В те же годы, когда проводился этот тренинг, Google вознаграждал плохое поведение в своем руководстве.

Энди Рубин, создатель ее флагманской операционной системы для мобильных устройств Android, был вынужден уволиться после того, как сотрудница представила убедительные доказательства, что тот принуждал ее к оральному сексу. Google заплатил Рубину выходное пособие в 90 млн долларов, причем сумма была разбита на месячные платежи по 2,5 млн в месяц в течение первых двух лет и по 1,5 млн – в течение двух последующих. Директор научно-исследовательского подразделения Google X Ричард Девол домогался женщины во время собеседования, говоря, что у него с женой открытый брак, а позже, на техническом фестивале, настаивал на том, чтобы сделать ей массаж спины топлес. Нет ничего удивительного в том, что должность она не получила. Его попросили извиниться, а не уходить в отставку. Вице-президент, ответственный за направление поиска в Google, попал в неприятную ситуацию, когда одна из сотрудниц обвинила его в нескромных прикосновениях. Обвинения признали убедительными, и ему пришлось уйти, получив многомиллионное выходное пособие. Между 2013 и 2018 годами компания Google без особой огласки рассталась с 13 менеджерами высшего звена, обвиненными в сексуальных домогательствах[68]68
  Daisuke Wakabayashi and Katie Benner, “How Google Protected Andy Rubin, the ‘Father of Android,’” New York Times, October 25, 2018, https://www.nytimes.com/2018/10/25/technology/google-sexual-harassment-andy-rubin.html.


[Закрыть].

Эти факты подчеркивают, что тренинги, посвященные предубеждениям сотрудников, едва ли производят серьезный эффект. Причина заключается в следующем: после тренинга люди, может быть, станут лучше видеть свои предубеждения, но мотив изменить свое поведение у них не обязательно появится.

Когда мы говорим о недостаточном разнообразии внутри технологического сообщества, то обычно так или иначе обсуждаем только пол и расу. Однако у человеческой природы есть и другие измерения, обойденные вниманием, например политические взгляды и религиозная принадлежность. Анализ, подготовленный в 2017 году Стэнфордской школой бизнеса, для которого были интервьюированы свыше 600 руководителей и основателей технологических компаний, показал, что внутри племени преобладает идентификация себя как прогрессивого демократа. Во время избирательного цикла 2016 года они преимущественно голосовали за Хиллари Клинтон. Племя поддерживает высокие налоги для состоятельных граждан, аборты, легализацию однополых браков и отмену смертной казни[69]69
  David Broockman, Greg F. Ferenstein, and Neil Malhotra, “The Political Behavior of Wealthy Americans: Evidence from Technology Entrepreneurs,” Stanford University Graduate School of Business, Working Paper No. 3581, December 9, 2017, https://www.gsb.stanford.edu/ faculty-research/working-papers/political-behavior-wealthy-americans-evidence-technology.


[Закрыть].

Высшее руководство Google, Apple, Amazon, Facebook, Microsoft, IBM не могут представлять всех американцев, но то же самое можно сказать о любой другой отрасли. Разница заключается в том, что эти конкретные компании разрабатывают автономные системы принятия тех решений, которые должны представлять наши интересы. Критика такого положения дел исходит не только от женщин и цветных, но и от тех, от кого вряд ли можно было ожидать подобного: консерваторов и ведущих деятелей Республиканской партии. В мае 2018 года Республиканский национальный комитет направил письмо Марку Цукербергу, обвиняя Facebook в неравноправном представительстве консервативно настроенных американцев, где, в частности, говорилось: «В последнее время возросла озабоченность подавлением консервативных мнений на Facebook… включая цензуру новостных сюжетов консервативной направленности… Мы встревожены многочисленными обвинениями в адрес Facebook, указывающими на блокировку им контента консервативных авторов и групп»[70]70
  “ICYMI: RNC Chairwoman and Brad Parscale Demand Answers from Facebook and Twitter,” Republican National Committee, May 24, 2018, https://www.gop.com/icymi-rnc-chairwoman-brad-parscale-demandanswers-from-facebook-twitter.


[Закрыть]. Далее в письме, подписанном Ронной Макдэниэл, председателем комитета, и Брэдом Перскейлом, руководителем кампании Дональда Трампа по его переизбранию президентом в 2020 году, содержатся требования обеспечить прозрачность алгоритмов Facebook, определяющих пользователей для показа политической рекламы, и проверить их на наличие предпочтений против консервативного контента и консервативных лидеров.

Дело в том, что Макдэниэл и Перскейл не так уж неправы. Во время напряженного выборного цикла 2016 года сотрудники Facebook действительно манипулировали разделом самых актуальных новостей платформы с целью исключить консервативные – даже при помощи сюжетов, однозначно направленных против Хиллари Клинтон и поднимающихся в раздел актуальных самостоятельно. Некоторые «кураторы[71]71
  В этом названии есть подтекст, трудноуловимый для русского читателя. Английский глагол to curate означает в том числе «тщательно отбирать». Прим. пер.


[Закрыть] новостей» Facebook, как они себя называли, утверждали, что имели указания «вставлять» определенные сюжеты в ленту, даже если они до того не привлекали внимания пользователей. Они также не давали появляться в ней текстам, благосклонно отзывающимся о республиканских кандидатах, например Рэнде Поле. Группа отбора новостей Facebook была небольшой и состояла из журналистов, в основном окончивших частные университеты Восточного побережья или Лиги плюща, – положа руку на сердце, это скорее поддерживало бы нарратив, которым консерваторы пользуются десятилетиями.

В августе 2018 года свыше ста сотрудников Facebook жаловались на внутреннем форуме компании на «политическую монокультуру, нетерпимую к различным мнениям». Брайан Америге, старший инженер Facebook, писал: «На словах мы принимаем человека во всем его разнообразии, но при этом всегда готовы напасть – иногда толпой – на любого, чьи взгляды кажутся противоположными левой части идеологического спектра»[72]72
  Kate Conger and Sheera Frenkel, “Dozens at Facebook Unite to Challenge Its ‘Intolerant’ Liberal Culture,” New York Times, August 28, 2018, https://www.nytimes.com/2018/08/28/technology/inside-facebook-employees-political-bias.html.


[Закрыть].

Говорить о разнообразии – просить прощения и обещать исправиться – не то же самое, что нацелить на решение этой задачи базы данных, алгоритмы, программные фреймворки, используемые в ИИ. Когда разговоры не ведут к действиям, в результате мы получаем экосистему систем и продуктов, в определенной степени реализующих антигуманистическую идеологию. Вот всего лишь несколько реальных примеров. В 2016 году робот-охранник под управлением ИИ намеренно врезался в 16-месячного ребенка в одном из моллов Кремниевой долины[73]73
  Veronica Rocha, “Crime-Fighting Robot Hits, Rolls over Child at Silicon Valley Mall,” Los Angeles Times, July 14, 2016, http://www. latimes.com/local/lanow/la-me-ln-crimefighting-robot-hurts-child-bayarea-20160713-snap-story.html.


[Закрыть]. ИИ, исполняющий роль противника в игре Elite: Dangerous, разработал несколько видов супероружия, превосходящего воображение создателей игры, вызвав тем самым в ней хаос и сведя к нулю все достижения игроков-людей[74]74
  Julian Benson, “Elite’s AI Created Super Weapons and Started Hunting Players. Skynet Is Here,” Kotaku, June 3, 2016, http://www.kotaku. co.uk/2016/06/03/elites-ai-created-super-weapons-and-started-huntingplayers-skynet-is-here.


[Закрыть]. Если говорить о безопасности ИИ, на ум приходят мириады проблем, включая большие и очевидные: самоуправляемые автомобили уже, случалось, проезжали на красный свет и в редких случаях сбивали насмерть пешеходов. Приложения для предупреждения преступлений постоянно ошибаются, классифицируя лица, и невинные оказываются в тюрьме. Кроме того, множество проблем ускользает от нашего внимания, потому что пока не коснулось нас лично.

В действительно разнообразной команде есть только одна общая черта: талант. В ней не будет преобладать какой-то один пол, раса или этническая принадлежность. Будут представлены разные политические и религиозные взгляды. Чрезмерное внутриплеменное единообразие ИИ – проблема «Большой девятки», но начинается она не там. Зарождается она в университетах, где племена ИИ складываются.

Племена складываются внутри концентрированных социальных сред, объединенных общими представлениями о цели жизни, говорящих на одном языке, выполняющих относительно одинаковой трудности работу. Именно там группа людей обретает чувство общих ценностей и единой цели. Они складываются в военных подразделениях, школьных параллелях, на кухнях мишленовских ресторанов, в женских организациях. Люди вместе проходят через свои попытки и ошибки, через победы и поражения, через горе и радость.

Позволю себе позаимствовать пример из области, далекой от ИИ: в 1970–1980-х годах Сэм Кинисон, Эндрю Дайс Клэй, Джим Керри, Марк Мэрон, Робин Уильямс и Ричард Прайор все вместе жили в доме по адресу Крестхилл-роуд, 8420, чуть ниже по улице от легендарного клуба Comedy Store в Лос-Анджелесе. Кого они представляли собой? Обычных мальчишек, пытавшихся пробиться на сцену в ту эпоху, когда на телевидении Боб Хоуп отпускал короткие шутки типа: «Я никогда не думаю о женщине второй раз. Мой первый раз покрывает все»[75]75
  Joseph P. Boon, “Bob Hope Predicts Greater US,” Bucks County Courier Times, Aug 20, 1974, https://newspaperarchive.com/bucks-countycourier-times-aug-20–1974-p-9/.


[Закрыть]. Это племя радикально отвергло юмор подобного сорта, в высшей степени популярный у предыдущего поколения. Их ценности были противоположны: нарушать табу, бороться с социальной несправедливостью, рассказывать сверхреалистические истории, – и кажется, слушатели воспринимали эти истории весьма болезненно. Все, чему им удавалось научиться в процессе работы, они передавали друг другу. Сочувствовали друг другу после сценических провалов. Экспериментировали друг над другом и учились друг у друга. Именно это племя блестящих комиков, новаторов своего дела, заложило основу будущей американской индустрии развлечений[76]76
  James McPherson, “The New Comic Style of Richard Pryor,” New York Times, April 27, 1975. Это великолепно рассказанная история Прайора из тех времен, когда он еще не был знаменитостью.


[Закрыть]⁴. Влияние их группы можно проследить и сегодня.

В определенном смысле индустрия ИИ прошла через подобные радикальные преобразования – и тоже благодаря современному «племени», соединенному общими ценностями, идеями и целями. Упомянутые выше пионеры методологии глубокого обучения – Джефф Хинтон, Ян Лекун и Йошуа Бенджио – были Сэмами Кинисонами и Ричардами Прайорами ИИ в те времена, когда развитие нейронных сетей только начиналось. Лекун был студентом Хинтона в Торонтском университете, куда Канадский институт перспективных исследований (CIFAR) привел небольшую группу ученых, в числе которых был и Йошуа Бенджио. Они проводили бессчетные часы вместе, обсуждая возникающие у них идеи, проверяя теории, создавая новое поколение ИИ. «Существовало очень узкое сообщество людей, веривших, что рано или поздно на первый план выйдут нейронные сети, – говорит Лекун. – Нам нужно было безопасное пространство, где мы могли бы экспериментировать, проводить маленькие встречи, заседания рабочих групп, чтобы как следует разработать свои идеи, прежде чем их публиковать»[77]77
  Ashlee Vance, “How We Got Here,”Bloomberg Businessweek, May 21, 2018, https://www.scribd.com/article/379513106/How-We-Got-Here


[Закрыть].

Крепкие связи внутри племени формируются, когда люди работают, переживают неудачи и празднуют успехи вместе. У них образуется общий опыт, который выражается в общем лексиконе, а он, в свою очередь, приводит к возникновению общих идей, целей, стиля поведения. Именно поэтому так много историй о возникновении стартапов, политических движений, значительных явлений культуры начинаются одинаково: с общей комнаты в общежитии, дома или гаража и интенсивной работы над взаимосвязанными проектами.

Пускай сегодня бизнес ИИ сосредоточен в Кремниевой долине, Пекине, Ханчжоу и Шэньчжэне: основу отрасли всегда закладывали университеты. Таких центров совсем немного: в США это университет Карнеги – Меллона, Технологический институт Джорджии, Стэнфорд, Калифорнийский университет в Беркли, Вашингтонский университет, Гарвард, Корнелл, Университет Дьюка, Массачусетский технологический институт (МТИ), Бостонский университет, Университет Макгилла и Монреальский университет. Именно в них имеются сильные группы исследователей с сильными отраслевыми связями.

В племенах обычно соблюдают правила и ритуалы, поэтому давайте исследуем обряд инициации племен ИИ. Он начинается с напряженного обучения в университете.

Обучение в университетах Северной Америки сосредоточено в основном на развитии профессиональных навыков, например владение языками R и Python, обработка естественного языка, прикладная статистика, знакомство с компьютерным зрением, вычислительной биологией и теорией игр. Не одобряется изучение дисциплин, лежащих за границами племени, таких, например, как философия разума, образ мусульманской женщины в литературе или колониализм. Если мы пытаемся строить машины, которые мыслили бы как люди, кажется нелогичным исключать курсы, где говорится о человеческой жизни. Сейчас подобные предметы умышленно исключаются из программы, а найти им место как курсам по выбору сложно.

Племя требует навыков, и в четыре первых года учебы нужно успеть очень многое. Например, в Стэнфорде студенты должны набрать 50 часов интенсивного изучения математики, естественных наук и инженерного дела помимо обязательных 15 часов информатики. Хотя программа обучения по специальности включает в себя курс этики, но только в качестве одного из пяти возможных предметов по выбору[78]78
  “Computer Science,” Stanford Bulletin 2018–19, Stanford University, https://exploredegrees.stanford.edu/schoolofengineering/computerscience/ #bachelortext.


[Закрыть]. В 2018 году Университет Карнеги – Меллона запустил курс по специальности ИИ. Таким образом, школа получила возможность начать все с чистого листа и разработать современную программу для ИИ с нуля. Однако и тут правила и ритуалы племени взяли верх и во главе угла оказались исключительно профессиональные навыки. Несмотря на то что для получения диплома нужно пройти курс этики и несколько курсов из области гуманитарных наук и искусств, все они главным образом концентрируются на нейронауке (например когнитивной психологии, человеческой памяти, визуальном восприятии). Среди них не найдешь обязательных предметов, которые учили бы находить систематические искажения в данных, применять философию к принятию решений или же пользоваться этикой инклюзивности. Формальное признание того факта, что социальное и социоэкономическое разнообразие так же важны для общества, как и биоразнообразие, отсутствует.

Преподавание профессиональных навыков носит практический характер – иными словами, изучающие ИИ студенты отнюдь не проводят все свое время, зарывшись в книги. Для учебы им нужны лексические базы данных, библиотеки изображений, нейронные сети. Был период, когда одной из самых популярных нейронных сетей в университетах была Word2vec, разработанная в Google Brain. Она представляла собой двухслойную сеть, обрабатывавшую текст и переводившую его в числа, понятные ИИ[79]79
  “Vector Representations of Words,” TensorFlow.org, https://www. tensorflow.org/tutorials/representation/word2vec.


[Закрыть]. Например, сеть была обучена следующему факту: «Мужчина относится к королю так же, как женщина к королеве». Но дальше база данных сделала такие выводы: «Отец относится к доктору так же, как мать к медсестре» и «Мужчина относится к программисту так же, как женщина к домохозяйке»[80]80
  Tolga Bolukbasi et al., “Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings,” Advances in Neural Information Processing Systems 29 (2016): 4349–4357, https://arxiv.org/ abs/1607.06520.


[Закрыть]. Система, используемая студентами, заключала в себе систематическое искажение. Если бы кому-то из студентов захотелось узнать о более далеко идущих последствиях сексистского подхода, он не нашел бы соответствующего предмета.

В 2017 и 2018 годах некоторые из перечисленных выше университетов разработали новые курсы этики, учитывающие проблемы, которые к тому времени уже ставил ИИ. Центр Беркмана Кляйна Гарвардского университета и медиалаборатория МТИ совместно предложили новый курс этики и регулирования ИИ[81]81
  Natalie Saltiel, “The Ethics and Governance of Artificial Intelligence,” MIT Media Lab, November 16, 2017, https://www.media.mit.edu/courses/ the-ethics-and-governance-of-artificial-intelligence/. Там же можно посмотреть видеозаписи лекций.


[Закрыть]. Программа курса и сами лекции были великолепны[82]82
  Записи лекций можно посмотреть здесь: https://www.media.mit.edu/ courses/the-ethics-and-governance-of-artificial-intelligence/.


[Закрыть], но преподавался он вне пределов территории обоих вузов, и таким образом то, что там преподавалось и обсуждалось, не могло оказать влияние на другие части программы.

Конечно, курс этики обязателен во всех университетах, преподающих ИИ, – это ведь записано в аккредитационных стандартах. Чтобы получить одобрение со стороны Аккредитационной инженерно-технологической комиссии, программа по информатике должна продемонстрировать, что студенты обладают «пониманием профессиональных, этических, юридических, социальных проблем и задач, а также проблем и задач в области безопасности» и «умением анализировать локальные и глобальные последствия применения вычислительной техники для индивидов, организаций общества». В то же время могу вам сказать из своего опыта, что создание численных критериев, обеспечивающих подобные требования, – процесс в лучшем случае субъективный, и обеспечить сколь-нибудь приемлемую точность оказывается невероятно сложно, особенно в отсутствие обязательных для всех курсов. Я сама вхожу в состав Аккредитационного совета по образованию, журналистике и средствам массовой информации. Программа обучения для журналистов и работников средств массовой информации, как правило, сосредоточена на гуманитарных дисциплинах, например репортаже, написании текстов, производстве медиа. Можно сказать, что это не столь жестко профессиональные навыки, что они носят более общий характер. И тем не менее нашим собственным образовательным учреждениям часто бывает сложно соответствовать стандартам в области социальных проблем и задач, включая разнообразие. Университет по-прежнему может получить аккредитацию, даже если не соответствует стандартам по разнообразию – в аккредитационном совете, где работаю я, такие случаи бывали. Но как можно надеяться хоть сколько-то улучшить ситуацию с программой, нацеленной на формирование жестких профессиональных навыков, таких как ИИ, если не добиваться более жесткого соблюдения стандартов и не проводить серьезной соответствующей работы с университетами?

Обучение в колледже достаточно трудно, а блага, предлагаемые «Большой девяткой» новым сотрудникам, весьма конкурентоспособны. Курсы по выбору, типа африканской литературы или этики общественной работы, могли бы, без сомнения, расширить кругозор будущих сотрудников отрасли ИИ, но требования экосистемы растут с каждым днем. Вместо этого племя требует доказывать наличие навыков – иными словами, вчерашний выпускник с первого дня должен выполнять работу без всяких скидок, быть полезным игроком в команде. На самом деле именно те курсы по выбору, которые могли бы дать будущим ученым в области ИИ более широкий взгляд на человечество, с большой вероятностью отрицательно скажутся на их шансах в процессе найма. Причина заключается в том, что «Большая девятка» использует для фильтрации резюме ИИ, обученный искать профессиональные навыки по ключевым словам. Учебная работа, лежащая за пределами стандартных предметов, либо будет воспринята как аномалия, либо вообще сделает кандидата невидимым.

ИИ, сканирующий резюме, доказывает, что систематическое искажение имеет место отнюдь не только в отношении расы и пола. Существует предубеждение против философии, литературы, теоретической физики, бихевиоральной экономики, поскольку кандидаты с большим количеством курсов по выбору, лежащими за пределами традиционной области ИИ, как правило, оказываются в конце списка. В племени используется система найма, разработанная для автоматизации утомительной и монотонной задачи первичного разбора тысяч резюме и потенциально способна выводить из рассмотрения кандидатов, обладающих более разнообразным и полезным академическим опытом.

Руководители учебных заведений быстро возразят, что согласны на обязательный курс этики, даже если племя не требует более обширной подготовки (оно как раз не требует). Добавление других столь же трудоемких предметов, например сравнительного литературоведения или изучения мировых религий, могло бы произойти только за счет курсов, дающих профессиональные навыки. Студенты будут недовольны, если их заставят проходить предметы, которые представляются им излишними, в то время как партнеры в индустрии требуют выпускников, обладающих первоклассными профессиональными умениями. При том что работодатели интенсивно конкурируют за лучших и самых талантливых студентов, разве станут престижные университеты, типа Стэнфорда и Карнеги – Меллона, резать курицу, несущую золотые яйца?

Технология развивается быстрее, чем мелют мельницы университетского образования. Единственный и обязательный курс этики, даже специально составленный под нужды студентов, изучающих ИИ, окажется недостаточен, если материал отстает от времени, а особенно если его содержание не связано с остальными частями программы. Но если программу изменить невозможно, как обстоит дело с конкретными преподавателями? Может быть, у них достаточно ресурсов, чтобы справиться с проблемой? Маловероятно, чтобы так поступило сколько-то значительное количество из них. Оплата труда профессоров построена так, что им невыгодно менять программы своих курсов под влиянием вопросов, касающихся технологических, экономических и социальных ценностей. На это расходовалось бы драгоценное время. Курсы могли бы утратить часть своей привлекательности для студентов. Университеты заинтересованы в убедительной статистике найма своих выпускников, а работодатели – в выпускниках с качественными профессиональными навыками. Вся «Большая девятка» – партнеры этих университетов, которые, в свою очередь, опираются на их финансирование и другие ресурсы. Тем не менее именно это время, по-видимому, самое подходящее, чтобы задавать неудобные вопросы, например: «Кому принадлежит твое лицо?» Их лучше произнести и обсудить в безопасной тишине аудиторий до того, как студенты превратятся в сотрудников, зажатых в клещи дедлайнов и планов по прибыли.

Если университеты – то место, где формируются племена ИИ, то легко понять, почему «в поле» так мало разнообразия по сравнению с другими профессиями. На самом деле руководители отрасли с готовностью возлагают вину за недостаточное разнообразие кадров на учебные заведения, называя это «проблемой технологической цепочки». Нельзя сказать, что это полностью неправда. Племена ИИ формируются как раз в то время, когда профессора обучают студентов в классах и лабораториях, когда студенты вместе трудятся над курсовыми работами и исследовательскими проектами. Профессора, лаборатории, руководство направлений, готовящих студентов для ИИ, – все они преимущественно мужчины, и их спектр в смысле разнообразия скуден.

В университетах для кандидатов на степень PhD[83]83
  «Доктор философии», примерно соответствует кандидату наук в Российской Федерации. – Прим. пер.


[Закрыть] существует три рода занятий: помогать в исследованиях, обучать студентов-старшекурсников и вести перспективную работу в своей области. По данным Национального центра статистики в области образования, на долю женщин приходится всего 23 % степеней PhD в области информатики и всего 28 % – в области математики и статистики[84]84
  Catherine Ashcraft, Brad McLain, and Elizabeth Eger, Women in Tech: The Facts (Boulder, CO: National Center for Women & Information Technology, 2016), https://www.ncwit.org/sites/default/files/resources/ womenintech_facts_fullreport_05132016.pdf.


[Закрыть]. По карьерной лестнице в науке подниматься на каблуках труднее: женщины со степенью PhD реже получают бессрочный контракт и руководящие должности, чем мужчины. Поэтому нас не должно удивлять, что среди удостоенных степени бакалавра по информатике всего 18 % приходятся на долю женщин, причем по сравнению с 1985 годом этот показатель заметно снизился (тогда было 35 %)[85]85
  “Degrees in computer and information sciences conferred by degreegranting institutions, by level of degree and sex of student: 1970–1971 through 2010–2011,” Table 349 in Digest of Education Statistics, 2012 (Washington, DC: National Center for Education Statistics, 2013), https://nces.ed.gov/ programs/digest/d12/tables/dt12_349.asp.


[Закрыть]. Крайне низка доля кандидатов на PhD среди черных и латиноамериканцев: всего 1 и 3 % соответственно[86]86
  “Doctor’s degrees conferred by postsecondary institutions, by race/ ethnicity and field of study: 2013–14 and 2014–15,” Table 324.25 in Digest of Education Statistics, 2016 (Washington, DC: National Center for Education Statistics, 2018), https://nces.ed.gov/programs/digest/d16/ tables/dt16_324.25.asp?current=yes.


[Закрыть].

По мере того как племя растет, оставаясь в своей замкнутой среде, проявляются некоторые ужасные привычки. Женщины-ученые в области ИИ вынуждены сталкиваться с сексуальными домогательствами, неподобающими шутками и в целом отвратительным поведением со стороны своих коллег-мужчин. Раз такое поведение становится нормой, племя переносит его из колледжа на рабочее место. Таким образом, проблема не столько в технологической цепочке, сколько в людях. Племена ИИ насаждают культуру, в которой женщины и некоторые меньшинства – например, черные и латиноамериканцы – попросту отторгаются.

В 2017 году инженер Google разослал ставшее потом печально известным письмо, где говорилось, что женщины биологически менее способны к программированию. В ответ генеральный директор Google Сундар Пичаи уволил автора, но также сказал: «Многое из написанного в письме может быть предметом честной дискуссии»[87]87
  Christopher Mims, “What the Google Controversy Misses: The Business Case for Diversity,” Wall Street Journal, August 13, 2017, https://www.wsj. com/articles/what-the-google-controversy-misses-the-business-case-fordiversity-1502625603.


[Закрыть]. Племенная культура, враждебная к чужакам, создает кумулятивный эффект, и в результате состав кадров становится еще более однообразным. Работа в области ИИ движется вперед, приближая нас к созданию систем, способных мыслить за человека и вместе с человеком, но в то же время целые группы людей исключаются из процесса разработки.

Я отнюдь не пытаюсь сказать, что среди сотрудников университетов нет женщин или цветных. Директор знаменитой Лаборатории ИИ интеллекта МТИ (CSAIL) – Даниэла Рус, лауреат множества профессиональных и академических наград, в том числе стипендии Мак-Артура. Кейт Кроуфорд, заслуженный профессор-исследователь[88]88
  Профессор-исследователь – научная должность, предполагающая исключительно исследовательскую работу, а не занятия со студентами. – Прим. пер.


[Закрыть] Нью-Йоркского университета в то же время возглавляет работающий под эгидой этого университета институт, который занимается проблематикой воздействия ИИ на общество. В области ИИ есть женщины и цветные, ведущие огромную работу, но они представлены совершенно недостаточно.