Текст книги "Пиксель. История одной точки"

Британцы создали первые задокументированные цифровые изображения и первую интерактивную видеоигру. Наверняка они сделали и компьютерную анимацию, потому что Baby был вполне способен показывать движущиеся изображения. Но, как ни странно, тому нет никаких доказательств, даже устных свидетельств. И Baby, и EDSAC рисовали последовательности цифровых изображений, но все это было лишь случайным содержимым их памяти.

Возможно, EDSAC при помощи одной из программ рисовал шотландского танцора, но об этом остались лишь устные свидетельства. Насколько мне известно, первую задокументированную компьютерную анимацию как преднамеренную последовательность двумерных изображений создали янки на компьютере Whirlwind Массачусетского технологического института.

Руководство по программированию Whirlwind, опубликованное 11 июня 1951 года, содержало «экран с прыгающим мячом». Эскиз (рис. 4.20) экрана осциллоскопа сопровождает текст самой программы, написанной Чарли Адамсом. Согласно подписи, точки отображались в виде временной последовательности. Очевидно, это была первая задокументированная компьютерная анимация, хотя, возможно, она задумывалась просто как неподвижная картинка без специального контроля времени между точками. Просто расчет шел медленно, а каждая точка после отображения постепенно гасла, что создавало видимость прыгающего мяча – во всяком случае, прыгающей точки.

Я, как обычно, подойду к материалу очень осторожно и возьму дату публикации руководства в качестве «официальной» датировки этой картинки и, возможно, первой анимации. Она подтверждается официальной фотографией из архива Whirlwind (рис. 4.21), датированной 13 декабря 1951 года.

Я уделяю столько внимания этой картинке из-за ее важного значения для истории. Адамс охарактеризовал ее как «вероятно, самую популярную демонстрацию возможностей Whirlwind до того, как заработало электростатическое хранилище». Другими словами, речь идет об использовании Whirlwind–. Адамс и его коллега Джек Гилмор, присоединившийся к нему в октябре 1950 года, превратили прыгающую точку («мяч») в своеобразную игру (рис. 4.22). Они добавили звук удара при каждом отскоке, так что эту версию уже определенно можно считать настоящей анимацией.

Рис. 4.20

Рис. 4.21

Игроки в интерактивном режиме изменяли частоту отскоков, а побеждал тот, кто первым попадал «мячом» в лунку – промежуток на горизонтальной оси. Попадание компьютер сопровождал другим звуком. Самая ранняя фотография этой «игры» из архива Whirlwind датируется июнем 1953 года.

Из опубликованного кода видно, что это не циклическая программа, ожидающая хода следующего игрока. Другими словами, она не предполагала настоящего интерактива. Похоже, эту программу каждый раз требовалось перезапускать с новым набором из трех начальных условий, вводимых с помощью тумблеров. Здесь, конечно, появляется соблазн заявить, что это в любом случае некая форма интерактивности и претендент на звание первой видеоигры. Некоторые так и делают. Безусловно, некая форма игры тут присутствует. По крайней мере, она побуждала студентов Массачусетского технологического института упорствовать в утомительном процессе программирования Whirlwind–.

Прыгающая точка в итоге стала анимацией если не в июне 1951 года, то уж точно к июню 1953-го. Но две первые достоверные и датированные компьютерные анимации тоже появились на Whirlwind и тоже в 1951 году. Одна была растровой, а другая – векторной.

В телешоу Эдварда Р. Марроу «Смотри сейчас» 16 декабря 1951 года показали два мультфильма, сделанных на Whirlwind–. Все началось с растровой анимации (рис. 4.23). «Разбросанные» пиксели складывались в слова HELLO MR. MURROW (ЗДРАВСТВУЙТЕ, МИСТЕР МАРРОУ). Последовательно каждый столбец становился ярче, а затем гас, по-видимому управляемый специально написанной программой. В другой анимации фигурировала движущаяся точка, которая изображала ракету, летящую по параболической траектории. Эта каллиграфическая картинка создана на растровом осциллоскопе. Световые пятна зажигались вдоль кривой и не оставляли следа. Фактически это первая дуга из «отскоков» движущегося «мяча».

Математик Мартин Дэвис рассказал мне историю, подтверждающую еще одну раннюю попытку создания анимации, на этот раз у американцев и определенно на пиксельном дисплее. Весной 1952 года Дэвис некоторое время занимался отладкой кода в Иллинойсском университете. Он работал с компьютером ORDVAC, еще одним потомком EDVAC, введенным в эксплуатацию весной 1951 года. Как и MANIAC, тот обладал памятью на 40 трубках Уильямса, а его монитор можно было переключать, чтобы отобразить состояние любой из них. Дэвис рассказал, а его жена Вирджиния подтвердила, что кто-то написал программу, выводившую на дисплей сообщение HELLO VISITOR! THIS IS THE ORDVAC (ПРИВЕТ, ПОСЕТИТЕЛЬ! ЭТО ORDVAC). Слишком крупные буквы не помещались на экран. Чтобы прочитать сообщение полностью, приходилось ждать, пока оно «прокрутится» по монитору справа налево. Эта ранняя компьютерная анимация, вероятно, создана где-то между весной 1951 и весной 1952 года. В своих осторожных оценках я буду ориентироваться на весну 1952 года.

Рис. 4.22

Рис. 4.23

К той же категории анекдотичных свидетельств я отношу рассказ Ричарда Мервина, который работал над ENIAC, затем в Лос-Аламосе – над MANIAC (еще одним потомком EDVAC), а потом – над IBM 702. Мы с Диком вошли в состав делегации специалистов по информатике из IEEE, которых на целый месяц пригласили в Китай в 1978 году. Тогда после судьбоносных переговоров Ричарда Никсона и Мао Цзэдуна Китай распахнул свои двери для иностранцев. В тот памятный момент, когда наш автобус проезжал мимо Запретного города, Дик рассказывал мне о первой компьютерной анимации, которую он увидел на трубке Уильямса в начале 1950-х годов. Там демонстрировалась бутылка, из которой вино наливалось в бокал. То, что он описывал, могло быть изображено на мониторе MANIAC, но я больше склоняюсь к IBM 701 где-то в 1952 или 1953 году или к IBM 702 еще позже. Я называю это свидетельство анекдотичным, потому что с расстояния в 40 лет уже не различить мелких деталей, а Мервина, к сожалению, уже нет в живых, чтобы он уточнил их. Возможно, эта история смешалась у меня в памяти с другой версией событий, которую я слышал от пионера графики Джорджа Майкла из Ливерморской национальной лаборатории Лоуренса: в начале 1950-х для проверки памяти на трубке Уильямса в компьютере IBM 701 использовалась анимированная картинка с пивной бутылкой, из которой пиво наливалось в стакан. Другой пионер компьютерной графики Робин Форрест описал еще один вариант: «Говорят, что одному талантливому программисту удалось написать программу, которая отображала анимацию с водой, наполняющей стакан».

Вы можете возразить, что объект, который я назвал Первым Светом (рис. 4.2), – это не картинка, а текст: C.R.T. STORE. Но текст – это тоже изображение, согласно любому разумному определению. Любое изображение – в терминах, с которыми мы познакомимся по ходу дела, – представляет собой рендеринг (преобразование) геометрических описаний букв и цифр в пиксели, точно так же как современный анимационный фильм – это рендеринг геометрических описаний сцен и героев в пиксели.

Ранние угловатые картинки лишены изящества. Килбурн делал их по наитию, не опираясь на теорему отсчетов. Вряд ли он вообще знал о ее существовании. Впервые, в изложении Котельникова, она была опубликована на русском языке в 1933 году, а английская версия Шеннона не печаталась в открытых источниках до 1948 года. Тьюринг познакомился с теоремой отсчетов уже в 1943 году, что согласуется с заявлением Шеннона, считавшего, что в его профессиональной сфере она была общеизвестна. Однако, когда Килбурн создал Первый Свет – первое цифровое изображение, – Тьюринг еще не переехал в Манчестер. И нет причин предполагать, что Тьюринг, несмотря на всю свою гениальность, когда-либо задумывался о применении теоремы отсчетов к области зрения.

С одним битом – или двумя значениями – на пиксель картинка Килбурна получилась хороша, насколько возможно, пускай сейчас она и кажется наивной. В памяти на трубке Уильямса просто не хватало пикселей – и битов на пиксель, – чтобы точно отобразить плавно очерченный объект с резкими краями, например букву. Говоря на языке частот, плотность пикселей далеко не дотягивала до (удвоенной) самой высокой частоты пространственной волны в буквах. Так первые изображения еще и демонстрировали сложную проблему неровностей, которую предстояло решить, чтобы успешно достичь Цифрового Света.

Все первые изображения, видеоигры и анимации (кроме каллиграфических векторных изображений на осциллоскопе в Массачусетском технологическом институте) – это любительское преобразование простых геометрических объектов (букв, цифр, квадратов, прямых и кривых линий) в однобитные пиксели. Такие наивные визуализации не предполагали понимания и применения теоремы Котельникова. Никто еще не знал об исключительной важности частоты отсчетов – идеи, которая в конечном итоге приведет к Великой цифровой конвергенции. Вот почему я не возражаю, чтобы на раннем этапе не делать различий между векторными дисплеями, используемыми на Whirlwind, и растровыми, используемыми на других машинах. Каллиграфические растровые изображения – это часть нашего наивного детства.

Если говорить о наивности, любой образец вышивки 1760 года (рис 4.24, слева) предлагает ответ на ваше возражение о ранней истории Цифрового Света, описанной в этой книге. (Кстати, слово «образец» кажется на удивление похожим на нашу терминологию с «выборкой» и «отсчетом», но имеет здесь совершенно другое значение – просто пример чьей-то работы.) Почему бы не считать вышивку предшественником Цифрового Света? Почему не считать таковым любой гобелен с изображением? Или любую мозаику (рис. 4.24, справа) – изображение, состоящее из равномерно расположенных стеклянных плиток-смальт? Любой из этих примеров представляет собой картинку, сформированную из наивной выборки – без использования теоремы Котельникова – точно так же, как Первый Свет.

Рис. 4.24

Что ж, их можно считать предшественниками цифровых изображений и Цифрового Света. Нет никаких сомнений. Кроме того, они представляли собой аппаратуру памяти, постоянное запоминающее устройство из ниток или кусочков стекла. У Цифрового Света отыщутся тысячи подобных предшественников, существовавших века или даже тысячелетия назад. Но от этих разрозненных образцов нет очевидного технологического пути к сегодняшним цифровым изображениям, таким как слова, которые вы сейчас читаете. Следующий раздел посвящен более серьезным претендентам на звание первых пикселей.

Телетайп, машина для передачи текста, – старая идея, известная также как телепринтер или телекс (строго говоря, «Телетайп» – это торговая марка). Его принцип работы заключается в следующем: на клавишах устройства, похожего на электрическую пишущую машинку, набирается сообщение, которое превращается в электрический сигнал и передается по телеграфной линии на аналогичное устройство, преобразующее сигнал в буквы и выводящее текст на лист бумаги. Для передачи каждого символа используется уникальный сигнал.

Согласно нашему определению, произвольно набранный текст не относится к цифровым изображениям, потому что не предполагает намерения создать связную двумерную картинку. Но как насчет случаев, когда буквы умышленно расположены в виде двумерной матрицы так, чтобы с некоторого расстояния псевдотекст воспринимался как картинка? На рисунке 4.25 показаны два примера такого творчества: Мадонна с младенцем и портрет Дага Хаммаршёльда, ставшего в 1953 году генеральным секретарем ООН и самым молодым человеком, занимавшим эту должность. Чтобы облегчить выполнение задачи, некоторые символы напечатаны поверх других.

Вопрос в следующем: если уникальный сигнал представляет собой цифровые биты, то можем ли мы интерпретировать его как пиксель, а напечатанные буквы – как элемент отображения для этого пикселя? Вопрос отнюдь не праздный, потому что цифровые сигналы появились в 1874 году, когда Эмиль Бодо разработал «пятиэлементную» систему кодирования символов, которую мы сегодня назвали бы пятибитной. Оба изображения, приведенные выше, вероятно, передавались в кодировке Бодо. Здесь глиф выступает в качестве элемента отображения, а его оттенок серого (включая элементы, образованные путем наложения буквенных символов) приблизительно соответствует отношению площади черных чернил и белой бумаги в прямоугольной области, занятой глифом.

С тех пор сотни, а то и тысячи таких изображений (в большинстве своем – картинки с обнаженными женщинами) были созданы и разосланы – сначала по телеграфу в ночные смены, а затем с помощью радиолюбительских передатчиков. Операторы-любители собирали схемы управления телетайпом с помощью принятых сигналов, печатали изображение и одновременно перфорировали бумажную ленту. Бумажная лента – это запоминающее устройство телетайпа, с нее можно было сделать несколько копий, чтоб отправить друзьям, скажем, в качестве поздравления с Рождеством. Таким образом, телетайп как способ создания цифровых изображений получил широкое распространение до появления компьютеров в 1948 году и в течение еще более десяти лет после, пока компьютеры оставались редкими и дорогими. Примеры таких изображений приведены выше. Мадонна с младенцем датируется 1947 годом, а портрет Хаммаршёльда – 1962-м.

Эпоха телетайпного искусства застала рождение компьютеров и легко адаптировалась к изменившемуся миру. Появились новые коды, заменившие систему Бодо. С их помощью компьютеры взаимодействовали с печатающими терминалами, такими как телетайпы. История подобных пересечений заставляет нас задуматься над понятием Цифрового Света. Возникает вопрос: не требуется ли расширить определение и стоит ли считать телетайпные коды первыми пикселями еще до появления компьютеров?

Не совсем. Из-за «наивного» использования теоремы отсчетов и грубого восстановления мы можем считать их лишь ранними предшественниками пикселей Цифрового Света. Но поскольку система их хранения представляла собой бумажную ленту, а не электронную память, они не подходят под наше определение Цифрового Света. Чтобы сделать систему определений в этой книге непротиворечивой, мы будем настаивать только на электронной компьютерной памяти.

Рис. 4.25

Использование как наивной выборки, так и векторных каллиграфических мониторов, которые вообще не основывались на выборке, массово продолжалось в 1950-х, 1960-х, 1970-х и даже 1980-х годах. Только в конце 1960-х – начале 1970-х годов, в эпоху Цифрового Света, мы встречаем первые намеки на применение теоремы выборки к вычислению пикселей. Самые ранние попытки связаны с горизонтальным смягчением краев геометрических фигур или глифов, которые использовались для аннотирования изображений. На компьютерном жаргоне это называлось горизонтальным антиалиасингом или горизонтальным сглаживанием.

Если дискретизация выполняется с меньшей частотой, чем требует теорема отсчетов, то пропавшие высокие частоты отражаются на результате в виде появления визуального шума, который называют алиасингом. Сглаживание – это решение возникшей проблемы, способ избавиться от неприятной «ступенчатости», как иногда называют алиасинг. Правильное применение теоремы отсчетов требует значительной вычислительной мощности, поэтому на заре компьютерной эпохи ее реализация возлагалась на специализированное аппаратное обеспечение. Применение теоремы отсчетов программным способом откладывалось до обретения компьютерами большей силы в соответствии с законом Мура.

Первый явный пример полного антиалиасинга геометрической модели – в обоих измерениях, как мы видим на рисунке 4.26, – вероятно, выполнен Ричардом Шаупом из Исследовательского центра Xerox в Пало-Альто в 1973 году (но обратите внимание на замечание в комментариях по поводу возможного предшественника в 1971-м). Ступенчатые линии – вверху, сглаженные – внизу.

Шауп также создал в 1973 году изображение колеса повозки, показанное на рисунке 4.27 (зубчатое – слева, сглаженное – справа). Он явно не использовал теорему Котельникова ни для той, ни для другой картинки, но результаты свидетельствуют, что он прибегнул к какому-то эквивалентному методу. Оба изображения состоят из 8-битных пикселей в градациях серого и имеют устаревшее видеоразрешение (примерно 500 пикселей в ширину каждое).

Первое явное применение теоремы отсчетов для пространственного сглаживания состоялось в Университете штата Юта. Томас Стокхэм, эксперт по цифровому звуку, в 1970-х преподавал теорему отсчетов целому поколению пионеров компьютерной графики. Его ученик Эд Кэтмалл включил сглаженные изображения в свою докторскую диссертацию 1974 года. Другой его студент Фрэнк Кроу донес полученные от Стокхэма сведения до всех, кто занимается компьютерной графикой, в своей докторской диссертации 1976 года и последующих публикациях.

Сколько ни анализируй историю, все равно Цифровой Свет появился одновременно с рождением компьютеров. Первый Свет был зачат вместе с Baby. Первые пиксели – это в прямом смысле биты первой компьютерной памяти. Решающим периодом стал промежуток с 1947 по 1952 год. Возможно, произошел разрыв в один или два года между первыми тестовыми изображениями на трубке памяти Baby и первыми изображениями, которые были намеренно сгенерированы на компьютерах с хранимой программой при помощи программ, а не через прямую запись в память. Тем не менее очевидно, что к 1951 году на компьютерах уже создавались изображения из пикселей, управляемых хранимой в памяти программой. Эти пиксели получены интуитивным путем из геометрических моделей – обычно букв, цифр или других простых форм. Некоторые модели были интерактивными, а некоторые – анимированными. Использование теоремы отсчетов, вероятно, по-настоящему началось лишь с 1970-х годов.

Рис. 4.26

Рис. 4.27

Пиксель полностью объединяет историю Цифрового Света: компьютерную графику, видеоигры, обработку изображений, цифровую фотографию, интерфейсы приложений или операционных систем, цифровое телевидение, анимационные фильмы, виртуальную реальность и так далее. С этой точки зрения использование векторных дисплеев в компьютерной графике на протяжении нескольких десятилетий рассматривается как обходной путь. Значительное увеличение плотности элементов отображения на дисплеях и колоссальное ускорение вычислений, согласно закону Мура, позволило растровым дисплеям победить и вернуть Цифровой Свет к его растровым корням. Сведение всех устройств отображения к единому растровому виду в конечном счете привело к Великой цифровой конвергенции различных визуальных медиа. А теорема Котельникова – это магия, которая лежит в основе пикселя.

Теперь мы готовы применить три великие идеи – частоты, отсчеты и компьютеры – к двум технологиям – одной старой и одной новой. Старая – это кино. Одна из причин вернуться к истории кинематографа заключается в освоении словаря, полученного от него по наследству Цифровым Светом. Создание цифрового кино неизбежно зависело от существующих технологий киносъемки и анимации, полностью основываясь на них. Но главная причина состоит в демонстрации того, как великая идея отсчетов работает для понимания не только статических изображений, но и движущихся картинок. Оказывается, изобретение технологии кино также исходило из теоремы отсчетов, хотя в те времена о ней никто не знал. Теорема Котельникова дает нам возможность по-другому посмотреть на любой фильм. По дороге мы встретим несколько новых героев и тиранов, выслушаем несколько ошибочных версий. Вторым приложением трех фундаментальных идей будет сам Цифровой Свет, новая технология единого нового носителя информации.

5. Фильмы и анимация: время выборки

Для человеческого ума непонятна абсолютная непрерывность движения. Человеку становятся понятны законы какого бы то ни было движения только тогда, когда он рассматривает произвольно взятые единицы этого движения. Но вместе с тем из этого-то произвольного деления непрерывного движения на прерывные единицы проистекает большая часть человеческих заблуждений.

– Лев Толстой. «Война и мир»

Происхождение – вещь ускользающая, в прямом и переносном смысле, а кино, возможно, самое ускользающее медиа, которое когда-либо существовало. Истоки его окутаны смесью запретных табу и побуждающего любопытства и представляют собой проблемную смесь притязаний на право и собственность (часто ложных, всегда примитивизирующих): миф о неизбежном прогрессе, национальную гордость и откровенную дезинформацию. Столкнувшись со змеиным клубком претензий и встречных претензий, чистого эгоизма и путаной лжи, которыми отмечены описания происхождения кинематографа, хочется просто опустить руки.

– Том Ганнинг. Предисловие к книге Маннони «Великое искусство света и тени»

Борьба за первенство в создании кинематографа породила еще более ожесточенные споры, чем история компьютеров. Многие американцы считают изобретателем кино Томаса Эдисона или в крайнем случае англичанина с непроизносимой фамилией – Эдварда Мейбриджа. Французы называют первопроходцами своих соотечественников – братьев Люмьер. На самом деле в таком упрощении столь сложного технологического достижения, безусловно, скрывается ложный посыл. Здесь, как и в титрах в конце фильма, всегда нужно указать много участников, работавших над столь великолепной постановкой, а не одного только режиссера, исполнителя главной роли или сценариста. И уж конечно, недостаточно назвать лишь директора картины или менеджера по рекламе. Нет, подлинная история кино – это переплетенные заросли колючих кустов, еще более густые, чем в случае с компьютерами.

Между мирами компьютеров и кинематографа существуют метафорические связи, но по-настоящему объединяет их идея выборки. Котельников научил нас делать выборки из звукового потока в соксели, а из поля зрения – в пиксели. Но визуальный поток в наших глазах тоже можно разбить на отсчеты. Каждому известно название отсчета визуального потока – кадр. Последовательность кадров мы называем фильмом или кинокартиной. Визуальный поток, видимое поле зрения, которые меняются во времени, – это тоже музыка. Соответственно, в дело вступают великие идеи Фурье и Котельникова. А применив к кадрам (а также пикселям и сокселям) великую идею Тьюринга о машинных вычислениях, мы получим Цифровой Свет во всей его сияющей славе.

Если говорить вкратце, возможно в точности представить изменяющиеся поля зрения – то, что на самом деле видят наши глаза, – с помощью дискретных кадров-фотоснимков, сделанных через равные промежутки времени. Каждый кадр – это неподвижное изображение, которое проецируется нам в глаза в настоящий момент. Все, что происходит между кадрами, можно игнорировать, потому что при отображении эта выборка «разбрасывается» кинопроектором, превращаясь в непрерывность, точно воспроизводящую исходный визуальный поток.

Загвоздка в том, что никто из изобретателей кинематографа (все они были мужчинами) этого не знал. Созданная ими система работает не совсем так замечательно, как описано выше. Теорема выборки будет сформулирована почти через полвека. Таким образом, кинотехнология создавалась по наитию, а не с опорой на науку, что подтверждается шрамами, которые у нее остались после столкновений с острыми углами реальности. Неуклюжесть, запертая в технологической системе сто лет назад, все еще сохраняется. Цифровой Свет не создавался с чистого листа. Он унаследовал немало проблем из далекого прошлого.

В этой главе мы обратимся к отдельным эпизодам из истории кинематографа и выстроим из них относительно связное повествование – более честное, менее помпезное. В истории кино тиранами выступали бизнесмены и богачи, а не императоры или диктаторы: Леланд Стэнфорд у Эдварда Мейбриджа, Томас Эдисон у Уильяма Кеннеди Лори Диксона, Уолт Дисней у Аба Айверкса. Во всех этих случаях (и во множестве других) доминирующий влиял на успех подчиненного – и наоборот. Значение имели обе стороны. Сейчас мы развеем мифы, что Мейбридж был отцом кино, Эдисон создал кинофильм, а Дисней придумал Микки Мауса.