Впервые материал был опубликован в апреле 2021 года в спецпроекте Cognitive московского театра «Современник». Но сайт проекта был удален, поэтому с разрешения куратора проекта и автора статьи мы публикуем текст в нашем журнале.
Этот текст фокусируется на инструментах, которые можно использовать для создания технологического искусства, цифрового перформанса и театра. Все они довольно-таки свободно распределены по главам, посвященным коду, алгоритмам и технологиям, которые работают с телом и пространством. Но это разделение условно. Во-первых, код заложен во всех технологиях, поэтому его можно рассматривать как исторический и физический фундамент для всех описанных инструментов. Во-вторых, если раньше механизмы и правила работы алгоритмов были идейной основой цифрового искусства, то сейчас (с распространением и усложнением) они растворились в слоях интерфейсов и мобильных устройствах, став лишь абстрактным понятием. В-третьих, технологии бывают разными: искусственный интеллект формирует цифровое пространство (сайты, социальные сети и сервисы), а дополненная реальность или нейроинтерфейсы работают напрямую с физическими пространством и телом. В этом материале я даю концептуальную базу, описываю основные принципы перечисленных технологий и различные подходы к их использованию.
Код: первый инструмент
Если искать место и время, когда цифровое искусство складывается как направление, то им можно считать «Лаборатории Белла» (Bell Labs) 1960-х годов. Корпорация участвовала в разработке многих изобретений: транзистора, радиоастрономии, операционных систем и языков программирования. Конечно, в Bell Labs не было отдельного департамента, посвященного цифровому искусству. Оно было результатом экспериментов и личных интересов отдельных работников из разных департаментов. Творческие эксперименты с использованием компьютеров появились там, потому что в 1960-е годы компьютеры были только в таких исследовательских лабораториях, некоторых университетах и военной среде.
Первыми вышедшими из «Лабораторий Белла» примерами цифрового искусства были изображения. Это связано с тем, что на тот момент в ней проходили исследования компьютерной графики, визуализации данных и графических интерфейсов. При этом в то время они применялись в целях вывода результатов научных вычислений. В 1960-е годы в Bell Labs для этого использовали компьютер IBM 7090 и плоттер Stromberg Carlson SC-4020, который выводил изображения на 35-миллиметровую фотопленку.
Как из этого получилось искусство? Летом 1962 года сотрудник Bell Labs Майкл Нолл работал техническим специалистом в исследовательской группе, целью которой была разработка программного метода определения частоты человеческого голоса. Сами вычисления происходили на упомянутом выше компьютере, а написанная на языке Fortran программа связывала компьютер с плоттером, который выводил на пленку визуализацию вычислений.
Во время работы над этим проектом Элвин Берлекэмп, коллега Нолла, допустил ошибку в программе, из-за чего плоттер поместил на пленку изображение с хаотичными линиями. Берлекэмп иронично назвал это «компьютерным искусством». Но Майкл Нолл интересовался абстрактной живописью и сам когда-то учился рисованию, поэтому решил целенаправленно заставить компьютер генерировать те изображения, которые он запрограммирует.
Первыми работами Нолла стали «Квадратура Гаусса» и «Девяносто параллельных синусоид с линейно возрастающим периодом». Обе являются результатом работы программы, которую написал художник. Но первая также основана на алгоритме рандомизации. Полученная Ноллом визуализация работает так: координаты соединенных между собой точек по вертикали выбираются псевдослучайным образом с помощью программы (аналогично тому, как мы используем любой доступный сервис для выбора «случайного» значения, а Siri называет любое «случайное» число по нашей просьбе), а вертикальная точка выбирается исходя из квадратичного уравнения.
Помимо того, что компьютерный код лежит за всеми процессами цифрового мира, он является первым доступным способом создания искусства в цифровой среде. При этом цифровые и медиахудожники даже сейчас используют компьютерный код и алгоритмы или как творческие инструменты, или как художественные высказывания. Последний вариант получил название программного (software) или алгоритмического (algorithmic) искусства.
Создаваемое программным образом искусство долгое время было доступно только тем, кто мог пользоваться компьютерными ресурсами университетов или лабораторий. Но все изменилось в конце XX века, когда компьютер стал бытовым устройством. Одной из причин для этого, помимо их уменьшения и удешевления, является появление общедоступного интернета, который для многих и был главным поводом приобрести домашний компьютер.
Знакомый нам интернет, то есть Всемирная паутина, был изобретен в 1990-е Тимом Бернерсом-Ли во время работы в ЦЕРНе. Бернерс-Ли создал систему, которая основана на протоколе передачи гипертекстовой информации http. Этот протокол предоставляет доступ к написанным на языке разметки HTML-документам. Браузер компьютера считывает документ с разметкой и показывает пользователю страницу с ссылками на такие же документы. Спустя короткое время после создания Всемирной паутины, в середине 90-х годов, появилось движение нет-арта. К его созданию были причастны российские художники Оля Лялина и Алексей Шульгин, а также Хит Бантинг, Вук Косич и группа jodi.
Нужно понимать, что интернет середины и конца 90-х сильно отличался от нынешнего. В основном он состоял из статичных страниц, которые содержали текст и (гораздо реже) изображения. Набор средств и инструментов в вебе был ограничен, и целью нет-арта было исследование возможностей медиума, которым на тот момент пользовалось лишь меньшинство.
Наиболее ярким примером такого подхода являются работы Алексея Шульгина и арт-группы jodi. Например, для проекта Form Art Шульгин использовал все доступные элементы HTML-разметки для создания произведения искусства. Кнопки, слайдеры, полосы прокрутки и поля ввода текста становились интерактивными блоками для различных композиций.
А группа jodi использовала в своих работах не только пространство страницы, но и сам веб-браузер, как в проекте idn. Благодаря специальному коду, который был написан на языке JavaScript, страница проекта находилась в процессе бесконечной переадресации. При переходе на веб-адрес работы запускался скрипт, автоматически переключающий сайт на другие домены, из-за чего в движение приходило поле, где вводится и отображается адрес сайта.
Самым известным и хрестоматийным образцом нет-арта является работа Оли Лялиной «Мой парень вернулся с войны» (1996). Когда зритель щелкает мышкой по черно-белым изображениям и тексту, страница дробится на все более мелкие части. При этом, как отмечает художница, ее работа потеряла окончательный замысел из-за возросшей скорости современного интернета. Страницы сейчас открываются за доли секунды, а Лялиной было важно использовать долгую загрузку как метафору эмоционально напряженного разговора.
Можно ли сейчас использовать веб-инструменты вроде HTML, CSS и JavaScript для создания интернет-искусства? И да и нет. Даже если вы будете создавать проекты с использованием веб-технологий, нет-арта у вас не получится, потому что такого жанра искусства больше нет.
Сменился контекст: из пространства для ограниченного круга энтузиастов интернет стал повсеместным, а вместе с этим отпала и необходимость в исследовании границ веб-технологии. Если и заниматься интернет-искусством сейчас, то с учетом современных вопросов природы сетевых связей и взаимодействий, влиянии платформ на тело, чувственность, политику и экономику. Почему так, а не иначе?
Веб-технологии сейчас являются носителем и способом создания работ разных жанров. Например, это могут быть жанры электронной литературы. Текстовый генератор можно использовать для создания стихотворений, как это делает американский исследователь и поэт Ник Монтфорт. Свои работы он помещает в веб, используя при создании упомянутые выше HTML, CSS и JavaScript. При помощи последнего написан и основной алгоритм его художественных работ: из нескольких массивов с разными словами скрипт случайно выбирает одно, подставляя его в заранее созданную структуру предложения.
Интерактивный сторителлинг и текстовые игры эстетически напоминают произведения нет-арта, но все же относятся к жанрам литературы и гейм-дизайна. Начало им дала серия детских книг Choose Your Own Adventure, которые следовало читать не линейно, а перемещаясь по ссылкам от одной части книги к другой. Именно от этих переходов зависело развитие сюжета и финал.
Аналогично работают и веб-сайты: мы перемещаемся от одной ссылки к другой. При этом простота инструмента открывает большие возможности для создания сложных и захватывающих арт-работ. Их можно писать вручную с помощью HTML-кода, размещая ссылки на разные страницы. Или пользоваться готовыми инструментами-движками: например, Ink или Twine. Каждая из этих платформ сформировала вокруг себя большое сообщество создателей-энтузиастов, а также особую эстетику и язык произведений.
Вернемся к «Лабораториям Белла». Майкл Нолл использовал для создания своих работ Fortran — язык, который широко применялся для решения совершенно разных, но далеко не художественных задач. Также и с веб-технологиями: HTML, CSS и JavaScript являются популярными инструментами создания цифрового искусства, но их появление связано с чисто функциональной необходимостью. Однако есть также целые языки и среды программирования, нацеленные на искусство и дизайн.
Одним из них считается Processing. Это универсальный инструмент цифровых художников и дизайнеров, работающих с генеративными структурами. Для дизайна он полезен тем, что может генерировать сложные паттерны, манипулировать формами и структурами. Processing используется многими компаниями для создания логотипов: к примеру, медиалабораторией Массачусетского технологического института. Прочитать об истории этого языка можно в статье A Modern Prometheus.
Появление Processing облегчило создание программируемой интерактивной графики. Создавать визуальные произведения без глубоких навыков на других языках сложно, а Processing обладает довольно простым интерфейсом и удобной средой для написания кода, которая позволяет сразу увидеть результат выполнения команды. Этот язык дал возможность дизайнерам и художникам, которые далеки от компьютерных наук, освоить новый для себя способ создания произведений.
Другим инструментом художников являются визуальные языки программирования. Их используют для создания музыки и компьютерной графики. В таких языках применяется модель распределения данных, которая вдохновлена принципом работы аналоговых модульных синтезаторов. Пользователи визуальных языков программирования, таких как Pure Data, Max/MSP или TouchDesigner, создают проекты, используя визуальную модель блоков и соединений между ними. Блоки можно комбинировать и изменять в реальном времени, а результат написания программы видеть и слышать прямо по ходу ее создания.
Благодаря визуальным языкам программирования пользователи могут быстро и удобно создавать и изменять свои программы, в отличие от «классического» написания строчек кода. Расположение и последовательность блоков не имеет значения, они могут быть перемешаны в хаотичном порядке, независимо от типов данных. Но программа будет исполняться верно. Для результата важен только порядок подключения блоков друг к другу. Лишь то, как соединены между собой блоки, влияет на работу программы.
Такие языки часто используются в интерактивных инсталляциях и живых выступлениях. Например, Max/MSP дает много возможностей для генерации звука в реальном времени. Его можно изменять самостоятельно или с помощью различных датчиков, которые подключаются к компьютеру и распознают звуки, голоса, движение человека и отдельных частей его тела.
Другой пример — TouchDesigner. Он используется для создания генеративной графики разных масштабов: от небольших инсталляций до крупных шоу и мэппинга на здания. Без этой среды не обходится практически ни один проект студий Sila Sveta и Dreamlaser, которые создают интерактивные медиапроекты и сценический дизайн. TouchDesigner работает аналогично Max/MSP: различные блоки соединяются между собой, что позволяет создавать новые визуальные структуры или модифицировать исходные файлы. Это гибкая среда, которая поддерживает использование других инструментов на входе: камер, датчиков и других программ для интерактивного дизайна. Если хотите углубиться в это сильнее, прочтите интервью студии Sila Sveta об опыте использования TouchDesigner.
Алгоритмы вне кода
Программы и алгоритмы окружают нас повсюду. При этом они оказались скрыты за интерфейсами социальных сетей, сайтов и других технологий. Изучением их влияния на мир занимается такая академическая область, как software studies (исследования программного обеспечения). Отличным примером работы в этой области является книга Роба Китчина и Мартина Доджа Code/Space: Software and Everyday Life. В ней изучается роль компьютерного кода в формировании окружающих нас пространств. Китчин и Додж уверены, что их состояние зависит от используемых внутри алгоритмов и цифровых процессов. Примером «кода/пространства» является зона регистрации в аэропорту, офисы и кофейни, которые трансформируются в рабочие места, когда в них появляется беспроводной интернет и на территорию начинают приходить посетители с ноутбуками.
Возникает довольно парадоксальная ситуация: алгоритмов и технологий вокруг нас очень много, но именно из-за этого мы перестаем замечать их, не углубляемся в принципы их работы. Особенно это касается алгоритмов искусственного интеллекта: они появились как результат исследования возможностей автоматизации процесса мышления в разных академических областях. Но в конечном счете алгоритмы ИИ вроде нейронных сетей нашли свое применение внутри социальных сервисов и технологий слежения.
Алгоритмы знают многое о нашей цифровой деятельности и используют эти данные, чтобы взамен предоставлять нам информацию. Например, мы постоянно видим рекомендации тех или иных товаров, сервисов и услуг, когда листаем ленты в Facebook или Instagram (принадлежит компании Meta, которая признана экстремистской и запрещена на территории РФ). Но сфера онлайн-торговли не является единственным примером: рекомендательные сервисы вроде Spotify или Netflix способны контролировать образ цифрового мира, который мы видим, и формировать предпочтения и вкусы.
В то время как алгоритмы поднимают множество вопросов о персональных данных, их силе и способах манипуляции, искусство выбирает интересный способ размышления на эти же темы. Оно представляет алгоритмы в качестве живых систем, что видно даже на уровне слов. Мы говорим, что алгоритмы собирают и рекомендуют, контролируют и манипулируют, то есть совершают конкретные действия, свойственные человеку.
Но сравнение машины и человека началось гораздо раньше. Американский ученый, основоположник кибернетики и теории искусственного интеллекта Норберт Винер еще в первой половине XX века начал рассматривать их отношения с научной точки зрения. В 1948 году вышла книга Винера «Кибернетика, или Управление и связь в животном и машине». Ученый обозначает в ней понятия, которые считает важнейшими для любого организма или системы, — это связь, управление и обратная связь.
Алгоритмы, которые имитируют живые системы, встречаются часто. Но большая часть из них создается для изучений в сфере искусственного интеллекта. В качестве примера можно привести проект OpenWorm, который сфокусирован на биологии дождевого червя. Это коллективная попытка ученых создать компьютерную симуляцию мозга, тела и поведения дождевого червя.
Обычный червь имеет несколько сотен нейронов и тысячи соединений. Ученым намного удобнее работать с таким объектом исследований, потому что человеческий мозг, например, содержит миллиарды нейронов, которые соединяются взаимосвязанными синапсами, что в результате представляет собой систему из триллионов соединений. Простая структура мозга червя вместе с его короткой продолжительностью жизни делают его организм идеальным для научных экспериментов. На этом использование проекта не заканчивается.
Австралийский художник Томаш Кобялка использует OpenWorm в видеоинсталляции Pearl Diving for Wyrms (2017), изучая природу компьютерного сознания. Благодаря телесно воплощенным формам того же червя в цифровом пространстве художественное произведение исследует стратегии поведения игрока, демонстрирует размышления о влиянии алгоритмов на нашу социальную и эмоциональную жизнь. Об этой работе можно более подробно узнать в интервью с художником.
В описанном примере художник использует цифровые тела: от сгенерированных компьютером персонажей до червей. Этим жестом он утверждает, что в эпоху, когда алгоритмы способны предсказывать наше поведение и угадывать предпочтения, разделение между «виртуальным» и «реальным» больше нерелевантно. Тот факт, что нечто из физического мира вроде червя может быть помещено в виртуальность, означает, что эта самая виртуальность стала частью физической реальности.
Помимо размышлений о роли алгоритмов, многие художники напрямую используют их в своих художественным проектах. С помощью искусственного интеллекта и машинного обучения они исследуют границы авторства, отношения людей к технологиям и многие другие темы.
Например, в проекте deus X mchn российская художница Елена Никоноле использует сгенерированный нейросетями текст для вторжения в общественные пространства. Она обучила рекуррентную нейронную сеть на массиве священных текстов, относящихся к разным религиям. Далее алгоритм, основываясь на них, создавал новый текст, похожий на знакомые ему материалы. В результате текст смешивал синтаксические конструкции разных религиозных текстов, настоящих и выдуманных слов. Используя уязвимость городских видеокамер (не все пользователи меняют заводские логины и пароли), Никоноле подключалась к ним, получала полное управление и включала функцию трансляции аудио. Камеры в совершенно разных местах передавали несуществующие тексты, которые считывались человеком как сакральные.
Дополнение тела и пространства
Дополненная реальность (AR) — стремительно развивающийся медиум. Смартфоны и планшеты с постоянно усложняющимся программным обеспечением открыли новые возможности для совершенствования этой технологии. В случае с AR речь идет о дополнении физических пространств виртуальными объектами. Перед пользователем виртуальные образы предстают в форме добавочного слоя, который накладывается на пространство с помощью мобильных устройств. Это делает дополненную реальность одним из самых демократичных медиумов уже только потому, что практически у каждого современного человека есть смартфон.
Например, американская художница Нэнси Бейкер Кэхилл с помощью дополненной реальности расширяет возможности своих произведений: зритель может оказаться внутри картины или студии художницы, независимо от места своего нахождения. Проект Бейкер Кэхилл Coordinates (2018) представляет собой групповую выставку работ нескольких художников в формате дополненной реальности в одном приложении. Получить доступ к цифровым инсталляциям можно в любой точке мира, но в то же время есть возможность увидеть произведения в привязке к конкретной геопозиции.
Сама по себе дополненная реальность является результатом работ исследователей в области виртуальной реальности. Несмотря на это, своим стремлением отказаться от помещения зрителя-пользователя в искусственную среду (как в системах виртуальной реальности), она сильно дистанцируется от нее.
Рожденная в инженерных лабораториях в начале 1990-х годов концепция AR была разработана именно учеными. Одно из наиболее полных и часто цитируемых определений дано компьютерными инженерами Полом Милграмом и Фумио Кишино, которые расшифровывают понятие «дополненная реальность» как «все случаи, в которых отображение реальной среды дополняется с помощью виртуальных (созданных с помощью компьютерной графики) объектов».
Они включают дополненную реальность в широкую схему «континуум реальности — виртуальности». Диапазон сред в этой схеме варьируется от «в основном реальных» до чисто «виртуальных». AR и то, что Милграм и Кишино называют «дополненной виртуальностью» (augmented virtuality, AV), расположены между двумя концами спектра как состояния, в которых реальное и виртуальное объединяются в разных пропорциях.
Встраивая виртуальные данные в повседневную среду, дополненная реальность преобразует физическое пространство, предлагает другой способ размышления о нем, допуская существование пространства между реальным и виртуальным. В AR то, что мы называем «реальностью», становится гораздо более сложной конструкцией, перцептивные и смысловые измерения которой определяются (и расширяются) виртуальными данными. В AR-пространствах восприятие элементов материальной реальности и виртуальные данные в равной степени способствуют созданию опыта и художественного произведения.
Теоретик медиа Лев Манович в книге The Poetics of Augmented Space предлагает рассматривать виртуальные объекты в дополненной реальности как конкретную форму. Он утверждает, что «архитекторы вместе с художниками могут сделать следующий логический шаг, чтобы рассматривать “невидимое” пространство электронных потоков данных как субстанцию, а не как пустоту — то, что нуждается в структуре, политике и поэтике». И здесь «поэтику» можно понимать как новую модель восприятия, которая «переосмысливает аугментацию как идею и культурно-эстетическую практику, а не как технологию».
Примером такой работы с пространством в дополненной реальности является проект World Collider. Он дает возможность разместить в AR объекты городского пространства Токио: знаки, билборды и вендинговые аппараты. Вынутые элементы городского языка одного пространства помещаются в другое. Создается ситуация третьего пространства, которое запускает разговор о культуре и уникальности городских элементов..
В качестве еще одного примера реконфигурации физического пространства хочу привести мой собственный проект — Captical Voyage. Это спектакль в дополненной реальности, но в роли виртуальных объектов там выступают не отдельные элементы, а целые комнаты. Они размещаются на полу в виде порталов, внутрь которых можно войти и перемещаться. Такой подход позволяет создавать архитектурную логику и сценографию, расширять физическое пространство, в котором находится зритель, пользователь.
Дополненная реальность создает новую практику взаимодействия с пространством, объединяя реальные (физические, натуральные) и виртуальные (технологические) элементы в определенном визуальном режиме. Но еще одно интересное отношение между физическим и виртуальным возникает при использовании технологий, которые работают с человеческим телом.
Мы уже рассматривали основные идеи взаимодействия человека и компьютера, а также кибернетики. В них обмен информацией и обратная связь являются важнейшими принципами организации живых организмов и технологических систем. Примером такой системы в искусстве является использование нейротехнологий.
Существует уже несколько театральных проектов, основанных на нейрокомпьютерных интерфейсах, которые считывают состояние человеческого мозга с помощью электроэнцефалографии. Его ритмы можно по-разному интерпретировать: например, считывать эмоции (радость, агрессию, грусть), мышечное напряжение и движение глаз.
Например, команда проекта «Лаборатория Боли, или К чему приводит Овидий» (победители опен-колла «Группы продленного дня» в Театре Ермоловой) использует текст «лаборатории боли». Это анонимный Google-документ, который сделал Ваня Демидкин в 2019 году. С помощью нейроинтерфейсов Muse и Emotiv Epoc авторы в реальном времени демонстрируют эмоциональное и физическое состояние актера, который работает с текстом. В этом проекте участники раскрывают принципы работы устройств: актер так или иначе вступает в отношения с нейроинтерфейсом, несмотря на то, что его задачей является «управление» своим состоянием. Актер не работает на датчик, как и не эксплуатирует технологии в личных целях, но использует их, чтобы с новой стороны проанализировать театральный процесс. Более подробно участники команды рассказали об этом в интервью Ольге Таракановой.
Другая ситуация складывалась в более ранних проектах. Например, в «Нейроинтегрум» Юрия Дидевича перформерка также использовала интерфейс Emotiv Epoc, но для того, чтобы полученные об активности мозга данные становились триггером для каких-либо действий. Данные передавались, например, в уже упомянутый Max/MSP и меняли значения переменных, которые генерируют звуковое пространство и видеопроекцию. Один из участников подробно описал техническую составляющую проекта в посте на «Хабр».
В описанных примерах тело становится инструментом, но никак не модифицируется и не дополняется. Оно вступает в довольно иерархичные отношения с технологиями. Другой подход можно увидеть в работах российского художника Дмитрия Морозова, который выступает под псевдонимом ::vtol::. Он создает работы на пересечении саунд-арта, кинетики и робототехники. Например, проект под названием «На последнем дыхании». В нем выдыхаемый человеком воздух, его давление и скорость активируют процессы, генерирующие звук. Характеристики звука зависят от физиологических особенностей отдельного человека и от намеренного изменения дыхания.
Другой проект, разработанный художником, — «Читая мое тело». В этом проекте тело и механизм объединяются, создавая гибридную сущность. Музыкальный инструмент этой работы генерирует звук благодаря датчику, который считывает паттерн нанесенной на тело художника татуировки.
Эти и многие другие работы ::vtol:: создает с использованием Arduino — это язык программирования и микроконтроллер, который дает возможность подключать датчики движения и приближения, термометры, камеры (обычные и инфракрасные). К Arduino можно подключать динамики и экраны, модули передачи данных, позволяя создавать комплексные, но компактные устройства. А с помощью различных протоколов считываемые Arduino данные можно передавать в другие среды вроде Max/MSP и TouchDesigner, расширяя возможности художников, работающих с кодом, технологиями и алгоритмами.
