アートとエンジニアリング
私はゴラン・レヴィンです。アーティストでエンジニアです。こういう組み合わせは増えていると思いますが、それでもみんなに理解されない妙な場所にいる気がします。ちょっと面白い画像を見つけました。これは1967年にアートフォーラム誌が送った手紙です。「美術におけるエレクトロニクスとコンピュータの特集というのはちょっと考えがたいと思います」。今もそうですね。ではコンピュータ時代の成功者たる皆さんは もっと目が開けているのでしょうか？ この間 iPhone Appストアをのぞいていました。「アート」はどこにあるんだろう？ 「仕事効率化」や「スポーツ」のカテゴリならあります。iPhoneのためのアート作品というのは、私と友人が今作ろうとしているものですが、コンピュータの用途として思い付くものにはなっていないのです。時代に応じた物を素材にするアーティストというものの意義を、両者とも理解していないのです。この新しい道具の表現の可能性を探究するのは、アーティストのすべきことだと思います。私自身はアーティストであり、興味があるのは、人の行動における表現手段を広げ、対話的な方法により表現力を高めるということです。私は人々にインタラクティブな体験を通じてクリエイティブな行為者としての自分を見出してほしいのです。
インタラクティブな体験
私の作品の多くは、マウスから逃れようとする試みです。これは ある学生のデスクトップ(机上)の写真です。デスクトップと言うのは、マウスで表面の剥げた実際の机だけを意味しません。注意して見ていただければ、アップルメニューがどの辺かまでわかります。バーチャルな世界が物理的な世界まで突き抜けています。ジョイ・マウントフォードが言ったように 「マウスは人類のあらゆる表現を吸い出そうと試みることのできる一番細いストロー」なのです。(笑)
私が本当にしようとしているのは、人々がもっと豊かでインタラクティブな体験をできるようにすることです。マウスを離れて全身を使い、実用的なものに限らず、美的な体験を追求できるようにするにはどうすればよいのか？ そのために私はソフトウェアを書きます。それが私のやり方です。私の作り出す体験は、鏡を思わせるところがあります。鏡は自らの行為者としての可能性と自らの働きを見る最初の場所だからです。「この鏡の中の人誰だろう？ あ、これ自分だ！」
隙間断片プロセッサー
例として、去年やったプロジェクトをお見せします。題して「隙間断片プロセッサー」です。日常的な動作の中で作り出される隙間の形を探求してもらおうというものです。自分の手や頭を使って、あるいは誰かと一緒になって形を作ると、その形が抜け出して、音を立てながら落ちていきます。見えない空間、あるいは気づかない空間を、何か実体のあるものに変えるのです。みんなそれを楽しみ、クリエイティブになります。そうやって自らのクリエイティブな働きを見出し、そしてその人の個性が、まったくユニークな仕方で現れるのです。
音象徴
インプットに全身を使うことに加え、私がここしばらく追求しているのは、声を使うことです。発声は、私たちにとってとても表現力豊かなシステムです。歌というのは自分に耳を傾けてもらい、理解してもらうための、最も古くからある方法です。私はゲシュタルト心理学の父と呼ばれるヴォルフガング・ケーラーの素晴らしい1927年の研究に出会いました。ここにあるような2つの形を人に見せて、一方はMaluma(マルーマ)で、もう一方はTakete (タキータ)だと言います。どちらがどちらでしょう？ どなたか分かりますか？ Malumaは上の方です。ほとんどの人が迷わずにそう答えます。 私たちがここで目にしたのは音象徴と呼ばれる現象です。我々みんなが持っている共感覚の一種です。オリバー・サックス博士が共感覚を持つ人は百万人に1人くらいだと言ったのは、色を聞いたり形を味わったりする人のことです。音象徴は私たちの誰もがある程度体験するものです。硬さ、鋭さ、明るさ、暗さといったものと、私たちの発する音素との間にある、異なる知覚領域間の対応関係なのです。 認知心理学者たちの70年に渡る研究があり、ある程度のことが分かっています。右のような形にはL、M、Bが強く関連しています。左の形にはP、T、Kがより強く関連しています。そうすると 数値的な処理によって線の屈曲から音素への写像が得られることになります。
Remark
では、その写像を逆向きにしてみたらどうかと思い付きました。そうしてRemarkプロジェクトが生まれました。これはザカリー・リーバーマンとアルスエレクトロニカ フューチャーラボとの共作です。話す言葉に目に見える影ができるというフィクションを作り出すインタラクティブな作品です。魔法の光の中に入ったかのように、しゃべると自分の言葉の影が自分の口から遠くのほうへと飛んで行きます。音声認識システムで認識できる場合には文字が現れます。認識できない場合には音象徴的に強く関連する形が生成されます。ビデオでご覧いただきましょう。(拍手)
Ursonography
次のプロジェクトは、素晴らしい抽象ボーカリストのヤップ・ブロンクと一緒にやりました。彼は「ウルソナタ」のパフォーマンスの世界的エキスパートです。これはクルト・シュヴィッタースによって1920年代に書かれた意味のない詩です。非常に複雑なパターンを持ったナンセンスな言葉が30分続きます。ほとんど不可能なほどパフォーマンスが難しいのですが、ヤップはこのパフォーマンスにかけては第一人者なのです。このプロジェクトで私たちは、知的なリアルタイムの字幕を開発しました。この字幕はウルソナタのテキストを記憶しているコンピュータによりライブで生成されています。幸いヤップもこのテキストをとても良く知っています。そしてコンピュータはヤップがしゃべるのと同時に字幕を出します。ご覧になるテキストはすべて、コンピュータによりリアルタイムで生成され、ヤップがしゃべるのを可視化しています。会場には字幕を映すスクリーンがヤップの背後にありました。それで…(拍手)…ご興味があればネットで見られます。このときは観客の反応が分かれました。ライブの字幕というのは一種の矛盾だと理解している人がいます。字幕というのは通常、誰かが後で付けるものだからです。多くの人は「これが何だって言うの？」と思います。「字幕なんてテレビにいつも出ている」。ブースの中でそれをタイプする人のことを考えていないのです。
目で交わされる情報
全身を使うことと声を使うことに加え、もう1つ私が最近興味を持っているのは、人が互いに関係する上で目をいかに使うかということです。目で交わされる非言語的情報の量にはものすごいものがあります。そしてこれは現在コンピュータサイエンスにおいて活発に研究されている問題の1つでもあります。離れた場所からカメラで人の目がどこを見ているのか認識し、何に関心があるのか、どこに注意が向いているのか突き止めるという問題です。感情を伴う多くのコミュニケーションが目で交わされます。 人が機械と目でどう関係できるものか理解するため、様々なプロジェクトを行いました。基本的に問うている質問はこうです。「私たちが何を見ているか作品が分かっているとしたらどうだろう？」 どう反応するのか？ 私たちが見ていることに対し、受け入れるのか拒むのか？ それが私たちを見返せるとしたらどうだろう？ それが次のプロジェクトの課題となりました。
Eyecode
最初にお見せするのはEyecodeというインタラクティブソフトウェアです。輪になった文字にはこう書いてあります。「前の人が見たことによって残る痕跡を見ている前の人が見たことによって残る痕跡」。その展示を見た人の履歴によってイメージ自体を作り出すというのが、これのアイデアです。ライブデモをご覧に入れます。うまくいくか見てみましょう。
明るく良く映っていますね。この小さいのはテスト画面です。隠しておきましょう。ここで何をやっているかというと、私が瞬きするたびに記録しています。ハロー？ ハローーーー。私がどこにいても、これはアイトラッキングの仕組みで目の場所を見つけます。ずっと離れるとぼんやりした感じになります。この辺なんかは、かろうじて目とわかる感じです。ぐっと近づいてカメラを直視すると、このようなくっきりした目になります。
これは目でタイプしていると見なすことができます。そしてタイプし記録しているのは、他の人の目を見る自分のまなざしです。前に来た人たち、みんなのまなざしを見ることになるのです。これのもっと大規模なやつがあって、何千という人が見つめる目を映し出します。前に見ていた人を見ている人を見るわけです。あと2つばかり追加しましょう。ぱちくり、ぱちくり。これがどうやって私の目を見つけ、瞬きした瞬間をとらえようとしているかわかると思います。これは終わりにしましょう。これは一種再帰的な観察システムなのです。(拍手) どうも。
Opto-Isolator
最後の2つは、ロボティクスの新しい…少なくとも私には新しい領域です。Opto-Isolatorというものです。古いバージョンのビデオをご覧いただきます。1分ほどあります。これは人の瞬きに反応して瞬きします。目の前にいる人に1秒遅れて瞬きします。見つめるということを可能な限りシンプルなものへと単純化することを目指した装置です。見つめる1つの目があるだけで顔のその他の要素はすべて取り去ってあります。まなざしを独立した1つの要素として考えるためです。同時に見つめることに関わる馴染み深い心理的、社会的な振る舞いを取り込もうともしています。例えばずっと見つめていると、恥ずかしがって目をそらすとか。
Snout (二度見くん)
お見せする最後のプロジェクトはSnoutです。(笑) ギョロギョロした目のついた2メートル半の突起物です。(笑) 中には360キロのロボットアームが入っています…借り物ですが…(笑)…友達から…(笑)…いい友達がいると助かります。カーネギーメロン大学にいますが、素晴らしいロボティクス部門があります。そのSnoutですが…このプロジェクトのアイデアは、あなたのことを見てびっくりしているロボットを作ることです。(笑) 基本的にいつも「おやっ？、…おやっ？」とやっています。「二度見くん」という別名の所以です。一瞬遅れて驚くのです。「何っ？」 そしてこちらのことを見るものだから、こう思うのです。「えっ何？ 俺の靴？」「頭になんか付いてる？」 彼のことを調べているんです。ギーク諸君のために舞台裏をお見せしましょう。コンピュータビジョンシステムを備えていて、動く人に目を向けるようになっています。あれがターゲット。右にある骨格は、Snoutがしようとしていることを示しています。やりたいのは、新しい生き物のボディランゲージを作り出すということです。ハリウッドなんかではよくやっていることですが、それだけでなく、見ている人とそのボディランゲージで対話するのです。このボディランゲージは、あなたを見て驚き、興味を持って見つめていることを伝えています。(笑) (拍手)
ご静聴ありがとうございます。今日の話はこれで終わりです。ここでお話できて光栄でした。どうもありがとうございました。(拍手)