真鍋大度が考える、アート×センシングの現在地

メディアアートの黎明期からセンシングを活用

──センシング技術を用いた作品づくりを始められたのは、いつごろからでしょうか。

真鍋　自作のソフトウェアに関していうと「手の動きを検出して音に変換する」程度なら、2000年ごろからです。当時はまだ学生だったので、民生用のマイクやカメラを使い、自分でアルゴリズムを考えていましたね。今のように便利な解析ツールもなくて、取得した生データをどう処理すればいいのか悩みました。ほかの人が作ったものをチェックしたり、論文を読んだりしながら試行錯誤していましたね。

ちなみにソニーさんとも早くからご縁がありまして、2006年にはソニービルの階段に設置された「メロディーステップ」のプログラムを作らせていただきました。階段の上り下りに反応して、ドレミの音と光が出るという仕掛けです。

──ライゾマティクスの代名詞とも言えるライブパフォーマンスの演出にも、センシング技術がフル活用されています。

真鍋　ライブ演出についても同様で、ダンサーの動きをリアルタイムで解析し、音と映像を生成するためのコアの仕組みは、2004年ごろには実現できていたと思います。当時携わっていたのは1000人規模のシアター公演でしたが、その後のNHK紅白歌合戦やリオデジャネイロ五輪・パラリンピック閉会式でのフラッグハンドオーバーセレモニーなど大舞台の演出についても、技術のコアとなる部分はあまり変わりません。ただ、今振り返ると、当時のセンシング機器の性能には限界がありました。企業のエンジニアの方々が使える機器と、自分たちが手に入る機器のレベルには大きな差があったと思います。コストにも制約があったので、「全身の動きをキャプチャーするのは大変だから、足の位置だけレーザーで取得しよう」とか、いろいろな工夫をしていました。

「人の眼には見えないもの」を見てみたい

──センシング技術には、どんな面白さがあるとお考えですか。

真鍋　「人の眼に見えないものを見たい」という素朴な好奇心が満たされます。ハイスピードカメラで現象をスローにとらえたり、動物にしか見えないはずの波長を可視化したり、「いかに人間が限られたものしか見られないのか」が露わにされますよね。体の内側でも外側でも複雑で豊かな現象が起きているのに、その間に挟まる人間の感覚器官は、意外に貧しいというか。

──人の眼に限界があるからこそ、テクノロジーによる可視化に惹かれているのでしょうか。

真鍋　そうかもしれません。動きに連動して音や映像を生成することで、動きがより「見える」ようになる。その感覚がおもしろいのだと思うんです。ライブ演出についてもポイントは同じですよね。ただかっこいい映像を作ればいいのではなく、「人の動きをどうおもしろく拡張するか」が大事だと考えています。

そもそもライブ演出を手がけるようになったのも、「人の動きに連動させるなら、観客の動きよりもプロのパフォーマンスに連動させた方がいい」と思ったことがきっかけでした。スポーツ選手とのコラボレーションが多いのも同じ理由で、卓越した動きの方が検知しがいがありますね。

技術の進化が「制約」を取り払った

──そんな2000年代から20年近く経ちましたが、センシング技術がもっとも進歩したと感じるのはどの点でしょうか。

真鍋　センサー自体の質もですが、それ以上に飛躍的に進歩したのはAIをはじめとした解析技術です。たとえばライゾマティクスでは近年、フェンシングの剣先が描く軌跡を可視化するプロジェクトに取り組んできました。スタートしたのは2013年で、当初は検出のために剣先にマーカーをつける必要があったのです。ただ当時から、機械学習で解析を補完できるのは時間の問題だと考えていました。実際、たった数年でAIは急速に進歩し、マーカーも不要になり2019年には、公式戦でもこの技術を活用できるようになったのです。

サッカーも同じで、たとえば「ボールの位置をどう解析するか」という課題は、それこそ自分が在学中の2002年からありました。当時はエキシビジョンマッチで赤外線カメラと再帰性反射材を用いてボールの位置を解析していました。20年以上前からセンシングの応用領域として実験されてきたテーマです。でも、今やカメラでの解析のみならず、ボールにセンサーを埋め込み、位置情報を取得してプレイを分析するのが当たり前になりました。この20年で、センシング技術の主戦場が実験から実用化に移ったといえます。

──一方で、真鍋さんはセンシング技術を用いた実験的な作品づくりを継続されています。これからの技術に、どのような可能性を見出しているのでしょうか。

真鍋　「見えないものを見たい」という意味では、神経細胞のメカニズムに興味があります。最新の個展でもラットの神経細胞に絵を描かせる作品を作りましたが、正直まだわからないことだらけ。センシング技術を扱う研究者や開発者の方々と、この未知の領域を探索していけたらと思っています。この後、ソニーセミコンダクタソリューションズでそういった分野を研究されている方々とお話できるということで、非常に楽しみにしています。