sponsored by
Sony Semiconductor Solutions Corporation

真鍋大度が考える、アート×センシングの現在地

01

2024.02.09

Text
松本友也
Photo
平郡政宏

見えないものを、見ようとする。そのあくなき人びとの情熱が、技術や文明をいつの時代も切り拓き、イノベーションを巻き起こしてきました。たとえば、不可視な世界を可視化するセンシング技術もそのひとつ。ソニーセミコンダクタソリューションズ株式会社(以下、SSS)がもっとも得意とするこの技術領域に、同じ技術を異分野で活用する表現者が出会ったら、いったいどんな世界を夢想するでしょうか。

今回は、アートやエンタテインメントの領域でセンシング技術を応用した先駆者であり、「誰も見たことがない」表現を生み出し続けているライゾマティクス真鍋大度さんとともに、今、何が新たに可視化できるようになり、どんな未来が生まれようとしているのか探ります。まずは、真鍋さんとセンシング技術の出会いについて伺ってみましょう。

アートやエンタテインメントの領域で「誰も見たことがない」表現を生み出すライゾマティクス真鍋大度さんは、2000年ごろからセンシング技術を活用し、初期には手の動きを検出して音に変換するソフトウェアなどを開発した。2006年にはソニービルの階段に設置された「メロディーステップ」のプログラムを製作。その後、NHK紅白歌合戦やリオデジャネイロ五輪閉会式など大舞台の演出演出にも技術を応用している。現在は、AIと解析技術の進歩に注目。AIを利用してフェンシングなどのスポーツにセンシング技術を導入し、マーカー不要の高度な解析を実現している。将来的には神経細胞のメカニズムの探索に興味を抱いており、ソニーセミコンダクタソリューションズでの研究者との協力に期待している。

Contents

    X Facebook

    メディアアートの黎明期からセンシングを活用

    ──センシング技術を用いた作品づくりを始められたのは、いつごろからでしょうか。

    真鍋 自作のソフトウェアに関していうと「手の動きを検出して音に変換する」程度なら、2000年ごろからです。当時はまだ学生だったので、民生用のマイクやカメラを使い、自分でアルゴリズムを考えていましたね。今のように便利な解析ツールもなくて、取得した生データをどう処理すればいいのか悩みました。ほかの人が作ったものをチェックしたり、論文を読んだりしながら試行錯誤していましたね。

    ちなみにソニーさんとも早くからご縁がありまして、2006年にはソニービルの階段に設置された「メロディーステップ」のプログラムを作らせていただきました。階段の上り下りに反応して、ドレミの音と光が出るという仕掛けです。

    ──ライゾマティクスの代名詞とも言えるライブパフォーマンスの演出にも、センシング技術がフル活用されています。

    真鍋 ライブ演出についても同様で、ダンサーの動きをリアルタイムで解析し、音と映像を生成するためのコアの仕組みは、2004年ごろには実現できていたと思います。当時携わっていたのは1000人規模のシアター公演でしたが、その後のNHK紅白歌合戦やリオデジャネイロ五輪・パラリンピック閉会式でのフラッグハンドオーバーセレモニーなど大舞台の演出についても、技術のコアとなる部分はあまり変わりません。ただ、今振り返ると、当時のセンシング機器の性能には限界がありました。企業のエンジニアの方々が使える機器と、自分たちが手に入る機器のレベルには大きな差があったと思います。コストにも制約があったので、「全身の動きをキャプチャーするのは大変だから、足の位置だけレーザーで取得しよう」とか、いろいろな工夫をしていました。

    真鍋大度さん

    「人の眼には見えないもの」を見てみたい

    ──センシング技術には、どんな面白さがあるとお考えですか。

    真鍋 「人の眼に見えないものを見たい」という素朴な好奇心が満たされます。ハイスピードカメラで現象をスローにとらえたり、動物にしか見えないはずの波長を可視化したり、「いかに人間が限られたものしか見られないのか」が露わにされますよね。体の内側でも外側でも複雑で豊かな現象が起きているのに、その間に挟まる人間の感覚器官は、意外に貧しいというか。

    ──人の眼に限界があるからこそ、テクノロジーによる可視化に惹かれているのでしょうか。

    真鍋 そうかもしれません。動きに連動して音や映像を生成することで、動きがより「見える」ようになる。その感覚がおもしろいのだと思うんです。ライブ演出についてもポイントは同じですよね。ただかっこいい映像を作ればいいのではなく、「人の動きをどうおもしろく拡張するか」が大事だと考えています。

    そもそもライブ演出を手がけるようになったのも、「人の動きに連動させるなら、観客の動きよりもプロのパフォーマンスに連動させた方がいい」と思ったことがきっかけでした。スポーツ選手とのコラボレーションが多いのも同じ理由で、卓越した動きの方が検知しがいがありますね。

    技術の進化が「制約」を取り払った

    ──そんな2000年代から20年近く経ちましたが、センシング技術がもっとも進歩したと感じるのはどの点でしょうか。

    真鍋 センサー自体の質もですが、それ以上に飛躍的に進歩したのはAIをはじめとした解析技術です。たとえばライゾマティクスでは近年、フェンシングの剣先が描く軌跡を可視化するプロジェクトに取り組んできました。スタートしたのは2013年で、当初は検出のために剣先にマーカーをつける必要があったのです。ただ当時から、機械学習で解析を補完できるのは時間の問題だと考えていました。実際、たった数年でAIは急速に進歩し、マーカーも不要になり2019年には、公式戦でもこの技術を活用できるようになったのです。

    サッカーも同じで、たとえば「ボールの位置をどう解析するか」という課題は、それこそ自分が在学中の2002年からありました。当時はエキシビジョンマッチで赤外線カメラと再帰性反射材を用いてボールの位置を解析していました。20年以上前からセンシングの応用領域として実験されてきたテーマです。でも、今やカメラでの解析のみならず、ボールにセンサーを埋め込み、位置情報を取得してプレイを分析するのが当たり前になりました。この20年で、センシング技術の主戦場が実験から実用化に移ったといえます。

    ──一方で、真鍋さんはセンシング技術を用いた実験的な作品づくりを継続されています。これからの技術に、どのような可能性を見出しているのでしょうか。

    真鍋 「見えないものを見たい」という意味では、神経細胞のメカニズムに興味があります。最新の個展でもラットの神経細胞に絵を描かせる作品を作りましたが、正直まだわからないことだらけ。センシング技術を扱う研究者や開発者の方々と、この未知の領域を探索していけたらと思っています。この後、ソニーセミコンダクタソリューションズでそういった分野を研究されている方々とお話できるということで、非常に楽しみにしています。

    02 「神経細胞の動き」さえ、圧倒的な鮮やかさで見通す技術
    1 2

    Highlight

    Highlight

    メディアアーティスト × センシングテクノロジスト

    ライゾマティクス真鍋大度は、 センシングの未来にどんな夢を見るか。

    latest articles

    View All

    ご登録頂くと、弊社のメールマガジン規約とメールマガジンの配信に同意したことになります