Contents
スマホ1台で、誰もがバーチャルな身体を手にする未来へ
02
2024.03.28
- Text
- ：松本友也
- Photo
- ：平郡政宏
生命の本質とは「進化し続けること」。そう定義する研究者の岡瑞起（おか・みずき）先生は、生命活動をつぶさにとらえ、それを人工的に再現するALIFEの研究をとおして、人間が持つ創造性を高めようと取り組まれています。そして創造性を解き明かすうえではAIと人間の大きな違いである「身体」を理解することも重要です。ここからは、ソニーセミコンダクタソリューションズ（SSS）より人間の手や指のなめらかな動きを捉え、バーチャルで再現する技術である「ToF AR」の事業責任者である道又裕之（みちまた・ひろゆき）さんを迎えてお話を伺います。
ソニーセミコンダクタソリューションズで「ToF AR」というセンサーの事業責任者である道又裕之さんによると、スマートフォンひとつで高精度なモーショントラッキングを実現する「ToF AR」は、VTuber配信などエンターテインメントや、自宅でのリハビリなどの医療分野で活用が検討されている。また、SDKを一般公開しユーザーからユースケースのアイデアを募る試みを進めている。教育やビジネスなど応用の範囲は広がっており、ToF技術の普及がクリエイティビティの民主化と社会の変革を促進すると語る。筑波大学でALIFEの研究に取り組む岡瑞起先生は、ToF技術がもっと消費者に浸透したら、社会の風景は大きく変わっていきそうだと期待を寄せた。
リアルタイムで動きをアバターに反映
──道又さんがビジネス開発に携わられている「ToF AR」について教えてください。そもそも、「ToF」とは何なのでしょうか。
道又 「ToF AR」はToF（Time of Flight）方式の距離画像センサー（以下、ToFセンサー）を活用したソリューションです。ToFとは、光を対象物に向けて発射し、その反射光がセンサーに戻ってくるまでの時間を測定することで、対象物までの距離、いわゆる深度情報を取得できる技術になります。ToF自体は以前から存在する技術で、おもな用途は、カメラで撮影する際の撮影補助などが挙げられます。深度情報で被写体を正しく認識するオートフォーカスや、被写体と背景を分離して、ボケなどの効果をうまく表現するために使われているものですね。
──そのToFセンサーを、AR（拡張現実）に転用したのが「ToF AR」ということでしょうか。
道又 そうですね。深度情報を利用して、被写体の手、上半身、全身などの動きをリアルタイムに高い精度で読み取ることで、ARやVRに応用できる技術です。正確には、私たちが提供しているのはSDK（ソフトウェア開発キット）で、これを使えばToFの技術を利用してさまざまなアプリが作れるようになります。特長は、ToFセンサーが搭載されたスマートフォンが1台あれば、高精度なモーショントラッキングが実現できること。指の細かい仕草から全身の動きをスムーズに描写することが可能です。
岡 具体的に、どのような用途に使われているんですか？
道又 たとえば昨年、大手VTuber事務所の「ホロライブ」を運営するカバー株式会社さんが、VTuberの配信システムに採用してくださいました。「ToF AR」があれば、自室にわざわざ専用のトラッキング用デバイスなどを用意しなくても、スマホ1台でVTuberとして配信ができます。今後もゲームやメタバースアプリなど、エンターテインメントやコンテンツクリエイションの領域での活用が期待できますね。
ほかには、自宅でのリハビリなどにも検討されています。自分の動きを「ToF AR」でキャプチャーすると、正しい動きができているかを計測し、たとえば「膝を前に出さない」といった改善ポイントをフィードバックすることも可能です。これも深度情報をしっかり取れているからこそ可能になる使い方ですね。
技術をあえてオープンにし、ユースケースを募った理由
──開発のきっかけについて教えてください。
道又 ToFセンサーで気軽に深度情報を取得できるようになったのはよかったのですが、具体的にどういった活用ができるかはいまひとつ見えていなかったんです。当時はスマートフォンメーカーさんからも、もっとユースケースを提案してほしいと言われていました。そこで2019年頃から、さまざまなアプリが作れるSDKを社内で開発し、デモアプリの提案を始めたのです。
ただ、仮に開発環境が作れたとしても、「一般のユーザーの方が強く求めるものは何か」はなかなか見えてきませんでした。そこで、SDKを一般公開して、ユーザーの皆さんからユースケースのアイデアを募ることにしたのです。
岡 SDKへの反響はどうでしたか？
道又 おかげさまで、これまでに4,000回ほどダウンロードしていただきました。なかでも大きな反響があったのは、やはりホロライブさんが使ってくださった時ですね。
──開発の際に苦労した点はありますか？
道又 たとえば「腕を組む」といった少々複雑なポーズは苦手ですね。また、複数人のセンシングもまだ難しいです。人が後ろに映り込むと誤認識してしまうこともあります。手元や腕の表現については、苦手な場面が見つかるたびに、エンジニアが作成した正解データを学習させていきました。やはり実用をめざすとなると、そうした泥臭いチューニングが必要になりますね。
ToF技術を通じてクリエイティビティの民主化をめざす
──「ToF AR」は、他にどのような分野で活用できそうでしょうか？
道又 「スマホ1台で使える」ことが最大の利点なので、高校や大学などの教育現場で、アプリ開発などに使ってほしいですね。
岡 ビジネスシーンでも使えそうですよね。「今日はお化粧したくないからアバターで会議に出る」みたいなことができたらうれしいです。
道又 ビジネスシーンでも使ってもらいたいのですが、デバイスのハードルがあるかもしれません。現状は、深度情報を取れるセンサーが搭載されているのはスマートフォンが中心なので、PCでの利用は難しいんです。
岡 今後ToFセンサーが搭載されたデバイスが増えたら、より活躍の場が広がりそうですね。AIはまだ、リアルな世界の空間認識が得意ではありません。今後、ToFセンサーを活用した空間認識の学習が進めば、ToF ARで作り出したバーチャル世界でALIFEと一緒に戯れる、なんてこともできるかもしれませんね。
──ToF技術の今後の展望を教えてください。
道又 今はタレントさんを中心に活用していただいていますが、せっかくスマホ1台で済むので、やはり一般のユーザーにもっと使ってもらいたい。ToF技術を通じて、誰もが思い描いたアイディアを形にできるような「クリエイティビティの民主化」をめざしたいです。そうやって多くの人に使ってもらえるようになれば、私たちが想像もできないような面白い使い方も出てくるのではないかなと。
岡 ToF技術がもっと消費者に浸透したら、社会の風景は大きく変わっていきそうですね。人間の創造性を支えるテクノロジーとして、今後の展開が楽しみです。
