sponsored by
Sony Semiconductor Solutions Corporation

デジタルの眼でとらえる見えない光。大童澄瞳おおわらすみとがSSSの技術と出合ったら

02

2024.01.09

Text
武者良太
Photo
平郡 政宏

『映像研には手を出すな!』の作者、大童澄瞳おおわらすみと先生と表現活動の未来について考える連載。今回は、イメージング&センシング技術の可能性を切り拓くソニーセミコンダクタソリューションズ株式会社(以下、SSS)の技術を体験していただいた模様をお届けします。

漫画家の大童澄瞳先生が、ソニーセミコンダクタソリューションズの技術と出会い、表現活動や自然環境に与える影響を考察する。記事では、SSSのイメージング&センシング技術を体験し、その応用例や可能性について語られている。
まず、小売店でのAI×センシング技術の統合による効率的な店舗運営や、倉庫内の自動認識ソリューションについて紹介された。大童先生はこれらの技術の進化に触れ、作画中に必要な道具が迅速に手に入ることなど、AI技術の日常への浸透を実感している。
次に、EVS(イベントビジョンセンサー)と呼ばれる技術が紹介され、その動きの変化だけをデータとして出力できる利点や、防犯カメラの効率的な運用について述べられた。
また、立体感を持つ3DCGを描画する空間再現ディスプレイや、偏光カメラを用いた表面状況の可視化技術についても触れられている。大童先生は立体ディスプレイに関して、リアルタイムに眼の動きで操作できる可能性や、アナログ的な動きを取り入れることの重要性を語っている。
これらの最新技術は、工場や医療、デザインなどの分野での利用を可能にし、人間の働き方に変化をもたらすことが期待されている。大童先生は新しいデジタルの眼の増加に興味を示し、次回はセンシング技術から着想した未来を描くことが期待されている。

Contents

    X Facebook

    AI×センシング技術の融合が叶える、効率的な店舗運営

    まず体験していただいたのは、コンビニなどの小売店でお客さまがどの棚に行ったのか、どの商品を手に取り購入したのか、もしくは棚に戻したのかといった画像から必要な認識結果だけを小さなテキストデータとしてクラウドサーバーに送るというデモンストレーション。商品補充のタイミングや、天候とともに変わる来店者数予測などを行い、効率的な店舗運営を可能にするソリューションです。

    このソリューションを実現しているのが、エッジAIセンシングプラットフォーム「AITRIOS™(アイトリオス)」です。AITRIOSは、センサー内でのAI解析処理を行うインテリジェントビジョンセンサーIMX500を搭載したエッジデバイスを活用し、画像データから必要なメタデータのみを抽出してクラウドに伝送することで、クラウドにかかる負荷の低減やプライバシーへの配慮を実現します。また、そのほかにもエッジからクラウドを含めたソリューションを容易に構築するためのさまざまな機能を提供しています。

    AITRIOSの説明を聴く大童澄瞳先生
    AITRIOSの説明を聴く大童澄瞳先生(左)

    「すごくおもしろいですね。お客さんも店員さんも商品も認識している。小売店での商品購入時に、カゴにいれただけで決済もしてくれるような時代が来るんですね」(大童)

    例えば倉庫内の商品在庫の自動認識ソリューションにもAITRIOSが活用されています。

    「作画してる最中に、液晶タブレットのペンが寿命を迎えたことがあったんです。そして注文をしたら翌日に届きました。少し前だったらペンが届くまでにもっと時間がかかり、数日は仕事をストップせざるをえなかっただろうと思うと、ECサイト倉庫内のオートメーション技術も仕事の役に立っている。すでにありとあらゆるところでAI技術の影響を受けているな、と思いますね」(大童)

    「動き」の変化を逃さない、人間の視神経の仕組みを模したセンサー技術

    動きの変化だけをデータとして出力できるのが、イベントビジョンセンサー(EVS)という技術です。この方式は人間の視神経と同じようなもの。コマやフレームといった概念がなく、情報量を少なくできるうえ、高速で読み取り可能。明るい場所でも暗い場所でもデータを取得できるメリットがあります。

    たとえばEVSで金属の研削加工を撮影すると、削り出すときに生まれる火花を粒状に捉えて、工具の摩耗に素早く気づけます。ほかにも振動させた車を撮影すると各パーツのガタツキなどを見極められるそうです。

    EVSの説明に用いられる模型
    EVSの説明に用いられる模型

    「自宅で防犯カメラを使っていますが、データ量がすごくて困っているんです。この技術があれば、消費電力やデータ処理の負荷も抑えられます。その情報を用いて必要な被写体の時にだけカメラを動かすことができると、たとえば 郵便局の人が来たときは軽量な文字データとして残し、ほかの来訪者のときは映像データとして残すといったことも可能になりそうですね」(大童)

    低消費電力のセンサーで動きをとらえ必要なときだけシステムを稼働、帽子や服装の特徴をとらえて来訪者を認識し行動を記録する。SSSのもつ他の技術を組み合わせることで実現できそうなアイデアです。

    裸眼で立体映像が見られる空間再現ディスプレイ

    次は、上からでも、下からでも、横から見ても自然な立体感を持つ3DCGを描画できる空間再現ディスプレイ。これに用いられているのが、1秒間に最大1000枚の撮影ができるファクトリーオートメーションなどで利用される高速ビジョンセンサー。それをさらに空間再現ディスプレイ用に動作を最適化し、通常のカメラより高速にユーザーの瞳位置をトラッキングすることでリアルタイムに検出。それに応じて映像を生成し表示することで、裸眼で3Dを体験することができます。

    自動車メーカーのデザインチームが制作している車両のモデリングデータを表示させると、ディスプレイ越しに細部まで、車両の内部まで見ることが可能。VR/MRヘッドセットを使わずにすむため、データを確認する立場の人は作業効率を高めることができるでしょう。

    一般的な3DCGの制作や、街や建物の全体の様子を画面に表示できる現場シミュレーション、人体模型の拡大表示など医療教育・ヘルスケアといった分野でも活用できる製品です。

    空間再現ディスプレイを体験
    空間再現ディスプレイを体験

    「本当に触れられそうなリアリティがある。遅延も少ないんですね。同じような技術として立体ディスプレイの携帯ゲーム機で遊んでいた頃を思い出しましたが、精度も解像度も段違いです。いや、これは楽しいですね」(大童)

    見ている人の瞳の位置を検出できるアイトラッキング機能は、創作活動の役にも立つかも……と続けます。

    「アナログ的なものというか、人間の生態的な動きを拾ってくれるのは大きいと思うんです。資料として表示している3D CGオブジェクトを回転させるといったとき、ボタンやレバーといったコントローラではなく眼の動きで操作できるようになったら、楽になると思うんですよね」(大童)

    両手はペンタブレットから離したくないけど、他の操作をしたい。そんなときに視線入力インターフェースが活用できるのでは、というアイデア。あたらしい市場を切り開きそうです。

    眼で見えない物質の状況を可視化する偏光イメージセンサー

    人間の眼は極めて優れたセンサーですが、光の反射などでよく見えないことも多々あります。そこで有用なのが偏光カメラです。軸の方向が異なる光を捉えてくれるため、モニター上で被写体の表面状況を素早くチェックできます。

    SSSの偏光イメージセンサーは、4方向の偏光画像を同時に取得することが可能なこと、保護レンズ側ではなくイメージセンサー側のほうに偏光子が備わっているために高効率といった利点があります。

    特定の方向に振動する光を選別できる偏光板
    特定の方向に振動する光を選別できる偏光板

    「実際の工場でもひずみをチェックするときに、光源を変えたり紙を合わせたりして確認していると聞いたことがあるのですが、これはそういう熟練の職人が持っていたセンスを手に入れることができるテクノロジーなんですね」(大童)

    深刻な人材不足が叫ばれ続けているなか、最先端技術が人間をアシストしていく。ポジティブな働き方の変化として、一歩先をゆくDX化が求められていくのでしょう。

    大童先生はデモ全体を振り返って、「1つ1つのセンサーだけではなく、複数のセンサーを合わせることもできるでしょうし、新しいデジタルの眼が増えていくというのはおもしろいですね」と語ってくれました。次回は、体験したセンシング技術から着想した未来を、大童先生にスケッチしていただきます。一体、どんな未来が描かれるのでしょうか?

    03 漫画家の想像力で描く、自然と関わるセンシング技術と人間の未来
    1 2 3

    latest articles

    View All

    ご登録頂くと、弊社のメールマガジン規約とメールマガジンの配信に同意したことになります