デジタルの眼でとらえる見えない光。大童澄瞳おおわらすみとがSSSの技術と出合ったら

AI×センシング技術の融合が叶える、効率的な店舗運営

まず体験していただいたのは、コンビニなどの小売店でお客さまがどの棚に行ったのか、どの商品を手に取り購入したのか、もしくは棚に戻したのかといった画像から必要な認識結果だけを小さなテキストデータとしてクラウドサーバーに送るというデモンストレーション。商品補充のタイミングや、天候とともに変わる来店者数予測などを行い、効率的な店舗運営を可能にするソリューションです。

このソリューションを実現しているのが、エッジAIセンシングプラットフォーム「AITRIOS™（アイトリオス）」です。AITRIOSは、センサー内でのAI解析処理を行うインテリジェントビジョンセンサーIMX500を搭載したエッジデバイスを活用し、画像データから必要なメタデータのみを抽出してクラウドに伝送することで、クラウドにかかる負荷の低減やプライバシーへの配慮を実現します。また、そのほかにもエッジからクラウドを含めたソリューションを容易に構築するためのさまざまな機能を提供しています。

「すごくおもしろいですね。お客さんも店員さんも商品も認識している。小売店での商品購入時に、カゴにいれただけで決済もしてくれるような時代が来るんですね」（大童）

例えば倉庫内の商品在庫の自動認識ソリューションにもAITRIOSが活用されています。

「作画してる最中に、液晶タブレットのペンが寿命を迎えたことがあったんです。そして注文をしたら翌日に届きました。少し前だったらペンが届くまでにもっと時間がかかり、数日は仕事をストップせざるをえなかっただろうと思うと、ECサイト倉庫内のオートメーション技術も仕事の役に立っている。すでにありとあらゆるところでAI技術の影響を受けているな、と思いますね」（大童）

「動き」の変化を逃さない、人間の視神経の仕組みを模したセンサー技術

動きの変化だけをデータとして出力できるのが、イベントビジョンセンサー（EVS）という技術です。この方式は人間の視神経と同じようなもの。コマやフレームといった概念がなく、情報量を少なくできるうえ、高速で読み取り可能。明るい場所でも暗い場所でもデータを取得できるメリットがあります。

たとえばEVSで金属の研削加工を撮影すると、削り出すときに生まれる火花を粒状に捉えて、工具の摩耗に素早く気づけます。ほかにも振動させた車を撮影すると各パーツのガタツキなどを見極められるそうです。

「自宅で防犯カメラを使っていますが、データ量がすごくて困っているんです。この技術があれば、消費電力やデータ処理の負荷も抑えられます。その情報を用いて必要な被写体の時にだけカメラを動かすことができると、たとえば 郵便局の人が来たときは軽量な文字データとして残し、ほかの来訪者のときは映像データとして残すといったことも可能になりそうですね」（大童）

低消費電力のセンサーで動きをとらえ必要なときだけシステムを稼働、帽子や服装の特徴をとらえて来訪者を認識し行動を記録する。SSSのもつ他の技術を組み合わせることで実現できそうなアイデアです。

裸眼で立体映像が見られる空間再現ディスプレイ

次は、上からでも、下からでも、横から見ても自然な立体感を持つ3DCGを描画できる空間再現ディスプレイ。これに用いられているのが、1秒間に最大1000枚の撮影ができるファクトリーオートメーションなどで利用される高速ビジョンセンサー。それをさらに空間再現ディスプレイ用に動作を最適化し、通常のカメラより高速にユーザーの瞳位置をトラッキングすることでリアルタイムに検出。それに応じて映像を生成し表示することで、裸眼で3Dを体験することができます。

自動車メーカーのデザインチームが制作している車両のモデリングデータを表示させると、ディスプレイ越しに細部まで、車両の内部まで見ることが可能。VR/MRヘッドセットを使わずにすむため、データを確認する立場の人は作業効率を高めることができるでしょう。

一般的な3DCGの制作や、街や建物の全体の様子を画面に表示できる現場シミュレーション、人体模型の拡大表示など医療教育・ヘルスケアといった分野でも活用できる製品です。

「本当に触れられそうなリアリティがある。遅延も少ないんですね。同じような技術として立体ディスプレイの携帯ゲーム機で遊んでいた頃を思い出しましたが、精度も解像度も段違いです。いや、これは楽しいですね」（大童）

見ている人の瞳の位置を検出できるアイトラッキング機能は、創作活動の役にも立つかも……と続けます。

「アナログ的なものというか、人間の生態的な動きを拾ってくれるのは大きいと思うんです。資料として表示している3D CGオブジェクトを回転させるといったとき、ボタンやレバーといったコントローラではなく眼の動きで操作できるようになったら、楽になると思うんですよね」（大童）

両手はペンタブレットから離したくないけど、他の操作をしたい。そんなときに視線入力インターフェースが活用できるのでは、というアイデア。あたらしい市場を切り開きそうです。

眼で見えない物質の状況を可視化する偏光イメージセンサー

人間の眼は極めて優れたセンサーですが、光の反射などでよく見えないことも多々あります。そこで有用なのが偏光カメラです。軸の方向が異なる光を捉えてくれるため、モニター上で被写体の表面状況を素早くチェックできます。

SSSの偏光イメージセンサーは、4方向の偏光画像を同時に取得することが可能なこと、保護レンズ側ではなくイメージセンサー側のほうに偏光子が備わっているために高効率といった利点があります。

「実際の工場でもひずみをチェックするときに、光源を変えたり紙を合わせたりして確認していると聞いたことがあるのですが、これはそういう熟練の職人が持っていたセンスを手に入れることができるテクノロジーなんですね」（大童）

深刻な人材不足が叫ばれ続けているなか、最先端技術が人間をアシストしていく。ポジティブな働き方の変化として、一歩先をゆくDX化が求められていくのでしょう。

大童先生はデモ全体を振り返って、「1つ1つのセンサーだけではなく、複数のセンサーを合わせることもできるでしょうし、新しいデジタルの眼が増えていくというのはおもしろいですね」と語ってくれました。次回は、体験したセンシング技術から着想した未来を、大童先生にスケッチしていただきます。一体、どんな未来が描かれるのでしょうか？