3Dで実現する世界 ~Intel RealSense テクノロジー~

今回は、業界をリードするインテル社の深度検知テクノロジー「RealSenseテクノロジー」を紹介します。

本記事は、インテル社のIntel RealSense Core Story June 2021 他、以下の情報を参考にしています

Computer vision in robotics
https://www.intelrealsense.com/robotics/
Real success in the real  world
https://www.intelrealsense.com/use-cases/

 

なぜ「Intel RealSense テクノロジー」が選ばれているのか?

インテル社のRealSenseテクノロジーは、深度計測のための組み込みビジョンプロセッサ、高性能で手ごろなデプスカメラ、オールインワンの顔認証ソリューションなどに活用されています。

深度計測にはCoded Light、ステレオ、LiDAR方式があり、ご使用環境やご用途に合わせ15種類以上もの製品よりご選択いただけます。実際に200万例にも上る、世界中の製品で動作しその実用性と有用性が証明されています。

  • 11年以上に渡るビジョンプロセッシング技術の開発と販売
  • 実用的なソリューションとして設計されており、届いてすぐに利用可能(200万例+)

 

なぜ3Dや深度データが重要なのか?

2Dカメラで撮影された2D画像から3D画像や3Dオブジェクトを生成するためには、AIやモデリングツールを活用し撮影画像から深度(デプス、奥行き)データを抽出します。一方3Dデプスカメラの場合は、例えばステレオタイプのカメラでは人間のふたつの目を模した技術を使用し、物体(ものとして認知しうる対象物)の広範認知を行うことができます。

カメラから得られる情報は、ポイントまたはピクセルに関するリアルタイムの深度およびRGB情報です。深度データからは物体検知とカメラから物体までの正確な距離を、RGBデータからは人の認証や肌の色を検出することができます。これらの取得情報によりあらゆる環境での動きやシーンの理解が可能になります。

以下はD400シリーズで撮影されたスキャンから再現までの画像を抜粋しております。動画をご覧いただきますと、スキャンから再現までの素早さをご確認いただけます。

Open-source SLAM with Intel RealSense depth cameras (インテル社 YouTubeを参照)

 

どういったところで深度データが使われるのか?

Intel RealSenseカメラの高解像度イメージングと深度検知テクノロジーは、さまざまなシーンでの活用が期待されます。

高いフレームレート(FSP、コマ数)と深度精度により障害物を回避するためのデータを取得できるため、衝突回避を必要とするお掃除ロボットや、テレプレゼンス、工場や倉庫内を走行する車両などのロボット分野で活用されています。

またエンターテインメント向けの簡単なデジタルツイン(実存するモノ・コト・ヒトを、デジタル空間上に再現)、より多くの質の高いデータよる機械学習の向上目的、計算と時間の要件を削減(オンボードビジョンプロセッサによるリアルタイム処理)、正確な顔認識と認証などにも深度データは役立てられています。

  

活用の例:ロボティクス

ロボットのセンシング能力は急速に進化、拡大しています。ロボットが私たちと同じように周囲を確認し、測定や分析、そして応答することができれば、単調で繰り返しの多い作業から危険を伴うような作業など、私たちに代わってより多様な作業をできるようになります。

RealSenseテクノロジーは、低消費電力で小型のビジョンとトラッキング機能により、ロボットが直面するこれらの一般的な課題を克服し、実用性を高めることができます。

典型的な課題

  • 衝突の回避
  • 同じロボット内における複数のカメラ間の干渉
  • 照明(知覚)条件に敏感
  • 追跡とナビゲーション
  • 同時ローカリゼーションとマッピング(自己位置推定と環境地図作成) -SLAM*
  • 統合の難しさと複雑なソフトウェア開発

* SLAMは周囲の環境をセンシングすることで2Dや3D環境地図を作成する技術のことです。正確な位置情報の取得は課題のひとつです。

RealSenseによる解決策

  • 短距離と長距離の正確な深さ
  • 干渉することのない複数のカメラによる精度向上
  • 屋内外のさまざまな照明条件下ので動作
  • 広い視野角(FOV)と奥行きに同期したIMU
  • 追跡用のカメラ、またはサードパーティソフトウェアと深度カメラの組み合わせ
  • 統合が容易なソフトウェア開発(SDK)
    *オープンソースのクロスプラットフォーム

RealSenseの低遅延、低消費電力、高品質なローカリゼーションとマッピングにより、ロボットは位置をすばやく調整できます。 例えば航空宇宙用の配送ロボットは、経路計画の追跡機能を使用して、宇宙をより効率的に移動できるようにします。工場や倉庫の配送ロボットの場合は、配送ルートをナビゲートしその場所を追跡します。 自律型接客ロボットや商品棚の管理ロボットは、マッピングテクノロジーを利用して、店舗の通路をナビゲートし、その場所を追跡することが可能です。

 

活用の例:スキャン

人、場所、物をスキャンする3Dスキャンの需要の高まりは、長年にわたり3Dテクノロジーの開発の推進力となっています。デジタルツインを作成することで、デジタル操作によるシステムの最適化が可能になり、フィードバックの収集が迅速に行われるようになります。この技術によりさまざまな3Dスキャンアプリケーションが可能になりました。

典型的な課題

  • 鮮明なエッジデバイスのデータを取得し、デジタルツインを作成する
  • 複数のカメラでオブジェクトまたはシーンをリアルタイムでスキャン
  • 部屋全体のスキャンに要する時間を最小限に抑える 
  • RGBデータと深度データのマッチング
  • 同時ローカリゼーションとマッピング(自己位置推定と環境地図作成) – SLAM

* SLAMは周囲の環境をセンシングすることで2Dや3D環境地図を作成する技術のことです。正確な位置情報の取得は課題のひとつです。

RealSenseによる解決策

  • RealSenseソリューションの中で最も画像のエッジ忠実度が高いLiDAR (L515)
  • 同じシーンで同時に使用できるステレオカメラ
  • デバイス上で行われる低消費電力、高解像度、リアルタイムの深度マップなどすべての計算
  • 広い視野角(FOV)と奥行きに同期したIMU
  • 深度とRGBのマッチング、およびIMU

インテル RealSene テクノロジーを使用すると、複雑なハードウェア構成を必要とすることなく、実存するアイテムを迅速かつ簡単にデジタルツインとして作成することができます。オブジェクトとシーンの正確な縮尺モデルを素早く、そして簡単に作成できるため、その活用の場も広がります。例えばAR(拡張現実)やVR(仮想現実)などのゲームやエンターテインメントの素材、材料の位置合わせや、不具合の検知などのメンテナンス作業、設計や施工、自動車の開発(渋滞予測や安全性を高めるためのデータ取得)など幅広いです。

 

活用の例:物体認識と統合

人やオブジェクトの一連の動作(移動しはじめから、どのような経路を辿り止まるのか)を、骨格やジェスチャーで追跡、またはトラッキングすることで、人間か何らかの動作指示を受けたシステムや機器がその作用に応じた動作を行うことができます。例えば人の追跡であれば群衆の監視や分析、指先の動きであれば機器の操作があげられます。骨格と人の追跡機能は、デジタルサイネージ、医療、小売、教育アプリケーションなど、さまざまなデバイスで使用されています。

典型的な課題

  • 小売分析のためのモニタリング(顧客とのやり取りを自動的にキャプチャ)
  • ヘルスケアと安全性のために患者とその動作を監視する
  • 正確かつ匿名で人を数える
  • 意味のあるデータのための正確なオブジェクト認識
  • さまざまなデバイスや環境への統合
解決策

  • 骨格の動きを簡単、リアルタイム、そして正確に追跡できる
  • 意図を解釈するための簡潔な変更のキャプチャ
  • 深度データは個人を特定できない情報を提供
  • 深度を加えることにより物体を分類するためのデータが増加
  • 小型で魅力的なカメラデザインと設置の容易さ

軽量で小型のフォームファクタのインテル社のRealSenseカメラは、お手元に届いてすぐに使い始めることができる開発キットとなっており設置も簡単です。また洗練されたデザインにより設置時のイメージを損なうこともありません。

 

RealSense の製品について

Intel RealSenseカメラは、さまざまなセンサーテクノロジーを利用して、人間の視覚と同じように機能するビジョンベースのソリューションを作成できます。さまざまなユースケースに合わせ、最適な製品を選択してください。

  • 高精度のアプリケーション: D415, L515
  • アプリケーションが高速または屋外: D435, D435i
  • 運動体または移動体への搭載: IMU機能が付加されたモデル(D435i、D455など)
  • 長距離アプリケーション: D455

 

Stereo Depth Camera (Dシリーズ)

 

Intel RealSense Depth Camera D455
– Active Stereo
– Global Shutter, RGB and Depth
– Depth FOV 86° × 57°
– Integrated IMU
※組み込み用モジュール:D450 Module

 

Intel RealSense Depth Camera D435/D435i
–  Active Stereo
–  Global Shutter
–  Depth FOV 87° x 58°
– Integrated IMU(D435iのみ)
※組み込み用モジュール:D430 Module

 

Intel RealSense Depth Camera D415
–  Active Stereo
– Rolling Shutter
– Depth FOV 65° x 40°
※組み込み用モジュール:D415 Module


 

LiDAR Camera

 

Intel RealSense LiDAR Camera L515
– Miniaturized LiDAR
– Rolling Shutter RGB
– 1024×768 depth resolution
– FOV 70° x 55°

 

Tracking & Coded Light Camera

 

Intel RealSense Tracking Camera T265
– Onboard SLAM
– Two fisheye cameras 170°FOV
– Intel Movidius Myriad 2 VPU
– Operates at less than 1.5
※組み込み用モジュール:T261 Module

 

最後に

この記事内で言及しておりますインテル社のRealSense Dシリーズ、LiDARカメラ L515 などは弊社にてお取り扱いがございます。研究開発者向けサービス「レンタルサービスtegakari」もご活用いただけます。実際にお使いになられたい場合など、ぜひご活用ください。

インテル社のRealSenseに限らず弊社で取り扱っているカメラの多くは「1台」からお取り扱いできます(モジュールなどを含む一部の製品には最小ロットの指定がござます)。また人気の高いカメラなどは弊社に在庫しておりますため短納期でお届けも可能です。ぜひ気兼ねなくお問合せください。