特許 7225435 コンピュータビジョンアプリケーションにおける３次元マッピングツールを用いた物体認識のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-10

(45)【発行日】2023-02-20

(54)【発明の名称】コンピュータビジョンアプリケーションにおける３次元マッピングツールを用いた物体認識のためのシステム及び方法

(51)【国際特許分類】

   G01B 11/25 20060101AFI20230213BHJP

   G01N 21/27 20060101ALI20230213BHJP

   G06T 7/60 20170101ALI20230213BHJP

   G06T 7/521 20170101ALI20230213BHJP

【ＦＩ】

G01B11/25 H

G01N21/27 A

G06T7/60 150S

G06T7/521

【請求項の数】 15

(21)【出願番号】P 2021572399

(86)(22)【出願日】2020-06-05

(65)【公表番号】

(43)【公表日】2022-08-15

(86)【国際出願番号】 EP2020065748

(87)【国際公開番号】W WO2020245441

(87)【国際公開日】2020-12-10

【審査請求日】2022-01-20

(31)【優先権主張番号】19179172.2

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/858,355

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390008981

【氏名又は名称】ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】ＢＡＳＦ Ｃｏａｔｉｎｇｓ ＧｍｂＨ

【住所又は居所原語表記】Ｇｌａｓｕｒｉｔｓｔｒａｓｓｅ １， Ｄ－４８１６５ Ｍｕｅｎｓｔｅｒ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100100354

【弁理士】

【氏名又は名称】江藤 聡明

(74)【代理人】

【識別番号】100167106

【弁理士】

【氏名又は名称】倉脇 明子

(74)【代理人】

【識別番号】100194135

【弁理士】

【氏名又は名称】山口 修

(74)【代理人】

【識別番号】100206069

【弁理士】

【氏名又は名称】稲垣 謙司

(74)【代理人】

【識別番号】100185915

【弁理士】

【氏名又は名称】長山 弘典

(72)【発明者】

【氏名】クルトグル，ユヌス エムレ

(72)【発明者】

【氏名】チルダース，マシュー イアン

【審査官】信田 昌男

(56)【参考文献】

【文献】特表２０１８－５１４７４８（ＪＰ，Ａ）

【文献】特表２０１９－５２２７８７（ＪＰ，Ａ）

【文献】米国特許第０９２３４６１８（ＵＳ，Ｂ１）

【文献】特表２０２０－５２６８２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／２５

Ｇ０１Ｎ ２１／２７

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／５２１

(57)【特許請求の範囲】

【請求項1】

コンピュータビジョンアプリケーションを介した物体認識のためのシステムであって、少なくとも以下の構成要素：
－ 認識される物体（１３０、１３０’）であって、物体特有の反射スペクトルパターンと発光スペクトルパターンとを有する物体と、
－ 前記認識される物体を含むシーン（１４０、１４０’）に少なくとも１つの光パターンを投影するように構成された光源（１１０、１１０’）と、
－ 前記シーンが前記光源によって照射されたときに、前記物体を含む前記シーンの放射輝度データを測定するように構成されたセンサ（１２０、１２１、１２０’）と、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニットと、
－ データ処理ユニットであって、
前記シーン（１４０、１４０’）の放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを検出し、前記検出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンとマッチングさせて、ベストマッチングする発光スペクトルパターン、及び、したがって、その割り当てられた物体を識別し、
前記センサ（１２０、１２１、１２０’）によって測定された反射特性により、前記シーン（１４０、１４０’）内の識別された物体（１３０、１３０’）の距離、形状、深度、及び／又は表面情報を計算するように、
構成されたデータ処理ユニットと、
を備える、システム。

【請求項2】

前記少なくとも１つの光パターンが、時間的光パターン、空間的光パターン、又は時間的及び空間的光パターンである、請求項１に記載のシステム。

【請求項3】

前記光源（１１０、１１０’）が空間的光パターン又は時間的及び空間的光パターンを前記シーンに投影するように構成されている場合、前記光パターンの空間的部分は、グリッドとして、水平、垂直及び／又は斜めのバーの配置として、ドットの配列として、又はそれらの組み合わせとして形成される、請求項２に記載のシステム。

【請求項4】

前記光源（１１０、１１０’）が時間的光パターン又は時間的及び空間的光パターンを前記シーンに投影するように構成されている場合、前記光源は、単一のパルスで光を放射し、このように前記光パターンの時間的部分を提供するように構成されたパルス光源を含む、請求項２又は３に記載のシステム。

【請求項5】

前記光源（１１０、１１０’）は、ドットマトリックスプロジェクタと飛行時間センサの１つとして選択される、請求項２～４のいずれか１項に記載のシステム。

【請求項6】

前記センサ（１２０、１２１、１２０’）はハイパースペクトルカメラ又はマルチスペクトルカメラである、請求項１～５のいずれか１項に記載のシステム。

【請求項7】

前記光源（１１０、１１０’）は、ＵＶ、可視光、及び／又は赤外光中の１つ又は複数のスペクトルバンドを、少なくとも１つの光パターンで同時に又は異なる時間に放射するように構成されている、請求項１～６のいずれか１項に記載のシステム。

【請求項8】

前記認識される物体（１３０、１３０’）は予め定義された発光材料で提供され、得られる物体の発光スペクトルパターンは既知であり、タグとして用いられる、請求項１～７のいずれか１項に記載のシステム。

【請求項9】

少なくとも前記識別された物体と、前記識別された物体の計算された距離、形状、深度及び／又は表面情報とを表示するように構成された表示ユニットをさらに備える、請求項１～８のいずれか１項に記載のシステム。

【請求項10】

コンピュータビジョンアプリケーションを介した物体認識のための方法であって、少なくとも以下のステップ：
－ 認識される物体であって、物体特有の反射スペクトルパターンと発光スペクトルパターンとを有する物体を提供するステップと、
－ 前記認識される物体を含むシーンに少なくとも１つの光パターンを投影するステップと、
－ 前記シーンが光源によって照射されたときに、前記物体を含む前記シーンの放射輝度データをセンサによって測定するステップと、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニットを提供するステップと、
－ 前記シーンの放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを検出し、前記検出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンとマッチングさせ、ベストマッチングする発光スペクトルパターン、及び、したがって、その割り当てられた物体を識別し、前記センサによって測定された反射特性により、前記シーン内の前記識別された物体の距離、形状、深度、及び／又は表面情報を計算するようにプログラムされている、データ処理ユニットを提供するステップと、
を含む、方法。

【請求項11】

前記認識される物体を提供するステップは、前記物体に発光材料を提供し、したがって、前記物体に物体特有の発光スペクトルパターンを提供することを含む、請求項１０に記載の方法。

【請求項12】

表示装置を介して少なくとも前記識別された物体と、前記識別された物体の計算された距離、形状、深度及び／又は表面情報とを表示するステップをさらに含む、請求項１０又は１１に記載の方法。

【請求項13】

前記マッチングステップは、評価される物体特有の発光スペクトルパターンと記憶された発光スペクトルパターンとの間の任意の数のマッチングアルゴリズムを使用することによって、ベストマッチングする発光スペクトルパターンを識別することを含む、請求項１０～１２のいずれか１項に記載の方法。

【請求項14】

前記検出ステップは、測定された放射輝度データを用いて、多段階の最適化方法で、前記物体の発光スペクトルパターンと反射スペクトルパターンを推定することを含む、請求項１０～１３のいずれか１項に記載の方法。

【請求項15】

１つ又は複数のプロセッサによって実行されるときに、マシーンに：
－ 認識される物体であって、物体特有の反射スペクトルパターンと発光スペクトルパターンとを有する物体を提供すること、
－ 光源によって、前記認識される物体を含むシーンに少なくとも１つの光パターンを投影すること、
－ 前記シーンが前記光源によって照射されたときに、前記物体を含む前記シーンの放射輝度データをセンサによって測定すること、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニットを提供すること、
－ 前記シーンの前記放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを抽出すること、
－ 前記抽出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンとマッチングさせること、
－ ベストマッチングする発光スペクトルパターン、及び、したがって、その割り当てられた物体を識別すること、及び
－ 前記センサによって測定された反射特性により、前記シーン内の前記識別される物体の距離、形状、深度、及び／又は表面情報を計算すること、
を行わせる命令を記憶する非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、３次元マッピングツールを使用してコンピュータビジョンアプリケーションを介しての物体認識のためのシステム及び方法に関する。

【背景技術】

【0002】

コンピュータビジョンは、（幾つか挙げると）カメラ、ＬｉＤＡＲやレーダーなどの距離センサ、構造化光やステレオビジョンに基づく深度カメラシステムなどのセンサを介して周囲の情報を収集できる電子機器の豊富な使用により、急速な発展を遂げている分野である。これらの電子機器は、コンピュータ処理ユニットによって処理され、その結果、人工知能やコンピュータ支援アルゴリズムを用いて環境やシーンの理解を展開する生の画像データを提供する。この環境の理解を如何に展開するかについては多くの方法がある。一般的には、２Ｄ又は３Ｄの画像及び／又はマップが形成され、そして、これらの画像及び／又はマップはシーンとそのシーン内の物体の理解を展開するために分析される。コンピュータビジョンを改善するための１つの見込みは、シーン内の物体の化学的組成の成分を測定することである。２Ｄ又は３Ｄ画像として取得された環境内の物体の形状と外観は、環境の理解を展開するために使用されることができるが、これらの技術にはいくつかの欠点を有している。

【発明の概要】

【発明が解決しようとする課題】

【0003】

コンピュータビジョン分野の課題の１つは、センサ、計算能力、ライトプローブなどの最小量の資源を用いて、高精度かつ低遅延で各シーン内の可能な限り多くの物体を識別できることにある。物体識別方法は、長年にわたって、リモートセンシング、物体識別、分類、認証又は認識と呼ばれてきた。本開示の範囲では、シーン内の物体を識別するコンピュータビジョンシステムの能力は、「物体認識」と呼ばれる。例えば、コンピュータによって写真を分析し、その写真の中のボールを識別／ラベル付けすることは、時にはボールの種類（バスケットボール、サッカーボール、野球ボール）、ブランド、状況などのさらなる情報を有するとしても、「物体認識」の用語に該当する。

【0004】

一般に、コンピュータビジョンシステムで物体を認識するために利用される技術は、以下のように分類される。

【0005】

技術１： 物理タグ（画像ベース）：バーコード、ＱＲコード（登録商標）、シリアルナンバー、テキスト、パターン、ホログラムなど。

【0006】

技術２： 物理タグ（スキャン／密着ベース）：視野角依存顔料、アップコンバージョン顔料、メタクロミクス、カラー（赤／緑）、発光材料。

【0007】

技術３： 電子タグ（パッシブ）：ＲＦＩＤタグなど。電力なしで物体体に取り付けられる装置であって、必ずしも見えなくてもよいが、他の周波数（例えば無線）で作動することができる。

【0008】

技術４： 電子タグ（アクティブ）：無線通信、光、無線、車両から車両、車両から任意のもの（Ｘ）など。種々の形で情報を発する対象物体上の電力駆動装置。

【0009】

技術５： 特徴検出（画像ベース）：画像の分析及び識別、例えば、車について側面視で一定の距離にある２つの車輪；顔認識について２つの目と１つの口（この順序で）など。これは、既知の幾何学形状／形に依存する。

【0010】

技術６： ディープラーニング／ＣＮＮベース（画像ベース）：車や顔などのラベル付けされた画像の多数の写真によってコンピュータをトレーニングし、該コンピュータが検出すべき特徴決定し、対象物体が新しいエリアに存在する場合に予測する。識別すべき物体の各分類についてトレーニング手順を繰り返す必要がある。

【0011】

技術７： 物体追跡方法：シーン内のアイテムを特定の順序に整理し、最初に順序付けられた物体にラベルを付けする。その後に、既知の色／幾何学形状／３Ｄ座標でシーン内の物体を追跡する。物体がシーンから離れて再び入ってくる場合は、「認識」は失われる。

【0012】

以下では、上述の技術のいくつかの欠点が示されている。

【0013】

技術１： 画像内の物体が遮蔽されている場合、又は物体の小さな部分だけが視界にある場合、バーコード、ロゴなどが読めない可能性がある。さらに、可撓性の物品上にあるバーコードなどは、歪む可能性があり、可視性を制限する。物体のすべての側面が、遠距離から見えるために、大きなバーコードを担持しなければならず、さもなければ、物体は近距離で正しい方向に向いている時のみ認識されるだけである。これは、例えば倉庫の棚上の物体のバーコードがスキャンされる場合に、問題となる。シーン全体にわたって操作する場合、技術１は、変化し得る環境光に依存する。

【0014】

技術２： アップコンバージョン顔料は、それらの低量子収率による低レベルの発光のため、視認距離に限界がある。そのため、強力なライトプローブが必要となる。また、それらは通常不透明で大きい粒子であるため、コーティングの選択肢が限られる。さらに、それらの使用を複雑にしているのは、蛍光と光反射に比べて、アップコンバージョン反応が遅いということである。幾つかの適用は、使用される化合物に依存するこの独特の反応時間を利用するが、これは、該センサ／物体システムの飛行距離時間が予め知られている場合にのみ、可能である。これはコンピュータビジョンアプリケーションでは稀なケースである。これらの理由から、偽造防止センサは、正確さのために、読み取りのためのカバーされた／暗い部分と、プローブとしてのクラス１又は２のレーザと、対象物体への固定された限られた距離とを有している。

【0015】

同様に視野角依存の顔料システムは、近距離でのみ機能し、複数の角度で見る必要がある。また、視覚的に心地よい効果に関しては、色が均一ではない。正しい測定を行うためには、入射光のスペクトルが管理されなければならない。単一の画像／シーン内では、角度依存のカラーコーティングを施した物体は、サンプルの次元に沿って、カメラに見える色を複数有している。

【0016】

色ベースの認識は、測定された色が環境光条件に部分的に依存するため、困難である。したがって、シーンごとに基準サンプル及び／又は制御された光条件が必要となる。また、異なるセンサは、異なる色を識別する能力が異なり、また、センサの種類やメーカーによって異なり、センサごとに較正ファイルを必要とする。

【0017】

環境光下での発光ベースの認識は、物体の反射成分と発光成分が一緒に加算されるため、困難なタスクとなる。一般的に、発光ベースの認識は、代わりに、暗い測定環境と、発光材料の励起領域の事前の知識を利用し、それによって正しいライトプローブ／光源が使用され得る。

【0018】

技術３： ＲＦＩＤタグなどの電子タグは、回路、集電装置、アンテナを物体品／物体に取り付ける必要があり、コストを増加させ、設計を複雑化させる。ＲＦＩＤタグは存在するかどうかの情報を提供するが、シーンにわたって多数のセンサが使用されない限り、正確な位置情報を提供しない。

【0019】

技術４： これらの能動的な手法では、物体体を電源に接続する必要があり、サッカーボール、シャツ、又はパスタの箱などの単純な物品にはコストがかかりすぎて、したがって実用的ではない。

【0020】

技術５： 遮蔽や異なる視野角は容易に結果を変化させるため、予測精度は、画像の品質とシーン内でのカメラの位置に大きく依存する。ロゴタイプの画像は、シーン内の複数の場所に存在することができ（すなわち、ロゴがボール、Ｔシャツ、帽子、又はコーヒーカップに存在し得るなど）、物体認識は推論による。物体の視覚パラメータは、多大な労力をかけて数学パラメータに変換されなければならない。形状を変えることができる柔軟な物体は、それぞれの可能な形がデータベースに含まれなければならないため、問題である。似た形の物体が対象物体と誤認される可能性があるため、常に固有の曖昧さが存在する。

【0021】

技術６： トレーニング用データセットの質が方法の成功を決定する。認識／分類される各物体のために、多数のトレーニング用画像が必要とされる。技術５についての遮蔽や柔軟な物体の形の制限が適用される。数千以上の画像によって材料の各分類についてトレーニングする必要がある。

【0022】

技術７： この技術は、シーンがあらかじめ整理されている場合に有効であるが、これは現実的ではない。物体体がシーンから離れたり、完全に遮蔽されたりすると、上記の他の技術と組み合わされていない限り、物体は認識されない。

【0023】

上記のような既存の技術の欠点の他に、言及すべきいくつかの課題がある。遠距離を見る能力、小さな物体を見る能力、物体を十分に詳細に見る能力は、すべて高解像度画像化システム、すなわち、高解像度カメラ、ＬｉＤＡＲ、レーダーなどを必要とする。高解像度の必要性は、関連するセンサのコストを増加させ、処理すべきデータ量を増加させる。

【0024】

自律走行やセキュリティのように瞬時に応答する必要があるアプリケーションでは、遅延はもう１つの重要な側面である。処理される必要があるデータ量は、エッジコンピューティング又はクラウドコンピューティングが該アプリケーションに適しているか否かを決定し、後者はデータ量が少ない場合にのみ可能である。エッジコンピューティングが重い処理に使用される場合、システムを作動させる機器は大型化し、使用の容易さ、したがって、実装を制限する。

【0025】

このように、コンピュータビジョンアプリケーションの物体認識能力を向上させるのに適したシステム及び方法に対する要求が存在している。

【課題を解決するための手段】

【0026】

商業的に重要な新しい分野の１つは、（幾つかを挙げると）人工知能、自律システム、拡張現実などの様々なコンピュータビジョンアプリケーションのための、屋内環境及び屋外環境の３Ｄマッピングである。現在の議論に関連するマッピング技術のいくつかは、シーンにパルス送信される（時間的）、シーンに部分的に放射される（構造化光）、又はその２つの組み合わせ（ドットマトリックスプロジェクタ、ＬｉＤＡＲなど）のいずれかの光プローブを含む。構造化光システムは、カメラ／センサに信号が戻ってくる際の、シーンに導入された光の既知のジオメトリからの偏差を使用し、その歪みを使用して物体の距離／形状を算出することが多い。このようなシステムで使用される光の波長は、スペクトルの紫外領域、可視領域、近赤外領域のどの領域でもよい。ドットプロジェクタ型システムでは、光プローブがシーンにパルス送信され、飛行時間測定が行われてターゲット物体の形状と距離が計算される。一部のバージョンでは、光プローブは、プロジェクタ／センサの視野内に複数の領域を導入し、一方、他のバージョンでは、一度に１つの領域のみを照射し、その手順を繰り返してシーンの様々な領域を時間の経過ととも走査する。どちらのシステムでも、シーンにすでに存在する環境光は、マッピングタスクを実行するために導入された光と区別される。これらのシステムは、プローブが照射し光プローブが作動するスペクトルバンドで読み取る物体の反射特性に厳密に依存している。両方のタイプのシステムは、対象のサイズ及び寸法をコンピュータビジョンシステムに収容させるように設計され、したがって、プローブによって照射される領域の解像度は、測定、マッピング、又は認識される対象物体と同様の長さのスケールを有する。

【0027】

本開示は、独立請求項の特徴を有するシステム及び方法を提供する。実施形態は、従属請求項ならびに説明及び図面の対象である。

【0028】

請求項１によれば、コンピュータビジョンアプリケーションを介した物体認識のためのシステムが提供され、該システムは少なくとも以下の構成要素：
－ 認識される物体であって、物体特有の反射スペクトルパターンと発光スペクトルパターンとを有する物体と、
－ 前記認識される物体を含むシーンに少なくとも１つの光パターンを投影するように構成された光源と、
－ 前記シーンが前記光源によって照射されたときに、前記シーンの放射輝度データを測定するように構成されたセンサと、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニットと、
－ データ処理ユニットであって、
・ 前記シーンの放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを検出／抽出し、前記検出／抽出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンとマッチングさせて、ベストマッチングする発光スペクトルパターン、及び、したがって、その割り当てられた物体を識別し、
・ 前記センサによって測定された反射特性により、前記シーン内の識別された物体の距離、形状、深度、及び／又は表面情報を計算するように、
構成されたデータ処理ユニットと、
を備える。

【0029】

反射特性は、時間的要素、例えば反射光（物体特有の反射パターンの一部を形成している）がセンサに戻るのに要する時間の量などの時間的要素、又は空間測定値、例えば放射された空間光パターンの測定歪み、すなわち、物体の表面に当たったときの光パターンの変形による測定歪みなどの空間測定値を含み得る。

【0030】

反射特性は、既知の物体特有の反射パターンの観点から考慮される。

【0031】

光源は、シーンに第１の光パターンを投影し、センサの結果に基づいて第２の光パターンを選択し、それをシーンに投影し、その結果を用いて別の第３の光パターンを投影するなどのように構成されることができる。このように、光源は、複数の光パターンを次々とシーンに投影することができる。あるいは、光源は複数の光パターンを同時にシーンに投影することができる。また、光源が最初の時点で異なる光パターンの第１グループをシーンに投影し、その後、第２の時点で異なる光パターンの第２グループを選択してシーンに投影することも可能である。また、同時に又は連続して操作されることができる複数の光源を使用することも可能であり、各光源は、１つの所定の光パターン又は光パターンのグループ又は一連の連続した光パターンをシーンに投影するように構成されている。１つの光源又は複数の光源のそれぞれは、コントローラ、すなわち制御ユニットによって制御されることができる。複数の光源のすべての光源を制御することができ、したがって、複数の光源の操作シーケンスを明確に定義することができる１つの中央コントローラを有してよい。

【0032】

光源（複数）、制御ユニット（複数）、センサ、データ処理ユニット、及びデータ記憶ユニットは、互いに通信接続されていてよく、すなわち、互いにネットワーク化されていてよい。

【0033】

本開示の範囲内では、「蛍光性」及び「発光性」という用語は同義的に使用される。「蛍光」及び「発光」という用語についても同様である。本開示の範囲内では、データベースは、データ記憶ユニットの一部であってもよく、データ記憶ユニット自体を表していてもよい。「データベース」及び「データ記憶ユニット」という用語は同義的に使用される。「データ処理ユニット」及び「プロセッサ」という用語は、同義的に使用され、広義に解釈される。

【0034】

提案されたシステムの一実施形態によれば、光源によってシーンに投影されることができる光パターン又は光パターンの少なくとも１つは、時間的光パターン、空間的光パターン、ならびに時間的及び空間的光パターンからなる群から選択される。

【0035】

光源が空間的光パターン又は時間的及び空間的光パターンをシーンに投影するように構成されている場合、光パターンの空間的部分は、グリッドとして、水平、垂直及び／又は斜めのバーの配置として、ドットの配列として、又はそれらの組み合わせとして形成される。

【0036】

光源が時間的光パターン又は時間的及び空間的光パターンをシーンに投影するように構成されている場合、光源は、単一のパルスで光を放射し、このように光パターンの時間的部分を提供するように構成された少なくとも１つのパルス光源を含む。

【0037】

提案されたシステムのさらなる実施形態によれば、光源は、１つの時点でシーンの１つ又は複数のエリア／セクションに、又は同時に複数のエリア／セクションに光を放射し得る、ドットマトリックスプロジェクタと飛行時間（光）センサの１つとして選択される。飛行時間センサは、構造化光を使用してよい。具体的には、光センサは、ＬｉＤＡＲであってよい。

【0038】

本システムのさらに別の実施形態では、センサはハイパースペクトルカメラ又はマルチスペクトルカメラである。

【0039】

センサは一般的に、光子カウンティング機能を有する光センサである。より具体的には、センサは、モノクロカメラ、又はＲＧＢカメラ、又はマルチスペクトルカメラ、又はハイパースペクトルカメラであり得る。センサは上記のいずれかの組み合わせであってもよいし、又は、上記のいずれかと例えば特定フィルタを備えたモノクロセンサなどの調整可能又は選択可能なフィルタセットとの組み合わせであってもよい。センサは、シーンの単一のピクセルを測定してもよく、又は一度に多くのピクセルを測定してもよい。光センサは、特定のスペクトル範囲で、特に３つ以上のバンドで、光子をカウントするように構成されてよい。光センサは、広い視野のために、特にすべてのバンドを同時に読み、又は異なる時間に異なるバンドを読む複数の画素を有するカメラであってよい。

【0040】

マルチスペクトルカメラは、電磁スペクトル上の特定の波長範囲の画像データを取得する。波長は、フィルタで分離されてもよく、赤外線や紫外線などの可視光域を超える周波数の光を含む特定の波長に感度を有する機器を使用することによって分離されてもよい。スペクトルイメージングは、赤、緑、青の受容体によって人間の目では捉えられない追加の情報の抽出を可能にする。マルチスペクトルカメラは、少数（通常３～１５）のスペクトルバンドで光を測定する。ハイパースペクトルカメラは、しばしば数百の連続したスペクトルバンドが利用可能であるスペクトルカメラの特別な例である。

【0041】

システムのさらなる実施形態では、光源は、ＵＶ、可視光、及び／又は赤外光中の１つ又は複数のスペクトルバンドを、光パターンで同時に又は異なる時間に放射するように構成されている。

【0042】

認識される物体は、予め定義された発光材料で提供されてよく、得られる物体の発光スペクトルパターンは既知であり、タグとして用いられる。物体は、予め定義された発光材料でコーティングされていてよい。あるいは、物体が性質上所定の発光材料を本質的に含んでいてよい。

【0043】

提案されたシステムは、少なくとも識別された物体と、識別された物体の計算された距離、形状、深度及び／又は表面情報とを出力するように構成された出力ユニットをさらに含んでよい。出力ユニットは、少なくとも識別された物体と、識別された物体の計算された距離、形状、深度及び／又は表面情報とを表示するように構成された表示ユニットであってよい。あるいは、出力ユニットは、ラウドスピーカーなどの音響出力ユニット、又はディスプレイとラウドスピーカーの組み合わせであってよい。出力ユニットは、データ処理ユニットと通信接続されている。

【0044】

提案されたシステムの一部又はすべての技術的構成要素、すなわち、光源、センサ、データ処理ユニット、データ記憶ユニット、制御ユニット、及び／又は出力ユニットは、互いに通信接続されていてよい。構成要素のいずれかの間の通信接続は、有線接続でも無線接続でもよい。それぞれの適切な通信技術を使用することができる。それぞれの構成要素は、それぞれ、互いに通信するための１つ以上の通信インターフェースを含んでよい。このような通信は、ファイバ分散データインタフェース（ＦＤＤＩ）、デジタル加入者線（ＤＳＬ）、イーサネット、非同期転送モード（ＡＴＭ）などの有線データ伝送プロトコル、又はその他の有線伝送プロトコルを用いて実行されてよい。あるいは、通信は、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、符号分割多元接続（ＣＤＭＡ）、長期的進化（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ））、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）などのさまざまなプロトコル、及び／又はその他の無線プロトコルのいずれかを使用して、無線通信ネットワークを介して無線で行われてよい。それぞれの通信は、無線通信及び有線通信を組み合わせたものであってよい。

【0045】

本開示はまた、コンピュータビジョンアプリケーションを介した物体認識のための方法にも言及しており、該方法は少なくとも以下のステップ：
－ 認識される物体であって、物体特有の反射スペクトルパターンと発光スペクトルパターンを有する物体を提供するステップと、
－ 前記認識される物体を含むシーンに少なくとも１つの光パターンを投影するステップと、
－ 前記シーンが光源によって照射されたときに、前記物体を含む前記シーンの放射輝度データをセンサによって測定するステップと、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニットを提供するステップと、
－ 前記シーンの放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを検出／抽出し、前記検出／抽出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンとマッチングさせ、ベストマッチングする発光スペクトルパターン、及び、したがって、その割り当てられた物体を識別し、前記センサによって測定された反射特性により、前記シーン内の前記識別された物体の距離、形状、深度、及び／又は表面情報を計算するようにプログラムされている、データ処理ユニットを提供するステップと、
を含む。

【0046】

反射特性は、時間的要素、例えば光（物体特有の反射パターンの一部を形成している）がセンサに戻るのに要する時間の量などの時間的要素、又は空間的測定値、例えば放射された空間光パターンの測定歪み、すなわち、物体の表面に当たったときの光パターンの変形による測定歪みなどの空間測定値を含み得る。

【0047】

一態様では、認識される物体を提供するステップは、物体に発光材料を付与／提供し、したがってこのようにして物体に物体特有の反射スペクトルパターンと発光スペクトルパターンを提供することを含む。

【0048】

このように、認識される物体は、発光の化学的性質、すなわち発光スペクトルパターンが既知であり、タグとして使用される所定の表面発光材料（特に発光染料）を提供／付与、例えばコーティングされる。物体の発光の化学的性質をタグとして使用することにより、物体認識は物体の形状又は部分的な遮蔽に関わらず、可能である。

【0049】

物体は、様々な方法で、発光材料、特に蛍光材料を付与され、すなわち提供されることができる。蛍光材料は、スプレーコーティング、ディップコーティング、コイルコーティング、ロールツーロールコーティング及び他の方法などによって塗布されるコーティング中に分散されてよい。蛍光材料は、物体に印刷されてもよい。蛍光材料を物体中に分散させ、押し出し、成形、又は鋳造してもよい。いくつかの材料及び物体は、自然に蛍光性であり、提案されているシステム及び／又は方法で認識されることができる。いくつかの生物学的材料（野菜、果物、バクテリア、組織、タンパク質など）は、蛍光を発するように遺伝子操作されることができる。いくつかの物体は、本明細書に記載されているいずれかの方法で蛍光タンパク質を添加することにより、蛍光性にすることができる。

【0050】

膨大な種類の蛍光材料が市販されている。理論的には、識別される物体の蛍光スペクトルパターンは製造後に測定されるため、いずれの蛍光材料でもコンピュータビジョンアプリケーションに適しているはずである。主な制限は、蛍光材料の耐久性と（認識される物体の）ホスト材料との適合性である。蛍光増白剤は、多くの有機ポリマーの黄色を抑えるために物体の調合に含まれることが多い蛍光材料の一種である。それらは目に見えない紫外光を可視の青色光に蛍光発光させ、それによって製造された物体がより白く見えるように機能する。多くの蛍光増白剤が市販されている。物体に蛍光性を付与するステップは、物体に蛍光材料をコーティングするか、又は物体の表面に蛍光を付与することで実現され得る。後者の場合、蛍光は物体全体に分布されてよく、したがって、表面でも検出され得る。

【0051】

認識される物体に発光材料を提供する技術は、以下の技術の１つ又は組み合わせとして選択されることができる：スプレー、圧延、引き伸ばし、堆積（ＰＶＣ、ＣＶＤなど）、押出成形、フィルム塗布／接着、ガラス成形、成型技術、インクなどの印刷、あらゆる種類のグラビア、インクジェット、付加製造、布／織物処理（染色又は印刷方法）、染料／顔料吸収、描画（手／その他）、ステッカー付与、ラベル付与、タグ付与、化学的表面グラフト化、乾式付与、湿式付与、固体への混合物提供、反応性／非反応性染料の提供。

【0052】

さらなる態様では、本方法は、出力装置を介して、少なくとも識別された物体と、識別された物体の計算された距離、形状、深度及び／又は表面情報とを出力するステップをさらに含む。出力装置は、データ処理ユニットと結合された（通信接続された）表示装置によって実現されることができる。出力装置は、ラウドスピーカーなどの音響出力装置、又は、視覚及び音響の出力装置であってもよい。

【0053】

提案された方法のさらに別の実施形態によれば、マッチングステップは、評価される物体特有の発光スペクトルパターンと記憶された発光スペクトルパターンとの間の任意の数のマッチングアルゴリズムを使用することによって、ベストマッチングする発光スペクトルパターンを識別することを含む。該マッチングアルゴリズムは、最低二乗平均平方根誤差、最低平均絶対誤差、最高決定係数、最大波長値のマッチングのうち少なくとも１つを含む群から選択されることができる。一般的に、マッチングアルゴリズムは任意である。

【0054】

さらに別の態様では、抽出ステップは、測定された放射輝度データを用いて、多段階の最適化方法で、物体の発光スペクトルパターンと反射スペクトルパターンを推定することを含む。

【0055】

データ処理ユニットは、タッチスクリーン、音声入力、動作入力、マウス、キーパッド入力などの１つ又は複数の入力ユニットを含むか、又はそれらと接続されることができる。さらに、データ処理ユニットは、音声出力、ビデオ出力、スクリーン／ディスプレイ出力及び／又はそれらの類似のものの１つ又は複数の出力ユニットを含むか、又はこれらと通信接続されることができる。

【0056】

本発明の実施形態は、独立型ユニットであり得るか、又は例えばクラウドに設置された中央コンピュータと例えばインターネットもしくはイントラネットなどのネットワークを介して通信する１つ又は複数の遠隔端末又は装置を含むコンピュータシステムと共に使用されるか、又はコンピュータシステムに組み込まれ得る。このように、本明細書に記載されるデータ処理ユニット及び関連構成要素は、ローカルコンピュータシステム又はリモートコンピュータ又はオンラインシステムの一部であってよく、又はそれらの組み合わせであってもよい。データベース、すなわち本明細書に記載されているデータ記憶ユニット及びソフトウェアは、コンピュータの内部メモリに保存されていてよく、又は非一時的なコンピュータ可読媒体に記憶されていてよい。

【0057】

本開示は、さらに、コンピュータによって実行可能な命令を有するコンピュータプログラム製品に言及しており、前記命令はマシーンに：
－ 認識される物体であって、物体特有の反射スペクトルパターンと発光スペクトルパターンを有する物体を提供させ、
－ 前記認識される物体を含むシーンに少なくとも１つの光パターンを投影させ、
－ 前記シーンが光源によって照射されたときに、前記物体を含む前記シーンの放射輝度データをセンサによって測定させ、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニットを提供させ、
－ 前記シーンの放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを抽出させ、
－ 前記抽出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンとマッチングさせ、
－ ベストマッチングする発光スペクトルパターン、及び、したがって、その割り当てられた物体を識別させ、
－ 前記センサによって測定された反射特性により、前記シーン内の前記識別された物体の距離、形状、深度、及び／又は表面情報を計算させる。

【0058】

反射特性は、時間的要素、例えば反射光がセンサに戻るのに要する時間の量などの時間的要素、又は空間測定値、例えば放射された空間光パターンの測定歪み、すなわち、物体の表面に当たったときの光パターンの変形による測定歪みなどの空間測定値を含み得る。

【0059】

本開示はさらに、１つ又は複数のプロセッサによって実行されるときに、マシーンに以下のことを行わせる命令を記憶する非一時的コンピュータ可読媒体に関する。

【0060】

－ 認識される物体であって、物体特有の反射スペクトルパターンと発光スペクトルパターンを有する物体を提供すること、
－ 光源によって、前記認識される物体を含むシーンに少なくとも１つの光パターンを投影すること、
－ 前記光源によって前記シーンが照射されたときに、センサによって前記物体を含む前記シーンの放射輝度データを測定すること、
－ 適切に割り当てられたそれぞれの物体とともに発光スペクトルパターンを含むデータ記憶ユニットを提供すること、
－ 前記シーンの前記放射輝度データから前記認識される物体の物体特有の発光スペクトルパターンを抽出すること、
－ 前記抽出された物体特有の発光スペクトルパターンを、前記データ記憶ユニットに記憶されている発光スペクトルパターンとマッチングさせること、
－ ベストマッチングする発光スペクトルパターン、及び、したがって、その割り当てられた物体を識別すること、
－ 前記センサによって測定された反射特性により、前記シーン内の前記識別される物体の距離、形状、深度、及び／又は表面情報を計算すること。

【0061】

本発明は、以下の実施例でさらに定義される。これらの実施例は、本発明の好ましい実施形態を示すことにより、説明のみのために与えられていることを理解されたい。上述の議論及び実施例から、当業者は、本発明の本質的な特徴を確認することができ、その精神及び範囲から逸脱することなく、本発明を様々な用途及び条件に適合させるために、本発明の様々な変更及び改変を行うことができる。

【図面の簡単な説明】

【0062】

【図1】図１ａ及び図１ｂは、提案されたシステムの実施形態を概略的に示す。

【0063】

図面の詳細な説明
図１ａ及び図１ｂは、提案されたシステムの実施形態を概略的に示している。図１ａにおいて、システム１００は、少なくとも１つの認識される物体１３０を含む。さらに、システムは、カメラ、特にマルチスペクトルカメラ又はハイパースペクトルカメラなどの画像化装置によって実現され得る２つのセンサ１２０及び１２１をそれぞれ含む。システム１００は、さらに、光源１１０を含む。光源１１０は、異なる個別の発光体で構成され、その数及び性質は、使用される方法に依存する。光源１１０は、例えば、一般的に入手可能な２つの発光体、又は３つの発光体で構成されてよい。２つの発光体は、カスタムＬＥＤ発光体として選択されることができる。３つの発光体は、一般的に入手可能な白熱電球、コンパクト蛍光灯、白色光ＬＥＤ電球であり得る。

【0064】

図１ａの光源１１０は、認識される物体１３０を含むシーン１４０に光パターンを投影するように構成されている。シーン１４０上に光源１１０によって投影される光パターンは、ここでは空間的光パターン、すなわちグリッドとして選択される。それは、シーン１４０内のいくつかの点のみが、したがって、認識される物体１３０のいくつかの点のみが、光源１１０によって放射された光に当てられることを意味する。

【0065】

図１ａに示されるセンサは、シーン１４０が光源１１０によって照射されたときに、物体１３０を含むシーン１４０の放射輝度データを測定するように、両方とも構成されている。異なるセンサを選択することが可能であり、すなわち、１つのセンサは放射された構造化光と同じ波長の光のみを測定するように構成される。したがって、周囲の照射条件の影響は最小限に抑えられ、センサは、センサ１２０、１２１に反射された光が戻ったときに、シーン１４０に導入された光の既知のジオメトリからの偏差を明確に測定することができ、したがって、ここに図示されていないデータ処理ユニットはこのような歪みを使用して、認識される物体１３０の距離、形状、深度及び／又は他の物体情報を計算することができる。このセンサ１２０，１２１によって使用される光の波長は、全光スペクトルのうちのＵＶ、可視又は近赤外領域のどこでもよい。第２のセンサ１２０，１２１は、全光スペクトルにわたって、又は、物体１３０の蛍光スペクトルパターンを有する光スペクトルの少なくともその一部にわたって、物体１３０を含むシーン１４０の放射輝度データを測定するように構成されたマルチスペクトル又はハイパースペクトルカメラであってよい。このように、第２のセンサ１２０，１２１は、物体１３０の反射応答だけでなく、蛍光応答からも生じる物体１３０を含むシーン１４０の放射輝度データを測定するようにも構成されている。データ処理ユニットは、シーン１４０の放射輝度データから認識される物体１３０の物体特有の発光スペクトルパターンを抽出し、抽出された物体特有の発光スペクトルパターンをデータ記憶ユニット（ここでは図示せず）に記憶されている発光スペクトルパターンとマッチングさせ、ベストマッチングする発光スペクトルパターン、及び、したがって、その割り当てられた物体を特定するように構成されている。さらに、既に上述したように、データ処理ユニットは、物体１３０の表面に当たったときの反射光パターンの変形によって、シーン１４０における識別された物体１３０の距離、形状、深度及び／又は表面情報を計算するように構成されている。ここに示されるシステム１００は、一方では構造化光を用いて、光源１１０から放射された光が当たったときの物体１３０の反射応答によって、物体１３０までの距離又は物体の形状などを計算する。他方では、提案されたシステム１００は、認識される物体の物体１３０の蛍光放射成分と反射成分の分離を利用して、そのスペクトル特徴によって、すなわちその特有の蛍光スペクトルパターンによって、物体１３０を識別する。このように、提案されたシステム１００は、両方の方法、すなわち、その物体特有の蛍光パターンによって物体１３０を識別する方法と、さらに、構造化光パターンの歪みによる光スペクトルの反射部分を用いて、その距離、形状及びその他の特性を識別する方法とを組み合わせている。データ処理ユニットとデータ記憶ユニットもシステム１００の構成要素である。

【0066】

図１ｂは、提案されたシステムの代替の実施形態を示している。システム１００’は、図１ｂに示すようなドットマトリックスなどの既知のパターンで、ＵＶ、可視又は赤外光を放射するように構成された光源１１０’を備える。一般に、光源１１０’は、シーン１４０’に光のパルスを放射して、したがって、時間的光パターンを生成するか、シーン１４０’に部分的に光を放射して、空間的光パターンを生成するか、又はその２つの組み合わせを放射するかのように構成されることが可能である。パルス光と空間的に構造化された光の組み合わせは、例えば、ドットマトリックスプロジェクタ、ＬｉＤＡＲなどによって放射されることができる。図１ｂに示されるシステム１００’は、さらに、異なる波長範囲で、シーン１４０’にわたって放射輝度データ／応答を感知／記録するように構成されたセンサ１２０’を備えている。このことは、認識される物体１３０’を含むシーン１４０’の単に反射応答だけが記録されるのではなく、物体１３０’の蛍光応答も記録されることを意味する。システム１００’は、さらに、データ処理ユニットとデータ記憶ユニットとを備えている。データ記憶ユニットは、複数の異なる物体の蛍光スペクトルパターンのデータベースを含んでいる。データ処理ユニットは、データ記憶ユニットと通信接続され、また、センサ１２０’とも通信接続されている。したがって、データ処理ユニットは、認識される物体１３０’の発光放射スペクトルを計算し、計算された発光放射スペクトルとのマッチングのためにデータ記憶ユニットのデータベースで検索することができる。このように、データベース内でマッチングするものが見つかれば、認識される物体の物体１３０’を識別することができる。さらに、光源１１０’から放射され、シーン１４０’に投影され、したがって認識される物体１３０’にも投影された構造化光を用いることにより、センサ１２０’に反射されて戻ってきた光パターンの測定歪みから、認識される物体１３０’に関するさらなる情報、例えば物体１３０’の距離、形状、表面情報などを導き出すことが可能である。つまり、認識される物体からの発光応答に許容するために３Ｄマッピングツールに一般的に使用されている光源１１０’を選択し、特定のスペクトル読み取りバンドを有するセンサ１２０’を利用することによって、提案されたシステム１００’は、ベストマッチングのスペクトル発光材料だけでなく、物体１３０’までの距離又は物体の形状及び物体１３０’に関する他の３Ｄ情報を計算することができる。提案されたシステムは、発光色ベースの物体認識システムと３Ｄ空間マッピングツールを同時に使用することを可能にする。つまり、提案されたシステム１００’は、シーン１４０’に投影された光の反射部分によって物体１３０‘の距離／形状／その他の特性を計算することに加えて、その物体特有の発光スペクトルなどのスペクトル特徴によって物体１３０’を識別することを可能にする。

【0067】

さらに、光源が複数の異なる光パターンを次々と放射すること、又は複数の異なる光パターンを同時に放射することも可能であることは述べられるべきである。異なる光パターンを使用することにより、シーンのそれぞれの異なる反射応答、及びシーン内の物体から、物体の形状、深度、距離に関する詳細な情報を導出することが可能である。シーンに投影された複数の光パターンのそれぞれは、物体にその表面の異なる部分／領域で当たるため、各パターンは、それぞれの反射応答から導出される異なる情報を提供する。それらすべての反射応答を記録するセンサと通信接続されたデータ処理ユニットは、異なる光パターンに割り当てられたすべての異なる反射応答を統合することができ、そこから認識される物体の詳細な３Ｄ構造を計算することができる。要約すると、提案されたシステムは、物体特有の発光スペクトルパターンの測定により物体を識別することができ、センサまでの物体の距離に関する詳細な情報を提供することができ、さらに、センサに反射される光パターンの歪みによって物体の３Ｄ情報を提供することができる。物体のすべての表面部分に当てるために、異なる光のパターンを物体に投影することができるだけでなく、異なる波長範囲の光のパターンを物体に投影することもでき、したがって物体の表面の反射性質及び蛍光の性質に関するさらなる情報を提供することができる。

【0068】

参照記号の一覧
１００，１００’ システム
１１０，１１０’ 光源
１２０，１２１，１２０’ センサ
１３０，１３０’ 認識される物体
１４０，１４０’ シーン

【図1】