特表 2022-535887 物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成するための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-10

(54)【発明の名称】物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成するための装置及び方法

(51)【国際特許分類】

   G06V 10/72 20220101AFI20220803BHJP

   G01N 21/27 20060101ALI20220803BHJP

   G06V 10/56 20220101ALI20220803BHJP

   G06V 10/58 20220101ALI20220803BHJP

【ＦＩ】

G06V10/72

G01N21/27 A

G06V10/56

G06V10/58

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021572402

(86)(22)【出願日】2020-06-05

(85)【翻訳文提出日】2022-02-04

(86)【国際出願番号】 EP2020065747

(87)【国際公開番号】W WO2020245440

(87)【国際公開日】2020-12-10

(31)【優先権主張番号】19179166.4

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/858,354

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390008981

【氏名又は名称】ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】ＢＡＳＦ Ｃｏａｔｉｎｇｓ ＧｍｂＨ

【住所又は居所原語表記】Ｇｌａｓｕｒｉｔｓｔｒａｓｓｅ １， Ｄ－４８１６５ Ｍｕｅｎｓｔｅｒ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100100354

【弁理士】

【氏名又は名称】江藤 聡明

(74)【代理人】

【識別番号】100167106

【弁理士】

【氏名又は名称】倉脇 明子

(74)【代理人】

【識別番号】100194135

【弁理士】

【氏名又は名称】山口 修

(74)【代理人】

【識別番号】100206069

【弁理士】

【氏名又は名称】稲垣 謙司

(74)【代理人】

【識別番号】100185915

【弁理士】

【氏名又は名称】長山 弘典

(72)【発明者】

【氏名】クルトグル，ユヌス エムレ

(72)【発明者】

【氏名】チルダース，マシュー イアン

【テーマコード（参考）】

2G059

5L096

【Ｆターム（参考）】

2G059AA05

2G059BB08

2G059EE02

2G059EE06

2G059EE07

2G059EE12

2G059EE13

2G059MM10

5L096AA02

5L096GA40

5L096KA04

(57)【要約】

本発明は、物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成し、前記少なくとも１つのグラウンドトゥルースデータベースを最新の状態に保つための装置と方法に関する。該装置は、少なくとも以下の構成要素：異なる物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを記憶するように構成されたデータ記憶ユニットと；前記データ記憶ユニット及び前記物体認識システムと通信接続するようにプログラムされたプロセッサであって、
－ 通信インターフェースを介して、前記異なる物体の測定された色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを受信し、
－ 各色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、タグとして前記異なる物体の１つに割り当て、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルが割り当てられた前記それぞれの異なる物体とともに、前記データ記憶ユニットにそれぞれ記憶し、これにより、少なくとも１つのグラウンドトゥルースデータベースを形成し、
－ 少なくとも１つのセンサ及び／又は人工知能ツールを使用することにより、トリガーイベント及び／又は認識イベントの発生に関して、前記異なる物体の少なくともいくつかを含むシーンを監視し、
－ 前記トリガーイベント及び／又は認識イベントが発生した場合に、前記それぞれの少なくとも１つのデータベースに記憶されている前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記少なくとも１つのデータベースの少なくとも１つにおいて、動的に更新及び／又は補足し、
－ 最新の前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルへの即時アクセスを提供する、
ようにプログラムされたプロセッサと、
を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成し、前記少なくとも１つのグラウンドトゥルースデータベースを最新の状態に保つための装置であって、少なくとも以下の構成要素：
ａ） 異なる物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを記憶するように構成されたデータ記憶ユニットと、
ｂ） 前記データ記憶ユニット及び前記物体認識システムと通信接続されたプロセッサであって、
－ 通信インターフェースを介して、前記異なる物体の測定された色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを受信し、
－ 各色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、タグとして前記異なる物体の１つに割り当て、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルが割り当てられた前記それぞれの異なる物体とともに、前記データ記憶ユニットにそれぞれ記憶し、これにより、少なくとも１つのグラウンドトゥルースデータベースを形成し、
－ 少なくとも１つのセンサ及び／又は人工知能ツールを使用することにより、トリガーイベント及び／又は認識イベントの発生に関して、前記異なる物体の少なくともいくつかを含むシーンを監視し、
－ 前記トリガーイベント及び／又は認識イベントが発生した場合に、前記それぞれの少なくとも１つのデータベースに記憶されている前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記少なくとも１つのデータベースの少なくとも１つにおいて、動的に更新及び／又は補足し、
－ 最新の前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルへの即時アクセスを提供する、
ようにプログラムされたプロセッサと、
を備える、装置。

【請求項2】

前記少なくとも１つのグラウンドトゥルースデータベースとしてマスターデータベースとローカルデータベースとを提供し、前記ローカルデータベースは前記マスターデータベースと連携し、前記ローカルデータベースに記憶された前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルは、前記物体認識システムから前記シーン内の前記異なる物体の少なくともいくつかの再測定されたそれぞれの色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを受信することによって、経時的に更新及び／又は補足され、これにより、それぞれの前記物体の小さくて連続的な変化が、少なくとも前記ローカルデータベースにおいて追跡されるようにプログラムされたプロセッサをさらに含む、請求項１に記載の装置。

【請求項3】

前記ローカルデータベースは、ローカルに前記シーン内に又はクラウドサーバに記憶され、前記ローカルデータベースは、前記シーン内でローカルに使用される前記物体認識システムのみがアクセス可能である、請求項２に記載の装置。

【請求項4】

それぞれの前記物体の蛍光放射量及び／又は蛍光放射スペクトル形状の変化を監視することによって、前記異なる物体の小さくて連続的な変化を追跡するようにプログラムされたプロセッサをさらに有する、請求項１～３のいずれか１項に記載の装置。

【請求項5】

物体が前記シーン内で新しいときに、前記マスターデータベースを使用して、物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルによって前記ローカルデータベースを補足するようにプログラムされたプロセッサをさらに有し、前記ローカルに使用されている物体認識システムによって測定された前記新しい物体の色空間位置及び／又は反射及び発光スペクトルが、前記マスターデータベースに記憶された物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルとマッチングされ得る、請求項２～４のいずれか１項に記載の装置。

【請求項6】

前記シーン内の前記異なる物体に関して前記マスターデータベースと前記ローカルデータベースを同期させるようにプログラムされたプロセッサをさらに備える、請求項２～５のいずれか１項に記載の装置。

【請求項7】

前記マスターデータベースは、前記異なる物体のそれぞれについて、元の物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルと、前記元の物体から経時した少なくとも１つの劣化／老朽化した物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルとを含む、請求項２～６のいずれか１項に記載の装置。

【請求項8】

物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成し、前記少なくとも１つのグラウンドトゥルースデータベースを最新の状態に保つための、コンピュータで実行される方法であって、少なくとも以下のステップ：
－ 通信インターフェースを介して、異なる物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを提供するステップと、
－ プロセッサによって、各色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、タグとして前記異なる物体の１つに割り当てるステップと、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルが割り当てられた前記それぞれの異なる物体とともに、データ記憶ユニットにそれぞれ記憶し、これにより、前記少なくとも１つのグラウンドトゥルースデータベースを形成するステップと、
－ 少なくとも１つのセンサ及び／又は人工知能ツールを使用することによって、トリガーイベント及び／又は認識イベントの発生に関して、前記異なる物体の少なくともいくつかを含むシーンを監視するステップと、
－ 前記トリガーイベント及び／又は認識イベントが発生した場合に、前記少なくとも１つのデータベースのうち少なくとも１つにおいて、前記少なくとも１つのデータベースに記憶されている前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを動的に更新及び／又は補足するステップと、
－ 前記最新の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルへの即時アクセスを提供するステップと、
を含む、方法。

【請求項9】

マスターデータベースとローカルデータベースを提供することをさらに含み、前記ローカルデータベースは、前記マスターデータベースと連携し、前記ローカルデータベースに記憶された色空間位置及び／又は反射スペクトル及び／又は発光スペクトルは、前記物体認識システムによって前記異なる物体のそれぞれの色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを再測定することにより、経時的に更新及び／又は補足され、したがって、前記それぞれの物体の小さくて連続的な変化が少なくとも前記ローカルデータベースにおいて追跡される、請求項８に記載の方法。

【請求項10】

前記ローカルデータベースは、前記シーン内にローカルに又はクラウドサーバに記憶され、前記ローカルデータベースは、前記シーン内でローカルに使用される前記物体認識システムのみがアクセスすることができる、請求項９に記載の方法。

【請求項11】

前記異なる物体の小さくて連続的な変化は、前記それぞれの物体の蛍光放射量及び／又は蛍光放射スペクトルの形状の変化を監視することにより追跡される、請求項８～１０のいずれか１項に記載の方法。

【請求項12】

前記ローカルデータベースは、前記物体が前記シーン内で新しいときに、前記マスターデータベースを使用して、物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルによって補足され、前記ローカルに使用されている物体認識システムによって測定された前記新しい物体の色空間位置及び／又は反射及び発光スペクトルは、前記マスターデータベースに記憶された物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルとマッチングされ得る、請求項９～１１のいずれか１項に記載の方法。

【請求項13】

前記マスターデータベースと前記ローカルデータベースは、いくつかの事前定義されたイベントのうち少なくとも１つが発生したときに、前記シーン内の前記異なる物体に関して同期される、請求項９～１２のいずれか１項に記載の方法。

【請求項14】

前記マスターデータベースは、前記異なる物体のそれぞれについて、元の物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルと、前記元の物体から経時した少なくとも１つの劣化／老朽化した物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルとを含む、請求項１３に記載の方法。

【請求項15】

１つ又は複数のプロセッサによって実行されるときに、マシーンに：
－ 通信インターフェースを介して、異なる物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを受信し、
－ それぞれの色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、タグとして前記異なる物体の１つに割り当て、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルが割り当てられたそれぞれの異なる物体とともに、データ記憶ユニットにそれぞれ記憶し、これにより、少なくとも１つのグラウンドトゥルースデータベースを形成し、
－ 少なくとも１つのセンサ及び／又は人工知能ツールを使用することによって、トリガーイベント及び／又は認識イベントの発生に関して、前記異なる物体の少なくともいくつかを含むシーンを監視し、
－ 前記少なくとも１つのデータベースのうち少なくとも１つにおいて、前記トリガーイベント及び／又は認識イベントが発生した場合に、前記少なくとも１つのデータベースに記憶されている前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを動的に更新及び／又は補足し、
－ 前記最新の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルへの即時アクセスを提供することを行わせる命令を記憶する非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成し、少なくとも１つのグラウンドトゥルースデータベースを最新の状態に保つための装置及び方法に関する。

【背景技術】

【0002】

コンピュータビジョンは、幾つか挙げると、カメラ、ＬｉＤＡＲやレーダーなどの距離センサ、構造化光やステレオビジョンに基づく深度カメラシステムなどのセンサを介して周囲の情報を収集できる電子機器の豊富な使用により、急速な発展を遂げている分野である。これらの電子機器は、コンピュータ処理ユニットによって処理され、その結果、人工知能及び／又はコンピュータ支援アルゴリズムを用いて環境やシーンの理解を深める生の画像データを提供する。この環境の理解を如何に深めるかについては多くの方法がある。一般的には、２Ｄ又は３Ｄの画像及び／又はマップが形成され、そして、これらの画像及び／又はマップはシーンとそのシーン内の物体の理解を深めるために分析される。コンピュータビジョンを改善するための１つの見込みは、シーン内の物体の化学的組成の成分を測定することである。２Ｄ又は３Ｄ画像として取得された環境内の物体の形状と外観は、環境の理解を深めるために使用されることができるが、これらの技術にはいくつかの欠点を有している。

【発明の概要】

【発明が解決しようとする課題】

【0003】

コンピュータビジョン分野の課題の１つは、センサ、計算能力、ライトプローブなどの最小量の資源を用いて、高精度かつ低遅延で各シーン内の可能な限り多くの物体を識別できるようにすることにある。物体識別方法は、長年にわたって、リモートセンシング、物体識別、分類、認証又は認識と呼ばれてきた。本開示の範囲では、シーン内の物体を識別するコンピュータビジョンシステムの能力は、「物体認識」と呼ばれる。例えば、コンピュータによって写真を分析し、その写真の中のボールを識別／ラベル付けすることは、時にはボールの種類（バスケットボール、サッカーボール、野球ボール）、ブランド、状況などのさらなる情報を有するとしても、「物体認識」の用語に該当する。

【0004】

一般に、コンピュータビジョンシステムで物体を認識するために利用される技術は、以下のように分類される。

【0005】

技術１： 物理タグ（画像ベース）：バーコード、ＱＲコード（登録商標）、シリアルナンバー、テキスト、パターン、ホログラムなど。

【0006】

技術２： 物理タグ（スキャン／密着ベース）：視野角依存顔料、アップコンバージョン顔料、メタクロミクス、カラー（赤／緑）、発光材料。

【0007】

技術３： 電子タグ（パッシブ）：ＲＦＩＤタグなど。電力なしで対象物体に取り付けられる装置であって、必ずしも見えなくてもよいが、他の周波数（例えば無線）で作動することができる。

【0008】

技術４： 電子タグ（アクティブ）：無線通信、光、無線、車両から車両、車両から任意のもの（Ｘ）など。種々の形で情報を発する対象物体上の電力駆動装置。

【0009】

技術５： 特徴検出（画像ベース）：画像の分析及び識別、すなわち、車について側面視で一定の距離にある２つの車輪；顔認識について２つの目と１つの鼻及び口（この順序で）など。これは、既知の幾何学形状／形に依存する。

【0010】

技術６： ディープラーニング／ＣＮＮベース（画像ベース）：車や顔などのラベル付けされた画像の多数の写真によってコンピュータをトレーニングし、該コンピュータが検出すべき特徴を決定し、対象物体が新しいエリアに存在するか予測する。識別すべき物体の各分類についてトレーニング手順を繰り返す必要がある。

【0011】

技術７： 物体追跡方法：シーン内の物品を特定の順序に整理し、最初に順序付けられた物体にラベル付けする。その後に、既知の色／幾何学形状／３Ｄ座標でシーン内の物体を追跡する。物体がシーンから離れて再び入ってくる場合は、「認識」は失われる。

【0012】

以下では、上述の技術のいくつかの欠点が示される。

【0013】

技術１： 画像内の物体が遮蔽されている場合、又は物体の小さな部分だけが視界にある場合、バーコード、ロゴなどが読めない可能性がある。さらに、可撓性の物品上にあるバーコードなどは、歪む可能性があり、可視性を制限する。物体のすべての側面が、遠距離から見えるために、大きなバーコードを担持しなければならず、さもなければ、物体は近距離で正しい方向に向いている時のみ認識されるだけである。これは、例えば倉庫の棚上の物体のバーコードがスキャンされる場合に、問題となる。シーン全体にわたって操作する場合、技術１は、変化し得る周囲光に依存する。

【0014】

技術２： アップコンバージョン顔料は、それらの低量子収率による低レベルの発光のため、視認距離に限界がある。そのため、強力なライトプローブが必要となる。また、それらは通常不透明で大きい粒子であるため、コーティングの選択肢が限られる。さらに、それらの使用を複雑にしているのは、蛍光と光反射に比べて、アップコンバージョン反応が遅いということである。幾つかの適用は、使用される化合物に依存するこの独特の反応時間を利用するが、これは、該センサ／物体システムの飛行距離時間が予め知られている場合にのみ、可能である。これはコンピュータビジョンアプリケーションではめったにないケースである。これらの理由から、偽造防止センサは、正確さのために、読み取りのためのカバーされた／暗い部分と、プローブとしてのクラス１又は２のレーザと、対象物体への固定された限られた距離とを有している。

【0015】

同様に視野角依存の顔料システムは、近距離でのみ機能し、複数の角度で見る必要がある。また、視覚的に心地よい効果に関しては、色が均一ではない。正しい測定を行うためには、入射光のスペクトルが管理されなければならない。単一の画像／シーン内では、角度依存のカラーコーティングを施した物体は、サンプルの次元に沿って、カメラに見える色を複数有している。

【0016】

色ベースの認識は、測定された色が周囲光条件に部分的に依存するため、困難である。したがって、シーンごとに基準サンプル及び／又は制御された光条件が必要となる。また、異なるセンサは、異なる色を識別する能力が異なり、また、センサの種類やメーカーによって異なり、センサごとに較正ファイルを必要とする。

【0017】

周囲光下での発光ベースの認識は、物体の反射成分と発光成分が合計されるため、困難なタスクとなる。一般的に、発光ベースの認識は、代わりに、暗い測定条件と、発光材料の励起領域の先験的な（a priori）知識を利用し、それによって正しいライトプローブ／光源が使用され得る。

【0018】

技術３： ＲＦＩＤタグなどの電子タグは、回路、集電装置、アンテナを物品／対象物体に取り付ける必要があり、コストを増加させ、設計を複雑化させる。ＲＦＩＤタグは存在するかどうかの情報を提供するが、シーンにわたって多数のセンサが使用されない限り、正確な位置情報を提供しない。

【0019】

技術４： これらの能動的な手法では、対象物体を電源に接続する必要があり、サッカーボール、シャツ、又はパスタの箱などの単純な物品にはコストがかかりすぎて、したがって実用的ではない。

【0020】

技術５： 遮蔽や異なる視野角などは容易に結果を変化させるため、予測精度は、画像の品質とシーン内でのカメラの位置に大きく依存する。ロゴタイプの画像は、シーン内の複数の場所に存在することができ（すなわち、ロゴがボール、Ｔシャツ、帽子、又はコーヒーカップに存在し得るなど）、物体認識は推論による。物体の視覚パラメータは、多大な労力をかけて数学パラメータに変換されなければならない。形状を変えることができる柔軟な物体は、それぞれの可能な形がデータベースに含まれなければならないため、問題である。似た形の物体が対象物体と誤認される可能性があるため、常に固有の曖昧さが存在する。

【0021】

技術６： トレーニング用データセットの質が方法の成功を決定する。認識／分類される各物体のために、多数のトレーニング用画像が必要とされる。技術５についての遮蔽や柔軟な物体の形の制限が適用される。数千以上の画像によって材料の各分類についてトレーニングする必要がある。

【0022】

技術７： この技術は、シーンがあらかじめ整理されている場合に有効であるが、これはほとんど現実的ではない。対象物体がシーンから離れたり、完全に遮蔽されたりすると、上記の他の技術と組み合わされていない限り、物体は認識されない。

【0023】

分類の総数は、それぞれの最終使用ケースによって決定される必要精度に依存する。汎用システム及び一般的システムでは、より多くの分類を認識するために能力が必要であるが、３Ｄ位置がコンピュータビジョンシステム自体を使用することなく追跡し続けることが可能な他の動的データベースによって、このような分類のクラスタを用いて動的に更新され得る場合、各シーンで利用可能な分類数を最小化するために、３Ｄ位置に基づいて認識される物体をクラスタ化することが可能である。スマートホーム、コンピュータビジョンが可能とされた店舗、製造業、及び同様の管理された環境は、コンピュータビジョン技術以上に、必要とされる分類数を制限するためにこのような情報を提供することができる。

【0024】

上記のような既存の技術の欠点の他に、言及すべきいくつかの課題がある。遠距離を見る能力、小さな物体を見る能力、又は物体を十分に詳細に見る能力は、すべて高解像度画像化システム、すなわち、高解像度カメラ、ＬｉＤＡＲ、レーダーなどを必要とする。高解像度の必要性は、関連するセンサのコストを増加させ、処理すべきデータ量を増加させる。

【0025】

自律走行やセキュリティのように瞬時に応答する必要があるアプリケーションでは、遅延はもう１つの重要な側面である。処理される必要があるデータ量は、エッジコンピューティング又はクラウドコンピューティングが該アプリケーションに適しているか否かを決定し、後者はデータ量が少ない場合にのみ可能である。エッジコンピューティングが重い処理に使用される場合、システムを作動させる装置は大型化し、使用の容易さ、したがって、実装を制限する。

【0026】

認識／認証用途における発光材料の使用に関連する１つの課題は、それらの経時的な劣化、特に蛍光材料の経時的な劣化に関する懸念である。このような劣化には２つの潜在的に可能な結果がある：発光は時間の経過とともに減少し、又は、紫外線、水分、ｐＨ、温度変化などの環境条件にさらされると、スペクトル空間でシフトすることがある。このような環境条件に対するこのようなシステムの安定化は、ＵＶ吸収剤、酸化防止剤、カプセル化技術などで可能であるが、それぞれのこのようなアプローチに関連する限界がある。

【0027】

このように、特に上述の欠点を考慮して、コンピュータビジョンアプリケーションの物体認識能力を向上させるのに適したシステム及び方法に対する要求が存在している。

【課題を解決するための手段】

【0028】

したがって、本開示の目的は、物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成し、該少なくとも１つのグラウンドトゥルースデータベースを最新に保つための装置及び方法を提供するであった。

【0029】

本開示は、独立請求項の特徴を有する装置及び方法を提供する。実施形態は、従属請求項ならびに明細書及び図面の対象である。

【0030】

したがって、物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成し、該少なくとも１つのグラウンドトゥルースデータベースを最新の状態に保つための装置が提供され、該装置は少なくとも以下の構成要素：
ａ） 異なる物体の色空間位置／座標及び／又は反射スペクトル及び／又は発光スペクトルを記憶するように構成された少なくとも１つのデータ記憶ユニットと、
ｂ） 前記データ記憶ユニットと通信するようにプログラムされたプロセッサであって、すなわち、前記プロセッサは、前記データ記憶ユニット及び前記物体認識システムと通信接続されており、前記プロセッサは、
－ 通信インターフェースを介して、異なる物体の色空間位置／座標及び／又は反射スペクトル及び／又は発光スペクトルを受信し、
－ 受信した各色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、タグとして前記異なる物体の１つに割り当て、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルが割り当てられたそれぞれ異なる物体とともに、前記少なくとも１つのデータ記憶ユニットにそれぞれ記憶し、これにより、少なくとも１つのグラウンドトゥルースデータベースを形成し、
－ ともに前記プロセッサに接続されている又はプロセッサに一体化されている、少なくとも１つのセンサ及び／又は人工知能ツールを使用することにより、トリガーイベント及び／又は認識イベントの発生に関して、前記異なる物体の少なくともいくつかを含むシーンを監視し、
－ 前記トリガーイベント及び／又は認識イベントが発生した場合に、前記それぞれの少なくとも１つのデータベースに記憶されている前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記少なくとも１つのグラウンドトゥルースデータベースのうち少なくとも１つにおいて、必要に応じて、動的に更新及び／又は補足し、
－ 最新の前記色空間位置及び／又は前記反射スペクトル及び／又は前記発光スペクトルへの即時アクセスを提供する、
ようにプログラムされているプロセッサと、
を備える。

【0031】

以下では、「トリガーイベント」及び「トリガー及び／又は認識イベント」という用語を同義的に使用する。

【0032】

装置が、プロセッサと通信接続され、異なる物体の反射スペクトル及び／又は発光スペクトル及び／又は色空間位置を決定／測定するように構成された、分光光度計及び／又はカメラベースの測定装置などの測定装置をさらに備えることは可能である。カメラは、マルチスペクトルカメラ及び／又はハイパースペクトルカメラであってよい。測定装置は、物体認識システムの構成要素であってよい。

【0033】

監視ステップに関して、装置は、少なくとも１つのセンサ、特に少なくとも１つの視覚センサ、特にカメラ、及び人工知能ツールをさらに備えていてよく、ともにプロセッサに通信接続されているか又はプロセッサに一体化されており、したがって、プロセッサが、センサ手段によってトリガーイベント及び／又は認識イベントを検出し、人工知能ツールによってトリガーイベント及び／又は認識イベントを識別することができる。人工知能ツールは、トリガーイベント及び／又は認識イベントを推定するために、センサ手段、すなわちカメラ、マイク、無線信号などの少なくとも１つのセンサからの入力を使用するようにトレーニング及び構成されている。したがって、プロセッサは、トリガー及び／又は認識イベントの直接的又は間接的な結果として、少なくとも１つのグラウンドトゥルースデータベースの少なくとも１つに追加又は少なくとも１つのグラウンドトゥルースデータベースの少なくとも１つから削除される少なくとも１つの物体を、通知するように構成されている。人工知能ツールは、トリガーイベント及び／又は認識イベント、又は以前にトレーニングされたそれらに関する少なくとも基本的な情報、及び結論のための規則を含むか、又はそれらへのアクセスを有し得る。人工知能ツール及び／又はセンサ手段は、プロセッサに一体化されることができる。人工知能ツールは、適宜トレーニングされたニューラルネットワークを介して実現することができる。

【0034】

このようなトリガーイベント及び／又は認識イベントは、シーン内に位置する異なる物体の少なくともいくつかについての、新たに測定及び受信されたそれぞれの色空間位置／座標及び／又は反射スペクトル及び／又は発光スペクトルであってよく、したがって、それぞれの物体の小さくて連続的な変化もそれぞれの少なくとも１つのデータベースで追跡されることができる。さらなるトリガーイベントは、それぞれの新しい色空間座標及び／又は反射スペクトル及び／又は発光スペクトルと共にシーンに目に見えて入って来た新しい物体の発生であり得る。このような色空間座標及び／又は反射スペクトル及び／又は発光スペクトルは決定され、特に測定され、それぞれの物体に割り当てられる。さらなるトリガーイベントは、例えば、センサ手段によって受信された異なるデータセットの、人工知能ツールによる統合であってよい。センサ手段によって検出され得る他の任意のアクションはトリガーイベントとして定義されることができる。センサ手段として機能するそれぞれの受信ユニットによって受信されたクレジットカード取引、レシート、電子メール、テキストメッセージなども、少なくとも１つのグラウンドトゥルースデータベースの更新をトリガー／引き起こすことができ、したがって、それぞれのトリガーイベントとして機能する。それぞれに装備されたカメラなどの上記のセンサ手段によって使用可能にされたキッチン内で、食料品を開梱することは、例えば、プロセッサを誘起して、上記の人工知能ツールを使用して開梱動作をトリガーイベントとして認識させる。これは、次に、開梱されたアイテムを少なくとも１つのグラウンドトゥルースデータベースに追加するためのトリガーイベントとなる。アイテムをゴミ箱又はリサイクルボックスに捨てることは、同様に少なくとも１つのグラウンドトゥルースデータベースから削除するようにトリガーし、したがってそれぞれトリガーイベントとして機能する。食料品店のレシート／取引は、購入したアイテム（物体）を少なくとも１つのグラウンドトゥルースデータベースに直接追加することができる。新しい家庭用品のオンライン注文／確認メールは、そのアイテムを少なくとも１つのグラウンドトゥルースデータベースに追加するためのトリガーイベントとなり得る。カメラ（センサ手段として）によって使用可能にされたドアを通って入って来る、目に見える新しいアイテム（物体）は、プロセッサを誘起して入ったことを認識させ、そのアイテムを少なくとも１つのグラウンドトゥルースデータベースに追加させる。同様に、ドアを通って出るアイテム（物体）は、少なくとも１つのグラウンドトゥルースデータベースからそのアイテムを削除するようにトリガーする。スマートスピーカーなどのＡＩ（人工知能）装置のリストに買い物リストアイテムが追加されると、そのアイテムは少なくとも１つのグラウンドデータベースに追加されることができ、すなわち、買い物リストアイテムの追加はトリガーイベントとなる。ＡＩ装置は、トリガーイベント及び／又は認識イベントを検出及び／又は識別するのに適したオールインワンデバイスとして機能する。

【0035】

提案された装置は、表面化学／色ベースの物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを提供する。本発明は、コンピュータビジョンアプリケーションにおける、化学／色空間ベースの物体認識システムのためのグラウンドトゥルースデータベース形成における色の退色又はシフトに関する問題に対処するものである。発光又は色空間ベースの物体認識技術を利用すること、具体的には、各物体の元の色空間位置とその標準偏差だけでなく、劣化経路と関連する標準偏差を持つ周辺空間を含むように色空間の仕様を具体的に設計することにより、色空間又は対象物体のそれぞれのタグとして使用される反射／発光スペクトルを管理することが提案されている。さらに、提案された装置は、色／化学ベースの認識技術を利用したコンピュータビジョンシステムが、どのように認識性能を向上させるために、グラウンドトゥルースデータベースを動的に更新するために使用され得るかを説明している。

【0036】

さらに、対象の品物（物体）認識における色のシフトを連続的に監視することによって、物体認識予測の精度を向上させるために対象物体の３Ｄ位置クラスタの使用を含むことも可能である。

【0037】

本開示の範囲内では、「蛍光性」及び「発光性」という用語は同義的に使用される。「蛍光」及び「発光」という用語についても同様である。

【0038】

さらなる一実施形態によれば、提案された装置は、少なくとも１つのグラウンドトゥルースデータベースとしてマスターデータベースとローカルデータベースとを提供するようにプログラムされたプロセッサを備え、該ローカルデータベースは、マスターデータベースと連携し、すなわち、マスターデータベースと通信接続されている。さらに、ローカルデータベースに記憶された色空間位置及び／又は反射スペクトル及び／又は発光スペクトルは、シーン内の異なる物体について再測定されたそれぞれの色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを物体認識システムから受信することによって、経時的に更新及び／又は補足され、したがって、それぞれの物体の小さくて連続的な変化が、少なくともローカルデータベースにおいて追跡される。

【0039】

具体的には、ローカルデータベースは、シーン内又はクラウドサーバにローカルに記憶され、ローカルデータベースは、シーン内でローカルに使用される物体認識システムのみがアクセス可能である。マスターデータベースは、提案された装置によって形成されたグラウンドトゥルースデータベースのいずれかを使用するように予約した、すなわち、予約によってそれらのデータベースを使用することを許可された、すべての物体認識システムがアクセス可能である。

【0040】

さらなる一実施形態によれば、本装置は、それぞれの物体の蛍光放射量及び／又は蛍光放射スペクトル形状の変化を監視することによって、それぞれの物体の小さくて連続的な変化を追跡するようにプログラムされたプロセッサを備えている。

【0041】

本装置はさらに、物体がシーン内で新しい(新たにシーンに入った)ときに、マスターデータベースを使用して、物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルによってローカルデータベースを補足するようにプログラムされたプロセッサをさらに備え、ローカルに使用されている物体認識システムによって測定されたその新しい物体の色空間位置及び／又は反射及び発光スペクトルは、マスターデータベースに記憶された物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルとマッチングされ得る。

【0042】

本装置は、事前に定義された時間間隔内に、又は多数の事前定義されたイベントの１つが発生したときに、シーン内の異なる物体に関してマスターデータベースとローカルデータベースを同期させるようにプログラムされたプロセッサをさらに備える。マスターデータベースは、設定された間隔で、又はマスターデータベースが更新又は改良されたとき、又はローカルデータベースが認識されない物体や新しい物体の購入検出などのトリガーイベントを経験したときなどの設定されていない間隔で、ローカルデータベースと同期することができる。

【0043】

少なくともローカルデータベースを更新するためのさらなるトリガー及び／又は認識イベントは、「使用終了」認識イベントによって定義される。このような「使用終了」認識イベントは、それぞれのローカルデータベースからそれぞれの物体を速やかに削除することを生じさせ、ローカルデータベースの効率を高める。このような「使用終了」認識イベントは、リサイクル、廃棄、消費、又は認識されるべきそれぞれの物体に適した他の使用終了の定義として挙げられることができる。通常、割り当てられたタグを有する物体は、ローカルデータベースからのみ削除され、マスターデータベースに存続する。設計されたタグを有する物体をマスターデータベースから削除する理由の１つは、すべてのユーザがその物体を認識できないようにするためである。

【0044】

さらに、それぞれのローカルデータベースに物体のレジストリをトリガーするために、開始認識イベントが、そのような開始認識イベントのいずれかが発生したときに、それに応じてそれぞれのローカルデータベースを更新するためのそれぞれのトリガー及び／又は認識イベントとして定義される。このような開始認識イベントとして、開梱、シーン又は（センサの）視界への進入、チェックアウトイベント（シーンからの退出）、製造品質管理、色マッチング測定などが挙げられる。例えば、ユーザ又は別の自動化されたシステムが、物体が最初に取得されたときに、ローカルデータベースに物体を追加することによって、その物体を「開始」することができる。同様に、物体の耐用年数の終了で廃棄されるときに、ローカルデータベースからそれを削除することにより、物体を「引退」させることができる。代替的又は追加的に、別のデータベースが、リサイクルボックス、ゴミ箱、又は効率的な処理のためリサイクル可能な廃棄物及び／又は種類の異なる廃棄物の分類/分離などの将来のタスクで使用される可能性のあるその他の物理的空間に捨てられた物体の色位置を追跡するために、形成されることができる。

【0045】

本発明のさらなる実施形態によれば、マスターデータベースは、異なる物体のそれぞれについて、元の物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルと、元の物体から経時した少なくとも１つの劣化／老朽化した物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルとを含む。

【0046】

物体には、様々な方法で、発光材料、特に蛍光材料を付与、すなわち備えることができる。蛍光材料は、スプレーコーティング、ディップコーティング、コイルコーティング、ロールツーロールコーティング及び他の方法などによって塗布されるコーティング中に分散されてよい。蛍光材料は、物体に印刷されてもよい。蛍光材料を物体に分散させ、押し出し、成形、又は鋳造してもよい。いくつかの材料および物体は、自然に蛍光を発するものがあり、提案されているシステム及び／又は方法で認識することができる。いくつかの生物学的材料（野菜、果物、バクテリア、組織、タンパク質など）は、蛍光を発するように遺伝子操作されている場合がある。いくつかの物体は、本明細書に記載されているいずれかの方法で蛍光タンパク質を添加することにより、蛍光にすることができる。異なる物体の色位置及び／又は反射スペクトル及び蛍光スペクトルは、少なくとも１つのカメラ及び／又は少なくとも１つの分光光度計又はそれらの組み合わせによって測定され、少なくとも１つのグラウンドトゥルースデータベースを形成するためにプロセッサに提供されることができる。

【0047】

多くの蛍光材料及び反射材料が、光（特に紫外線）又は酸素にさらされることにより、時間の経過とともに劣化する。これらの材料のほとんどは、その蛍光放射量が減少するが、一部の材料は、その蛍光放射スペクトルの形状、すなわち蛍光スペクトルに変化が生じる場合がある。第１のケースでは、より少量の蛍光放射量を測定することの難しさに加えて、劣化速度の異なる複数の蛍光材料がシーンに存在する場合、データベース内の既知の蛍光スペクトルとのマッチングが困難になり得る。第２のケースでは、変化した蛍光スペクトルを元のスペクトルのデータベースにマッチングさせる問題は明らかである。そこで、マスターデータベースは、元の物体ごとに、元の物体から経時した少なくとも１つの劣化／老朽化した少なくとも物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを含むことが提案される。

【0048】

本発明は、マスターデータベースと連携した（通信接続した）ローカルデータベースを含むことを提案している。シーン内の新しい物体は、その物体のスペクトルが劣化していないことを前提として、最初に、マスターデータベースで分類される。一度検出されると、物体は、将来におけるより迅速な識別のためにローカルデータベースに含まれ得る。さらに、物体認識システムによって測定された物体のスペクトルは、時間の経過とともに更新されるため、物体の小さくて連続した変化がローカルデータベースで追跡される。物体の耐用年数の終了時（使用終了認識イベント）において、物体は、現在の放射スペクトルがマスターデータベース内の他の物体の元の放射スペクトルと（それまでの間に）よりよくマッチングしているにもかかわらず、ローカルデータベースによって正しく識別されることができる。

【0049】

物体は常にセンサの視界にある必要はない。例えば、センサは初めて物体が識別されるキッチンのパントリーに設置されていてよい。物体は、一定期間（つまり、夕食の準備期間）除かれた後、戻されてよい。物体はセンサの視界から外れている間もローカルデータベースから削除されず、そのため、戻された時に認識される。物体は、事前に定義された期間、シーンに存在しない場合（センサの視界外）にのみローカルデータベースから削除される。そのような期間は、通常の習慣に関して定義されることができる。

【0050】

ローカルデータベースは、ローカルに記憶されている必要はなく、クラウドベースであってもよいが、ローカルシーン、すなわちローカルで使用されている物体認識システムのみがアクセスできることを注意されたい。様々な場所／エリアに複数のローカルデータベースが存在してよく、これらのローカルデータベースはいくつかのケースでは重複してよい。

【0051】

上述したように、提案された装置の別の可能な実施形態は、マスターデータベースがそれぞれの物体の老朽化した／含まれるサンプルを含むことである。マスターデータベースは、最初に、それぞれの物体の元のサンプルにマッチングする。しかし、時間が経過すると、マスターデータベースは、観察された物体のおおよその年数である老朽化／劣化したサンプルとの比較を行う。そのため、ローカルデータベースとマスターデータベースとの間の交換が必要となる。

【0052】

プロセッサとデータ記憶ユニットの間、プロセッサと物体認識システムの間、プロセッサと測定装置の間、プロセッサとセンサ手段の間、ローカルデータベースとマスターデータベースの間などの上述した構成要素のいずれかの間の各通信接続は、有線接続又は無線接続であってよい。それぞれの適切な通信技術を使用することができる。ローカルデータベースやマスターデータベースなどのそれぞれの構成要素は、それぞれ、互いに通信するための１つ以上の通信インターフェースを含んでよい。このような通信は、ファイバ分散データインタフェース（ＦＤＤＩ）、デジタル加入者線（ＤＳＬ）、イーサネット、非同期転送モード（ＡＴＭ）などの有線データ伝送プロトコル、又はその他の有線伝送プロトコルを用いて実行されてよい。あるいは、通信は、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、符号分割多元接続（ＣＤＭＡ）、長期的進化（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ））、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）などのさまざまなプロトコル、及び／又はその他の無線プロトコルのいずれかを使用して、無線通信ネットワークを介して無線であってもよい。それぞれの通信は、無線通信及び有線通信を組み合わせたものであってよい。

【0053】

シーンで観測されたスペクトルと、ローカルデータベース及び／又はマスターデータベースのスペクトルとの間のこのようなマッチングアルゴリズムを実現するために、信頼閾値と誤差閾値が必要である。例えば、シーンで観測されたスペクトルと、ローカルデータベース及び／又はマスターデータベースのスペクトルとの間のマッチングは、測定されたスペクトルに関連する物体の識別を可能にするために、信頼閾値を満たしていなければならない。しかし、１つかつ同じ物体について、測定／観測されたスペクトルと、割り当て／記憶されたスペクトルとの間には、まだなんらかの誤差がある可能性がある。この誤差が誤差閾値よりも大きい場合は、ローカルデータベース及び／又はマスターデータベースのスペクトルを更新する必要がある場合がある。

【0054】

また、ユーザにプロセッサと結合されたユーザインターフェースを介して、（ローカルデータベース及び／又はマスターデータベースのいずれかで）可能な物体認識／識別から選択するように求めることによって、他の改良が装置に加えられてもよい。ユーザインターフェースは、入力及び出力装置、例えば、グラフィカルユーザインターフェース又は音響インターフェースによって実現されてよい。それぞれの問い合わせを表示するためのディスプレイがあってよい。あるいは、ラウドスピーカーが、ユーザがそこから可能な識別の１つ以上を選択するように求められる任意のセレクションを出力することができる。それぞれのユーザの入力は、ＧＵＩ及び／又はマイクロフォンを介して実現されることができる。ユーザからのフィードバックは、データベース内、特にローカルデータベース内における将来の識別の精度を向上させるために使用される。あるいは、装置は、ユーザインターフェースを介して、特定の選択された識別が正しいかどうかをユーザに尋ね、そのフィードバックを使用してローカルデータベースでの将来の識別の向上させることができる。

【0055】

本開示はさらに、物体認識システムのための少なくとも１つのグラウンドトゥルースデータベースを形成し、該少なくとも１つのグラウンドトゥルースデータベースを最新の状態に保つための、コンピュータで実行される方法に言及しており、該方法は少なくとも以下のステップ：
－ 通信インターフェースを介して、異なる物体の色空間位置／座標及び／又は反射スペクトル及び／又は発光スペクトルを、例えば少なくとも１つの分光光度計を使用して、提供するステップと、
－ プロセッサによって、各色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、タグとして前記異なる物体の１つに割り当てるステップと、
－ 前記プロセッサによって、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルが割り当てられたそれぞれの異なる物体とともに、データ記憶ユニットにそれぞれ記憶し、これにより、少なくとも１つのグラウンドトゥルースデータベースを形成するステップと、
－ ともに前記プロセッサに通信接続されている少なくとも１つのセンサ及び／又は人工知能ツールを使用することによって、トリガーイベント及び／又は認識イベントの発生に関して、異なる物体の少なくともいくつかを含むシーンを監視するステップと、
－ 前記プロセッサによって、必要に応じて動的に、前記少なくとも１つのデータベースのうち少なくとも１つにおいて、前記トリガーイベント及び／又は認識イベントが発生した場合に、前記少なくとも１つのデータベースに記憶されている色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを更新及び／又は補足し、これにより、前記少なくとも１つのデータベース内の少なくとも１つにあるそれぞれの物体の小さな連続した変化を追跡するステップと、
－ 最新の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルへの即時アクセスを提供するステップと、
を含む。

【0056】

提案された方法は、少なくとも１つの分光光度計を使用することによって、異なる物体の色空間位置／座標及び／又は反射スペクトル及び／又は発光スペクトルを測定するステップをさらに含んでよい。少なくとも１つの分光光度計は、物体認識システムの構成要素であってよい。さらに、提案される方法は、異なる物体にそれぞれ蛍光材料を提供するステップを含んでよい。

【0057】

トリガーイベント及び認識イベントは、シーンに目に見えて入ってくる１つ以上の新しい物体によって、及び／又は、物体認識システムによって再測定された、シーン内に位置する１つ以上の異なる物体の変化されたそれぞれの色空間位置及び／又はスペクトルによって実現されることができる。

【0058】

監視ステップでは、センサ手段、特にカメラ、及び人工知能ツールが提供されてよく、該センサ手段及び人工知能ツールの両方は、プロセッサと通信可能に接続されているか、又はプロセッサと一体化され、これにより、プロセッサが、センサ手段によってトリガーイベントを検出し、及び、それぞれの人工知能ツールによってトリガーイベントを識別することができる。人工知能ツールは、カメラ、マイク、無線信号などのセンサ手段からの入力を使用して、トリガーイベント及び／又は認識イベントを推定するようにトレーニング及び構成されている。したがって、プロセッサは、トリガー及び／又は認識イベントの直接的又は間接的な結果として、少なくとも１つのグラウンドトゥルースデータベースの少なくとも１つに追加又は少なくとも１つのグラウンドトゥルースデータベースの少なくとも１つから削除される少なくとも１つの物体をアナウンスするように構成される。人工知能ツールは、トリガーイベント及び／又は認識イベント、又は以前にトレーニングされたそれらに関する少なくとも基本的な情報及び結論のためのルールを含むか、又はアクセスを有している。人工知能ツール及び／又はセンサ手段は、プロセッサに一体化されることができる。人工知能ツールは、適宜トレーニングされたニューラルネットワークを介して実現されることができる。

【0059】

提案された方法の一実施形態によれば、本方法は、少なくとも１つのグラウンドトゥルースデータベースとして、マスターデータベースとローカルデータベースを提供することをさらに含み、該ローカルデータベースは、マスターデータベースと連携している（通信接続されている）。ローカルデータベースに記憶された色空間位置及び／又は反射スペクトル及び／又は発光スペクトルは、物体認識システムによって、シーン内の異なる物体のそれぞれの色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを再測定することによって、又はシーンに入る新しい物体についてシーンを監視することによって、又はさらなるトリガーイベント及び／又は認識イベントの発生を認識することによって、経時的に更新及び／又は補足され、したがって、シーンの小さくて連続的な変化が少なくともローカルデータベースにおいて追跡される。

【0060】

ローカルデータベースは、シーン内にローカルに又はクラウドサーバに記憶されてよく、該ローカルデータベースは、シーン内でローカルに使用される物体認識システムのみがアクセスすることができる。

【0061】

提案された方法のさらなる実施形態によれば、それぞれの物体の小さくて連続的な変化は、それぞれの物体の蛍光放射量／振幅及び／又は蛍光放射スペクトルの形状の変化を監視することにより追跡される。

【0062】

ローカルデータベースは、物体がシーン内で新しいときに、マスターデータベースを使用することによって、物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルによって補足され得、ローカルで使用される物体認識システムによって測定された新しい物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルは、マスターデータベースに記憶されている物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルとマッチングさせることができる。

【0063】

マスターデータベースとローカルデータベースは、事前に定義された時間間隔内で、又はいくつかの事前定義されたイベントのうち少なくとも１つが発生したときに、シーン内の異なる物体に関して同期される。このような更新のための時間間隔は、物体に応じて、数時間、数日、数週間、数ヶ月とすることができる。

【0064】

マスターデータベースは、異なる物体のそれぞれについて、元の物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルと、元の物体から経時した少なくとも１つの劣化／老朽化した物体の色空間位置及び／又は反射スペクトル及び／又は発光スペクトルとを含む。

【0065】

本開示はさらに、１つ以上のプロセッサによって実行されるときに、マシーンに：
－ 通信インターフェースを介して、異なる物体の色空間位置／座標及び／又は反射スペクトル及び／又は発光スペクトルを受信し、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルをそれぞれ、タグとして異なる物体の１つに割り当て、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルが割り当てられたそれぞれの異なる物体とともに、データ記憶ユニットにそれぞれ記憶し、これにより、少なくとも１つのグラウンドトゥルースデータベースを形成し、
－ 少なくとも１つのセンサ及び／又は人工知能ツールを使用することによって、トリガーイベント及び／又は認識イベントの発生に関して、異なる物体の少なくともいくつかを含むシーンを監視し、
－ 必要に応じて動的に、前記少なくとも１つのデータベースのうち少なくとも１つにおいて、前記トリガーイベント及び／又は認識イベントが発生した場合に、前記少なくとも１つのデータベースに記憶されている前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを更新及び／又は補足し、これにより、少なくとも１つのデータベースの少なくとも１つにおいて前記シーン内の小さな連続した変化を追跡し、
－ 最新の色位置及び／又は反射スペクトル及び／又は発光スペクトルへの即時アクセスを提供する、ことを行わせる命令を記憶する非一時的なコンピュータ可読媒体に言及する。

【0066】

このようなトリガーイベント及び／又は認識イベントは、シーンに目に見えて入る新しい物体によって、及び／又はシーン内に位置する異なる物体のそれぞれの再測定された色位置及び／又はスペクトルを受信することによって与えられることができる。

【0067】

さらに、１つ以上のプロセッサによって実行可能な命令を有するそれぞれのコンピュータプログラム製品が提供され、その命令は、マシーンに上述の方法ステップを実行させる。

【0068】

プロセッサは、タッチスクリーン、音声入力、動作入力、マウス、キーパッド入力などの１つ以上の入力ユニットを含むか、又はそれらと接続され、すなわち通信接続されてよい。さらに、プロセッサは、音声出力、ビデオ出力、スクリーン／ディスプレイ出力などの１つ以上の出力ユニットを含むか、又はそれらと通信接続されてよい。

【0069】

本発明の実施形態は、独立型ユニットであり得るか、又は例えばクラウドに設置された中央コンピュータと例えばインターネットもしくはイントラネットなどのネットワークを介して通信する１つ以上の遠隔端末又は装置を含むコンピュータシステムと共に使用されるか、又はコンピュータシステムに組み込まれ得る。このように、本明細書に記載されているデータ処理ユニット／プロセッサ及び関連構成要素は、ローカルコンピュータシステム又はリモートコンピュータ又はオンラインシステムの一部であってよく、又はそれらの組み合わせであってもよい。データベース、すなわち本明細書に記載されているデータ記憶ユニット及びソフトウェアは、コンピュータの内部メモリに記憶されていてよく、又は非一時的なコンピュータ可読媒体に記憶されていてよい。

【0070】

本発明は、以下の実施例でさらに定義される。これらの実施例は、本発明の好ましい実施形態を示すことにより、説明のみのために与えられていることを理解されたい。上述の議論及び実施例から、当業者は、本発明の本質的な特徴を確認することができ、その精神及び範囲から逸脱することなく、本発明を様々な用途及び条件に適合させるために、本発明の様々な変更及び改変を行うことができる。

【図面の簡単な説明】

【0071】

【図1】提案される装置及び／又は提案された方法の一実施形態を使用して形成及び更新される少なくとも１つのグラウンドトゥルースデータベースを使用する物体認識の方法のフローチャートを概略的に示す図である。

【図2】提案されるコンピュータ可読媒体の一実施形態の命令のフローチャートを概略的に示す図である。

【0072】

図面の詳細な説明
図１は、本開示によって提案される方法の一実施形態を使用して形成され、最新の状態に保たれるグラウンドトゥルースデータベースを使用して、シーン内の物体を物体認識システムによって認識する方法のフローチャートを概略的に示している。

【0073】

ここで説明する例では、物体認識システムが提供され、該物体認識システムは、シーン内に存在する物体の反射スペクトル及び／又は発光スペクトルを、例えば分光光度計などのセンサを介して感知／測定することによって、及び、測定された蛍光スペクトルを用いて、物体認識システムによってアクセス可能なそれぞれのグラウンドトゥルースデータベースにタグとして特定の蛍光スペクトルが記憶されている特定の物体を識別することによって、シーン内の物体を認識するために使用される。

【0074】

シーン内の物体を認識するために使用される物体認識システムは、データ記憶ユニットに記憶された少なくともローカルデータベースへのアクセスを有し、ローカルデータベースは、それぞれのシーン内でローカルに位置する、又は位置された物体の蛍光スペクトルを記憶している。このようなローカルデータベースの他に、データ記憶ユニットは、ローカルデータベースと通信接続され、ローカルに測定された物体だけではない蛍光スペクトルを記憶するマスターデータベースをホストすることもできる。したがって、マスターデータベースには、シーン内で物体をローカルに認識するためにローカルに使用される物体認識システムのみではない物体認識システムがアクセスすることができる。マスターデータベースは、ローカルデータベースを記憶するデータ記憶ユニットと通信接続された、さらなるデータ記憶ユニットに記憶されることもできる。

【0075】

ローカルデータベースを記憶するデータ記憶ユニット、及びマスターデータベースを記憶するデータ記憶ユニットは、単独の独立型サーバ及び／又はクラウドサーバによって実現されることができる。ローカルデータベースとマスターデータベースの両方はクラウド上に記憶されることができる。

【0076】

物体認識システムのためのローカルデータベース及びマスターデータベースを形成し、ローカルデータベース及びマスターデータベースを最新の状態に保つための提案された装置は、既に述べた少なくとも１つのデータ記憶ユニットの他に、データ記憶ユニット及び物体認識システムとの通信のためにプログラムされたプロセッサを備えている。前記プロセッサは：
－ 通信インターフェースを介して、異なる物体の色空間位置／座標及び／又は反射スペクトル及び／又は発光スペクトルを受信し、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルをそれぞれ、タグとして異なる物体の１つに割り当て、
－ 前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルが割り当てられたそれぞれの異なる物体とともに、データ記憶ユニットにそれぞれ記憶し、これにより、少なくとも１つのグラウンドトゥルースデータベース、すなわちローカルデータベース及び／又はマスターデータベースを形成し、
－ 少なくとも１つのセンサ及び／又は人工知能ツールを使用することによって、トリガーイベント及び／又は認識イベントの発生に関して、異なる物体の少なくともいくつかを含むシーンを監視し、
－ 前記トリガーイベント及び／又は認識イベントについて、前記シーンを連続的に監視することによって、前記ローカルデータベース及び前記マスターデータベースの少なくとも１つにおいて、前記色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを動的に更新及び／又は補足し、これにより、それぞれのデータベース内で前記シーンの小さくて連続した変化を追跡する、
ようにプログラムされている。

【0077】

このような方法ステップは、図２に示すような命令を含む提案された非一時的なコンピュータ可読媒体の実施形態が使用／ロードされたときに、プロセッサによって実行されることができる。

【0078】

トリガーイベント及び／又は認識イベントは、シーンに入り、したがって、シーン内の新しい反射スペクトル及び／又は発光スペクトルの測定を誘発／開始する新しい物体であり得る。更なるトリガー及び／又は認識イベントは、シーン内に既に存在しているが経時的に劣化した物体の新たに測定された色空間位置及び／又は反射スペクトル及び／又は発光スペクトルを受信することによって与えられ得る。

【0079】

ステップ１０１では、反射スペクトル及び蛍光スペクトルが、シーン内の物体を認識するためにローカルで使用される物体認識システムによって、感知／測定される。物体認識システムは、例えば、認識／識別される物体の特定の蛍光スペクトルを提供する。したがって、これまでにシーン内で特定されたすべての物体の蛍光スペクトルを記憶しているローカルデータベースが、マッチングする蛍光スペクトルについて検索される。方法ステップ１０２でマッチングするものが見つかった場合、識別された蛍光スペクトルが記憶されている蛍光スペクトルから逸脱しているが、それでも測定された蛍光スペクトルに基づいて識別を可能にするための信頼閾値を依然として満たしているために、ローカルデータベースで見つかったスペクトルを更新する必要があるかどうかがさらに検討される。通常、ローカルデータベースを実装するためには、信頼閾値と誤差閾値が必要である。例えば、シーン内で観察された蛍光スペクトルと、ローカルデータベース内の蛍光スペクトルとの間のマッチングは、識別を可能にするために信頼閾値を満たさなければならない。しかし、観測された蛍光スペクトルと割り当てられた蛍光スペクトルの間には、それでもなんらかの誤差が存在し得る。この誤差が矢印１０３で示される誤差閾値よりも大きい場合、ステップ１０４でローカルデータベースに記憶された蛍光スペクトルが更新される。ステップ１０５において、観測された蛍光スペクトルとローカルデータベースに記憶された蛍光スペクトルが誤差閾値を満たしていると示された場合、ステップ１０６において、ローカルデータベースを更新することなく、物体が識別される。測定された蛍光スペクトルについて、ステップ１０７において、ローカルデータベースにマッチングする結果が見つからない場合、マスターデータベースは、感知／測定された蛍光スペクトルにマッチングする蛍光スペクトルについて、ステップ１０８で検索される。ステップ１０９でマスターデータベースでマッチングするものが見つかった場合、ステップ１１０で物体が識別され、識別された物体のマッチングする蛍光スペクトルは、その割り当てられた物体とともにローカルデータベースに追加され、それぞれの物体が現在シーンに位置していることを示し、したがって、それぞれのシーンに割り当て可能なローカルデータベースが適切に更新される。ステップ１１１でマスターデータベースでマッチングするものが見つからない場合は、ステップ１１２でマッチングするものが検出されないことが示され、物体が認識できない。

【0080】

さらに、ディスプレイなどの出力ユニットを介して、可能性のある物体のセレクションを出力し、ユーザに、タッチスクリーンなどのユーザインターフェースを介して、ローカルデータベース又はマスターデータベースのいずれかにおいて可能な物体識別のこのようなセレクションから選択するよう求め、ユーザのフィードバックを使用してローカルデータベース内の将来の識別の精度を向上させることも可能である。つまり、物体認識システムは、ユーザのフィードバックによって動的にトレーニングされ、その結果、予測が動的に改善される。通信インターフェースを介してユーザに識別が正しいかどうかを尋ね、そのフィードバックをローカルデータベース内の将来の識別を改善するために使用することも可能である。さらに、ローカルデータベースにもマスターデータベースにもマッチングするものがない場合は、該物体はユーザによって手動で識別される必要があり、新たに測定した蛍光スペクトルはそれぞれの物体と一緒にローカルデータベースとマスターデータベースの両方に記憶されることができる。ユーザだけでなく、他の自動化システムも、物体が最初に取得されたときにローカルデータベースに追加することによって、その物体を「開始」することができる。同様に、物体は、その耐用年数が終了して廃棄されるときに、ローカルデータベースから（必要に応じてマスターデータベースからも）削除することによって、「引退」させることができる。

【0081】

物体認識の手順は、特定の物体の蛍光スペクトルを例に挙げて説明したが、それぞれのグラウンドトゥルースデータベースが物体の反射スペクトル及び／又は色座標を含んでいれば、認識される物体の反射スペクトル及び／又は色座標を使用して同様の手順を実行することができる。

【0082】

通常、物体認識システムは、物体識別の方法として、特有の蛍光放射スペクトル及び反射スペクトルを使用することによって作動され得る。これは、未知の物体が比較される既知又は測定された蛍光スペクトル及び／又は反射スペクトルのデータベースを有すること、及びそれぞれのデータベースからベストマッチングするものを選択することを必要とする。本開示は、物体認識に使用される多くの蛍光材料及び／又は反射材料が、光又は酸素への曝露とともに経時的に劣化することを考慮している。これらの材料のほとんどはそれらの蛍光放射の量が減少するが、いくつかはそれらの蛍光放射のスペクトル形状、すなわちその蛍光スペクトルの変化を受ける可能性がある。そこで、本開示は、マスターデータベースと連携したローカルデータベースを含むことを提案している。シーンに入る新しい物体は、物体が劣化していない反射スペクトル及び／又は発光スペクトルを有するという前提で、マスターデータベースで最初に分類される。一度検出されると、物体は将来のより迅速な識別のためにローカルデータベースに含まれる。ローカルデータベースには、それぞれのシーンでローカルに使用されている物体認識システムのみがアクセスすることができる。さらに、物体認識システムによって測定された物体の蛍光スペクトルと反射スペクトルは、経時的に更新されるので、物体の小さな連続した変化がローカルデータベースで追跡されることができる。物体の耐用年数が終了した時点では、物体は、その物体の現在の放射スペクトルがマスターデータベース内の別の物体の元の放射スペクトルとよりよくマッチングしているのにもかかわらず、ローカルデータベースによって正しく識別され得る。信頼閾値と誤差閾値が定義されている。シーンで観測されたスペクトルとローカルデータベースのスペクトルのマッチングは、識別を可能にするために信頼閾値を満たさなければならない。しかし、基礎となる蛍光材料及び反射材料が経時的に劣化する可能性があるため、観測及び割り当てられた反射スペクトル及び／又は蛍光スペクトの間には、まだなんらかの誤差がある可能性がある。この誤差が誤差閾値よりも大きい場合、ローカルデータベース内の物体のそれぞれのスペクトルを更新する必要があり、したがって、ローカルデータベース内の物体の小さな変化を連続的にチェックすることができる。これにより、物体の蛍光材料及び／又は反射材料が経時的に変化しても、その物体を識別することができる。マッチングするものがない場合には、ユーザに、通信インターフェースを介して、スペクトルが信頼閾値を超えているが、まだ識別可能な領域内にあるローカルデータベース又はマスターデータベースのいずれかにおいて、可能な物体識別のセレクションを提供し、ユーザに、そのような提供されたセレクションから選択するように求め、そのようなユーザフィードバックを使用して、ローカルデータベース内の将来の識別の精度を向上させることが可能である。あるいは、ユーザは、識別が正しいかどうかを尋ねられることも可能であり、このようなフィードバックを使用して、ローカルデータベース内の将来の識別の改善に利用することも可能である。このようなユーザインタラクションを開始するために、提案される装置は、ユーザがいくつかの入力を行うことができるユーザインターフェース、すなわち通信インターフェースを提供する。このようなユーザインターフェースは、プロセッサに直接接続され、プロセッサを介して各データベースにも接続される。ユーザインターフェースは、ユーザに入力装置を提供する独立型のコンピュータ装置によって実現されることもできる。すべての適切な既知の技術が可能である。

【図1】

【図2】

【国際調査報告】