特許 7346019 オブジェクト履歴関連付けにおけるシステムと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-08

(45)【発行日】2023-09-19

(54)【発明の名称】オブジェクト履歴関連付けにおけるシステムと方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20230911BHJP

【ＦＩ】

G06T7/246

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2018207264

(22)【出願日】2018-11-02

(65)【公開番号】P2019087250

(43)【公開日】2019-06-06

【審査請求日】2021-06-17

(31)【優先権主張番号】15/803,143

(32)【優先日】2017-11-03

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】518102470

【氏名又は名称】トヨタ リサーチ インスティテュート，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100117019

【弁理士】

【氏名又は名称】渡辺 陽一

(74)【代理人】

【識別番号】100108903

【弁理士】

【氏名又は名称】中村 和広

(72)【発明者】

【氏名】イェンス ストラボー フンメルスホイ

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２０１１－９１７０５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／０２６３９００（ＵＳ，Ａ１）

【文献】特開２０１２－７８９５０（ＪＰ，Ａ）

【文献】特開２００８－１１７１３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

履歴的に関連するオブジェクトに対する関連付けシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリは、
前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を取得させ、前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識させる命令を含むオブジェクト認識モジュールであって、前記１つ以上の環境資産は少なくとも１つの第２オブジェクトを含む、オブジェクト認識モジュールと、
前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別させる命令を含む事例識別モジュールであって、前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含む、事例識別モジュールと、
前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、前記オブジェクト履歴情報のデータベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別させ、自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行させる命令を含む関連付けモジュールであって、前記自動装置は、前記少なくとも１つの画像キャプチャ装置により監視される環境内に存在し、前記自動装置は、家庭用電気器具、自律型ロボット、半自律型ロボット、又は自律型自動車の１つである、関連付けモジュールと、
を格納する、関連付けシステム。

【請求項2】

前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の時間的結合に対する情報を含む、請求項１に記載の関連付けシステム。

【請求項3】

前記１つ以上の関連付けは、前記少なくとも１つの動的オブジェクトに関する時間的データ、前記少なくとも１つの第２オブジェクトに関する時間的データ、及び前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の関連付けに関する結合データの少なくとも１つを含む、請求項１に記載の関連付けシステム。

【請求項4】

前記関連付けモジュールは、前記関連付けモジュールのトレーニングの一部として、オブジェクト履歴情報を使用するための命令を更に含む、請求項１に記載の関連付けシステム。

【請求項5】

前記１つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも１つの動的オブジェクトとの間の関連付けデータを更に含む、請求項１に記載の関連付けシステム。

【請求項6】

履歴的に関連するオブジェクトに対する非一時的コンピュータ読み取り可能媒体であって、
前記非一時的コンピュータ読み取り可能媒体は、１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、
少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を取得させ、
前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識させ、前記１つ以上の環境資産は少なくとも１つの第２オブジェクトを含み、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別させ、前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含み、
前記オブジェクト履歴情報のデータベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別させ、
自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行させる命令を格納し、
前記自動装置は、前記少なくとも１つの画像キャプチャ装置により監視される環境内に存在し、前記自動装置は、家庭用電気器具、自律型ロボット、半自律型ロボット、又は自律型自動車の１つである、非一時的コンピュータ読み取り可能媒体。

【請求項7】

前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の時間的結合に対する情報を含む、請求項６に記載の非一時的コンピュータ読み取り可能媒体。

【請求項8】

前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の場所的結合に対する情報を含む、請求項６に記載の非一時的コンピュータ読み取り可能媒体。

【請求項9】

前記１つ以上の関連付けは、前記少なくとも１つの動的オブジェクトに関する時間的データ、前記少なくとも１つの第２オブジェクトに関する時間的データ、及び前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の関連付けに関する結合データの少なくとも１つを含む、請求項６に記載の非一時的コンピュータ読み取り可能媒体。

【請求項10】

前記１つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも１つの動的オブジェクトとの間の関連付けデータを更に含む、請求項６に記載の非一時的コンピュータ読み取り可能媒体。

【請求項11】

履歴的に関連するオブジェクトに対する方法あって、
少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を取得するステップと、
前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識するステップであって、前記１つ以上の環境資産は少なくとも１つの第２オブジェクトを含む、ステップと、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別するステップであって、前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含む、ステップと、
前記オブジェクト履歴情報のデータベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別するステップと、
自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行するステップであって、前記自動装置は、前記少なくとも１つの画像キャプチャ装置により監視される環境内に存在し、前記自動装置は、家庭用電気器具、自律型ロボット、半自律型ロボット、又は自律型自動車の１つである、ステップと、
を有する、方法。

【請求項12】

前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の時間的結合に対する情報を含む、請求項１１に記載の方法。

【請求項13】

前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の場所的結合に対する情報を含む、請求項１１に記載の方法。

【請求項14】

前記１つ以上の関連付けは、前記少なくとも１つの動的オブジェクトに関する時間的データ、前記少なくとも１つの第２オブジェクトに関する時間的データ、及び前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の関連付けに関する結合データの少なくとも１つを含む、請求項１１に記載の方法。

【請求項15】

前記１つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも１つの動的オブジェクトとの間の関連付けデータを更に含む、請求項１１に記載の方法。

【請求項16】

前記少なくとも１つの第２オブジェクトは、その他の動的オブジェクトである、請求項１に記載の関連付けシステム。

【請求項17】

前記事例識別モジュールは、前記少なくとも１つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、請求項１に記載の関連付けシステム。

【請求項18】

前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の場所的結合に対する情報を含む、請求項１に記載の関連付けシステム。

【請求項19】

前記少なくとも１つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、請求項９に記載の非一時的コンピュータ読み取り可能媒体。

【請求項20】

前記少なくとも１つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、請求項１５に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

ここに記載される主題は、一般的には、動的オブジェクト認識に関連し、より詳細には、互いのオブジェクトと環境（environment）との関連付けに関連する。

【背景技術】

【0002】

近年、視界内のオブジェクトを特定して、認識し、及びこの判断に従って自動装置又は車両に指示する装置が、様々な分野において、生活の質及び安全性の両方を改善することを目的に提案されている。これらに装置は、一般的に、上記の特定及び認識を行うためのオブジェクト認識を用いる。オブジェクト認識は、一般的に、ビデオセグメント内の画像又は一連のフレーム内の所定のオブジェクトを捜すことに関連する。高い時間的相関関係を持つ時間的に接近した特徴が、一連のフレーム内で識別される。それぞれの連続するフレームは、オブジェクトの時間的に接近した表示を含む。

【0003】

オブジェクト認識は、典型的には、抽出化の幾つかのレベルにおいてオブジェクトのモデルに基づく。「ビュー（view）」とも呼ばれるオブジェクト表示は、回転、動き／移動、明るさの変化、背景、ノイズ、その他のオブジェクトの出現、オブジェクトの部分的遮断／遮断解除など、様々なオブジェクトの変化によりフレームからフレームに変化することになる。そして、オブジェクト表示は、オブジェクトクラス（例えば、自動推進、履物など）、オブジェクトタイプ（小型の低価格車、ランニングブーツなど）の一方又は両方を特定するため、既知のモデル又は特徴と比較される。このモデルは、モデルと同一のレベルで抽出されたオブジェクト表示とマッチングされる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、オブジェクト認識の現在の方法は、それらが提供できる情報に限定される。新たなオブジェクトが環境に入る場合、検出は、通常、上記のオブジェクト認識に限定され、同じクラス及びタイプの個別のオブジェクト、オブジェクトの履歴又はオブジェクトがどの様に現在位置に到達したかに関する情報を全くか殆ど持たない。自動装置及び車両に対する必然的な目標が、適任の人間オペレータが行うものと同様又はより良く行うことであるため、個々のオブジェクト及びそれらの間の関連付けに関する情報は有益である。

【課題を解決するための手段】

【0005】

ここに記載されるシステムと方法は、オブジェクトに関連する追加の情報を決定するために、オブジェクト及び場所に関連する履歴データを使用する。１つの実施形態において、環境内のオブジェクトを関連付けるための関連付けシステムが開示される。関連付けシステムは、１つ以上のプロセッサと、前記１つ以上のプロセッサに通信可能に接続されるメモリと、を含む。前記メモリは、前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を取得させ、前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識させる命令を含むオブジェクト認識モジュールを格納できる。前記環境資産は少なくとも１つの第２オブジェクトを含む。前記メモリは、前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別させる命令を含む事例識別モジュールを更に格納できる。前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含む。前記メモリは、前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別させ、自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行させる命令を含む関連付けモジュールを更に格納できる。

【0006】

その他の実施形態において、環境内のオブジェクトを関連付けるための非一時的コンピュータ読み取り可能媒体が開示される。前記媒体は、１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、少なくとも１つの画像キャプチャ装置を用いて、前記環境の１つ以上の画像を取得させる命令を格納できる。前記命令は、更に前記プロセッサに、前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識させる。前記環境資産は少なくとも１つの第２オブジェクトを含む。前記命令は、更に前記プロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別させる。前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含む。前記命令は、更に前記プロセッサに、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別させる。前記命令は、更に前記プロセッサに、自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行させる。

【0007】

その他の実施形態において、オブジェクト認識に対する方法が開示される。方法は、少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を取得するステップを含むことができる。前記方法は、前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識するステップを更に含むことができる。前記環境資産は少なくとも１つの第２オブジェクトを含む。前記方法は、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別するステップを更に含むことができる。前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含む。前記方法は、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別するステップを更に含むことができる。前記方法は、自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行するステップを更に含むことができる。

【0008】

本開示の上記した特徴が詳細に理解できる方法、本開示のより詳細な記載、簡潔に要約された上記載を、実施形態を参照して得ることができるように、実施形態の幾つかは添付する図面において図示される。しかし、注意すべきこととして、添付する図面は、本開示の典型的な実施形態のみを図示しており、このため、その範囲を限定するものと考えるべきではない。本開示は、その他の同等に有効な実施形態を許容できる。

【図面の簡単な説明】

【0009】

【図1】１つ以上の実施形態による、動的オブジェクトを認識し、関連付けるために構成されたコンピューティング装置及び画像キャプチャ装置のブロック図である。

【図2】１つ以上の実施形態による、動的オブジェクトを認識し、関連付けることを可能にする関連付けシステムの説明図である。

【図3】１つの実施形態による、環境内に実装された関連付けシステムの説明図である。

【図4】１つの実施形態による、環境内の動的オブジェクトを認識し、関連付けるための方法のフロー図である。

【発明を実施するための形態】

【0010】

理解を容易にするため、可能な限り、図において共通する同一の要素を示すために同一の参照番号が使用される。更に、１つの実施形態の要素は、ここに記載されるその他の実施形態における利用に対して有利に適応することができる。

【0011】

ここに開示される実施形態は、動的オブジェクトに関連する更なる情報を決定するため、動的オブジェクト、第２オブジェクト、それらの場所又は組合せとデータを関連付けるために使用されるシステム及び方法を記載する。システム及び方法は、部屋の高レベルビューを特定するため、例えば、部屋の天井に配置される１つ以上の画像キャプチャ装置（例えば、カメラ）を含むことができる。画像キャプチャ装置は、コンピューティング装置と連結して、環境内で予想されるものの履歴情報を作り上げるために使用できる。環境内で予想されるものは、１つ以上の静的オブジェクト及び１つ以上の構造的特徴を含む。ここに記載されるシステム及び方法は、特定範囲の履歴を追跡するために使用できる。例えば、画像キャプチャ装置が台所又は寝室に置かれる場合、画像キャプチャ装置及びコンピューティング装置は、多くの追加情報を知ることができ、オブジェクトは何か、及びその源（source）は何か（例えば、オブジェクトが属するところの人）を絞り込むことができる。画像キャプチャ装置がブーツを脱いでいる人物を観察する場合、ブーツ及び人物は、環境内で新たなオブジェクト（例えば、それぞれ、動的オブジェクト及び第２オブジェクト）となり得る。コンピューティング装置は、動的オブジェクト（例えば、ブーツ）に関連するより多くの情報の識別のため、誰がブーツを脱いだかを検出できる。この結果、システムは、カメラが中にある部屋を監視し、変化を見ているだけなので、処理時間を減らせる。環境内で変化が検出される（例えば、動的オブジェクトが導入される）とき、ここに記載されるシステム及び方法は、以前の既知情報及び時間をかけた観察に基づいて、動的オブジェクトが何で、誰がオブジェクト（例えば、第２オブジェクト）を導入したかを検出できる。

【0012】

新たな動的オブジェクトが環境に導入される（即ち、動的オブジェクトは、それ以前に環境内に置かれていなかった）場合、システム及び方法は、追加の分析及び処理ステップを取るように多段（tiered）にできる。例えば、新たな動的オブジェクト又は新たな第２オブジェクトが導入された場合、システム及び方法は、例えば、動的オブジェクトを認識し、第２オブジェクトを認識するために画像処理アルゴリズムを動作させて、動的オブジェクトを第２オブジェクトに関連付けることができる。しかし、動的オブジェクト又は第２オブジェクトが環境に既に導入されている例では、システムは、各オブジェクトの特定の事例（instance）を認識し、場所に対するオブジェクト履歴情報として格納されているものを、動的オブジェクト又は第２オブジェクトに対する特徴と比較することができる。これらの多段の処理ステップで、計算時間を減らせる。ここに開示される実施形態の要素は、以下の図面と関連して、より明確に記載される。

【0013】

図１を参照すると、コンピューティング装置100の例が図示されている。図１に示されるように、コンピューティング装置100は、限定されるものではないが、パーソナルコンピュータ（ＰＣ）、ワークステーション、組込型コンピュータ、又はマイクロプロセッサ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）若しくはＡＳＩＣ（特定用途向け集積回路）などの計算ユニットを備えるスタンドアローン装置などの任意の適切なタイプのコンピューティング装置とすることができる。ここに示されるコンピューティング装置100は、ディスプレイ装置360と接続されたＰＣである。ＰＣコンピュータに関して、ここに取決め（arrangement）が記載されるが、実施形態はＰＣコンピュータに制限されないことを理解すべきであろう。幾つかの実装において、コンピューティング装置100は、例えば、少なくとも半自律的に動作し、オブジェクト検出又はオブジェクト検出を支援する能力を含み、それによりここで検討される機能性から利益を得る、その他の形式のコンピューティング装置とすることができる。

【0014】

コンピューティング装置100は、分析及び最終識別及び／又は検証のための画像を取得するために入力102を有する。入力102は、コンピューティング装置100への入力装置のための有線又は無線のどちらかでの１つ以上の接続である。入力102は、装置タイプにより決まる任意の適切な通信インタフェースであり、制限されるものではないが、ＵＳＢ（ユニバーサル・シリアル・バス）、フレーム取込み器（frame grabber）、イーサネット又はファイヤーワイヤー（Firewire）を含む。コンピューティング装置100は、ここに記載されるデータ処理及び分析に使用される汎用プロセッサなどのプロセッサ104を更に含む。入力102は、センサ118（例えば、サーモスタット、気圧計など）、マイク、又はその他のアクティブ型若しくはパッシブ型の入力装置若しくはシステムと接続される。ここに示される入力102は、キーボード108、マウス110、センサ118、画像キャプチャ装置120及びマイク122と接続される。コンピューティング装置100は、更に接続112を有することができる。接続112は、有線又は無線とすることができ、ネットワークプロトコル（例えば、イーサネット又は同様のプロトコル）上などで、ローカルに又は遠隔に、コンピューティング装置100がその他のコンピューティング装置と通信できるようにする。

【0015】

コンピューティング装置100は、メモリ114などの幾つかの揮発性又は不揮発性メモリを更に有することができる。メモリ114は、プロセッサ104により実行されるとき、ここで検討される方法及び機能をプロセッサ104に実行させるコンピュータ読み取り可能な命令を含む1つ以上のモジュールを含むことができる。メモリ114は、図２を参照して記載されるデータベース210を含むことができる。メモリ114は、動的オブジェクト及び第２オブジェクトの既知の関連性など、比較及び／又は分析目的のための参考資料に関連する情報を含むことができる。コンピューティング装置100は、自律型装置又はユーザにより使用可能な方法で出力を伝達するための出力接続116を含むこともできる。一例として、出力接続116は、都合良く見るためのスクリーン（例えば、ディスプレイ装置130）、又は動的オブジェクトがその一部となる外部プロセスを制御するための制御装置に出力を伝達する。外部プロセスの実施形態は、制限されるものではないが、自律型ロボットプロセス、工業生産プロセス、セキュリティプロセス（例えば、人－オブジェクト関連付けに関連するような不審な行動の検出）又は医療アプリケーション（例えば、手術室で行われる処置と医療装置との関連付け）を含むことができる。

【0016】

コンピューティング装置は、第２オブジェクト及び／又は環境と動的オブジェクトの関連付けに関してここに開示される方法及びその他の機能を行うために実装される関連付けシステム126を更に含む。動的オブジェクトは、環境内で移動するオブジェクトであり、環境一覧（inventory）の一部ではない。動的オブジェクトは、認識方法の感覚で理解される。そのようなものとして、語句「オブジェクト」は、ブーツ又はボールなどの無生物オブジェクトと同様に、動物及び人間などの生物オブジェクトを含む。動的オブジェクトに関する情報は、静的オブジェクトを参照して記載される任意又は全ての情報を含むことができる。しかし、動的オブジェクトは、動的オブジェクトの変化する性質を反映するため、ポーズ情報、以前のポーズ情報、所持又は所有の変化をより頻繁に更新するであろう。

【0017】

図２を参照すると、図１の関連付けシステム126の１つの実施形態が更に図示される。関連付けシステム126は、図１のコンピューティング装置100からプロセッサ104を含むように示されている。これに応じて、プロセッサ104は関連付けシステム126の一部とすることができ、関連付けシステム126はコンピューティング装置100のプロセッサ104と別のプロセッサを含むことができ、又は関連付けシステム126はデータバス若しくはその他の通信経路を通じてプロセッサ104にアクセスできる。１つの実施形態において、関連付けシステム126は、オブジェクト認識モジュール220、事例識別モジュール230及び関連付けモジュール240を格納するメモリ114を含む。メモリ114は、モジュール220、230及び240を格納するためのランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスクドライブ、フラッシュメモリ又はその他の適切なメモリである。モジュール220、230及び240は、例えば、プロセッサ104により実行されるとき、ここに開示される様々な機能をプロセッサ104に行わせるコンピュータ読み取り可能な命令である。

【0018】

オブジェクト認識モジュール220は、環境の１つ以上の画像内の少なくとも１つの動的オブジェクト及び1つ以上の環境資産（asset）を認識するため、コンピューティング装置100の入力102と接続される１つ以上のセンサ118を用いて、環境の１つ以上の画像を取得するためにプロセッサ104を制御するように機能する命令を一般に含む。オブジェクト認識モジュール220は、動作感知装置（motion detector）により検出されるような環境内の移動など、１つ以上の始動イベントにより作動する。動作感知装置、赤外線センサ、ＲＡＤＡＲ、ＬＩＤＡＲ、画像キャプチャ装置120又はその他のセンサは、センサ１１８に含まれる。一旦初期化されると、オブジェクト認識モジュール220は、プロセッサ104による命令の実行を通して、認識のための環境内の１つ以上の環境資産に関する情報を収集する。ここで用いられるように、環境資産は、動的オブジェクト、第２オブジェクト及び静的オブジェクトを含む、環境内の又は環境から収集された全てのオブジェクト、環境の要素、検出、関連付け及び／又はその他の情報を表現する。

【0019】

収集された情報は、環境データとオブジェクトデータの両方を含むことができる。環境データは、通常は位置を変えない、又は冷蔵庫ドアなど固定経路内でのみ位置を変えるカウチ、ランプなどの静的オブジェクト又はその他のオブジェクトを含む環境内で静的な要素を記述するためにここで使用される。静的オブジェクトは、環境内で規則的な頻度で発生するオブジェクトであり、人又はその他の動くもの（actor）による移動を含む一般的な可動物（mobile）ではない。静的オブジェクトは、冷蔵庫のドアなどの移動可能な要素を含むことができる。静的オブジェクトに関する情報は、オブジェクトのポーズ（即ち、位置及び方向）、組成（composition）、個人所有の詳細、到着日の環境内の時間の長さ、及びオブジェクトに関するその他の場所と履歴の情報など、構造的及び位置決めの情報を含むことができる。１つの例において、環境はリビングルームであり、静的オブジェクトは、カウチ、ラブシート、椅子、ラグ、ランプ、靴入れ及び絵画を含む。静的オブジェクトに関する情報は、製造業者、一般的使用、それらが購入された場合の購入値段、能動的成分、重さ、オブジェクトのそれぞれに対する材料とタイプ、及びオブジェクトに関する構造的及び製造情報などのオブジェクトタイプ情報を更に含むことができる。

【0020】

オブジェクトデータは、動的オブジェクト及び第２オブジェクトに関するデータを記述するためにここで用いられる。動的オブジェクトは、環境に入り、又は出ることができる可動性オブジェクトである。オブジェクトデータは、（構造データなど）オブジェクト自体に関連する詳細、及び（ポーズ、時間上の移動、その他のオブジェクトとの関連など）環境とのオブジェクトの相互作用に関連する詳細の両方を含む。そして、オブジェクト認識モジュール220は、オブジェクト認識方法に従い、オブジェクトクラス及びオブジェクトタイプを認識するためにオブジェクトデータを使用する。オブジェクト認識方法は、既知の絵画との比較、画像からの３Ｄモデルの形成、又はその他を含むことができる。オブジェクトデータは、オブジェクトに関する識別子、生成された３Ｄモデル又はその他など、オブジェクト認識方法の一部として生成されるデータを更に含むことができる。オブジェクトが認識されると、関連付けシステム126の更なるモジュールでの使用のために、認識、オブジェクトデータ及び環境データが認識データに追加される。認識データは、オブジェクト履歴情報260に更に追加することができる。

【0021】

環境データは、環境からの情報又は環境に関する情報を更に含むことができる。環境データは、場所（例えば、家のリビングルーム）、環境パラメータ（例えば、温度、湿度及びその他の環境要素）、環境の大きさ及び境界（例えば、壁、障害物など）を含むことができる。環境データは、動的オブジェクトと作用し合うようデザインされた、あるいは使用される（例えば、ブーツに対する靴入れ）環境内の静的オブジェクトを含むこともできる。

【0022】

環境データは、動的オブジェクトの場所に対する状況（context）、データ追跡メトリックを提供でき、最終的にオブジェクト認識シーケンスを促進するために使用できる。動的オブジェクトの場所に対する状況は、部屋内にあるオブジェクトにつながる起こりそうなイベントを含むことができる（例えば、人々は、通常、仕事から家に帰り、リビングルームで彼らのブーツを脱ぐ）。データ追跡メトリックは、環境内の動的オブジェクトに関する統計情報を含むことができる。動的オブジェクトの環境との相互作用を追跡することにより、この特定の環境又は似たような環境のどちらかで現れそうな動的オブジェクト（タイプ及び特定の事例の両方）をより意識することができる。

【0023】

認識後、事例識別モジュール230は、一般に、環境に対するオブジェクト履歴情報のデータベース内の少なくとも１つの動的オブジェクトを識別するために、プロセッサ104を制御するよう機能する命令を含む。事例識別モジュール230は、特定の動的オブジェクトを認識するために、オブジェクト認識モジュール220により生成された認識データ、及びオブジェクト履歴情報260からの動的オブジェクトの少なくとも１つの以前の認識に関する情報を検索することができる。ここに記載されるように、事例識別モジュール230は、特定の動的オブジェクトに関する既知の情報の特性を示すデータベース210からオブジェクト履歴情報260を獲得するための命令を含む。オブジェクト履歴情報260は、場所履歴データ、オブジェクト仕様、構造情報、所有などを含むことができる。オブジェクト仕様は、オブジェクトの必要条件及び性能の詳細を記載する、通常は製造業者から入手可能な、詳細である。本開示は、オブジェクト履歴情報260を生成するために監視することができる動的オブジェクトと関連する側面の例示的項目を提供していると理解すべきである。しかし、この項目は、限定するものとして解釈されるものではなく、この考察のための可能性の例示的一覧表として提供されるものである。

【0024】

１つ以上の実施形態において、事例識別モジュール230は、認識データ内の冗長な情報を判断するために、オブジェクト履歴情報260又は一覧情報270を参照できる。オブジェクト履歴情報260及び一覧情報270が参照され、答えが画像キャプチャ装置120に送られる。そして、画像キャプチャ装置120は、冗長性を避けるために、動的オブジェクトに関して収集されたデータを制限できる。代わりに、認識データは、コンピューティング装置にアップロードされない冗長な部分を持つ通常なものとして収集することができ、又は冗長なデータはアップロードされて、部分的な更新（例えば、黒のブーツ、劣化した色）に対して使用できる。更に、オブジェクト履歴情報260は、新たな静的オブジェクトが環境内に設置されたときなど、一覧情報270を更新するために使用できる。

【0025】

上記情報の多くが客観的に記載されているが、主観的情報をオブジェクトに関して収集できる。主観的情報は、見解（例えば、環境内で見られるその他のブーツに基づいて、このブーツは流行遅れになるだろう）に基づくオブジェクトに関する実際の情報及び仮定の情報の両方とすることができる。言語化された見解、使用及び取扱いに基づく好き嫌いなどを動的オブジェクトのデータセットに組み込むことができる。上記した例において、人がそのブーツを脱ぐことによる安らぎを言語化するように、彼女は、環境内を歩き、カウチに座り、彼女のブーツを脱ぎ、そしてそれらを床の上で滑らせることができる。この場合、ブーツと人の両方が動的オブジェクトである。しかし、簡単のため、動的オブジェクトとしてブーツに焦点を当てる。ブーツに関する情報は、色、サイズ（数値又はその他のブーツとの比較のどちらか）、材質、靴の一般的タイプ（例えば、ドレスブーツ）、ブランド（入手可能であれば）、ブーツの最終的ポーズ、滑りのベクトル、加えられた力の量の詳細、動的オブジェクトの状態（例えば、ブーツが湿っている）、及び入室から最終的ポーズまでのブーツに関する時間的情報を含むことができる。

【0026】

従って、例示により、オブジェクト履歴情報260は、オブジェクトタイプと分類、動的オブジェクトの数と検出のタイミング、構造的又は本体の特徴、構成、所有履歴、所持履歴、動的オブジェクトの記載に使用される関連するダイアログ、オブジェクトのポーズ、製造業者の詳細、年、生理的パラメータ（もしあれば）、環境条件、予期される寿命、使用の状態（例えば、雨中でのレインコート）などを含む、幾つか又は全ての利用可能な環境資産に関する情報を含むことができる。更に、オブジェクト履歴情報260は、様々な発信元（source）から、ローカル及び遠隔の両方での、コンピューティング装置100への情報の収集とすることができる。様々な発信元は、動的オブジェクトのデータセット（即ち、現在の処理の間にオブジェクト認識モジュール220、事例識別モジュール230及び関連付けモジュール240による、未加工の又は処理された収集されたデータ）、第２データベースからの第２オブジェクト履歴情報（例えば、同一の環境又は別の環境に対して、ここに記載されたものと類似の又は同一の他の関連付けシステムから集められた情報）、動的オブジェクトに関する公的に入手可能な情報又はそれらの組合せを含むことができる。

【0027】

関連付けシステム126は、動的オブジェクト及び第２オブジェクトの検出、識別及び関連付けにおいて、一覧情報270を更に使用できる。関連付けシステム126は、環境に対する一覧情報270から以前に獲得した一覧を使用することができ、あるいは、一覧は、事例識別モジュール230を用いて監視中に獲得できる。一覧情報270は、動的オブジェクトがない場合の環境に関する情報である。一覧情報270は、特定の動的オブジェクトの特性化において、事例識別モジュール230により使用できる。一覧情報270は、環境からの静的オブジェクトを動的オブジェクトに関連付けるなど、関連性を形成するために関連付けモジュール240により使用できる。一覧情報270は、静的オブジェクトと動的オブジェクトとを差別化するなど、環境を監視するためにオブジェクト認識モジュール220により更に使用できる。

【0028】

更に、事例識別モジュール230は、特定の実装に応じた複数の異なる方法で、オブジェクト履歴情報260内の既存データと動的オブジェクトの関連を決定することができる。１つの実施形態において、事例識別モジュール230は、画像キャプチャ装置120、心拍監視センサ、赤外線センサ、気圧計、マイク122など、図１に関連して議論された１つ以上のセンサ118と通信する。１つの実施形態において、入力装置は、コンピューティング装置100から離れた、環境の範囲内に置かれ、動的オブジェクトの顕著な側面及び／又は環境と第２オブジェクトに関連した側面に関する情報を獲得するために様々な場所に置くことができる。更に、事例識別モジュール230は、例えば、収集されたオブジェクト履歴情報260の正確性／精度を改善するため、入力102を通した入力装置の複数の冗長なものを含むことができる。同様に、事例識別モジュール230は、更なる識別のために、動的オブジェクトの初期認識に関して、オブジェクト認識モジュール220から情報を受信できる。

【0029】

関連付けシステム126を引き続き参照すると、１つの実施形態において、関連付けシステム126はデータベース210を含む。データベース210は、１つの実施形態において、メモリ114又は別のデータストアに格納された電子データ構造であり、格納されたデータを分析し、格納されたデータを提供し、格納されたデータを体系化するなどのためにプロセッサ104により実行できるルーティンで構成される。このため、１つの実施形態において、データベース210は、様々な機能の実行において、モジュール220、230及び240により使用されるデータを格納する。１つの実施形態において、データベース210は、一覧情報270など、関連付けシステム126により使用される更なるデータに加え、オブジェクト認識モジュール220により部分的に収集されるオブジェクト履歴情報260を含む。メモリ114は、自動装置又はコンピューティング装置100内などでローカルに格納できる。メモリ114は、更に、クラウドサーバ内などで遠隔的に格納できる。

【0030】

関連付けモジュール240は、１つの実施形態において、オブジェクト履歴情報260のデータベースを用いて、少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識と少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別するために、プロセッサ104を制御するように機能する命令を一般的に含む。即ち、関連付けモジュール240は、コンピューティング装置100の動的オブジェクトと環境又は第２オブジェクトとの間の関連付けを特性化するために、オブジェクト履歴情報260及び事例識別モジュール230からの動的オブジェクトのデータセットを形成する収集されたデータを使用する。一般的に、オブジェクト履歴情報260は、動的オブジェクトとコンピューティング装置100により観測される第２オブジェクト、環境又は両方との間の関連付け又は共有データの時点を表し、（動的オブジェクトのデータセットの一部として）これまでに関連付けモジュール240により観測されるか、又は第２発信元から収集されるかのどちらかである履歴データの収集である。関連付けは、オブジェクト履歴情報260及び動的オブジェクトのデータセットを用いて決定されるような、動的オブジェクトと第２オブジェクト及び／又は環境との間で共有される関連性である。従って、関連付けモジュール240は、コンピューティング装置100の関連付けモジュール240により以前に検出され、観測され、又は収集された、第２オブジェクト又は環境の間の結合の量及びタイプの評価として、関連付けを生成することができる。結合のタイプは、２つ以上のオブジェクトの間の関連を記述できる時間的結合、場所的結合、使用の結合又はその他の結合を含む。

【0031】

このため、簡単な例示のために、関連付けモジュール240は、例えば、最後の既知のポーズ、その他のオブジェクトとの時間的結合、その他のオブジェクトとの場所的結合又は更なる関連付け情報など、特定の動的オブジェクトに関する情報を含むオブジェクト履歴情報260に電子的にアクセスできる。１つの実施形態において、関連付けモジュール240は、特定の動的オブジェクトの最後の既知のポーズに関する情報、より詳細には、特定の動的オブジェクトの最後の既知のポーズ及び任意の第２オブジェクト又は環境データを関連付ける情報（例えば、動的オブジェクトを置いた人物、オブジェクトがどの様に置かれたか、ポーズを安定させるために必要な環境内の静的オブジェクト間の相互作用など）にアクセスする。この関連付けから、関連付けモジュール240は、特定の動的オブジェクトのふさわしい所有又はコンピューティング装置100の環境内の適切な位置など、動的オブジェクトに関する更なる情報を特性化できる。例えば、関連付けモジュール240は、環境内の特定の動的オブジェクトのポーズが常に特定の第２オブジェクトの付近にあるかどうか（例えば、殆どの場合に靴入れに向かい投げ出されるブーツ）、特定の動的オブジェクトが使用の特定環境を有するかどうか（例えば、雨の場合、又は気圧が通常のあるパーセンテージより下がったときにのみ使用される傘）、動的オブジェクトが複数の第２オブジェクトにより使用されるかどうかなどを考慮することができる。この評価から、関連付けモジュール240は、環境内の特定の動的オブジェクトに関する事実を決定するために、オブジェクト履歴情報260を使用する。このため、オブジェクト履歴情報260は、現在及び以前のポーズに基づいて、動的オブジェクトについて関連付けモジュール240に通知する。

【0032】

更なる態様において、関連付けモジュール240は、複数の環境又は第２オブジェクトの相互作用を動的オブジェクトに関連付けるために、より複雑な分析を請け負うことができる。例えば、関連付けモジュール240は、事例識別モジュール230により検出されるように、第２オブジェクトの存在／場所、及び環境内の動的オブジェクトに対する第２オブジェクトの関連（例えば、動的オブジェクトとしてのコート及び第２オブジェクトとしてのコートラック）など、入力102からの更なる情報と動的オブジェクトのポーズを相互に関連付けることができる。一般的に、ここで使用されるようなコンピューティング装置100の環境への参照は、コンピューティング装置100により検出される環境、ローカル又は遠隔かどうか、環境内のオブジェクト、及び環境のオブジェクトとの関連付けとその反対に関する情報に関連する。

【0033】

更に、関連付けモジュール240は、動的オブジェクト及び第２オブジェクト及び／又は環境を関連付けるとき、リモートデータ280などのリモートデータを更に考慮することができる。１つの実施形態において、リモートデータは、動的オブジェクトに関連する様々な外部の構造的側面及び検出された環境に関連する外部の環境的側面を含むことができる。例えば、リモートデータは、動的オブジェクトのＧＰＳ座標、動的オブジェクトについての製造業者パラメータ（例えば、組成、重さなど）、外部イベント（例えば、交通事故により変更された動的オブジェクトの予想到着時間）、毎日の使用パターン、移動の方法、外部温度、動的オブジェクトのＧＰＳ移動ルート、関連する第２オブジェクトに対するＧＰＳ移動ルート、及び事例識別モジュール230の異なるセンサ及びシステムから事例識別モジュール230により収集されたその他のデータを含むことができる。

【0034】

このため、オブジェクト間の関連付けを形成するため、１つの実施形態において、関連付けモジュール240は、オブジェクト間（例えば、動的オブジェクトと第２オブジェクト）の関連付けを決定するために、追加の情報（例えば、動的オブジェクトのデータセット）と共に、オブジェクト履歴情報260を分析する。一般的に、関連付けモジュール240は、動的オブジェクトに関連する様々なデータ要素を識別し、それは、例えば、第２オブジェクトによる／の動的オブジェクト所有の可能性を提供する。その後、関連付けモジュール240は、全体の可能性を生成するため、定義された重みに従って個々の可能性を結び付けできる。その結果、関連付けモジュール240は、関連付けレベルとして全体の可能性を提供することができる。関連付けモジュール240は、関連付けレベルが環境内のオブジェクト間の実際の関連性を反映するように、全体の可能性を用いて更なる分析を適用することもできる。オブジェクト間の関連付けレベルは、例えば、環境の側面（例えば、第２オブジェクトに関連した使用の履歴）に従い、関連付けの可能性を特定の等級（例えば、０－１０）に変換することにより、コンピューティング装置100により決定することができる。

【0035】

更なる実施形態において、新たな動的オブジェクトの場合など、オブジェクト認識モジュール220及び事例識別モジュール230と共に関連付けモジュール240は、オブジェクト履歴情報260内に新たな登録に対する認識データを形成する。この場合、オブジェクト認識モジュール220は、先に検討したように、環境内の新たな動的オブジェクトに関する情報を収集する。事例識別モジュール230は、１つの実施形態において実装されるとき、オブジェクト履歴情報260、オブジェクト認識モジュール220（例えば。認識データ）及びその他の電子データからの既存のデータを、オブジェクト履歴情報260内の新たな登録への可能な入力として電子的に処理する。従って、関連付けモジュール240は、事例識別モジュール230と協力して、新たな動的オブジェクトと以前から存在している第２オブジェクトとの間の関連付けの程度を特性化する電子出力としての新たな関連付けを決定するために、オブジェクト履歴情報260及び認識データを使用する。

【0036】

更に、様々な実施形態において、関連付けモジュール240が動的オブジェクトと第２オブジェクトとの間の関連付けをどのように計算するかの一部として、データの多くの異なるソース及び形式の使用が記載される間、特定のデータは実装の異なる側面に従い変化する。いずれの場合でも、これらの例は、説明を目的にしたものであり、開示されたデータ要素及び機能の限定された形式として解釈すべきではない。更に、１つの実施形態において、検討されたオブジェクト履歴情報260及び更に検討された電子データを、関連付けモジュール240を教育するために収集して、使用できることを認識すべきである。

【0037】

即ち、関連付けモジュール240が動作している間、オブジェクト履歴情報260、認識データ及びその他のデータが収集され、格納される。その後、１つの実施形態において、関連付けシステム126は、関連付けモジュール240の修正に使用するため、収集された情報を中央収集ポイントに伝達することができる。更なる実施形態において、関連付けシステム126は、コンピューティング装置100により観測される環境内の動的オブジェクトの単独で確認された関連付けに関係して、関連付けモジュール240又は事例識別モジュール230を更新あるいはカスタマイズ／改良するために設定されたトレーニングデータとして収集された情報を使用できる。このため、１つの実施形態において、関連付けシステム126は、オブジェクト履歴情報260と入力102を使用し、ローカルオペレータの記録された応答及び／又は関連付けモジュール240により計算された記録された確認された関係付けに従い、関連付けモジュール240又は事例識別モジュール230にフィードバックを提供することにより、関連付けモジュール240を更に教育する。この方法において、関連付けシステム126は、どの関連付けが実際の関連付けを正確に反映しているかを積極的に学習し、そして、それに応じてモジュールを調整する。

【0038】

そして、関連付けシステム126は、関連付けモジュール240を介して、１つ以上の関連付けに基づいて、自動装置を用いて動的オブジェクトに関連するタスクを実行できる。ここで、関連付けモジュールは、関連付けに関連するタスクを実行するために、プロセッサ104を制御するよう機能する命令を含むことができる。タスクは、自動装置の使用を通じて実行できる。自動装置は、1つ以上の命令に応答して、自動の応答又は動作を提供できる任意の装置である。自動装置は、ロボット装置、十分に自動化された家庭用電気器具、コンピューティング装置、電話機、ＰＤＡ、自律走行車又はその他を含むことができる。タスクは、第２オブジェクト（例えば、人）までの動的オブジェクト（例えば、ブーツ）の位置を示すディスプレイに命令を提供するなど、視覚的にできる。その他の実施形態において、タスクは、関連付けに基づいて、第２オブジェクト（例えば、人）に関連して動的オブジェクト（例えば、ブーツ）を自律型ロボットに移動させるために、自律型ロボットに命令を送るなど、物理的にできる。その他の実施形態において、関連付けモジュール240は、複数の関連付けに関連して、タスクを実行できる。１つの例において、ブーツは人に関連付けられ、人は靴入れに関連付けられる。そして、関連付けモジュール240は、ブーツを人の靴入れに移動するように自動装置に命令を与えることができる。当業者は、上記のシステムを用いて作成できる様々なタスク及び関連付けを理解するであろう。更なるタスク及び関連付けが、ここでの明白な記載なしに期待される。

【0039】

更なる実施形態において、関連付けシステム126は、関連付けモジュール240を介して、オブジェクト履歴情報を用いて、時間的パターンを生成できる。時間的パターンは、将来のイベントに対応して使用できる。１つの例において、人は動的オブジェクトであり、花瓶、静的オブジェクトは第２オブジェクトである。上記のモジュールの要素を用いて、オブジェクト認識モジュール220は、第２オブジェクト及び動的オブジェクトを認識し、事例識別モジュール230は、第２オブジェクト及び動的オブジェクトをオブジェクト履歴情報260内のそれらそれぞれの情報と関連付け、関連付けモジュール240は、第２オブジェクトと動的オブジェクトとの間の関連付けを形成する。関連付けモジュール240からの関連付けに関する情報を用いて、関連付けシステム126は、将来のイベントを予測できる。１つの例において、システムは、オンラインの当座預金口座における銀行引き落しを通して、花が購入されたことを検出する。そして、関連付けシステム126は、上記の第２オブジェクト、花瓶、が花を生けるために使用され、その目的のために水で満たされるという情報に結び付く、関連する情報に対する可能な関連付けを再検討する。この結び付けられた情報を用いて、関連付けシステム126は、第２オブジェクトを水で満たすよう、ロボットなど、自動装置に指示する。

【0040】

本開示の１つの実施形態において、関連付けシステム126は、図３に示されるように、画像を獲得し、動的オブジェクトを分析し、第２オブジェクトを関連付け、識別及び／又は認証処理からの結果に応答するための環境の部分として使用される。そのようなものとして、関連付けシステム126は、環境306内のブーツ304などの動的オブジェクト及び人314などの第２オブジェクトの表示を獲得するための少なくとも１つの画像キャプチャ装置120又はその他の装置若しくはユニット、コンピューティング装置100、及び以下に記載する自律型ロボット又は工業プロセス用装備などの応答装備（responsive equipment）を含むことができる。

【0041】

図３に例示されるように、環境306は、囲い310及び静的オブジェクト312など、環境資産を含む。囲い310は、環境のあり得る要素である。この例において、家のリビングルームが使用され、囲いはリビングルームの壁の境界により区画される。静的オブジェクト312は、環境306内のランプにより例示される。環境内の更なる静的オブジェクトは、カウチ、テーブル、及び環境内で通常は静止したままである本記載のその他の全てのオブジェクトを含む。しかし、ここに記載されるように、囲い310も静的オブジェクト312も環境306に対して必要不可欠ではない。少なくとも１つの画像キャプチャ装置120が、環境306内のブーツ304（動的オブジェクト、人314により所有される）と人314（この例において、第２オブジェクト）の１つ以上の画像を獲得するために使用される。そして、画像は、関連付けシステム126及び／又はオブジェクト認識モジュール220による分析及び検証及び／又は識別のために、コンピューティング装置100に伝送される。

【0042】

関連付けシステム126は、図４において以下に記載される方法を行うための命令を実行するように構成できる。そして、この処理から結果として生じる認識データ、関連付けデータ及び履歴データは、動的オブジェクトのデータセットに追加できる。動的オブジェクトのデータセットは、データベースに送信され、オブジェクト履歴情報に追加され、制御システム（例えば、ロボット用制御システム）に送信され、又はディスプレイ装置に送信される。オブジェクト認識の場合、ブーツ304（即ち、動的オブジェクト）の少なくとも１つの画像が獲得され、適切な通信技術308（有線又は無線）を用いて、画像又は複数の画像がコンピューティング装置100に送信される。そして、獲得された画像又は複数の画像は、分析され、参照測定から得られたデータ、例えば、既知の２Ｄ－３Ｄ関係と比較できる。しかし、推測される３Ｄ形状と格納された３Ｄ参照データとの間、又は２Ｄ表面モデルと格納された２Ｄ参照表面モデルとの間で、比較が行われる。結果は、例えば、ディスプレイ装置130を通して利用可能であり、この例となる説明は図１に示される。画像キャプチャ装置及び／又はディスプレイ／制御システムは、一体式ユニットを形成するコンピューティング装置に組み込むことができ、結果は適切な方法で表示され、結果は上記記載の例に制限されないことを当業者は理解すべきである。ディスプレイ装置130に結果を伝送する代わりに、単にデータベースに格納する、コンピューティング装置100に統合する、又は例えば、ロボット、入場システム、アラームなどを制御するための適切な制御処理で使用することができる。

【0043】

ここに示されるように、人314は、環境306に入り、座り、ブーツ304を脱ぐ。そして、動的オブジェクト（例えば、ブーツ304と人314）の動きは、関連付けシステム126を作動させることができ、オブジェクト認識モジュール220が始動する。オブジェクト認識モジュール220は、プロセッサ104により実行される命令を通じて、画像キャプチャ装置120を用いて環境データを収集する。オブジェクト認識モジュール220は、上記環境データを用いて、ブーツ304及び人314を動的オブジェクトとして認識できる。先に記載したように、オブジェクトは、ここに記載されるような動的オブジェクトと第２オブジェクトの両方とすることができる。ブーツ304及び人314は、関連付けの決定（この場合、各動的オブジェクトをその他に対する第２オブジェクトとして割り当てる）が起こる前に、動的オブジェクトとして最初に認識される。環境データは、環境306からの静的オブジェクトを含み、囲い310の壁、ランプ312及び環境306内のその他の動かないオブジェクトを含む。

【0044】

そして、オブジェクトデータ（例えば、ブーツ304及び人314など、認識された動的オブジェクト）及び環境データを含む認識データは、事例識別モジュール230に転送できる。そして、事例識別モジュール230は、プロセッサ104により実行される命令を通じて、データベース210からのオブジェクト履歴情報260など、データベースからのオブジェクト履歴情報を参照できる。オブジェクト履歴情報は、人314がブーツ304を購入した日から、環境306内への全ての入場に関する情報を含めることができる。環境306内のブーツ304及び人314の履歴、及び現在の認識データの観点から以前に収集された認識の詳細に留意して、事例識別モジュール230は、人314に対応する特定の人、及びブーツ304に対応する特定のブーツの両方を認識する。

【0045】

そして、それぞれは、オブジェクト履歴情報260内のそれら個別のファイルと同じ指示子を用いてインデックスが付けられる。ブーツ304が検討のこの部分の焦点であるとき、ブーツ304は動的オブジェクトとして分類され、人314は関連付けに対する第２オブジェクトとして分類できる。しかし、処理において、人314とブーツ304の両方が、互いに関して動的オブジェクトと第２オブジェクトの両方となることがわかる。参照された情報及び検出データを用いて、人314及びブーツ304に関して事例データが作成される。事例データは、事例識別モジュール230により収集又は処理された個々のオブジェクトに関連するデータであり、特定のオブジェクト事例に関連するように、オブジェクト履歴情報260内に関連付けられる。

【0046】

そして、認識データ及び事例データは、関連付けモジュール240に送られる。関連付けモジュール240は、１つ以上のプロセッサにより実行されるとき、１つ以上のプロセッサに動的オブジェクトと第２オブジェクトなどの環境資産との間の関連付けを形成させる命令を含み、ここで、関連付けは、動的オブジェクトに関する更なる情報を提供する関連付けデータを生成する。オブジェクト履歴情報260、認識データ及び事例データを用いて、人314はブーツ304に関連付けられる。事例データは、ブーツ304及び人314に関する特定の指示子を提供し、これは、ブーツ304及び人314が環境に入った全ての事例を収集するために、オブジェクト履歴情報と共に使用される。事例は、人314がいない環境306に入るブーツ304を含むことができる（例えば、誰かがブーツ304を借りて、その後、それらを戻した）。同様に、事例は、ブーツがない環境306に入る人314を含むことができる（例えば、人314は異なる組のブーツを履いた）。関連付けモジュールにより形成された、累積された事例及びそれら事例の間の関連付けは、関連付けデータとして参照することができる。関連付けデータは、環境内の時間データ、共通ポーズと位置、動的オブジェクトとの共通の相互作用、及び動的オブジェクトと環境資産の相互作用に関連するその他など、多岐にわたる情報を提供できる。この例において、関連付けデータは、環境306内のブーツ304の適切な位置に関する情報を提供できる。

【0047】

上記の例において、動的オブジェクトとしてのブーツは、人、第２オブジェクト、と関連付けられる。ブーツと関連付けられた追加の情報は、人の体形、衣服又は衣装、人の衣装の一部としてのブーツの結び付き、及び彼女が環境に入った時間を含むことができる。人のコメントの内容及び一般的な伝達された感情（例えば、安堵）など、人とブーツの相互作用に関する更なる履歴、位置的又は時間的情報が含まれる。

【0048】

関連付けシステム126は、自律型ロボット320など自動装置を更に含むことができる。自律型ロボット320は、オブジェクトをつかみ、部屋内を自由に移動する能力、又はロボット装置に典型的なその他の機能を持つことができる。自律型ロボット320は、１つ以上の関連付けに基づいて動的オブジェクトに関連するタスクを実行するため、関連付けシステム126を通じて、コンピューティング装置100からの通信を受信できる。この例において、通信は、ブーツ304の適切な位置に関する助言を含む。１つの実施形態において、自律型ロボット320は、ブーツを集め、それらをその所有者に返すよう設計される。自律型ロボット320は、各人が彼らのブーツをどこに保管するかについての履歴情報を有する。そして、コンピューティング装置100は、自律型ロボット320に動的オブジェクトのデータセットを提供し、これはブーツ304のポーズ及び人314との関連付けを含むことができる。そして、自律型ロボット320は、ブーツを集め、それらを適切な保管場所に置くために、この情報を使用できる。

【0049】

更なる実施形態において、自律型ロボット320は、コンピューティング装置100、画像キャプチャ装置120、又はそれらの組合せのいずれかを含むことができる。１つの実施形態において、コンピューティング装置100は、自律型ロボット320内に組み込まれる。この実施形態において、自律型ロボット320は、画像キャプチャ装置120から送信されたデータを受信し、これは、上記したように、動的オブジェクトのデータセットに対する認識データ、関連付けデータ及び履歴データを生成するために分析及び処理される。１つの例において、コンピューティング装置100及び画像キャプチャ装置120は、自律型ロボット320内に組み込まれる。この実施形態において、自律型ロボット320は、画像キャプチャ装置120の統合型バージョンを通じてデータを受信し、これは、上記したように、動的オブジェクトのデータセットに対する認識データ、関連付けデータ及び履歴データを生成するために分析及び処理される。その他の実施形態において、自律型ロボット320は、コンピューティング装置300によりガイドされる。この実施形態において、自律型ロボット320は、コンピューティング装置100から受信されたリモート命令のみに基づいて自律的である。ここで、自律型ロボット320は、動的オブジェクトのデータセットに基づいて、コンピューティング装置100から、移動及び行動に対する送信された命令を受信する。自律型ロボット320、コンピューティング装置100と画像キャプチャ装置120との間のその他及び更なる組合せが、その明白な記載なしに予測される。

【0050】

図４は、動的オブジェクトを1つ以上の第２オブジェクトに関連付けるための方法400を示す。環境に入ると、動的オブジェクトは、認識され、関連する第２オブジェクト及び動的オブジェクトに固有の履歴データと関連付けられる。この方法において、更なるデータが収集され、動的オブジェクトと関連付けることができる。方法400は、402において、少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を獲得することを含む。404において、少なくとも１つの動的オブジェクト及び１つ以上の環境資産が、環境の１つ以上の画像内で認識される。406において、少なくとも１つの動的オブジェクトは、環境に対するオブジェクト履歴情報のデータベース内で識別される。そして、408において、オブジェクト履歴情報のデータベースを用いて、１つ以上の関連付けが、少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識と少なくとも１つの第２オブジェクトとの間で識別される。そして、410において、自動化装置を用いて、1つ以上の関連付けに基づき、少なくとも１つの動的オブジェクトに関連するタスクが実行できる。ここに記載される関連付けは、動的オブジェクトに関する更なる情報を提供する関連付けデータを生成できる。

【0051】

402において、方法400は、少なくとも１つの画像キャプチャ装置を用いて、環境の1つ以上の画像を獲得することを含む。画像キャプチャ装置は、カメラ、ビデオレコーディング装置、又は１つ以上の画像を収集するために使用できるその他の装置とすることができる。画像キャプチャ装置は、図１及び２を参照して記載される関連付けシステム126など、システムの一部とすることができる。１つ以上の画像が、時間区間上で収集される。1つの例において、１つ以上の画像が、システム又は装置が作動している時間区間など、時間区間上の特定の時間間隔で収集される。更に、画像は、動作感知装置の起動など、開始イベントに応答して収集できる。画像キャプチャ装置は、通常に又は開始イベント（例えば、動的オブジェクト）に合わせて、環境の画像を収集できる。

【0052】

方法400は、一覧情報を考慮して、獲得された画像を減らすことを更に含む。方法400は、環境における一覧情報270からの以前に獲得された一覧を使用でき、又は一覧は、オブジェクト認識モジュール220を用いて、監視中に獲得できる。環境は、カメラにおける視界として定義される。視界は、静的オブジェクト、動的オブジェクト及び囲いを含む。視界は、可視性が制限された静的及び動的オブジェクト、遮られたオブジェクト、部分的に遮られたオブジェクト、合理的に予想されるオブジェクト（例えば、２つの壁が近づいているように見え、このため、視界の外であるとしても、隅は合理的に予想されるオブジェクトである）などのオブジェクト、及びその他を含む。１つの例において、環境は、リビングルームなどの部屋とすることができる。この一覧は、方法400の一部として集められ（例えば、方法400が実装されるとき、環境に関する情報が収集される）、又は方法400を実装する前に生成することができる。一覧は、環境内の静的オブジェクト及び動的オブジェクトの以前の事例に関する多数の情報を含む。

【0053】

404において、少なくとも１つの動的オブジェクト及び1つ以上の環境資産が、環境の1つ以上の画像内で認識できる。動的オブジェクトが環境に入ると、動的オブジェクトは、動的オブジェクトに関する認識データを生成するオブジェクト認識を用いて検出される。オブジェクト認識は、図１及び２を参照に記載される、関連付けシステム170の事例識別モジュール230など、装置又はシステムにより実行できる。認識データは、図２を参照して記載される認識データと実質的に同じとできる。そして、動的オブジェクトに関連して上記される情報を含むこの情報は、動的オブジェクトのデータセットに追加できる。

【0054】

406において、少なくとも１つの動的オブジェクトは、環境に対するオブジェクト履歴情報のデータベース内で識別される。オブジェクト履歴情報は、図２～３を参照して記載される、データベース210からのオブジェクト履歴情報260と実質的に同じとできる。オブジェクト履歴情報は、オブジェクトが以前に環境内にあった場合など、既存とすることができる。オブジェクト履歴情報は、新たな情報、訂正された情報、更新された情報又はそれらの組合せを反映するために適切に更新及び／又は変更できる。１つの例において、オブジェクト履歴情報は、環境内の新たなオブジェクトの場合、新たな動的オブジェクトのデータセットを受信するために生成される。その他の例において、オブジェクト履歴情報は、動的オブジェクト関してローカルに又は遠隔に格納された容易に利用可能なデータと同様に、動的オブジェクトのデータセットを用いて生成又は更新できる。

【0055】

動的オブジェクトのデータセットは、認識データ、事例データ、関連付けデータ又はそれらの組合せを含むことができる。一般的に言えば、動的オブジェクトのデータセットは、検出、識別及び関連付けの特定の事例の間に、この時点までに行われた全ての認識、分析及び関連付けの蓄積である。動的オブジェクトのデータセットは、メモリ114などのメモリ内に格納できる。同様に、動的オブジェクトのデータセットは、図１を参照に記載されるコンピューティング装置100などのコンピューティング装置内に格納できる。動的オブジェクトのデータセットは、図２を参照して関連付けシステム126に関連して上記される、関連付けが完了すると、オブジェクト履歴情報260に追加できる。コンピューティング装置は、１つ以上のローカル又はリモートコンピューティング装置が動的オブジェクトのデータセットを受信できるように、ネットワーク接続される。

【0056】

そして、認識データは、オブジェクト履歴情報、監視生成事例データを用いて既知の動的オブジェクトに対して監視できる。動的オブジェクトが以前に環境内にあった場合、動的オブジェクトに関する以前に得られた情報も関連付けられるであろう。オブジェクト履歴情報内に格納されたこの履歴データは、環境内の以前の登録、以前の第２オブジェクトとの関連付け、この又はその他の環境での以前のポーズ、及び以前の第２オブジェクトと現在のオブジェクトとの間の結び付きを含むことができる。上記例に従い、ブーツは女性に関連付けられているであろう。ここで、例示の目的で、ブーツは以前の二度に環境内にあったと仮定する。そして、環境内のブーツの以前の登録は、ブーツと関連付けられ、上記でリストアップされた全てのデータポイント（時間的情報、色、第２の関連付けなど）を含む。

【0057】

注目すべきは、動的オブジェクト（例えば、ブーツ）は、この関連付けにおいて主要な項目である。このように、第２アイテムとの全ての以前の関連付けは、ブーツに重要であろう。上記の例において、女性（例えば、第１女性）が彼／彼女のブーツをその他の人（例えば、第２女性）に貸した場合、その関連付けは、環境内に登録されると、動的オブジェクトのデータセットに記録され、ブーツと関連付けられる。上記のように、複数の動的オブジェクトが一度に環境に入ることができる。環境内の全ての動的オブジェクトは、ここに記載される方法とシステムにおいて記載されるものと同じ方法で検出され、処理できる。動的オブジェクトは、記載されるように、逐次的に、同時に、又はその他の時間的方法で、分析される。

【0058】

408において、オブジェクト履歴情報のデータベースを用いて、１つ以上の関連付けが、少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識と少なくとも１つの第２オブジェクトとの間で識別される。環境内のその他の動的オブジェクト及び静的オブジェクトを含む全てのその他の環境資産に関するデータは、この時間の間に、同様に収集されている。この情報を用いて、オブジェクト履歴情報からの少なくとも１つの動的オブジェクトの以前の認識及び少なくとも１つの静的オブジェクトに関する情報が、事例データを用いて動的オブジェクトに関連付けることができる。このため、任意のその他の動的オブジェクト又は静的オブジェクトは、ここに記載される方法の目的のために、第２オブジェクトになることができる。第２オブジェクトと動的オブジェクトとの間の関連付けは、動的オブジェクトの所有又は動的オブジェクトによる所有、第２オブジェクトと動的オブジェクトとの間の結合のタイプ（例えば、人がブーツを履いている、コントローラ及びゲームコンソールが１つのユニットとして動作する、など）を含むことができる。更に、関連付けは、動的オブジェクトと第２オブジェクトとの間の時間的関連性（例えば、ブーツが１９時４９分に人と共に環境に入った）及び使用の状況（例えば、それらブーツはスーツの一部として使用された）を含むことができる。同様に、関連付けデータは、動的オブジェクトと第２オブジェクトとの間の関連付けを記載又は明確にするその他の要素を含むことができる。

【0059】

そして、410において、少なくとも１つの動的オブジェクトに関連するタスクが、自動装置を用いて、１つ以上の関連付けに基づいて実行される。自動装置は、１つ以上の組み込まれたシステムを有する家庭用品、自律型又は半自律型ロボット、自律型自動車、又はその他など、１つ以上の自動化された機能を有することが可能な装置とすることができる。動的オブジェクトのデータセット、オブジェクト履歴情報又はそれらの組合せは、様々な接続（有線又は無線の一方）を通じて、コンピューティング装置から自動装置に通信することができる。例示的な接続は、Ｗｉ－Ｆｉ（任意の無線プロトコル）、ブルートゥース及びイーサネットケーブルを含む。動的オブジェクトのデータセットは、コンピューティング装置からの初期化されたアップロードにより、又はコンピューティング装置からの定期的なフィードにより、自律型ロボットからの要求に応じて送信できる。そして、動的オブジェクトのデータセットは、特定のタスク（例えば、ブーツを開始位置からそれらの適切な所有者の保管位置に移動させる）を実行するため、自律型ロボットにより処理及び／又は利用される。更なる実施形態において、動的オブジェクトのデータセットは、自動装置に伝送される前に、オブジェクト履歴情報に組み込まれる。

【0060】

方法は、曖昧な個人的に識別可能な情報を更に含むことができる。情報は、情報を見る又は受信する誰かが、情報が関連する的確な人物を決定することを可能にするように収集される。１つの実施形態において、その情報は、もはや個人的に識別可能でなくなるように、縮小する又は曖昧にすることができる。例えば、人は、ナンバープレートが既知の車と関連付けられる。この場合、関連付けは、関連付けデータ内で収集され、ナンバープレートは内部で認識可能なナンバーに変換することができる。

【0061】

ここで、関連付けは、動的オブジェクトに関する非常に有益なローカル情報を提供できる。そのような情報は、誰が動的オブジェクトを所有するか、それはどこにあるか、残存耐用年数などを含む。この情報は、エンドユーザ又は自動装置（例えば、自律型ロボット）と共有され、及びそれらにより利用される。更に、長い期間において収集されるこの情報は、家庭又は会社に興味深く、有益なパラメータ（例えば、どの製品が実際に使用されるか、いつ購入されたか、動的オブジェクトに関する潜在意識下の挙動、など）を提供できる。

【0062】

ここに記載される実施形態は、対象の動的オブジェクトに関するデータの迅速な関連付けを可能にする。動的オブジェクトを環境内の第２オブジェクトに関連付けることにより、動的オブジェクトだけを考慮するときに入手できない動的オブジェクトに関する更なる情報を集めることができる。更に、全てのオブジェクトに関する情報を時間区間で関連付けることができるように、関連付けの利益を増大させたオブジェクト履歴情報を集める。そのような方法は、監視システム又は警告システムにおいて有益であり、全ての可能性がある動的オブジェクトに関する大量のデータを集めるより、短い処理時間及び対象の動的オブジェクトの適切な認識が望ましい目的となる。

【0063】

上に記載したシステム及び方法のその他の及び更なる実施形態が予測され、それらの明白の記載なしに、システム及び方法の組合せ又はシステム及び方法からの削除を含む。更なる実施形態において、オブジェクト履歴情報は、少なくとも１つの動的オブジェクトと少なくとも１つの第２オブジェクトとの間の時間的結合についての情報を含む。更なる実施形態において、１つ以上の関連付けは、少なくとも１つの動的オブジェクトに関する時間的データ、少なくとも１つの第２オブジェクトに関する時間的データ、及び少なくとも１つの動的オブジェクトと少なくとも１つの第２オブジェクトとの間の関連付けに関する結合データの少なくとも１つを含む。更なる実施形態において、関連付けモジュールは、関連付けモジュールのトレーニングの一部として、オブジェクト履歴情報を使用するための命令を更に含む。更なる実施形態において、少なくとも１つの第２オブジェクトは、その他の動的オブジェクトである。更なる実施形態において、事例識別モジュールは、少なくとも１つの動的オブジェクトについての冗長なデータ収集を最小化するように、オブジェクト履歴情報を使用するための命令を更に含む。更なる実施形態において、1つ以上の環境資産は、静的オブジェクトを更に含み、オブジェクト履歴情報は、静的オブジェクトと少なくとも１つの動的オブジェクトとの間の関連付けデータを更に含む。更なる実施形態において、オブジェクト履歴情報は、少なくとも１つの動的オブジェクトと少なくとも１つの第２オブジェクトとの間の局所的結合に関する情報を含む。

【0064】

詳細な実施形態がここに開示される。しかし、開示される実施形態は、例示としてのみを目的とすることを理解すべきである。このため、ここに開示される特定の構造的及び機能的詳細は、限定するものとして解釈すべきでなく、単なるクレームの根拠として、及び実質的に任意の適切に詳細な構造において、ここの態様を様々に用いることを当業者に示唆するための表現的根拠として解釈すべきである。更に、ここで使用される用語及び語句は、限定することを意図するものではなく、可能性ある実装の理解可能な記載をむしろ提供することを意図するものである。様々な実施形態が図１～４に示されるが、実施形態は図示される構成又はアプリケーションに限定されない。

【0065】

図におけるフローチャート及びブロック図は、様々な実施形態に応じて、システム、方法及びコンピュータプログラムプロダクトの可能な実施形態のアーキテクチャー、機能及び動作を説明する。これに関し、フローチャート又はブロック図内の各ブロックは、特定の論理的機能を実装するための１つ以上の実行可能な命令を含む、モジュール、セグメント又はコードの部分を表すことができる。また、幾つかの代替の実施形態において、ブロック内に記述される機能は、図内に記述される順番と異なって現れることに注意すべきである。例えば、関係する機能性に応じて、連続して示される２つのブロックは、実際には、実質的に同時に実行され、又はブロックは、時には、逆の順序で実行される。

【0066】

上記されるシステム、コンポーネント及び／又は方法は、ハードウェア又はハードウェアとソフトウェアの組合せで実現することができ、そして、１つのプロセッシングシステムにおける集中型の方法又は異なる要素が幾つかの相互接続されたプロセッシングシステム上に分散される分散型の方法で実現することができる。ここに記載される方法を実行するために適用される任意の種類のプロセッシングシステム又はその他の装置が適合される。ハードウェアとソフトウェアの典型的な組み合わせを、コンピュータ利用可能なプログラムコードを持つプロセッシングシステムとすることができ、プログラムコードは、ロードされ、実行されるとき、ここに記載される方法を実行できるよう、プロセッシングシステムを制御する。システム、コンポーネント及び／又は方法は、機械により読み取り可能で、ここに記載される方法を行うために機械により実行可能な命令のプログラムを明白に具体化した、コンピュータプログラムプロダクト又はその他のデータプログラム記憶装置など、コンピュータ読み取り可能な記憶装置内に埋め込むこともできる。これらの要素は、ここに記載される方法の実施形態を可能にする全ての特徴を含むアプリケーションプロダクト内に埋め込むこともでき、プロセッシングシステムにロードされるとき、これらの方法を実行できる。

【0067】

更に、ここに記載されるアレンジメントは、具体化された又は保存されるなど埋め込まれたコンピュータ読み取り可能プログラムコードを有する１つ以上のコンピュータ読み取り可能媒体内で具体化されたコンピュータプログラムプロダクトの形式を取ることができる。１つ以上のコンピュータ読み取り可能媒体の任意の組合せが利用できる。コンピュータ読み取り可能媒体は、コンピュータ読み取り可能信号媒体又はコンピュータ読み取り可能記憶媒体とすることができる。語句「コンピュータ読み取り可能記憶媒体」は、非一時的記憶媒体を意味する。コンピュータ読み取り可能記憶媒体は、例えば、限定されないが、電子、磁気、光学、電磁気、赤外線、若しくは半導体のシステム、器具又は装置、あるいは上述の任意の適切な組合せとすることができる。コンピュータ読み取り可能記憶媒体のより明確な例（包括的でないリスト）は、以下を含むであろう：1つ以上の有線を持つ電気接続、携帯型コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、光学記憶装置、磁気記憶装置。又は上述の任意の適切な組合せ。この文章の文脈において、コンピュータ読み取り可能記憶媒体は、命令実行システム、器具若しくは装置により使用され、又はそれらと接続して使用されるためのプログラムを含む、又は保存することができる任意の有形の媒体とすることができる。

【0068】

コンピュータ読み取り可能媒体上に具体化されるプログラムコードは、限定されないが、無線、有線、光ファイバ、ケーブル、ＲＦなど、又は上述の任意の適切な組合せを含む適切な媒体を用いて送信できる。目下のアレンジメントの側面に対する動作を実行するためのコンピュータプログラムコードは、Java^TM、Smalltalk、C++又は同類のものなどのオブジェクト指向プログラミング言語及びＣプログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の任意の組合せで記述することができる。プログラムコードは、ユーザのコンピュータ上で完全に、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的及びリモートコンピュータ上で部分的に、又はリモートコンピュータ若しくはサーバ上で完全に実行することができる。後半のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続でき、又は接続は外部コンピュータと行うこともできる（例えば、インターネットサービスプロバイダを用いたインターネットを通じて）。

【0069】

ここで使用される用語「a」及び「an」は、１つ又は１つより多いとして定義される。ここで使用される用語「plurality」は、２つ又は２つより多いとして定義される。ここで使用される用語「another」は、少なくとも２番目またはそれ以上として定義される。ここで使用される用語「including」及び／又は「having」は、包含する（comprising）して定義される（即ち、オープンランゲージ）。ここで使用される語句「…と…の少なくとも１つ（at least one of … and …）」は、関連するリストアップされた項目の１つ以上の任意及び全ての可能な組合せを参照し、及び包含する。一例として、語句「Ａ、Ｂ及びＣの少なくとも１つ（at least one of A , B and C）」は、Ａのみ、Ｂのみ、Ｃのみ、又はそれらの組合せ（例えば、ＡＢ、ＡＣ、ＢＣ又はＡＢＣ）を含む。

【0070】

上記したものは、開示した装置、システム及び方法の実施形態に向けられたものであるが、開示した装置、システム及び方法のその他の及び更なる実施形態が、その基本的な範囲から逸脱することなしに考え出すことができる。その範囲は、以下の特許請求の範囲により決定される。

【0071】

例１
履歴的に関連するオブジェクトに対する関連付けシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリは、
前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を取得させ、前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識させる命令を含むオブジェクト認識モジュールであって、前記１つ以上の環境資産は少なくとも１つの第２オブジェクトを含む、オブジェクト認識モジュールと、
前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別させる命令を含む事例識別モジュールであって、前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含む、事例識別モジュールと、
前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別させ、自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行させる命令を含む関連付けモジュールと、
を格納する、関連付けシステム。
例２
前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の時間的結合に対する情報を含む、例１に記載の関連付けシステム。
例３
前記１つ以上の関連付けは、前記少なくとも１つの動的オブジェクトに関する時間的データ、前記少なくとも１つの第２オブジェクトに関する時間的データ、及び前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の関連付けに関する結合データの少なくとも１つを含む、例１に記載の関連付けシステム。
例４
前記関連付けモジュールは、前記関連付けモジュールのトレーニングの一部として、オブジェクト履歴情報を使用するための命令を更に含む、例１に記載の関連付けシステム。
例５
前記少なくとも１つの第２オブジェクトは、その他の動的オブジェクトである、例１に記載の関連付けシステム。
例６
前記事例識別モジュールは、前記少なくとも１つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例１に記載の関連付けシステム。
例７
前記１つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも１つの動的オブジェクトとの間の関連付けデータを更に含む、例１に記載の関連付けシステム。
例８
前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の場所的結合に対する情報を含む、例１に記載の関連付けシステム。
例９
履歴的に関連するオブジェクトに対する非一時的コンピュータ読み取り可能媒体であって、
前記非一時的コンピュータ読み取り可能媒体は、１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに、
少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を取得させ、
前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識させ、前記１つ以上の環境資産は少なくとも１つの第２オブジェクトを含み、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別させ、前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含み、
オブジェクト履歴情報の前記データベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別させ、
自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行させる命令を格納する、非一時的コンピュータ読み取り可能媒体。
例１０
前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の時間的結合に対する情報を含む、例９に記載の非一時的コンピュータ読み取り可能媒体。
例１１
前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の場所的結合に対する情報を含む、例９に記載の非一時的コンピュータ読み取り可能媒体。
例１２
前記１つ以上の関連付けは、前記少なくとも１つの動的オブジェクトに関する時間的データ、前記少なくとも１つの第２オブジェクトに関する時間的データ、及び前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の関連付けに関する結合データの少なくとも１つを含む、例９に記載の非一時的コンピュータ読み取り可能媒体。
例１３
前記少なくとも１つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例９に記載の非一時的コンピュータ読み取り可能媒体。
例１４
前記１つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも１つの動的オブジェクトとの間の関連付けデータを更に含む、例９に記載の非一時的コンピュータ読み取り可能媒体。
例１５
履歴的に関連するオブジェクトに対する方法あって、
少なくとも１つの画像キャプチャ装置を用いて、環境の１つ以上の画像を取得するステップと、
前記環境の前記１つ以上の画像内の少なくとも１つの動的オブジェクト及び１つ以上の環境資産を認識するステップであって、前記１つ以上の環境資産は少なくとも１つの第２オブジェクトを含む、ステップと、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも１つの動的オブジェクトを識別するステップであって、前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトの少なくとも１つの以前の認識を含む、ステップと、
オブジェクト履歴情報の前記データベースを用いて、前記少なくとも１つの動的オブジェクトの前記少なくとも１つの以前の認識と前記少なくとも１つの第２オブジェクトとの間の１つ以上の関連付けを識別するステップと、
自動装置を用いて、前記１つ以上の関連付けに基づいて、前記少なくとも１つの動的オブジェクトに関連するタスクを実行するステップと、
を有する、方法。
例１６
前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の時間的結合に対する情報を含む、例１５に記載の方法。
例１７
前記オブジェクト履歴情報は、前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の場所的結合に対する情報を含む、例１５に記載の方法。
例１８
前記１つ以上の関連付けは、前記少なくとも１つの動的オブジェクトに関する時間的データ、前記少なくとも１つの第２オブジェクトに関する時間的データ、及び前記少なくとも１つの動的オブジェクトと前記少なくとも１つの第２オブジェクトとの間の関連付けに関する結合データの少なくとも１つを含む、例１５に記載の方法。
例１９
前記少なくとも１つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例１５に記載の方法。
例２０
前記１つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも１つの動的オブジェクトとの間の関連付けデータを更に含む、例１５に記載の方法。

【図1】

【図2】

【図3】

【図4】