特許 7238217 定義されたオブジェクトを識別するためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-06

(45)【発行日】2023-03-14

(54)【発明の名称】定義されたオブジェクトを識別するためのシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230307BHJP

【ＦＩ】

G06T7/00 300Z

【請求項の数】 20

(21)【出願番号】P 2019564564

(86)(22)【出願日】2018-02-08

(65)【公表番号】

(43)【公表日】2020-03-05

(86)【国際出願番号】 AU2018050095

(87)【国際公開番号】W WO2018145158

(87)【国際公開日】2018-08-16

【審査請求日】2021-01-13

(31)【優先権主張番号】2017900403

(32)【優先日】2017-02-09

(33)【優先権主張国・地域又は機関】AU

(73)【特許権者】

【識別番号】521222121

【氏名又は名称】プレシエン ピーティーワイ リミテッド

【氏名又は名称原語表記】ＰＲＥＳＩＥＮ ＰＴＹ ＬＴＤ

【住所又は居所原語表記】Ｓｕｉｔｅ １１３，４ Ｃｏｒｎｗａｌｌｉｓ Ｓｔｒｅｅｔ，Ｅｖｅｌｅｉｇｈ，Ｎｅｗ Ｓｏｕｔｈ Ｗａｌｅｓ ２０１５（ＡＵ）

(74)【代理人】

【識別番号】110002734

【氏名又は名称】弁理士法人藤本パートナーズ

(72)【発明者】

【氏名】カーシュナー，ネイサン グレアム エドワード

【審査官】新井 則和

(56)【参考文献】

【文献】特開２００７－１５６９７４（ＪＰ，Ａ）

【文献】特開２０１０－０２７０３５（ＪＰ，Ａ）

【文献】特開２０１５－１９１３３４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０２７０４９４（ＵＳ，Ａ１）

【文献】田中 健次，安全監視と危険監視の最適組合せによる高信頼度安全監視システム，計測自動制御学会論文集，第28巻 第6号，日本，社団法人計測自動制御学会，1992年06月30日，第２８巻 第６号，pp. 725-732

【文献】MATTHIAS Lutz et al.，Probabilistic Object Recognition and Pose Estimation by Fusing Multiple Algorithms，2013 IEEE International Conference on Robotics and Automation，IEEE，2013年05月06日，pp. 4244-4249，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6631177

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

定義されたオブジェクトを識別するためのシステムであって、該システムは、
オブジェクトのデジタル表現を定義するためのデータを検出するように構成された少なくとも１つのセンサと、
前記少なくとも１つのセンサに通信可能に接続されたプロセッサであって、該プロセッサは、少なくとも２つの異なる技法を実行し、それによって前記少なくとも１つのセンサから受信された同じ前記デジタル表現を評価するように構成されており、前記技法のそれぞれは、前記定義されたオブジェクトによって定義された、該技法に固有のシグネチャを識別するように構成されている、プロセッサと、
前記プロセッサに通信可能に接続されたメモリであって、該メモリは、前記少なくとも２つの異なる技法によってそれぞれ導出された少なくとも２つの異なるシグネチャに関連する参照データを記憶する、メモリと
を備えており、
前記プロセッサは、前記プロセッサが前記デジタル表現を定義するデータを前記少なくとも１つのセンサから受信することに応答して、該プロセッサが、同じ前記デジタル表現を評価するために、
前記少なくとも２つの異なる技法を実行し、それによって前記技法のそれぞれに、
前記デジタル表現内に表現された前記オブジェクトによって定義された任意のシグネチャ候補を識別すること、
識別された前記シグネチャ候補のそれぞれから特徴データを導出すること、
前記特徴データを前記参照データと比較すること、及び、
各比較から尤度値を導出することであって、前記尤度値のそれぞれは、前記技法によって導出された前記シグネチャのそれぞれに対応する前記シグネチャ候補の尤度を示すこと
を行わせ、
少なくともいくつかの前記尤度値を組み合わせ、それによって複合尤度値を導出し、
前記複合尤度値から、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトかどうかを決定する
ように構成されている、
システム。

【請求項2】

前記プロセッサは、さらに、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであると決定したことに応答して、前記プロセッサが、前記少なくともいくつかの前記尤度値が導出された前記特徴データを前記参照データに追加するように構成されている、請求項１に記載のシステム。

【請求項3】

ユーザインタフェースをさらに備えており、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであると決定したことに応答して、前記プロセッサが、ユーザ入力を取得するように前記ユーザインタフェースを動作させ、それによって前記オブジェクトが前記定義されたオブジェクトであることを確認するように構成されており、前記ユーザ入力に応答して、前記プロセッサが、前記少なくともいくつかの前記尤度値が導出された特徴データを前記参照データに追加する、請求項２に記載のシステム。

【請求項4】

前記プロセッサは、さらに、ユーザ入力を取得するように前記ユーザインタフェースを動作させ、それによって前記デジタル表現における前記オブジェクトが前記定義されたオブジェクトであることを示す１つ以上の指標を確認するように構成されており、前記ユーザ入力に応答して、前記プロセッサが、前記１つ以上の確認された指標から指標データを導出すると共に、前記指標データを前記参照データに追加する、請求項３に記載のシステム。

【請求項5】

前記１つ以上の指標は、前記デジタル表現内における前記オブジェクトに関連付けられたコンテキスト因子を備えている、請求項４に記載のシステム。

【請求項6】

ユーザインタフェースをさらに備えており、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるとの決定に応答して、前記プロセッサは、前記ユーザインタフェースを動作させてユーザ入力を取得し、それによって前記システムによって実行されることとなる１つ以上のアクションを定義するように構成されていると共に、前記ユーザ入力に応答して、前記プロセッサは、前記１つ以上の定義されたアクションから命令を導出し、前記命令を実行し、かつ、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるという後の決定に応答して実行するために、前記命令を前記メモリ内に記憶する、請求項１に記載のシステム。

【請求項7】

認識可能な警報を発するように構成された警告デバイスをさらに備えており、前記プロセッサは、さらに、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるとの決定に応答して、前記プロセッサが前記警告デバイスを動作させるように構成されている、請求項１に記載のシステム。

【請求項8】

前記警告デバイスは、ユーザに着用されるウェアラブルデバイス、装置の触覚コンポーネント、及び、前記警告デバイスを動作させるように装置の動作を制御するためのコントローラのうち１つとして構成されている、請求項７に記載のシステム。

【請求項9】

複数の前記センサをさらに備えており、前記複数のセンサのそれぞれは、互いに及び前記プロセッサに通信可能に接続されている、請求項１に記載のシステム。

【請求項10】

前記センサのそれぞれは、前記センサの動作を制御するためのコントローラを備えており、前記複数のセンサ間の通信によって、少なくとも１つの前記コントローラが動作させられ、それによって前記センサのそれぞれの制御が行われる、請求項９に記載のシステム。

【請求項11】

前記デジタル表現は、前記複数のセンサの２つ以上によって検出されるデータを備えている、請求項９に記載のシステム。

【請求項12】

前記シグネチャの少なくとも１つは、前記定義されたオブジェクトの特質、前記定義されたオブジェクトによって定義されたジオメトリ、前記定義されたオブジェクトの挙動、前記定義されたオブジェクトに関連付けられた１つ以上のコンテキスト因子のうち少なくとも１つによって定義される、請求項１に記載のシステム。

【請求項13】

前記定義されたオブジェクトの挙動は、前記定義されたオブジェクトの動き、前記定義されたオブジェクトの無活動状態、前記定義されたオブジェクトと別のオブジェクトとの相対的な動き、刺激に反応した前記定義されたオブジェクトの反応のうち１つ以上を備えている、請求項１２に記載のシステム。

【請求項14】

前記定義されたオブジェクトに関連付けられた前記１つ以上のコンテキスト要因は、前記定義されたオブジェクトに対する局地時刻、前記定義されたオブジェクトに対する局地環境条件、前記定義されたオブジェクトに対する局地気象、前記定義されたオブジェクトに対する１つ以上のオブジェクトの位置、前記定義されたオブジェクトに固有の１つ以上のオブジェクトの挙動、前記定義されたオブジェクトの動作パラメータを含んでいる、請求項１２に記載のシステム。

【請求項15】

前記技法のそれぞれについて、前記プロセッサは、既定の訓練データに触れさせることから特徴データを導出すると共に、前記既定の訓練データから導出された前記特徴データを前記参照データとして記憶するように訓練される、請求項１に記載のシステム。

【請求項16】

前記既定の訓練データは、複数のデジタル表現を含んでおり、前記複数のデジタル表現のうちいくつかのみが、前記定義されたオブジェクトを含んでいると共に、前記定義されたオブジェクトの存在を確認するためにラベル付けされており、前記技法のそれぞれについて、前記既定の訓練データに触れさせることによって、前記プロセッサには、前記ラベル付けされたデジタル表現のそれぞれにおいて定義された１つ以上の
共通要素を学習させると共に、前記１つ以上の共通要素に応じて前記シグネチャを導出させる、請求項１５に記載のシステム。

【請求項17】

前記参照データは、各技法に関連する特徴分散分布を定義し、前記尤度値は、前記特徴データを前記特徴分散分布と比較することから導出される、請求項１に記載のシステム。

【請求項18】

前記複合尤度値を導出することは、１つの前記技法を実行することによって導出される少なくとも１つの尤度値を、別の前記技法を実行することによって導出される少なくとも１つの尤度値と組み合わせることを備えている、請求項１に記載のシステム。

【請求項19】

前記メモリは、既定の複合尤度値に関連する複合参照データを記憶しており、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるかどうかを決定することは、前記複合尤度値を前記複合参照データと比較し、それによって信頼値を導出することをさらに備えており、前記デジタル表現内における前記オブジェクトが定義されたオブジェクトであるかどうかを決定することは、前記信頼値に基づいている、請求項１に記載のシステム。

【請求項20】

定義された危険を識別するためのシステムであって、該システムは、
シーンのデジタル表現を定義するためのデータを検出するように構成された少なくとも１つのセンサと、
前記少なくとも１つのセンサに通信可能に接続されたプロセッサであって、該プロセッサは、少なくとも２つの異なる技法を実行し、それによって前記少なくとも１つのセンサから受信された同じ前記デジタル表現を評価するように構成されており、前記技法のそれぞれは、前記定義された危険によって定義された、該技法に固有のシグネチャを識別するように構成されている、プロセッサと、
前記プロセッサに通信可能に接続されたメモリであって、該メモリは、前記少なくとも２つの異なる技法によってそれぞれ導出された少なくとも２つの異なるシグネチャに関連する参照データを記憶する、メモリと
を備えており、
前記プロセッサは、前記プロセッサが前記デジタル表現を定義する前記少なくとも１つのセンサからデータを受信することに応答して、該プロセッサが、同じ前記デジタル表現を評価するために、
前記少なくとも２つの異なる技法を実行し、それによって前記技法のそれぞれに、
前記シーンによって定義された任意のシグネチャ候補を識別すること、
識別された前記シグネチャ候補のそれぞれから特徴データを導出すること、
前記特徴データを前記参照データと比較すること、及び、
各比較から尤度値を導出することであって、前記尤度値のそれぞれは、前記シグネチャのそれぞれに対応する前記シグネチャ候補の尤度を示すこと
を行わせ、
少なくともいくつかの前記尤度値を組み合わせ、それによって複合尤度値を導出し、
前記複合尤度値から、前記デジタル表現内における前記シーンが前記定義された危険を含んでいるかどうかを決定する
ように構成されている、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年２月９日に出願された豪州仮特許出願第２０１７９００４０３号からの優先権を主張し、その内容は参照により本明細書に組み込まれる。

【0002】

技術分野
本開示は、概して、既定のオブジェクトを識別するためのシステム及び方法に関する。特に、本開示は、センサを用いてオブジェクトを検出し、検出されたオブジェクトが定義されたオブジェクトであるかについて確認することを伴うシステム及び方法に関する。

【背景技術】

【0003】

多くの状況において、定義されたオブジェクトを迅速に識別し、それによって取るべきアクションを促すことが有用である。例えば、建設現場では、多くの場合、労働者や高価な器材が使用中に被害を受けるリスクに晒されており、それによって負傷や死を引き起こす可能性や、多大な費用が発生する可能性がある。このリスクを軽減するために、人を「監視員」として雇用することがあり、それによってリスクの高い状況を人力で特定し、警報を作動させて被害や怪我を防いでいる。同様に、高価値資産が保管されている場所は、典型的には認可された者のみが立ち入り可能であるため、その位置に立ち入ろうとする者が認可されているかどうかを確認するセキュリティアプリケーションやデバイスが必要とされる。これは生体認証によって達成することができ、例えば、認可された者の以前に記憶されていた指紋の画像に対応する指紋をその者が有しているどうかを確認することによって行われる。

【0004】

オブジェクトを識別するための自動化されたシステムは既知であり、種々異なる目的に広く使用されている。そのようなシステムの一例が、米国特許第８，５８８，５２７号に記載されており、該特許は、カメラ付きスマートフォンによりキャプチャされた画像に表示されるオブジェクトを識別し、該オブジェクトに関連する検索用語を導出することにより、該検索用語を使用して検索クエリを生成及び実行し、それによって識別されたオブジェクトに関連する情報を識別することに関する。このシステムは、オブジェクトを識別するための効果的なツールであるように思われるが、実際には、システムが効果的に動作するのに必要な動作条件が典型的には非常に限定的であるため、このようなシステムはオブジェクトの識別に失敗したり識別が不正確であったりすることがよくある。例えば、オブジェクトに対するカメラの向きや位置、及び／又は、オブジェクトの近くの照明若しくは他の環境条件は、システムの精度に大きく影響し得る。

【0005】

さらに、関連する従来技術のアプローチは、精確な結果を達成するために、複数のセンサやコンピュータープロセッサのような複雑で高価な器材を必要とすることが多い。

【発明の概要】

【0006】

本明細書に含まれる文書、行為、材料、デバイス、物品又はこれらに類するものについてのあらゆる議論は、これらの事項のいずれか又は全てが、本出願の各請求項の優先日以前に存在していた本開示の関連分野における技術常識の一部を形成することを認めるものではない。

【0007】

いくつかの開示の実施形態によれば、定義されたオブジェクトを識別するためのシステムが提供される。該システムは、オブジェクトのデジタル表現を定義するためのデータを検出するように構成された少なくとも１つのセンサと、前記少なくとも１つのセンサに通信可能に接続されたプロセッサであって、該プロセッサは、少なくとも２つの技法を実行するように構成されており、前記技法のそれぞれは、前記定義されたオブジェクトによって定義されたシグネチャを識別するように構成されている、プロセッサと、前記プロセッサに通信可能に接続されたメモリであって、該メモリは、前記少なくとも２つの技法によってそれぞれ導出された少なくとも２つのシグネチャに関連する参照データを記憶する、メモリとを備えている。前記プロセッサは、前記プロセッサが前記デジタル表現を定義するデータを前記少なくとも１つのセンサから受信することに応答して、該プロセッサが、前記少なくとも２つの技法を実行し、それによって前記技法のそれぞれに、前記デジタル表現を評価することであって、それによって前記オブジェクトによって定義された任意のシグネチャ候補を識別すること、識別された前記シグネチャ候補のそれぞれから特徴データを導出すること、前記特徴データを前記参照データと比較すること、及び、各比較から尤度値を導出することであって、前記尤度値のそれぞれは、前記シグネチャのそれぞれに対応する前記シグネチャ候補の尤度を示すことを行わせるように構成されている。該プロセッサは、続いて、少なくともいくつかの前記尤度値を組み合わせ、それによって複合尤度値を導出し、前記複合尤度値から、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトかどうかを決定する。

【0008】

前記プロセッサは、さらに、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであると決定したことに応答して、前記プロセッサが、前記少なくともいくつかの前記尤度値が導出された前記特徴データを前記参照データに追加するように構成されていてもよい。

【0009】

前記システムは、ユーザインタフェースを含んでいてもよく、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであると決定したことに応答して、前記プロセッサが、ユーザ入力を取得するように前記ユーザインタフェースを動作させ、それによって前記オブジェクトが前記定義されたオブジェクトであることを確認するように構成されていてもよく、前記ユーザ入力に応答して、前記プロセッサが、前記少なくともいくつかの前記尤度値が導出された特徴データを前記参照データに追加する。このことは、前記プロセッサが、さらに、ユーザ入力を取得するように前記ユーザインタフェースを動作させ、それによって前記デジタル表現における前記オブジェクトが前記定義されたオブジェクトであることを示す１つ以上の指標を確認するように構成されていることを伴っていてもよく、前記ユーザ入力に応答して、前記プロセッサが、前記１つ以上の確認された指標から指標データを導出すると共に、前記指標データを前記参照データに追加する。前記１つ以上の指標は、前記デジタル表現内における前記オブジェクトに関連付けられたコンテキスト因子を備えていてもよい。

【0010】

前記システムがユーザインタフェースをさらに含んでいる場合には、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるとの決定に応答して、前記プロセッサは、前記ユーザインタフェースを動作させてユーザ入力を取得し、それによって前記システムによって実行されることとなる１つ以上のアクションを定義するように構成されていてもよく、前記ユーザ入力に応答して、前記プロセッサは、前記１つ以上の定義されたアクションから命令を導出し、前記命令を実行し、かつ、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるという後の決定に応答して実行するために、前記命令を前記メモリ内に記憶する。

【0011】

前記システムは、認識可能な警報を発するように構成された警告デバイスをさらに含んでいてもよく、前記プロセッサは、さらに、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるとの決定に応答して、前記プロセッサが前記警告デバイスを動作させるように構成されている。前記警告デバイスは、ユーザに着用されるウェアラブルデバイス、装置の触覚コンポーネント、及び、装置の動作を制御するコントローラであって、前記警告デバイスを動作させることによって、前記装置の制御が行われるコントローラのうち１つ以上として構成されていてもよい。

【0012】

前記システムは、複数の前記センサをさらに含んでいてもよく、前記複数のセンサのそれぞれは、他の各センサ及び前記プロセッサに通信可能に接続されている。このことは、前記センサのそれぞれが、前記センサの動作を制御するためのコントローラを有していることを伴っていてもよく、前記複数のセンサ間の通信によって、少なくとも１つの前記コントローラが動作させられ、それによって前記センサのそれぞれの制御が行われる。また、前記デジタル表現は、前記複数のセンサの２つ以上によって検出されるデータを備えていてもよい。

【0013】

前記シグネチャのそれぞれは、特定の特徴データを備えていてもよい。

【0014】

前記技法のそれぞれは、前記定義されたオブジェクトから異なるシグネチャを導出してもよい。

【0015】

前記シグネチャの少なくとも１つは、前記定義されたオブジェクトの特質、前記定義されたオブジェクトによって定義されたジオメトリ、前記定義されたオブジェクトの挙動、前記定義されたオブジェクトに関連付けられた１つ以上のコンテキスト因子のうち少なくとも１つによって定義されてもよい。前記定義されたオブジェクトの挙動は、前記定義されたオブジェクトの動き、前記定義されたオブジェクトの無活動状態、前記定義されたオブジェクトと別のオブジェクトとの相対的な動き、刺激に反応した前記定義されたオブジェクトの反応のうち１つ以上を備えていてもよい。

【0016】

前記定義されたオブジェクトに関連付けられた前記１つ以上のコンテキスト要因は、前記定義されたオブジェクトに対する局地時刻、前記定義されたオブジェクトに対する局地環境条件、前記定義されたオブジェクトに対する局地気象、前記定義されたオブジェクトに対する１つ以上のオブジェクトの位置、前記定義されたオブジェクトに固有の１つ以上のオブジェクトの挙動、前記定義されたオブジェクトの動作パラメータを含んでいてもよい。

【0017】

少なくとも１つの識別されたシグネチャ候補は、前記オブジェクトの特質、前記オブジェクトによって定義されたジオメトリ、前記オブジェクトの挙動、前記オブジェクトに関連付けられた１つ以上のコンテキスト要因のうち少なくとも１つによって定義されてもよい。

【0018】

前記少なくとも２つの技法は、相補的であるように構成されていてもよい。このことは、前記少なくとも２つの技法は、前記プロセッサによって実行するために、一連の種々異なる技法から選択されることを伴っていてもよい。

【0019】

前記技法のそれぞれについて、前記プロセッサは、既定の訓練データに触れさせることから特徴データを導出すると共に、前記既定の訓練データから導出された前記特徴データを参照データとして記憶するように訓練されてもよい。

【0020】

前記既定の訓練データは、複数のデジタル表現を含んでいてもよく、前記複数のデジタル表現のうちいくつかのみが、前記定義されたオブジェクトを含んでいると共に、前記定義されたオブジェクトの存在を確認するためにラベル付けされており、前記プロセッサは、前記ラベル付けされたデジタル表現から導出された特徴データのみを前記参照データとして記憶するように構成されている。前記既定の訓練データは、ユーザが前記定義されたオブジェクトを含んでいる前記デジタル表現のそれぞれにラベル付けを行うことによって人力で構成されてもよい。

【0021】

前記技法のそれぞれについて、前記既定の訓練データに触れさせることによって、前記プロセッサには、前記ラベル付けされたデジタル表現のそれぞれにおいて定義された１つ以上の共通要素を学習させると共に、前記１つ以上の共通要素に応じて前記シグネチャを導出させてもよい。

【0022】

前記参照データは、特徴データ分散分布を定義してもよく、前記尤度値は、前記特徴データを前記特徴分散分布と比較することから導出されてもよい。

【0023】

前記技法のそれぞれは、前記特徴データ分散分布のそれぞれに関連付けられていてもよい。前記技法のそれぞれは、前記特徴分散分布のそれぞれを確率分布関数として定義してもよく、前記尤度値は、前記特徴データを前記確率分布関数と比較することから導出される。

【0024】

前記特徴分散分布は、ガウス曲線を定義してもよく、前記尤度値は、前記ガウス曲線に対する前記特徴データの位置を決定することから導出される。代替として又はこれに加えて、前記特徴分散分布は、複数のガウス曲線から形成されるクラウドを定義してもよく、前記尤度値は、前記密度クラウドの最大密度領域に対する前記特徴データの近接度を決定することから導出される。

【0025】

前記プロセッサは、少なくとも１つの二次技法を実行するように構成されていてもよく、前記少なくとも２つの技法のそれぞれから尤度値を導出することに応答して、前記プロセッサは前記二次技法を実行し、それによって前記二次技法に、少なくともいくつかの技法によって導出された少なくとも１つの尤度値を比較させてさらなる尤度値を導出させてもよく、前記さらなる尤度値は、少なくとも１つの他の尤度値と組み合わせられ、それによって前記複合値が導出される。前記尤度値の比較は、前記比較された尤度値間の相関を決定することをさらに備えていてもよい。前記メモリは、既定の比較された尤度値に関する比較参照データを記憶してもよく、前記尤度値の比較は、前記尤度値を前記比較参照データと比較して前記さらなる尤度値を導出することをさらに備えていてもよい。

【0026】

前記複合尤度値を導出することは、１つの前記技法を実行することによって導出される前記尤度値のうち少なくとも１つを、別の前記技法を実行することによって導出される前記尤度値のうち少なくとも１つと組み合わせることを備えていてもよい。

【0027】

前記メモリは、既定の複合尤度値に関連する複合参照データを記憶していてもよく、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるかどうかを決定することは、前記複合尤度値を前記複合参照データと比較し、それによって信頼値を導出することを備えていてもよく、前記デジタル表現内における前記オブジェクトが定義されたオブジェクトであるかどうかを決定することは、前記信頼値に基づいている。

【0028】

前記複合参照データは、確率分布関数として定義されてもよく、前記信頼値は、前記複合尤度値を前記確率分布関数と比較することから導出される。前記確率分布関数は、ガウス曲線を定義してもよく、前記信頼値は、前記ガウス曲線に対する前記複合尤度値の位置を決定することから導出される。

【0029】

前記尤度値を組み合わせることは、前記技法のそれぞれによって導出された少なくとも１つの尤度値を順次乗算することを備えていてもよい。

【0030】

前記技法のそれぞれは、アルゴリズム及び分類器のうち少なくとも１つを含んでいてもよい。

【0031】

前記特徴データは、特徴ベクトルを定義してもよい。

【0032】

前記デジタル表現は、少なくとも１つの画像を含んでいてもよい。前記少なくとも１つの画像は、ＲＧＢカラーモデルに従って定義されてもよい。前記センサは、少なくとも１つのカメラを備えていてもよい。

【0033】

他の開示された実施形態によれば、定義された危険（hazard）を識別するためのシステムが提供される。該システムは、シーンのデジタル表現を定義するためのデータを検出するように構成された少なくとも１つのセンサと、前記少なくとも１つのセンサに通信可能に接続されたプロセッサであって、該プロセッサは、少なくとも２つの技法を実行するように構成されており、前記技法のそれぞれは、前記定義された危険によって定義されたシグネチャを識別するように構成されている、プロセッサと、前記プロセッサに通信可能に接続されたメモリであって、該メモリは、前記少なくとも２つの技法によってそれぞれ導出された少なくとも２つのシグネチャに関連する参照データを記憶する、メモリとを含んでいる。前記プロセッサは、前記プロセッサが前記デジタル表現を定義する前記少なくとも１つのセンサからデータを受信することに応答して、該プロセッサが、前記少なくとも２つの技法を実行し、それによって前記技法のそれぞれに、前記デジタル表現を評価することであって、それによって前記シーンによって定義された任意のシグネチャ候補を識別すること、識別された前記シグネチャ候補のそれぞれから特徴データを導出すること、前記特徴データを前記参照データと比較すること、及び、各比較から尤度値を導出することであって、前記尤度値のそれぞれは、前記シグネチャのそれぞれに対応する前記シグネチャ候補の尤度を示すことを行わせるように構成されている。該プロセッサは、続いて、少なくともいくつかの前記尤度値を組み合わせ、それによって複合尤度値を導出し、前記複合尤度値から、前記デジタル表現内における前記シーンが前記定義された危険を含んでいるかどうかを決定する。

【0034】

他の開示された実施形態によれば、定義されたオブジェクトを識別するための方法が提供される。該方法は、少なくとも１つのセンサによりデータを検出するステップであって、それによってオブジェクトのデジタル表現を定義する、ステップと、前記デジタル表現データをプロセッサに提供し、前記プロセッサによって、少なくとも２つの技法を実行し、それによって前記技法のそれぞれに、前記デジタル表現を評価することであって、それによって前記オブジェクトによって定義された任意のシグネチャ候補を識別すること、識別された前記シグネチャ候補のそれぞれから特徴データを導出すること、前記特徴データを、前記定義されたオブジェクトによって定義されると共に前記手法によって導出されたシグネチャに関連する参照データと比較すること、及び、各比較から尤度値を導出することであって、前記尤度値のそれぞれは、前記シグネチャに対応する前記シグネチャ候補の尤度を示すことを行わせるステップと、前記プロセッサによって、少なくともいくつかの前記尤度値を組み合わせ、それによって複合尤度値を導出するステップと、前記プロセッサによって、前記複合値から、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるかを決定するステップとを含んでいる。

【0035】

前記方法は、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであると決定したことに応答して、前記プロセッサによって、前記少なくともいくつかの前記尤度値が導出された前記特徴データを前記参照データに追加することを伴っていてもよい。

【0036】

前記方法は、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであると決定したことに応答して、前記プロセッサによって、ユーザ入力を取得するようにユーザインタフェースを動作させ、それによって前記オブジェクトが前記定義されたオブジェクトであることを確認すると共に、前記ユーザ入力に応答して、前記プロセッサによって、前記少なくともいくつかの前記尤度値が導出された特徴データを前記参照データに追加することを伴っていてもよい。この状況では、前記方法は、前記プロセッサによって、ユーザ入力を取得するように前記ユーザインタフェースを動作させ、それによって前記デジタル表現における前記オブジェクトが前記定義されたオブジェクトであることを示す１つ以上の指標を確認する、ステップと、前記ユーザ入力に応答して、前記プロセッサによって、前記１つ以上の確認された指標から指標データを導出すると共に、前記指標データを前記参照データに追加するステップとをさらに伴っていてもよい。前記１つ以上の指標は、前記デジタル表現内における前記オブジェクトに関連付けられたコンテキスト因子を備えていてもよい。

【0037】

前記方法は、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるとの決定に応答して、前記プロセッサによって、ユーザインタフェースを動作させてユーザ入力を取得し、それによって前記システムによって実行されることとなる１つ以上のアクションを定義すると共に、前記ユーザ入力に応答して、前記プロセッサによって、前記１つ以上の定義されたアクションから命令を導出し、前記命令を実行し、かつ、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるという後の決定に応答して実行するために、前記命令を前記メモリ内に記憶することを伴っていてもよい。

【0038】

前記方法は、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるとの決定に応答して、前記プロセッサによって、認識可能な警報を発するように構成された警告デバイスを動作させることを伴っていてもよい。

【0039】

前記方法は、前記技法のそれぞれについて、前記技法を実行している前記プロセッサを既定の訓練データに触れさせると共に、前記プロセッサによって、前記特徴データを前記既定の訓練データから導出して参照データとして記憶することによって訓練することを伴っていてもよい。前記既定の訓練データは、複数のデジタル表現を含んでいてもよく、前記複数のデジタル表現のうちいくつかのみが、前記定義されたオブジェクトを含んでいると共に、前記定義されたオブジェクトの存在を確認するためにラベル付けされており、前記プロセッサによって、前記ラベル付けされたデジタル表現から導出された特徴データのみが前記参照データとして記憶される。前記技法を実行している前記プロセッサを前記既定の訓練データに触れさせることによって、前記プロセッサに、前記ラベル付けされたデジタル表現のそれぞれにおいて定義された１つ以上の共通要素を学習させると共に、前記１つ以上の共通要素に応じて前記シグネチャを導出させてもよい。

【0040】

前記複合尤度値を導出するステップは、前記プロセッサによって、１つの前記技法を実行することによって導出される少なくとも１つの尤度値を、別の前記技法を実行することによって導出される少なくとも１つの尤度値と組み合わせることを伴っていてもよい。

【0041】

前記メモリは、既定の複合尤度値に関連する複合参照データを記憶していてもよく、前記デジタル表現内における前記オブジェクトが前記定義されたオブジェクトであるかどうかを決定するステップは、前記プロセッサによって、前記複合尤度値を前記複合参照データと比較し、それによって信頼値を導出することをさらに備えていてもよく、前記デジタル表現内における前記オブジェクトが定義されたオブジェクトであるかどうかを決定するステップは、前記信頼値に基づいている。

【0042】

本明細書の文脈において、開示のシステム及び方法は、定義された危険（hazard）又は定義されたオブジェクトを識別することに対して容易に適合できるため、オブジェクトという用語は、適切な場合には危険（hazard）という用語と交換可能であることが理解される。危険（hazard）は、リスク又は危険（danger）を意味すると理解される。同様に、デジタル表現は、検出されたオブジェクト又は検出されたシーンを定義してもよく、したがって、オブジェクトとシーンという用語は、適切な場合には交換可能である。

【0043】

技法とは、アルゴリズム（典型的には、データを処理するように構成されている）及び分類器（典型的には、既存の参照データに基づいて処理されたデータを用いて決定を行うように構成されている）のうち少なくとも１つを含む方法又はプロセスを意味すると理解される。多くの場合、技法はアルゴリズム及び分類器を備えており、複数のアルゴリズムを備えていてもよい。

【0044】

シグネチャは、定義されたオブジェクトによって定義された、又は、定義されたオブジェクトに関連付けられた１つ以上の特性を意味すると理解される。シグネチャには、オブジェクトによって定義される１つ以上のジオメトリ（例えば、オブジェクトの一部によって定義される寸法比）、オブジェクトの挙動（例えば、動きや無動作）、オブジェクトに関連するコンテキスト因子（例えば、環境条件）が含まれる。いくつかの状況では、シグネチャは、ジオメトリ、挙動及びコンテキストのパラメータで構成される。

【0045】

本明細書全体を通して、単語「comprise（備える）」、又は、「comprises」若しくは「comprising」のような変形は、述べられた要素、整数若しくはステップ、又は、要素、整数若しくはステップの群を含むことを意味すると理解されるが、他の要素、整数若しくはステップ、又は、要素、整数若しくはステップの群を含まないことを意味すると理解されるものではない。

【0046】

実施形態は、本明細書に開示される又は本願の明細書に個別に若しくは集合的に示されるステップ、特徴及び／又は整数、並びに、２つ以上の前記ステップ又は特徴の任意の全ての組み合わせを含み得ることが理解される。

【図面の簡単な説明】

【0047】

ここで、添付の図面を参照して、例示のみを目的として実施形態を説明する。

【0048】

【図1A】図１Ａは、定義されたオブジェクトを識別するためのシステムの実施形態の図であり、定義されたオブジェクトは人である。

【図1B】図１Ｂは、図１Ａに示されるシステムの変形例であり、センサの別の配置及び構成を含む。

【図1C】図１Ｃは、警告デバイスの様々な実施形態を示しており、ここでの実施形態は、腕時計及びイヤーピースである。

【図1D】図１Ｄは、警告デバイスの様々な実施形態を示しており、ここでの実施形態は、操縦桿及びモニタである。

【図2】図２は、定義されたオブジェクトを識別するために図１に示されるシステムを訓練するための訓練プロセスの図である。

【図3A】図３Ａは、図１に示されるシステムの動作を示すフローチャートである。

【図3B】図３Ｂは、図１に示されたシステムの動作の別の態様を示すフローチャートである。

【図3C】図３Ｃは、図１に示されるシステムの動作のさらなる別の態様を示すフローチャートである。

【図4】図４は、図１に示されるシステムの動作中のスクリーンショットである。

【図5】図５は、図１に示されるシステムの動作の別の態様を示すフローチャートである。

【図6A】図６Ａは、図１に示されるシステムのコンポーネントを示す図である。

【図6B】図６Ｂは、図１に示されるシステムのコンポーネントを示す図である。

【図7】図７は、図１に示されるシステムのコンポーネントであって、共に接続されてシステムを構成するコンポーネントを示す図である。

【図8】図８は、システムを異なる目的に適合させるためにシステムに追加される追加のコンポーネントを示す図である。

【図9】図９は、ジオメトリに基づくシグネチャを示す図である。

【図10】図１０は、動きに基づくシグネチャを示す図である。

【図11】図１１は、挙動に基づくシグネチャを示す図である。

【発明を実施するための形態】

【0049】

図面において、参照番号１０は、全体として、定義されたオブジェクトを識別するためのシステム１０を示す。システム１０は、オブジェクト１４のデジタル表現を定義するためのデータを検出するように構成された少なくとも１つのセンサ１２と、該少なくとも１つのセンサ１２に通信可能に接続されたプロセッサ１８であって、プロセッサ１８は、少なくとも２つの技法を実行するように構成されており、各技法は、定義されたオブジェクトによって定義されたシグネチャを識別するように構成されている、プロセッサ１８と、プロセッサ１８に通信可能に接続されたメモリ２２であって、該メモリ２２は、該少なくとも２つの技法によってそれぞれ導出された少なくとも２つのシグネチャに関する参照データを記憶する、メモリ２２とを含んでいる。プロセッサ１８がデジタル表現を定義する少なくとも１つのセンサ１２からデータを受信することに応答して、プロセッサ１８は少なくとも２つの技法を実行し、それによって各技法に、デジタル表現を評価することであって、オブジェクト１４によって定義された任意のシグネチャ候補を識別すること、識別された各シグネチャ候補からの特徴データを導出すること、特徴データを参照データと比較すること、及び、各比較から尤度値を導出することであって、各尤度値は、それぞれのシグネチャに対応するシグネチャ候補の尤度を示すことを行わせる。続いて、プロセッサ１８は、少なくともいくつかの尤度値を組み合わせ、それによって複合尤度値を導出し、該複合尤度値から、デジタル表現におけるオブジェクト１４が定義されたオブジェクトであるかどうかを決定する。

【0050】

図１Ａは、システム１０の実施形態を示す。図示の実施形態では、定義されたオブジェクトは人である。システム１０は、少なくとも１つのセンサを含んでおり、該センサは、本実施形態ではカメラとして、オブジェクトのデジタル表現を定義するためのデータを検出するように構成されており、該オブジェクトは、本実施形態では人１４である。カメラ１２は、典型的には無線にて、サーバ１６に通信可能に結合されており、サーバ１６は、プロセッサ１８と、プログラムメモリ２０と、データベースメモリ２２のようなデータ記憶装置とを含んでいる。プロセッサ１８、プログラムメモリ２０及びデータベースメモリ２２は、互いに通信可能に接続されている。サーバ１６はまた、典型的には無線にて、ユーザインタフェース２４及び警告デバイス２６に通信可能に結合されており、警告デバイス２６は、認識可能な警報を提供するように構成されている。

【0051】

センサは、図１Ａにおいてカメラ１２として図示されており、カメラ１２は、デジタル表現を赤－緑－青（ＲＧＢ）カラーモデルに従う画像（又は、ビデオ映像を形成する連続画像の集合）として定義するように構成されており、いくつかの実施形態では、深度も定義する。しかしながら、センサ１２は、デジタル表現を定義するためのデータを検出することが可能な１つ以上の他の形態、例えば、近接センサ、ソナーシステム、圧力パッドアレイ、超音波トランスデューサアレイ、ＬＩＤＡＲ等を含むように構成されていてもよいことが理解される。このようにして、センサ１２は、１つのデータフォーマットを検出するものに限定されず、それにより、オブジェクト１４のデジタル表現に、複数の異なるデータフォーマットを含ませることを可能にする。例えば、カメラ１２は、近接センサ及び運動センサに関連付けられてもよく、このことは、デジタル表現が、オブジェクト１４のジオメトリに関するデータ、オブジェクト１４の動き（動きの方向を含む）に関するデータ、及び、１つ以上の基準点に対するオブジェクト１４の近さに関するデータから形成されることを意味する。したがって、システム１０は、複数のセンサ１２を含んでいてもよく、センサ１２が同じタイプであっても異なるタイプの組み合わせであってもよいことが理解される。

【0052】

図１Ｂは、システム１０の別の実施形態を示しており、共通の参照番号は、共通の特徴を示す。該システム１０は、複数のカメラ１２として構成された複数のセンサを含んでいる。これらのカメラ１２は通信可能に接続され、それによってセンサ１２のネットワーク又はメッシュを形成する。このことは、各カメラ１２がプロセッサ１８及び少なくともいくつかの他のカメラ１２と通信するように構成されることを伴い、したがって、検知の感度／精度を、検知動作の冗長性を減らすことによって高めることが可能になる。各カメラ１２は、カメラ１２の動作を制御するためのコントローラを含んでいる。いくつかの状況では、カメラ１２の間で通信される信号が、コントローラの少なくとも１つの動作を生じさせ、それによって各カメラ１２の制御が行われる。例えば、２つのカメラ１２の間で通信される信号が、一方のカメラ１２にその焦点を調整させ、それによって該カメラ１２の視野を広げさせる。

【0053】

カメラ１２の相互通信及びカメラ１２とプロセッサ１８との通信は、各カメラ１２を標準化された通信プロトコルに従って構成することにより達成される。このような標準化された通信プロトコルとしては、数多くの例が知られており、本明細書では説明する必要がない。このことは、システム１０用に特別に構成されたカメラ１２のような特注センサ、及び、必ずしもシステム１０に従って構成されていないＯＥＭ又は他のサードパーティのデバイスのような汎用センサが、相互通信及びプロセッサ１８と通信するように構成され得ることを意味する。したがって、複数の同様の及び／又は異なるセンサが、相互接続されたセンサのメッシュを形成するように構成され得るため、これによりシステム１０の使用範囲が拡大する。

【0054】

図１Ｂに示す実施形態では、複数のカメラ１２は、各カメラ１２の視野が他のカメラ１２の１つ以上の視野と重なるように配置される。この配置では、カメラ１２間の通信によって、１つのカメラ１２が（例えば、トラック１３によって視野が遮られているために）オブジェクト１４を検出できない場合に、他のカメラ１２によって検出されたデータがプロセッサ１８によって組み合わされ、それによってオブジェクト１４のデジタル表現を形成することが確保される。

【0055】

図１Ｂに示される実施形態は、センサ１２のネットワーク化されたメッシュを備えたシステム１０の一例であり、システム１０は、代わりに、異なるセンサ１２（異なるタイプのセンサ１２の組み合わせを含む）を備えるように構成されていてもよいことが理解される。例えば、センサ１２は、代わりに、複数の近接センサ１２として構成され、相互に通信するようにネットワーク化されていてもよく、それによってオブジェクト１４の連続検出（累積検知）が冗長性を減らすことが確保される。例えば、このことは、オブジェクト１４がセンサ１２を急速に通り過ぎたことに起因するオブジェクト１４の部分的な検出を該第１近接センサ１２が記録することを伴うことがあり、それによって、接近するオブジェクト１４を検出するため、該第１センサ１２に他の局地近接センサ１２と通信させ、それによって他のセンサ１２を準備させてもよい。その後、プロセッサ１８は、該他のセンサ１２によって検出されたデータを組み合わせ、それによってオブジェクト１４のデジタル表現を形成する。

【0056】

システム１０のいくつかの実施形態では、オブジェクト１４のデジタル表現を形成するデータは、さらなるセンサ（図示しない）によって直接的に、及び／又は、データベース若しくはデータフィードから取得されることによって間接的に検出されるコンテキストデータによって増強される。コンテキストデータは、概してオブジェクト１４が位置する環境に関するデータ（その環境の時刻を含む）、及び／又は、オブジェクト１４の挙動、及び／又は、オブジェクト１４に関連付けられた又はオブジェクト１４の近くに配置された他のオブジェクトの挙動を含んでいる。

【0057】

例えば、コンテキストデータは、オブジェクト１４が存在するコンテキストをシステム１０が検出できるようにするために、風速、風向、及び／又は湿度のようなオブジェクト１４に関連する局地気象情報を含むことができる。気象情報は、オブジェクト１４の近くに配置された圧力及び湿度センサ等によって直接的に、及び／又は、気象庁のウェブサイトにより公開されてインターネット経由で取得される気象情報等から間接的に検出されてもよい。このコンテキスト情報は、オブジェクト１４のコンテキスト化を強化するために、過去の局地気象条件のような過去のコンテキストデータもまた含んでいてもよい。

【0058】

代替として又はこれに加えて、コンテキストデータは、１つ以上のオブジェクトの静的又は動的位置（例えば、クレーンが移動している速度及び方向）及び／又は２つ以上のオブジェクトの相対位置（例えば、クレーンの電力線までの近さ）のような、局地挙動関連情報を含んでいてもよい。

【0059】

オブジェクト１４のコンテキスト化は、局地の環境及び挙動条件を評価することに限定されず、システム１０によって多くの他の因子が検出、監視及び／又は解釈され得ることが理解される。例えば、検出されるオブジェクトが機械装置の場合、該コンテキスト化は、機械装置の１つ以上のコンポーネントの機能ステータスを監視すること、機械装置のデジタルモデルと比較すること、品質保証情報を見直すこと、欠陥情報を見直すこと、これらの要因のいずれかに関連する履歴データを見直すこと等を含んでいてもよい。

【0060】

サーバ１６は、例えば、オブジェクト１４に対して局所的に配置されていてもよく（例えば、ラップトップコンピュータ又はタブレットコンピュータのようなパーソナルコンピューティングデバイスにて具現化される）、オブジェクト１４から遠隔に配置されて、インターネットを介してアクセスされてもよい。サーバ１６がローカルパーソナルコンピューティングデバイスとして具現化される場合には、このデバイスはまた、ユーザインタフェース２４及び／又は警告デバイス２６を提供してもよい。データベースメモリ２２のようなサーバ１６のコンポーネントは、サーバ１６の他のコンポーネントから遠隔に配置されて、インターネットを介してアクセスされてもよいことが理解される（「クラウドコンピューティング」又は「エッジコンピューティング」と称される）。

【0061】

プログラムメモリ２０は、プロセッサ１８に通信可能に結合されており、プロセッサ１８によって実行された際にオブジェクト識別技法を実行させる命令セットを記憶している。種々のオブジェクト識別技法については、以下にて詳細に説明する。あるいは、各技法の命令は、プロセッサ１８に組み込まれていてもよく、コンピュータ可読記憶媒体（例えば、非一時的記憶媒体）のような他の適切な形態に組み込まれていてもよい。単一のプロセッサ１８について説明されているが、プロセッサ１８は、計算効率を高めるために複数のプロセッサを備えてもよいことが理解される。

【0062】

データ記憶装置は、図１Ａ及び１Ｂではデータベースメモリ２２として示され、プロセッサ１８と通信可能に結合されており、定義されたオブジェクトによって定義された１つ以上のシグネチャに関する参照データを記憶している。これらのシグネチャは、１つ以上の訓練プロセス及び／又はフィードバックデータに応答する各技法によって導出されるものであり、以下にて詳細に説明する。

【0063】

図１Ａに示される実施形態では、ユーザインタフェース２４は、タブレットコンピュータを動作させることにより提供される。これは、種々異なる環境にて広く使用するのに便利であるといった理由による。ラップトップコンピュータ、スマートフォン、ファブレットのような他のパーソナルコンピューティングデバイスもまた適していることが理解される。ユーザインタフェース２４は、典型的にはセンサによって検出されたデジタル表現（図示の実施形態では、カメラ１２によって記録されたＲＧＢ画像である）を表示し、検出されたオブジェクト１４が定義されたオブジェクトであるとプロセッサ１８によって決定された際には、通知を表示又は発信する。いくつかの実施形態では、ユーザインタフェース２４は、警告デバイス２６もまた備えている。

【0064】

インタフェース２４による通知の表示又は発信は、ＳＭＳメッセージ、電子メールメッセージ又はプッシュ通知を、ユーザインタフェース２４を実行するタブレットコンピュータ又はユーザのスマートフォンのようなユーザのデバイスに送信させ、それによって定義されたオブジェクトがセンサ１２の近くに存在することをユーザに通知することを伴っていてもよい。通知は、典型的には何らかのアクションを取るようにユーザを促すように構成される。例えば、通知は、立ち入りが制限されている領域に認可されないオブジェクト（例えば、人）が存在することをユーザに警告し、そのエリアから認可されないオブジェクトを取り除くようにユーザを促す。

【0065】

図１Ａに示される実施形態では、プロセッサ１８は、この実施形態では可聴警報２６として構成される警告デバイス２６と通信し、システム１０は、オブジェクト１４を定義されたオブジェクトとして識別することに応答してアラーム２６を作動させるように構成されている。この配置は、例えば建設現場又は工場において有用であり、そのようは場所では、システム１０は、定義されたオブジェクト１４の検出を緊急事態として定義するように構成される。この状況では、定義されたオブジェクト１４の検出がアラーム２６を動作させ、それによって緊急の危険がユーザ／作業者に対して明確に伝達される。

【0066】

警告デバイス２６は、様々な実施形態にて具現化されてもよく、概して適切かつ特定の刺激を提供し、それによってユーザに実行される特定のアクションを誘発するように構成される。図１Ｃに示されるように、いくつかの実施形態では、警告デバイス２６はウェアラブル装置として具現化されてもよく、図示の実施形態ではブレスレット／腕時計２７及びイヤーピース２９であり、これらはいずれも振動、光の放射及び音の発信のうち１つ以上によって着用者に通知を伝達するように構成される。あるいは、警告デバイスは、アームバンド、アイウェア、帽子／ヘルメット等によって構成されてもよい。

【0067】

ウェアラブルデバイスの実施形態及び通信方法は、概して、警告デバイス２６の使用環境に応じて構成される。例えば、建設現場は典型的には騒がしく明るい環境であり、そのような現場にて車両を運転するユーザがウェアラブルデバイス２６を使用する場合、デバイス２６は、振動のみで情報伝達を行い、ステアリングホイールのような振動する車両コンポーネントから離れた場所でのみ着用するように構成されており、したがって、デバイス２６は、ユーザの首周りに着用されるペンダント内、又は、防護ヘルメットのヘッドバンド内に組み込まれる。

【0068】

いくつかの実施形態では、システム１０は、プロセッサ１８が、既定のリスクレベルに関する通知等の通知を分類／優先順位付けし、このような分類に従って通知が警告デバイス２６によってユーザに伝達されるように構成される。例えば、プロセッサ１８によって車両が境界の５ｍ以内にあると決定された等により、通知が低リスクとして分類された場合、デバイス２６は低周波振動パルスを発信する。あるいは、プロセッサ１８によって車両が境界の１ｍ以内にあると決定された等により、通知が高リスクとして分類された場合、デバイス２６は高周波振動パルス及び音を発信する。警告デバイス２６は、通知を受信したことに応答して振動パターンを変化させて、通知を継続的に伝達すること及び各通知を分類することをユーザに許可するように構成されていてもよいことが理解される。

【0069】

図１Ｄに示されるように、別の実施形態では、警告デバイス２６は、器材又は車両の触覚コンポーネントとして具現化され、図示の実施形態では、通知が生成された際に振動パターンを発信するように構成された操縦桿３５である。あるいは、警告デバイス２６は、ペダル、レバー又はステアリングホイールのような他の制御周辺機器に組み込まれていてもよい。さらなる代替として又はこれに加えて、警告デバイス２６は、オペレータの見通し内の器材又は車両に接続される視認可能なビーコンとして構成され、図示の実施形態では、これは表示モニタ３７である。

【0070】

代替として又はこれに加えて、警告デバイス２６は、掘削機のような器材又は車両の動作を自動化するように構成された制御モジュールとして構成されていてもよく、そのような制御モジュールに通信可能に接続されていてもよい。例えば、通知を生成することにより、警告デバイス２６に制御モジュールを動作させ、それによって掘削機の動作を直ちに停止するか、それ以外にもバケットの移動を防止する等により掘削機の動作に影響を与えてもよい。

【0071】

図２は、定義されたオブジェクトを識別するために、プロセッサ１８によって実行されるオブジェクト識別技法の１つを訓練するための訓練プロセス３０の様々な段階を示しており、図２に示される例では、定義されたオブジェクトは、ここでも人３４である。訓練プロセス３０は、機械学習プロセスを伴っており、典型的には、システム１０の動作の前に、プロセッサ１８が実行するように構成された各オブジェクト識別技法に対して、少なくとも１回実行される。これにより、各技法は、定義されたオブジェクトによって定義されたシグネチャを学習し、参照データを生成することができる。参照データは、各技法が触れるようにされ、識別のために学習するシグネチャのバリエーションから導出された一連の特徴データを備えている。

【0072】

まず、３１において、訓練プロセス３０は、オブジェクト識別技法を実行するプロセッサ１８を一連の訓練データ３２に触れさせ、それによって訓練データ３２のサブセット３３のみが定義されたオブジェクトを定義して、該データのどの部分が定義されたオブジェクトを含むサブセット３３であるかを確認する。典型的には、これには、ユーザが種々異なる状況を表す複数のデジタル表現を照合して定義されたオブジェクトを表す各表現にラベル付けすることによって訓練データ３２を人力で構成し、それにより、該ラベルから、訓練データのどの部分が定義されたオブジェクトに含まれているかを確認し、それによって訓練データのその部分からシグネチャを導出する。このようにして、該技法は、定義されたオブジェクトのシグネチャを定義することを該技法が決定する、関連するデジタル表現の特定の共通要素を学習する。

【0073】

例えば、画像内に定義された共通の形状のベクトルを識別するように技法が構成されている場合、プロセッサ１８は、その技法を実行することにより、定義されたオブジェクト（人３４）のシグネチャを、人３４の少なくとも一部、例えば、頭と肩との境界によって定義されるベクトルのようなジオメトリに基づくシグネチャであると学習するようにされる。この状況では、ユーザは、様々な人３４の頭と肩との境界を示す複数の写真画像と、人物を全く示さない複数の写真画像を準備し、人３４（定義されたオブジェクト）の有無に応じて画像にラベル付けする。このプロセスは、典型的には、区別可能性の高い画像を選択することにより強化される。そのような画像の例として、いくつかの画像は、無地の白い背景の前に単一の人３４の頭と肩との境界を示すものであり、他の画像は、無地の白い背景の前にロバ等の他のオブジェクトを示すものである。代替として又はこれに加えて、このことは画像のペアを準備することを伴い、このペアの一方は建設現場のような人３４を含まないシーンを示し、ペアの他方は同じシーンであるが人３４の頭と肩との境界をも含んでいるシーンを含む。

【0074】

あるいは、技法がビデオ映像の運動軌跡を識別するように構成されている場合、その技法を実行するプロセッサ１８は、定義されたオブジェクトのシグネチャが挙動に基づくシグネチャであると学習するようにされる。そのような挙動に基づくシグネチャとしては、動いている人３４の少なくとも一部分の相対運動（例えば、人３４の歩き方）、動いている別のオブジェクトの少なくとも一部分によって定義される運動（例えば動く掘削機のバケット）等が挙げられる。この状況では、ユーザは動く機械の近くを歩いている人３４についての複数のビデオと、動く機械から安全な距離を離れて歩いている人３４についての複数のビデオとを準備し、危険な状況にある人３４（定義されたオブジェクト）を定義するビデオに対してラベル付けを行う。

【0075】

さらに代替として、この技法を実行するプロセッサ１８が挙動に基づくシグネチャであると定義されたオブジェクトのシグネチャを学習するようにされる上記の実施形態では、該シグネチャは、デジタル表現によって定義されるコンテキスト情報に少なくとも部分的に基づいて導出され得る。例えば、この状況では、ユーザは風が吹く環境に位置する人３４についての複数のビデオと（木のようなオブジェクトが風によって動いており（コンテキストデータを定義）、束縛されていないオブジェクトが配置されている（さらにコンテキストデータを定義））、静止環境に位置する人３４についての複数のビデオとを、危険な状況にある人３４（定義されたオブジェクト）を定義するビデオに対してラベル付けを行う。

【0076】

これらのアプローチにより、それぞれの技法は、定義されたオブジェクトのシグネチャを定義するラベル付けされた訓練データ３３内の、１つ以上の共通要素を区別することができる。３１にてプロセッサ１８に供給される訓練データ３２に応答して、この技法を実行するプロセッサ１８は、データの分析を開始し、シグネチャを定義すると共にそれによって定義されたオブジェクトの存在を示すデータによって定義される共通要素を学習する。このことは、典型的にはプロセッサ１８が各デジタル表現の３段階分析を実行し、それによって表現がシグネチャを含むかどうかを決定することを伴う。

【0077】

第１の分析段階３６は、デジタル表現を評価し、それによって潜在的なシグネチャ候補、すなわち、シグネチャ又はその一部であり得そうなデジタル表現の任意の態様を識別することを伴う。このことは、典型的にはデジタル表現のセグメント化を伴い、それによって定義されたパラメータに適合する表現の全ての態様を識別する。このことは、典型的には、デジタル表現をスキャンして全てのシグネチャ候補３６１，３６２，３６３を識別するセグメント化アルゴリズムによって実行される。例えば、このことは、定義されたジオメトリ境界内に収まる表現によって定義された任意のジオメトリを識別する粗いジオメトリスキャンを伴い、それによって関連するジオメトリをシグネチャ候補３６１，３６２，３６３として識別してもよい。代替として又はこれに加えて、このことは、運動軌跡の分析等の粗い挙動スキャン、並びに／又は、直接及び／若しくは間接的に供給されたコンテキスト情報の分析等のコンテキストスキャンを伴い、それによって関連する要因をシグネチャ候補３６１，３６２，３６３として識別してもよい。

【0078】

第２の分析段階３８は、識別された各シグネチャ候補から特徴データを導出することを含む。このことは、典型提起には特徴導出アルゴリズムによって実行され、それによってシグネチャ候補の特徴の数値表現（特徴ベクトル）を生成する。例えば、このことは、シグネチャ候補によって定義された少なくとも２つの幾何学的次元から比率を導出することを伴う。

【0079】

第３の分析段階４０は、特徴データが導出されているデジタル表現のラベルを参照し、それによって定義されたオブジェクトが該表現に存在するかどうかを確認して、該ラベルが定義されたオブジェクトの存在を確認した場合には、特徴データの分散分布４２において評価されるシグネチャ候補の特徴ベクトルを記録することを伴う。

【0080】

プロセッサ１８が定義されるオブジェクトに対応するものとして表現のラベルから確認した特徴ベクトルごとに、このことはプロセッサ１８に、グラフ上に特徴ベクトルをプロットさせてもよく、例えば、特徴ベクトル値を「ｘ」軸上に、確率値を「ｙ」軸上にプロットさせてもよい。プロットされた一連の特徴ベクトルは、典型的にはガウス曲線等の確率分布曲線を形成し、最も類似した特徴ベクトルに対応する１つ以上のピークを定義する。代替として、特徴分散分布４２は、別の適切な確率分布関数として表現されてもよい。例えば、技法が２つの異なる特徴（例えば、人の髪の色（第１の特徴）及び眼の色（第２の特徴））を評価するように構成されている場合には、対応する特徴ベクトルを同じグラフの別々の軸にプロットして、２つの重ね合わされたガウス曲線を形成してもよい。同様に、３つの特徴が、３次元グラフの３つの軸にプロットされてもよい。ガウス曲線は確率分布関数の一例であって、特徴分散分布は他の確率分布関数を定義してもよいことが理解されよう。複数のシグネチャ候補３６１，３６２，３６３がデジタル表現で識別される場合、第２の分析段階３８及び第３の分析段階４０が各シグネチャ候補３６１，３６２，３６３に対して実行されることもまた理解されよう。

【0081】

最後に、４４では、特徴分散分布４２の形態とは関係なく、分布４２が参照データとしてデータベースメモリ２２に通信されて記憶される。

【0082】

プロセッサ１８が少なくとも最初に触れるようにされる訓練データ３２の量及びバリエーションは、以下で説明するように、システム１０がフィードバックループを動作させるようにも構成されているかどうかに応じて、データベースメモリ２２に記憶される参照データに影響を与える。例えば、訓練データ３２が実質的に同様のシグネチャ３３を定義する複数のデジタル表現を含む場合、特徴分散分布は、密で狭い広がりとして表現されることが予想される。あるいは、訓練データ３２がシグネチャ３３の大幅に異なるバリエーションを定義するデジタル表現を含む場合、特徴分散分布は、それに相当するように広い広がりとして表される。

【0083】

種々異なる技法が、定義されたオブジェクト３４の異なる態様又は特性からラベル付けされた訓練データ３３のデジタル表現内に定義される定義されたオブジェクト３４のシグネチャを決定するように典型的に構成されることが理解されよう。例えば、ある技法は、オブジェクト３４の一部分又は全体のジオメトリから、シグネチャを導出するように構成されてもよい。同様に、別の技法は、オブジェクト３４（例えば、衣服）の一部分の色、オブジェクト３４の温度、オブジェクトの重量又はそれらに類するもの等、オブジェクト３４の他の観察可能及び／又は検出可能な特性から、シグネチャを導出するように構成されてもよい。代替として、別の技法は、オブジェクト３４の挙動（オブジェクト３４の動きに反応したものであってもよい）、オブジェクト３４の無活動状態、オブジェクト３４と別のオブジェクトの相対的な動き、及び／又は、刺激に反応したオブジェクト３４の反応（例えば、大きな騒音に反応した表情又は視線方向の変化）からシグネチャを導出するように構成されてもよい。さらなる代替として、別の技法は、オブジェクト３４に関連付けられたコンテキスト要因からシグネチャを導出するように構成されてもよい。したがって、訓練データ３２は、技法の構成に応じて、シグネチャが導出されることを可能にする関連データを該技法に提供し、参照データが生成されるように適合される。さらに、訓練プロセス３０は、典型的には、プロセッサ１８により実行可能な技法ごとに、同一の定義されたオブジェクト３４を定義する訓練データ３２を使用して実行され、それによって、共通オブジェクトによって定義されるシグネチャを各技法が学習することを可能にする。

【0084】

システム１０のいくつかの実施形態では、これらの技法のうち１つを実行するプロセッサ１８によるシグネチャの導出は、複数の因子の組み合わせに基づいていてもよく、そのような因子には、定義されたオブジェクトの特質、定義されたオブジェクト３４のジオメトリ、定義されたオブジェクト３４の挙動、及び定義されたオブジェクト３４に関連付けられたコンテキスト因子が含まれる。例えば、定義されたオブジェクトが、動いている器材に近接していて注意を払っていない／無活動状態の人３４であると意図されている場合、訓練データ３２は、動いている機械から逃げている又は他の人に差し迫った危険を警告しようと試みている（例えば、腕を振っている）人々についての第１のビデオセットと、（携帯電話を使用しているため又は意識不明であるために）動いている機械の近くに静止している人についての第２のビデオセットとを含むように構成され、第２のセットを、定義されたオブジェクト３２を含むデジタル表現としてラベル付けを行う。この状況では、訓練データ３２に触れることを通じて、この技法は、何かが人物３４のような形状であること（ジオメトリ）、無活動状態であること（挙動）、おおよその速度及び方向で特定の音を発しつつそれに向かって動いているオブジェクトの近くにある（コンテキスト）ことの組み合わせをシグネチャが備えることを学習する。

【0085】

システム１０のいくつかの実施形態では、訓練プロセス３０は、一連の種々異なる定義されたオブジェクトを識別するための技法の少なくともいくつかを訓練するために、複数回繰り返される。例えば、第１の訓練プロセスは、車を識別するように各技法を訓練するよう構成され、第２の訓練プロセスは、ボートを識別するように各技法を訓練するよう構成されてもよい。この状況では、各技法について生成された参照データが、因子によって分類されたフィルタリング可能なデータベースとしてデータベースメモリ２２内に配置され、そのような因子には、その技法によって識別されるように訓練された種々異なる定義されたオブジェクト（車及びボート）が含まれる。さらに、参照データの人力フィルタリングを可能にするため、ユーザインタフェース２４は、ユーザがシステム１０に識別させることを望む定義されたオブジェクトをユーザが選択できるようにするメニューを提供するように構成される。例えば、上記の状況では、インタフェース２４は、それらの技法が車やボートを識別することを試みるかどうかをユーザが選択できるようにし、それによってデータベースを適宜フィルタリングして、それらの技法がアクセス可能な参照データに影響を与える。

【0086】

上記の例は、システム１０が特定の定義されたオブジェクトを識別するように構成される方法の簡素な例であって、多くの訓練プロセスを実行するためには、参照データはより複雑であってもよく、複数のレイヤーのフィルタリングによって、システム１０の動作方法をユーザが正確に調整できるようにさせることが可能になる。例えば、参照データは、ユーザがユーザインタフェース２４を操作して、建物の建設現場、道路、マリーナ等の使用環境である第１のレイヤーを選択できるように構成されてもよい。この選択は、プロセッサ１８によって実行される各技法が、その使用環境を識別して関連付けるように訓練された全てのオブジェクトを識別しようとすることを意味することになる。ユーザはまた、該使用環境に関連付けられたオブジェクトのカテゴリである第２のレイヤーを選択してもよく、例えば、接地する器材が挙げられる。ユーザはまた、該使用環境内の特定のオブジェクトとしての第３のレイヤーを選択してもよく、例えば、掘削機が挙げられる。したがって、参照データのさまざまなレイヤーを選択することにより、ユーザはそれらの技法によってアクセス可能な参照データに影響を与え、したがって該技法の機能に影響を与える。

【0087】

例えば、参照データ及びユーザインタフェース２４は、ユーザがマリーナ及び全てのボートを選択できるようにして、それらの技法を実行するプロセッサ１８に、関連するシグネチャの識別に応答して、任意のボートがセンサ１２の範囲内にある時点を決定させるように構成されてもよい。代替として、ユーザインタフェース２４を操作するユーザは、システム１０の設定を改良して、それらの技法を実行するプロセッサ１８が、造船所のクレーンがプライベートヨット等の非商用ボートから３ｍ以内にあることを決定するようにしてもよい。

【0088】

図３Ａは、システム１０の動作プロセス５０の様々な段階を示しており、これにより、該システムは、センサ１２によって検出されたオブジェクト１４が定義されたオブジェクトであるかどうかを評価する。動作プロセス５０の少なくとも一部は、プロセッサ１８が実行するように構成された各オブジェクト識別技法５０１，５０２，５０３によって実行される。

【0089】

第１段階５２では、センサ１２はオブジェクト１４の少なくとも１つのデジタル表現を定義するためのデータを検出する。図１に示す実施形態では、このことは、人１４がカメラ１２の焦点範囲（視野）内にいる際に、人１４の少なくとも１つの画像をキャプチャするカメラ１２を伴う。このことは、多くの画像（フレーム）を備えたビデオ映像のキャプチャを伴っていてもよいことが理解されよう。各デジタル表現は、カメラ１２によってプロセッサ１８へと提供され、各技法５０１，５０２，５０３は、プロセッサ１８によって同時に又はほぼ同時に実行され、それによって少なくとも１つの共通デジタル表現を、各技法５０１，５０２，５０３が評価できるようにする。

【0090】

第２段階５４では、プロセッサ１８は、第１の技法５０１を実行し、典型的にはセグメント化アルゴリズムを実行することによって、１つのデジタル表現に関してセグメント化プロセスを実行させ、それによってデジタル表現内に定義される任意のシグネチャ候補を識別する。図示の実施形態では、技法５０１は、３つのシグネチャ候補５４１，５４２，５４３を識別する。各シグネチャ候補５４１，５４２，５４３は、上述のように、訓練プロセス中に技法５０１が以前導出したシグネチャである可能性があると技法５０１が決定するデジタル表現の態様である。技法５０１によるシグネチャ候補５４１，５４２，５４３を識別するためのデジタル表現のセグメント化は、訓練データ３２、及び／又は、技法５０１の既定の動作パラメータに応答して技法５０１により定義されるシグネチャの特性に依存する。例えば、技法５０１は、シグネチャをジオメトリに基づくシグネチャであると定義してもよく、したがって、セグメント化は、該ジオメトリに基づくシグネチャに対応する、該表現内におけるジオメトリを識別することを伴う。そのようなジオメトリとしては、既定のジオメトリ範囲又は閾値内にある任意のジオメトリ等が挙げられる。

【0091】

第３段階５６では、プロセッサ１８は、特徴抽出アルゴリズムを実行し、それによって、識別された各シグネチャ候補５４１，５４２，５４３の特徴ベクトル（α）を導出する。

【0092】

第４段階５８では、プロセッサ１８は、比較器（典型的には、分類器又は発見アルゴリズムである）を実行し、それによって、導出された各特徴ベクトル（α）を参照データによって定義される特徴分散分布と比較する。

【0093】

第５段階６０では、比較器は、比較された特徴ベクトル（α）及び参照データの相対位置又は他の統計的関係から、尤度値（β）を導出する。尤度値（β）は、比較された特徴ベクトル（α）が、定義されたオブジェクトによって定義されているものとして技法５０１が訓練データ３２から学習したシグネチャと同じ又は十分に類似する尤度を示す。例えば、参照データによって形成された特徴分散分布が単一のガウス曲線６２を定義するグラフとして表される場合、比較器は特徴ベクトル（α）をグラフ上にプロットし、プロットされた特徴ベクトル（α）の近傍から該曲線及び／又は該曲線のピークまでの尤度値（β）を決定する。あるいは、特徴分散分布が２つ以上の重ね合わされたガウス曲線、又はクラウド型分布を形成し得る他の分布関数として表される場合、比較器は特徴ベクトル（α）をプロットし、プロットされた特徴ベクトル（α）の近傍から該重ね合わされた曲線によって定義された最大密度の領域までの尤度値（β）を決定する。尤度値（β）は参照データによって定義された特徴分散分布に依存するため、より高い尤度値（β）は、評価された特徴ベクトル（α）とプロセッサ１８が訓練データ３２に触れることを通じてシグネチャを定義することが確認された他の実質的に類似する参照特徴ベクトルとの相対的な類似性に応じて決定されることが理解されよう。

【0094】

第６段階６４では、プロセッサ１８によって実行される技法５０１，５０２，５０３によって導出された尤度値（β）の少なくともいくつかが組み合わされ、それによって複合値（θ）が導出される。典型的には、少なくとも２つの異なる技法５０１，５０２，５０３によって導出された尤度値（β）が組み合わされ、それによって複合値（θ）が導出される。組み合わせ（融合）段階は、一連の種々異なる尤度値（β）の組み合わせ方法を伴う。例えば、組み合わせ段階は、定期的に（例えば、毎秒）実行されるように構成されてもよく、一方、各技法５０１，５０２，５０３は、５秒毎に定期的に実行されるように構成され、それによって毎秒５つの尤度値（β）が導出されてもよい。この状況では、組み合わせ段階は、前の秒の間に各技法５０１，５０２，５０３によって導出された最高の尤度値（β）を組み合わせることを伴っていてもよい。代替として、この状況では、各技法５０１，５０２，５０３はまた、定義された期間（例えば、１秒間）に導出された尤度値（β）を平均するように構成された平均化関数を含んでいてもよく、それによって、組み合わせ段階は、前の秒の間に各技法５０１，５０２，５０３によって導出された平均の尤度値（β）を組み合わせることを伴っていてもよい。

【0095】

第７段階６６では、システム１０は、複合値（θ）に基づいて、少なくとも１つのセンサによって検出され、デジタル表現内において定義されたオブジェクト１４が、定義されたオブジェクトであるかどうかを決定する。

【0096】

第４及び第５段階５８，６０は、第３段階５６における特徴抽出アルゴリズムのそれぞれによって導出された特徴ベクトル（α）ごとに各技法５０１，５０２，５０３によって繰り返され、これにより、システム１０に、各技法５０１，５０２，５０３が識別する任意のシグネチャ候補が、それらの技法のそれぞれが定義されたオブジェクトによって定義されていると学習したシグネチャに対応しているかどうかを、システム１０に評価させることが可能になることが理解されよう。

【0097】

第６段階６４において複合値（θ）を導出するために尤度値（β）を組み合わせることは、典型的には、尤度値（β）を乗算することを伴い、これにより、低い尤度値（β）から導出される低い複合値（θ）と、高い尤度値（β）から導出される高い複合値（θ）との差が大きくなる。したがって、複合値（θ）は、定義されたオブジェクトを識別するシステム１０の信頼性の明確な指標を提供する。

【0098】

代替として、各技法５０１，５０２，５０３の特徴分散分布が著しく集中している場合、例えば、急勾配のガウス曲線を定義している場合には、出力尤度値（β）は、典型的には非常に高く（数百又は数千オーダー）又は非常に低く（１桁オーダー又は１未満）、仮想２値尤度値（β）が導出され得る。この状況では、組み合わせ段階６４は、投票方式を伴っていてもよく、その場合、高い尤度値（β）は一票をもたらし、低い値は票をもたらさない。これらの票はその後合算され、それによって複合値（θ）が導出される。

【0099】

図３Ｂは、システム１０の代替構成の動作プロセス５１を示し、共通する参照番号は、共通の特徴を示す。システム１０は、図３Ａに示される２つの技法５０１，５０２（システム１０の本実施形態では、一次技法と称される）を実行するように構成されると共に、二次技法５０４を実行するようにも構成される。一次技法５０１，５０２は、少なくとも１つのセンサ１２から提供されるデータに応答して尤度値（β）を導出するように構成され、該データは、オブジェクト１４の少なくとも１つのデジタル表現である。二次技法５０４は、一次技法５０１，５０２のうちの１つ以上によって提供されるデータに応答してさらなる尤度値（β_n）を導出するように構成される。このことは、上記のように実行される各一次技法５０１，５０２が尤度値（β₁，β₂）を導出し、これらの尤度値（β₁，β₂）が二次技法５０４への入力として提供されることを伴う。典型的には、少なくとも２つの一次技法５０１，５０２が実行され、それによって少なくとも１つの尤度値（β₁，β₂）を各一次技法５０１，５０２から二次技法５０４へと提供できるようにする。その後、二次技法５０４がプロセッサ１８によって実行され、それにより段階５８１で尤度値（β₁，β₂）が比較されて、その結果としてさらなる尤度値（β₃）が導出される。

【0100】

５８１での二次技法５０４による入力尤度値（β₁，β₂）の比較は、比較器（例えば、分類器）を実行し、それによって尤度値（β₁，β₂）間の相関を決定することを伴い得る。この相関は、例えば、デジタル表現の同一又は類似の部分を評価することに応答して、一次技法５０１，５０２のそれぞれによって高い尤度値（β_n）が導出されたことを示してもよい。したがって、この相関は、各一次技法５０１，５０２がデジタル表現の同じ部分においてシグネチャをどのように定義するかに関係なく、定義されたオブジェクトのシグネチャが存在する可能性が高く、その結果、定義されたオブジェクトが該表現のその部分に存在することについてのシステム１０の信頼性が高くなることを示す。したがって、二次技法５０４の実行では、シグネチャの存在、及びその結果として定義されたオブジェクトの存在に関する技法５０１，５０２間の一致を判定することにより、一次技法５０１，５０２の尤度値（β₁，β₂）が効果的に検証される。空間的相関は該比較段階の一例に過ぎず、他の相関は二次技法５０４の範囲内であることが理解されよう。別の例では、環境の既知の特徴を使用することを伴う。環境内において人々を認識する場合には、検出が行われた領域では人が存在し得ないため、検出されたものは人であり得ないことが知られていることがある。例えば、その領域には床がないことがある。

【0101】

図３Ｃは、図３Ａに示されるプロセス５０又は図３Ｂに示されるプロセス５１の別の実施形態を示し、共通する参照番号は、共通の特徴又はステップを示す。この実施形態では、システム１０はまた、プロセッサ１８が段階６６において検出されたオブジェクト１４を定義されたオブジェクトとして肯定的に識別したことに応答して、追加の特徴データをデータベースメモリ２２内に記憶された参照データに追加するように構成されたフィードバックループ１６０も備えている。

【0102】

本実施形態では、技法５０１，５０２，５０３を実行するプロセッサ１８が定義されたオブジェクトの肯定的な識別を決定するたび、プロセッサ１８は、実行された各技法５０１，５０２，５０３によって導出された特徴データ（α）を記録し（この特徴データ（α）は、技法５０１，５０２，５０３のそれぞれについての特徴分散分布において正の識別に寄与する）、この特徴データ（α）を参照データの新しいバージョンとしてメモリ２２内に保存して、基本的には図２に示される訓練プロセス３０における段階４２及び４４を繰り返す。改訂された参照データは、その後、上述の動作プロセス５０，５１の比較段階５８にてアクセス可能となる。

【0103】

このような動作により、参照データセットを形成する一連のデータが連続的に増加し、その結果、各特徴分散分布において実質的に対応する特徴ベクトル（α）の量が増加する。このことは、参照データ内の一連の特徴ベクトル（α）によってシグネチャがより明確に定義されるため、各技法５０１，５０２，５０３の精度を高める効果を有する。したがって、フィードバックループ１６０は、システム１０を繰り返し使用することを通じてシステム１０の精度を漸進的に向上させる反復プロセスを提供し、これにより各技法５０１，５０２，５０３がシグネチャを連続的に改善され、したがって定義されたオブジェクトがデジタル表現内に存在する時点を正確に識別することが可能になる。

【0104】

いくつかの実施形態では、フィードバックループ１６０は、段階６６におけるプロセッサ１８による定義されたオブジェクトの明確な識別に続いて、段階１６２において、特徴データがデータベースメモリ２２内に参照データとして記録されるべきかどうかを確認するために、プロセッサ１８がユーザインタフェース２４を操作しているユーザによるユーザ確認を求める追加の段階を備えている。このことは、検出されたオブジェクト１４が段階６６にて定義されたオブジェクトであるとシステム１０が決定することに応答して、ユーザインタフェース２４によってこの決定が正しいかどうかを確認するようユーザを促すように構成されたユーザインタフェース２４を伴う。この監督された学習状況では、プロセッサ１８は単に、段階１６２において肯定的なユーザ確認を受信したことに応答して、特徴ベクトル（α）を参照データへと追加するだけである。

【0105】

また、図３Ｃに示されるように、いくつかの実施形態では、システム１０は、段階６６における定義されたオブジェクトの肯定的な識別又はフィードバックループ１６０の動作に続いて、プロセッサ１８は、段階１６４において、システム１０により実行されるアクションを確認するために、ユーザがユーザインタフェース２４を操作することにより、アクションメニューへのユーザ入力を求めるように構成される。このことは、アクションメニュー１６４を操作することによって、肯定的な識別に応答してシステム１０によって実行される１つ以上のアクションをユーザが定義できるように構成されるユーザインタフェース２４を伴う。これにより、ユーザは法的要件（例えば、安全衛生規制）に準拠するための「ベストプラクティス」ルール又は境界条件を定義できるようになる。同様に、これにより、ユーザはシステム１０の機能をユーザが重要であると認識した特定の状況に関して最適化できるようになる。

【0106】

段階１６６では、プロセッサ１８は、定義されたアクションから命令を引き出し、これらの命令を実行することによって該アクションを実行し、これらの命令は、プロセッサ１８によってプログラムメモリ２０及び／又はデータベースメモリ２２内に記録される。このことは、プロセッサ１８が後に定義されたオブジェクトを、アクションの定義を促したものと同じ検出されたオブジェクトとして識別することに応答して、命令が実行されることを意味する。

【0107】

例えば、技法５０１，５０２，５０３が、定義されたオブジェクトをプロセッサ１８が識別したことに応答して、人の１ｍ範囲内にある掘削機バケットである定義されたオブジェクトを識別するように構成される場合、ユーザは、アクションメニューを操作して、適切なアクションが、掘削機の動作を直ちに停止させるように警告デバイス２６を操作することであると定義する。このことは、掘削機バケットが人の１ｍ範囲内にあることをプロセッサ１８が識別する将来の各機会において、該アクションが自動的に実行されることを意味する。

【0108】

代替として又はこれに加えて、これらの技法が、定義されたオブジェクトを他の任意のオブジェクトの５ｍ範囲内にある掘削機バケットとして識別するように構成される場合、ユーザは、アクションメニューを操作して、掘削機バケットが電力線の５ｍ範囲内にある際において、適切なアクションは、認識可能な警報を発するように警告デバイス２６を操作することであると定義する。

【0109】

これらは、「ベストプラクティス」アクションを定義することの簡素な例であり、より複雑なアクション又はアクションのシーケンスがユーザによって定義されてもよいことが理解されよう。例えば、ユーザは特定の分野の熟練者であってもよく、熟練のユーザがアクションメニューを操作することにより、熟練のユーザによる特定の知識及び経験に応じてシステム１０の複雑な構成が可能になり、それによって該知識がシステム１０の機能に組み込まれる。さらに、このようなシステム１０の操作により、プロセッサ１８は、ユーザがシステム１０をどのように操作し、それに応じてシステム１０の機能をどのように適応させることを好むかについて、継続的に学習することができるようになる。例えば、ユーザ入力（「学習ケース」）を継続的に監視することにより、プロセッサ１８は、ユーザ挙動のパターンを識別して、検出されたオブジェクトが定義されたオブジェクトであると決定されたことに応答して実行されるべきである追加の「ベストプラクティス」アクション又は境界条件を、ユーザからの入力を必要とせずに導出することができる。

【0110】

また図３Ｃにも示されるように、いくつかの実施形態では、システム１０は、段階１６２での肯定的なユーザ確認入力に応答して、段階１６８において、プロセッサ１８は、検出されたオブジェクト１４が定義されたオブジェクト１４であることを示す任意の指標を選択するため、又は、プロセッサ１８によって自動的に識別及び提案される指標を選択解除するため、ユーザインタフェース２４を操作するユーザによる指標メニューへのユーザ入力を求めるように構成される。指標は、典型的にはオブジェクト１４のデジタル表現についての特定の特性であり、通常は、検出されたオブジェクトに関連付けられたコンテキスト因子である。例えば、指標は、人々、衣類、器材、標識等の特定のオブジェクト、及び／又は、風によって木の枝が曲がること（強風を示す）若しくは倉庫内を移動するフォークリフトの相対速度ベクトル（差し迫った衝突を示す）等の特定の挙動を含んでいてもよい。ユーザによる指標メニューの操作に応答して、プロセッサ１８は、識別された各指標から指標データを導出し、指標データを段階６６にて肯定的な識別を生じさせた特徴ベクトル（α）に関連付けて、この関連する指標データを追加の参照データとしてメモリ２２内に記録する。

【0111】

このようにシステム１０を操作することによって、ユーザが指標であると考える特徴をプロセッサ１８に継続的に学習させることができる。これらの「学習ケース」を継続的に監視することにより、プロセッサ１８は、検出されたオブジェクトが定義されたオブジェクトであるとプロセッサ１８が決定する度に、ユーザの行動のパターンを識別して、追加の指標データを、ユーザの入力を必要とせずに導出することができる。

【0112】

いくつかの実施形態では、システム１０の動作は、比較段階５８のサブ動作として、推定段階を備えている。推定段階は、センサ１２が技法５０１，５０２，５０３のいずれも識別のために訓練されていない代替オブジェクトに触れるようにされたことに応答して実行される。このことが起こると、技法５０１の１つを実行するプロセッサ１８は、５６にて、検出された代替オブジェクトのデジタル表現から特徴データ（α）を導出し、５８にて、特徴分散分布内の内挿によって特徴データが参照データと十分に類似していることを決定し、それによって信頼できる尤度値（β）を導出して、段階６６にて定義されたオブジェクトの肯定的な識別を行う。プロセッサ１８は、続いて、図３Ｃにおける１６０に示すように、導出された特徴データ（α）を参照データに追加する。選択的には、特徴データ（α）は単に、肯定的なユーザ確認をユーザインタフェース２４の操作から受信することに応答して、参照データに追加されるだけであり、基本的に段階１６２と同じプロセスである。

【0113】

例えば、技法５０１が１つ以上の訓練プロセス３０中に、車両の特定のモデルを識別するために訓練される場合、センサ１２は、続いて、同じ車両プラットフォームを共有しており結果としておおよそ同じジオメトリ及び挙動特性を有している車両の代替モデルを検出してもよい。このことが起こると、プロセッサ１８は、比較段階５８において、代替車両のデジタル表現から導出された特徴ベクトル（α）を参照データと比較して、信頼できる尤度値（β）を、特徴ベクトル（α）の内挿から、代替車両の形状及び／又は挙動が類似しているために参照データの大部分と類似するものとして導出する。これにより、プロセッサ１８は続いて、代替車両を定義されたオブジェクトとして識別させられる。次に、特徴ベクトル（α）は、１６０において参照データに追加され、参照データの範囲を拡張し、代替車両モデルを定義されたオブジェクトとして識別するようにも技法５０１を効果的に再訓練する。したがって、該プロセスは、技法５０１，５０２，５０３のいずれかを、以前に観察されなかったオブジェクトを定義されたオブジェクトとして識別することを推測するように再訓練する。

【0114】

他の実施形態では、システム１０の動作は、比較段階５８のサブ動作として、予測段階を備えている。予測段階は、センサ１２が、技法５０１，５０２，５０３のいずれも識別のために訓練されていない代替オブジェクトに触れるようにされた際に実行される。このことが起こると、技法５０１の１つを実行するプロセッサ１８は、５６にて、検出された代替オブジェクトのデジタル表現から特徴データ（α）を導出し、５８にて、特徴分散分布内の外挿によって特徴データが十分に類似していることを決定し、それによって信頼できる尤度値（β）を導出して、段階６６にて定義されたオブジェクトの肯定的な識別を行う。続いて、図３Ｃにおける１６０に示すように、導出された特徴データ（α）を参照データに追加する。選択的には、特徴データ（α）は単に、肯定的なユーザ確認をユーザインタフェース２４の操作から受信することに応答して、参照データに追加されるだけであり、基本的に段階１６２と同じプロセスである。

【0115】

例えば、技法５０１が１つ以上の訓練プロセス３０中に、スポーツ用多目的車（ＳＵＶ）を識別するために訓練される場合、センサ１２は、続いて、ＳＵＶとほぼ同じ機能的特徴及び挙動を有する（例えば、ほぼ同じ場所に配置された４つの車輪、ドア及び窓を有し、同じ速度で類似の経路に沿って動き回る）バンを検出してもよい。このことが起こると、プロセッサ１８は、比較段階５８において、該バンのデジタル表現から導出された特徴ベクトル（α）を参照データと比較して、信頼できる尤度値（β）を、特徴ベクトル（α）の外挿から、該バンの特徴と類似するために参照データの大部分と類似するものとして導出する。これにより、プロセッサ１８は続いて、該バンを定義されたオブジェクトとして識別する。次に、特徴ベクトル（α）は、１６０において参照データに追加され、参照データの範囲を拡張し、該バンを定義されたオブジェクト（ＳＵＶ）として識別するようにも技法５０１を効果的に再訓練する。したがって、該プロセスは、技法５０１，５０２，５０３のいずれかを、以前に観察されなかったオブジェクトを定義されたオブジェクトとして識別することを予測するように再訓練する。

【0116】

図４は、動作中のシステム１０のスクリーンショットであり、システム１０は、２つの一次オブジェクト識別技法及び２つの二次オブジェクト識別技法を含む４つの技法を動作させるように構成され、各一次技法は、人７０を定義されたオブジェクトとして識別するように構成される。該スクリーンショットは、同時に実行される２つの一次技法を示している。第１の一次技法は、Head Shoulder Signature - Red Green Blue（頭肩シグネチャ－赤緑青、ＨＳＳ－ＲＧＢ）と命名されており、人７０の運動によって検出された人７０の頭と肩との境界のプロファイルから定義されたオブジェクトを識別して、以前に訓練データに触れたことから、該プロファイルをシグネチャとして導出するように構成される。第２の一次技法は、Histogram of Oriented Gradients（方向付けられた勾配のヒストグラム、ＨＯＧ）と命名されており、ＲＧＢ画像内における特定のピクセル変動及び隣接ピクセルのパターンによって検出された人物７０のシルエットから定義されたオブジェクトを識別して、以前に訓練データに触れたことから、該シルエット形状であるシグネチャを導出するように構成される。二次技法は、一次技法（ＨＳＳとＨＯＧ）からの出力を比較し、それによって、空間的相関、すなわち各技法によって導出されたシグネチャ候補がデジタル表現内においてほぼ同じ位置からのものかどうか、及び／又は、時間的相関、すなわち各技法によって導出されたシグネチャ候補がデジタル表現内においてほぼ同じ時刻（インスタンス）からのものかどうかを識別するように構成されている。

【0117】

図４に示される実施形態に従って構成されたシステム１０の動作は、図３Ｂに提示されたプロセス５１に従う。典型的には、このことは、最初にＨＳＳ及びＨＯＧ技法を実行し、次に２つの２次技法を実行することを伴う。これらの各技法の動作は、典型的には通常ＯｐｅｎＣＶプラットフォームを使用して実行され、以下でさらに詳細に説明する。

【0118】

ＨＳＳ－ＲＧＢ技法の使用は、段階５２において、カメラ１２から画像を取得することを伴い、それによって、複数の静止画像７２（フレーム）を備えたビデオ映像がキャプチャされる。段階５４では、画像処理が実行され、それによってシグネチャ候補が特定される。この画像処理には、以下の処理が含まれる：少なくとも２つのフレームがＲＧＢからグレースケールに変換される；定義されたカーネルを備えたガウスぼかしが各フレームに適用される；フレーム間の差が計算され、それによって単一の画像が得られる；画像が２値画像７４に変換される；画像の均一性を高めるために中央値フィルタが適用される；画像の膨張、画像の侵食、画像内の輪郭検出等の形態機能が実行される；領域により輪郭が区分される：輪郭がデータベース２２内に記憶されている輪郭参照データと比較され、それによって定義された閾値内に収まる輪郭（例えば、ジオメトリ境界）を識別する；、各候補の周囲に境界ボックス７６を構築することによって、関心領域（シグネチャ候補５４１，５４２，５４３）が定義される。輪郭参照データは、適切な輪郭ジオメトリを定義するものとして認識するようＨＳＳ－ＲＧＢ技法が学習した又は人力で構成された、さらなる参照データを備えている。該さらなる参照データが学習される場合には、この段階は、該参照データを経験的に導出する上記のプロセスと同じプロセスを伴っていてもよい。

【0119】

段階５６では、各シグネチャ候補５４１，５４２，５４３について特徴ベクトルが導出され、それによって、評価されたシグネチャ候補ごとに以下が実行される；境界ボックス７６内の白色ピクセルの各行からスパン測定値を導出する；最大スパンから肩の測定値を導出する；肩の測定値をデータベース２２に記憶されている肩の参照データと比較し、それによってスパンに対する人の頭の位置を特定する：それに応じて、境界ボックスのサイズを変更する；特定された頭部領域の最大スパンから、頭部測定値を導出する；頭－肩のスパン比率を導出する。この比率は、特徴ベクトル（α）である。肩参照データは、人の頭と肩の間の典型的なジオメトリ関係を定義するものとして認識するようＨＳＳ－ＲＧＢ技法が学習した又は人力で構成された、さらなる参照データを備えている。該さらなる参照データが学習される場合には、この段階は、該参照データを経験的に導出する上記のプロセスと同じプロセスを伴っていてもよい。

【0120】

段階５８では、該比率（特徴ベクトル（α））は、訓練プロセスにおいて以前に定義された特徴分散分布と比較され、それによって尤度値（β）が導出される。このことは、数多くの値（β）が毎秒導出されることを伴っていてもよく、それによって、ＨＳＳ－ＲＧＢ技法が最近傍統計トラッカー等の平均化機能を適用できるようになる。これにより、例えば複数の尤度値（β）の導出元となった同じシグネチャ候補がほぼ同じ位置に残っているかどうかを監視し得るため、すなわち、ある期間における１つの値（β）と最近傍値（β）との相関関係によって、ＨＳＳ－ＲＧＢ技法は、より信頼できる尤度値（β）を提供できるようになる。したがって、これらの尤度値（β）は、定義されたオブジェクトが存在すると共にエラー又は他のオブジェクトが存在しないことの結果である。

【0121】

ＨＯＧは既知の技法であり、したがって、システム１０によるＨＯＧ技法の動作は、例示の目的のためごく簡潔に説明されていることが理解されよう。技法の使用は、段階５２において、カメラ１２から画像を取得することを伴い、それによって、複数の静止画像７２（フレーム）を備えたビデオ映像がキャプチャされる。段階５４では、画像処理が実行され、それによってシグネチャ候補が特定される。この画像処理には、以下の処理が含まれる：勾配の計算；方向のビニング。

【0122】

段階５６では、シグネチャ候補ごとに、以下が実行される：記述子ブロック７８の構築（ｘ，ｙ，高さ及び幅の測定値によって定義される）；記述子ブロック７８の正規化。これにより、特徴ベクトル（α）が導出される。

【0123】

段階５８では、Support Vector Machine（サポートベクトルマシン、ＳＶＭ）が実行され、それによって尤度値（β）が導出される。このこともまた、このことは、数多くの値（β）が毎秒導出されることを伴っていてもよく、それによって、ＨＯＧ技法が最近傍統計トラッカー等の平均化機能を適用できるようになり、それによってより信頼できる尤度値（β）が提供される。

【0124】

二次技法は、少なくとも１つの尤度値（β）を導出する各一次技法（ＨＳＳ－ＲＧＢ及びＨＯＧ）に応答して実行される。図４に示す実施形態では、各二次的技法は、最近傍統計トラッカーとして構成された分類器の実行を伴う。これらの各技法は、少なくとも２つの尤度値（β）を比較し、それによって物理空間及び／又は時間におけるシグネチャ候補の潜在的なアライメントを決定する。

【0125】

図４はまた、実行中の組み合わせ（融合）段階６４も示しており、この段階では、ＨＳＳ－ＲＧＢ及びＨＯＧ技法及び二次技法によって導出された尤度値（β）が組み合わされ、それによって複合値（θ）８０を導出する。カメラ１２に検出されたオブジェクトが人７０であるかどうかを決定するためにシステム１０が複数回実行された際に、複数の複合値（θ）が示される。本実施形態における組み合わせ段階は、投票方式として構成される。各ＨＳＳ－ＲＧＢ及びＨＯＧ技法が、評価されたデジタル表現内にそれぞれのシグネチャが存在することが予想されることを示す高い尤度値（β）を導出し、したがって、両方が票を投じており（ＨＳＳ－ＲＧＢ票１＋ＨＯＧ票１＝２（小計））、かつ、各２次技法もまた、ＨＳＳ－ＲＧＢ及びＨＯＧ技法によって導出された尤度値の間における強い空間的及び時間的相関が確認されたとして高い尤度値（β）を導出し、したがって、両方が票を投じている（２次票１＋２次票１＋小計＝４（合計））際に、最も高い複合値（θ）８０１が導出されている。票（複合値（θ））の合計が４である場合、システム１０は、定義されたオブジェクト（人物７０）が識別されていることの信頼度が最も高い状態にある。

【0126】

図５は、図３Ａに示されるプロセス５０又は図３Ｂに示されるプロセス５１の別の実施形態を示し、共通する参照番号は、共通の特徴又はステップを示す。本実施形態では、決定段階６６の前に、プロセッサ１８は、６８にて第２の比較器を動作させ、それによって複合値（θ）を複合参照データと比較する。複合参照データは、以前にシステム１０を動作させて得られた一連の複合値を備えている。該分布データは、以前に導出された複合値の決定に既に影響を与えているため、複合参照データは、このようにして、技法５０１，５０２，５０３ごとに実行される訓練プロセス３０によって生成された特徴分散分布データを継承する。

【0127】

６８では、新しい複合値（θ）と複合参照データとを比較し、それによってプロセッサ１８に信頼値（γ）を導出させることができる。このことは、典型的には、ガウス曲線を定義するグラフ等、複合分散分布として表される複合参照データを伴う。上述の第４段階５８で実行される比較器と同様に、第２の比較器は、複合値（θ）と複合分散分布との間の関係から、信頼値（γ）を決定する。これにより、プロセッサ１８は、６６において、信頼値（γ）の量に基づいて決定を行うことができるようになる。例えば、複合分散分布がガウス曲線として表される場合、このことは、プロセッサ１８が複合値（θ）における該曲線のピークまでの近さを評価することを伴っていてもよい。しばしば、複合値（θ）が複数の尤度値（β）の乗算から導出される場合には、複合分散分布６８は狭く、急勾配のガウス曲線を定義する。このことは、導出された信頼値（γ）が非常に高いか非常に低いことを意味しており、そのため、プロセッサ１８は、オブジェクト１４が定義されたオブジェクトであるかどうかについて、高い信頼度で識別することができるようになる。上述のように、これによって仮想２値の決定が可能になる。

【0128】

図６Ａは、システム１０の任意の訓練又は動作の前に、システム１０を最初に構成する段階を示している。この構成は、典型的にはシステム１０の意図される目的に従って決定され、それによって、図５Ａにおいてモジュール９２，９４として示される様々なオブジェクト識別技法は、プロセッサ１８により実行されるために、典型的にはそれを識別するように構成されているシステム１０の識別対象となる定義されたオブジェクトに従って選択される。第１のセクション９０は、アルゴリズムモジュール９２及び分類器モジュール９４等の例示的な技法モジュール９２，９４を示すと共に、リンクモジュール９６も示す。リンクモジュール９６は、上述の段階６４等の組み合わせ段階を、複数の尤度値（β）から複合値（θ）を導出可能にさせるように構成される。典型的には、リンクモジュール９６は、選択されたオブジェクト識別技法９２，９４の出力に応答して、システム１０によって実行するために選択される。第２のセクション９８は、共に動作可能に接続されてバンドル１００を形成する、３つのモジュール９２，９４，９６を示す。バンドル１００は、システム１０が動作するために必要な全てのモジュールを備えていてもよく、必要に応じて他のバンドルに接続されていてもよい。

【0129】

典型的には、システム１０は、定義されたオブジェクトを識別するプロセッサ１８の有効性を高めるため、相補的なオブジェクト識別技法モジュールを含むように構成される。例えば、第１の技法は、明るい場所では非常に高い信頼性をもって機能することが知られているが、低照度条件ではうまく機能しない又は全く機能しないことがある。一方で、第２の技法は、任意の照度条件においてそれなりに高い信頼性をもって機能することが知られている。システム１０に第１及び第２の技法を組み込んで実行することは、これらの技法の出力を組み合わせることによって、システム１０が全ての照度条件において高い信頼性をもって機能すると共に、十分に明るい条件では非常に高い信頼性をもって機能することを意味する。相補的となる技法の選択は、人力の入力及び自動入力のうち少なくとも１つによる結果である。例えば、典型的には、ユーザは様々な技法における操作上の制限を理解し、システムの現実世界における用途に適した技法、例えば、定義されたオブジェクトの動作環境及び／又は特性に適した技法を選択すると考えられる。代替として又はこれに加えて、システム１０は、相補的となる技法を選択してもよく、例えば、統計的に相補的である出力を提供することにより、技法のグループをバンドル内に予め構成しておいてもよい。さらなる代替として、ユーザが第１の技法を選択して、第１の技法と共に使用するための潜在的に相補的である技法を、アルゴリズムが提案するように構成されてもよい。さらなる代替として、プロセッサ１８は、人力での技法の構成を監視して、複数の「学習ケース」を監視した後、対象となる定義されたオブジェクトについて、ユーザ入力の必要なく、適切な技法の組み合わせを決定する。

【0130】

システム１０は、広範囲にわたるオブジェクト識別技法モジュールのうち２つ以上を実行するように構成されてもよい。適切なモジュールの例を、以下の表に詳述する。

【表1】

【0131】

上記の表は、モジュールについての網羅的なリストではなく、プロセッサ１８は、表には詳述されていない他の数多くのモジュールを実行するように構成されてもよいことが理解されよう。例えば、プロセッサ１８は、「深層学習」モジュールを実行するように構成可能である。

【0132】

図６Ｂは、種々異なる目的のために構成された種々異なるバンドル配列の例を示す。例えば、第１のバンドル１０２は、赤十字等の特定のマーカーを、定義されたオブジェクトとして識別するように構成される。第２のバンドル１０４は、立入禁止区域内にいる人を、定義されたオブジェクトとして識別するように構成される。第３のバンドルは、２つの構成を有するものとして示されている。第１の構成１０６１は、個人用防護具（ＰＰＥ）、例えばヘルメット及び視認性の高いジャケット／タバードを着用している人を、定義されたオブジェクトとして識別するように構成される。第２の構成１０６２は、ＰＰＥの存在に関係なく、任意の人を定義されたオブジェクトとして識別するように構成される。これは、第２の構成１０６２では、ＰＰＥを識別するモジュール（ＨｉＶｉｓとラベル付けされている）が無効になっているためである。

【0133】

該システムは、広範囲にわたるバンドルのうちの１つ以上を実行するように構成されてもよい。典型的なシステム１０の目的（用途）及び組み込まれたモジュール（コンポーネント）への参照を含むいくつかの適切なバンドルの例を、以下の表に詳述する。

【表2】

【0134】

図７は、上記の表に詳述されているバンドルＩＤ１６（１２０）に従ってシステム１０を構成することを示し、オブジェクト識別技法モジュールＣ，Ｅ，Ｋ及びＯ（１２２，１２４，１２６，１２８）は、既定の標識及び／又は記号を識別するよう通信可能に結合されている。

【0135】

図８は、異なる目的を提供するため、例えば、代替となる定義されたオブジェクトによって定義された異なるシグネチャを識別するために、さらなるモジュール１１０を構成及び追加し、それによって代替バンドル１１２を形成することによって、バンドル１０８をどのように適合できるかを示している。例えば、バンドル１０８は、人のジオメトリによって定義されるシグネチャを識別するように構成されてもよい。代替バンドル１１２として再構成されるこのバンドル１０８は、続いて、さらなるモジュール１１０を運動トラッカーとして構成することによって、人間によって定義される特定の運動軌跡（例えば、歩き方）によって定義されるシグネチャを識別するように構成される。

【0136】

図９は、定義されたオブジェクトの少なくとも一部分のジオメトリによって定義されたシグネチャの例を示す。概して、ジオメトリのシグネチャは、特定の形状、及び／又は、ある形状／点と別の形状／点との関係を備えており、それらはシステム１０の少なくとも１つのセンサ１２によって検出可能である。図９に示される実施形態では、定義されたオブジェクトは、掘削機１３０のバケット１３２である。本実施形態では、プロセッサ１８によって実行されるオブジェクト識別技法の少なくとも１つは、該シグネチャをバケット１３２の特定のジオメトリによって定義されるものとして決定するために、訓練データ３２によって、掘削機のバケットについてのジオメトリ的特徴を識別するように訓練され、潜在的には、バケットのバリエーションに共通するジオメトリ的特徴もまた識別する。例えば、このことは該シグネチャを、バケット１３２の外郭によって定義されるベクトル又はバケット１３２によって定義される寸法比率（例えば、高さ－幅の比率）として定義する技法を伴っていてもよい。このようにして、該技法を実行するプロセッサ１８は、該少なくとも１つのセンサ１２の範囲内に配置された際に、検出されたバケットを学習されたシグネチャを有する定義されたオブジェクトとして識別することができる。

【0137】

図１０は、定義されたオブジェクトの少なくとも一部分の運動によって定義されたシグネチャの例を示す。概して、運動のシグネチャは、定義されたオブジェクト又はその一部分の動きによって定義された特定の軌跡を備えており、これはシステム１０の少なくとも１つのセンサ１２によって検出可能である。図１０に示される実施形態では、定義されたオブジェクトは、定義された期間（Ｔ）内に曲がった軌跡１４０に沿って移動する掘削機１３０である。本実施形態では、プロセッサ１８によって実行されるオブジェクト識別技法の少なくとも１つは、該シグネチャを定義された期間（Ｔ）内における軌跡１４０に沿った掘削機１３０の運動によって定義されるものとして決定するために、訓練データ３２によって、以下を連続的に識別するように訓練される：第１の位置１４２、第１の時点（Ｔ／４）における、適切な掘削機１３０の寸法又は他の定義された公差内にあるオブジェクト；第２の位置１４４、第２の時点（２×Ｔ／４）における、適切な掘削機１３０の寸法にあるオブジェクト；第３の位置１４６、第３の時点（３×Ｔ／４）における、適切な掘削機１３０の寸法にあるオブジェクト；第４の位置１４８、第４の時点（３×Ｔ／４）における、適切な掘削機１３０の寸法にあるオブジェクト。このようにして、該技法を実行するプロセッサ１８は、定義された期間（Ｔ）内において掘削機が軌跡１４０を通過した時点を識別することができ、したがって、検出された掘削機を学習されたシグネチャを有する定義されたオブジェクトとして識別することができる。

【0138】

図１１は、定義されたオブジェクトの少なくとも一部分によって示される挙動によって定義されたシグネチャの例を示す。概して、挙動のシグネチャは、以下によって定義された複数の特定の運動軌跡を備えている：定義されたオブジェクトの動き（例えば、オブジェクトの一部分における一連の動き）；オブジェクトの異なる部分の相対的な動き；複数のオブジェクトの相対的な動き等。図１１に示す実施形態では、定義されたオブジェクトは鳥の群れ１５０であり、この群れは共通の動きを示す２羽以上の同じ鳥１５２を含み、この例では、各鳥１５２は、その視線１５４を同時に上方に向ける。このようなことは、例えば多くの場合、捕食者の鳴き声に反応して生じる。本実施形態では、プロセッサ１８によって実行されるオブジェクト識別技法の少なくとも１つは、該シグネチャを鳥の群れ１５０の共通の動きによって定義されるものとして決定するために、訓練データ３２によって、適切な鳥１５２の寸法又は他の定義された公差内にあるオブジェクトのグループ、及び、対応する部分（各鳥１５２の頭）を共通の位置１５４へと同時に向けている各オブジェクト（鳥１５２）のインスタンスを識別するように訓練される。このようにして、該技法を実行するプロセッサ１８は、鳥の群れ１５４がシグネチャ挙動を示した時点を識別することができ、したがって、検出された鳥の群れを学習されたシグネチャを有する定義されたオブジェクトとして識別することができる。

【0139】

本開示は、定義されたオブジェクトを識別するためのシステム１０及び方法について参照しているが、これらのシステム１０及び方法は、定義された危険を識別するよう容易に適合されてもよく、したがって、オブジェクト及び危険という用語は、本明細書の文脈において、適切な場合に交換可能であることが理解されよう。危険（hazard）は、リスク又は危険（danger）に関連する状況、例えば、人又は器材に対する危害／損傷のリスクのことを示すと理解されよう。そのような実施形態では、該システムは、オブジェクトの代わりにシーンのデジタル表現をキャプチャするように構成され、したがって、シーン及びオブジェクトという用語もまた、本明細書の文脈において、適切な場合に交換可能であることが理解されよう。

【0140】

例えば、危険を識別するように構成されたシステム１０の実施形態では、該危険は、人の距離閾値内に配置された任意の器材又は車両として定義されてもよい。そのような器材または車両は、人に危害を与える可能性があるためである。この実施形態では、これらの技法の少なくともいくつかは運動トラッカーとして構成され、様々な人々によって定義される様々な運動軌跡、及び様々な器材及び車両によって定義される様々な運動軌跡を識別して、器材／車両が距離閾値内にあるという結果をもたらす相対的な軌跡からシグネチャを導出するように訓練される。このことは、人と器材／車両とを包含するシーンがセンサ１２によって検出され、これらの技法を実行することにより該シーンがプロセッサ１８によって評価される場合、プロセッサ１８は、人（又は、人のように動くオブジェクト）に近接しているオブジェクトが器材であるか車両であるかに関係なく、また器材又は車両の種類に関係なく、相対的な運動軌跡に起因する危険を識別できることを意味する。

【0141】

同様に、危険を識別するように構成されたシステム１０の実施形態では、危険は床面上に配された液体として定義されてもよい。そのような液体は、該表面上で滑る人に危害を与え、又は、該表面を移動する際にグリップを失う器材に損傷を与える可能性があるためである。この実施形態では、これらの技法の少なくともいくつかは、ジオメトリスキャナ及びデータスキャナとして構成され、危険が差し迫っていることを示す指標（例えば、該表面の距離閾値内にある液体を噴霧するホース若しくは開いた液体容器のジオメトリ、又は、気象データの詳述する該表面の周辺地域における降雨可能性が、定義された閾値よりも大きい）に関連するジオメトリ及び／又はコンテキストデータを識別して、これらの指標から導出される特徴データからシグネチャを導出するように訓練される。このことは、条件に関連付けられたシーン及び／又はこれらの指標のいずれかに対応するオブジェクトを包含するシーンがセンサ１２によって検出され、これらの技法を実行することにより該シーンがプロセッサ１８によって評価される場合、プロセッサ１８、１つ以上の特定の事情の存在に起因する危険を識別できることを意味する。

【0142】

開示のシステム１０は、少なくとも２つの異なるオブジェクト識別技法（そして、しばしば３つ以上である多くの技法）を実行し、それによって少なくとも２つの尤度値のそれぞれを導出することを伴う。これらの値は、その後プロセッサ１８によって組み合わされ、それによって、センサ１２によって検出されたオブジェクト１４が定義されたオブジェクトであるかどうかをプロセッサ１８が決定することに影響を及ぼす複合尤度値を導出する。この技法は、各技法の構成が異なっており、したがって特定の動作条件において高い又はより低い精度で機能するため、有利である。２つ以上の技法を実行して出力尤度値を組み合わせることにより、種々異なる技法の不正確さが緩和され、それによって幅広い動作条件において動作可能な信頼性の高いシステムが提供される。このことは、定義されたオブジェクトに対応するオブジェクトが、システム１０によって定義されたオブジェクトであるとして、より一貫して正確に識別されることを意味する。

【0143】

プロセッサ１８によって実行される各オブジェクト識別技法は、典型的には定義されたオブジェクトを異なる方法で識別するように構成され、一方で、各技法は典型的には同じ定義されたオブジェクトによって定義された異なるシグネチャを識別するように構成される。例えば、第１の技法は、定義されたオブジェクトによって定義されたジオメトリ関係を識別するように構成されてもよく、第２の技法は、定義されたオブジェクトによって定義された１つ以上の挙動因子を識別するように構成されてもよい。このようにして、定義されたオブジェクトの異なる特性の評価に応答して、同じ定義されたオブジェクトを識別するように技法が構成される。これにより、システム１０が正確に動作できる動作条件の範囲が有利に拡張され、再びシステムの精度が高められる。例えば、オブジェクト全体がセンサによって検出可能な上述の状況では、両方の技法がうまく動作するため、高い精度が得られる。代替として、オブジェクトの一部が不明瞭な場合には、第１の技法のみがうまく動作することがあり、その際に第２の技法の精度が損なわれる可能性があり、システムを機能させることはできるが、精度は低下する。

【0144】

典型的には、少なくとも２つの異なるオブジェクト識別技法は、各技法における既知の任意の不正確さを補償するために補完的であるように構成される。この少なくとも２つの技法の選択は、様々な因子の影響を受ける可能性があり、典型的には、定義されたオブジェクトの特性、少なくとも１つのセンサ１２の構成、及び少なくとも１つのセンサ１２の動作環境のうち少なくとも１つによって影響を受ける。技法間の補完関係は、人力で、自動で、又はこれら２つのアプローチの組み合わせにより構成される。これにより、システム１０を戦略的に構成して、全体的な信頼性及び精度を高めることができる。

【0145】

プロセッサ１８により実行される各技法は、センサ１２により検出されたオブジェクト１４を評価し、それによって、オブジェクト１４により定義されるシグネチャ候補、すなわちオブジェクト１４の特性が、該技法が確立した、定義された該オブジェクトによって定義されるシグネチャに対応するかどうかの尤度を示す尤度値を導出する。該尤度値は、該シグネチャ候補を、該シグネチャに関連するデータを含むように予め決定された参照データと比較することによって導出される。該プロセスは、新しいデータ（シグネチャ候補から導出された特徴データ）をシグネチャに関連する潜在的に広範囲の参照データと比較し、それによって新しいデータ内にシグネチャが存在する確率を検証し、それによって尤度値を導出することをシステム１０に行わせることができるため、該プロセスは有用である。この方法にて導出された複数の尤度値を組み合わせ、それによって複合尤度値を導出すると、システム１０の信頼性及びその結果としての精度がさらに向上する。

【0146】

当業者によれば、上述の実施形態に対して多数の変形及び／又は修正を、本開示の広い概括的範囲から逸脱することなく行い得ることが理解されよう。したがって、本実施形態は、あらゆる点で例示的であって限定的ではないと見なされるべきである。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】