特許 7418315 対象の再特定の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】対象の再特定の方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240112BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2020180097

(22)【出願日】2020-10-28

(65)【公開番号】P2021089717

(43)【公開日】2021-06-10

【審査請求日】2023-08-09

(31)【優先権主張番号】19207906

(32)【優先日】2019-11-08

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】スキャンス， マルクス

(72)【発明者】

【氏名】コリアンダー， クリスティアン

(72)【発明者】

【氏名】ユングクヴィスト， マルティン

(72)【発明者】

【氏名】ベシャート， ウィリー

(72)【発明者】

【氏名】ダニエルソン， ニクラス

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１９－１０９７０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象とするタイプの対象の画像における対象の再特定の方法であって、
対象の再特定のための複数のニューラルネットワーク（２７）を提供すること（Ｓ１１０）であって、前記複数のニューラルネットワーク（２７）における異なるニューラルネットワークは、前記対象とするタイプに対する異なるセットの解剖学的特徴を学習している、対象の再特定のための複数のニューラルネットワーク（２７）を提供することと、
各セットの解剖学的特徴について基準ベクトルを提供することであって、当該基準ベクトルは、キーポイントベクトルによって一セットの解剖学的特徴を表し、ここで当該ベクトルにおける各位置はキーポイントを表し、各ベクトルの位置のバイナリ値は、表された前記キーポイントが前記一セットの解剖学的特徴に含まれる解剖学的特徴に対応するかどうかを示す、基準ベクトルを提供することと、
前記対象とするタイプの対象（３８）の複数の画像（４）を受け取ること（Ｓ１０２）と、
前記複数の画像（４）における前記対象とするタイプの対象（３８）を、対象検出アルゴリズムによって検出すること（Ｓ１０４）と、
検出された前記対象（３８）の解剖学的特徴を、画像分析アルゴリズムによって特定すること（Ｓ１０６）と、
前記複数の画像（４）のすべてにおいて特定された共通の一セットの解剖学的特徴を特定することと、
前記共通の一セットの解剖学的特徴を表している入力ベクトルを特定すること（Ｓ１０８）であって、前記入力ベクトルは、前記解剖学的特徴を表しているキーポイントベクトルの形態であり、ここで当該ベクトルにおける各位置はキーポイントを表し、各ベクトルの位置のバイナリ値は、表された前記キーポイントが前記共通の一セットの解剖学的特徴に含まれる解剖学的特徴に対応するかどうかを示す、入力ベクトルを特定することと、
最も類似する基準ベクトルを予め定められた条件にしたがって特定するために、前記入力ベクトルと前記基準ベクトルとを比較すること（Ｓ１１２）と、
前記複数の対象（３８）が同じ固有性を有するか否かを判定するために、前記複数の画像（４）の画像データのすべて又は一部を含む、前記複数の対象（３８）の画像データを、前記最も類似する基準ベクトルにより表される前記ニューラルネットワーク（＃１）に入力すること（Ｓ１１６）と、
を含む、方法。

【請求項2】

前記対象とするタイプは人である、請求項１に記載の方法。

【請求項3】

前記予め定められた条件は、前記入力ベクトルに等しい基準ベクトルを、前記最も類似する基準ベクトルとして特定することを規定する、請求項１または２に記載の方法。

【請求項4】

前記予め定められた条件は、前記基準ベクトルから、前記入力ベクトルとの重なりが最も大きい基準ベクトルを、前記最も類似する基準ベクトルとして特定することを規定する、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記予め定められた条件は、前記基準ベクトルから、優先リストにより規定されるように、前記入力ベクトルと重なっている解剖学的特徴の数が最も多い基準ベクトルを特定することを規定する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記入力ベクトルを、予め設定された品質条件に対して評価することと、
前記予め設定された品質条件が満たされている場合、前記入力ベクトルを比較するステップと、前記画像データを入力するステップと、を行うことと、
前記予め設定された品質条件が満たされていない場合、前記複数の画像における少なくとも１つの画像を廃棄することと、前記複数の画像に基づいて、新たな入力ベクトルを前記入力ベクトルとして特定することと、前記方法を、前記入力ベクトルを評価するステップから繰り返すことと、
をさらに含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記入力ベクトルの評価は、前記入力ベクトルと、そこから、少なくとも１つの解剖学的特徴が前記入力ベクトルにおいて表されるべきである、解剖学的特徴の予め規定されたリストとを比較することを含む、請求項６に記載の方法。

【請求項8】

前記複数の画像は、複数の時点において１つのカメラにより、同じシーンを異なる角度からカバーする複数のカメラにより、又は、異なるシーンを描く複数のカメラにより撮像される、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記複数の画像の画像データを入力することは、前記複数の画像のすべてに描かれている前記解剖学的特徴のみを表している画像データを入力することを含む、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記複数の画像を受け取るステップは、
１つ又はそれ以上のカメラにより画像（２２）を撮像することと、
所定のフレーム距離、タイムギャップ、画像鮮鋭度、描かれた対象のポーズ、解像度、領域のアスペクト比、及び平面の回転に基づいて前記複数の画像を形成するために、前記異なる画像を選択することと、
を含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

処理能力を有するデバイス上で実行されると、請求項１から１０のいずれか一項に記載の方法を行うよう構成されているコンピュータ可読プログラムコードが記録されている、非一時的コンピュータ可読記録媒体。

【請求項12】

対象の再特定を促進するビデオ処理ユニットを制御するためのコントローラであって、前記コントローラは、対象とするタイプの対象の画像における対象の再特定のための複数のニューラルネットワークへのアクセスを有し、前記複数のニューラルネットワークにおける異なるニューラルネットワークは、前記対象とするタイプに対する異なるセットの解剖学的特徴を学習しており、各セットの解剖学的特徴は、基準ベクトルにより表されており、当該基準ベクトルは、キーポイントベクトルによって一セットの解剖学的特徴を表し、ここで当該ベクトルにおける各位置はキーポイントを表し、各ベクトルの位置のバイナリ値は、表された前記キーポイントが前記一セットの解剖学的特徴に含まれる解剖学的特徴に対応するかどうかを示し、前記コントローラは、
前記対象とするタイプの対象の複数の画像を受け取るよう構成されているレシーバと、
特定コンポーネントであって、
前記複数の画像における前記対象とするタイプの対象を、対象検出アルゴリズムによって検出し、
検出された前記対象の解剖学的特徴を、画像分析アルゴリズムによって特定し、
前記複数の画像のすべてにおいて特定された共通の一セットの解剖学的特徴を特定し、
前記共通の一セットの解剖学的特徴を表している入力ベクトルを特定する
よう構成されており、前記入力ベクトルは、前記解剖学的特徴を表しているキーポイントベクトルの形態であり、ここで当該ベクトルにおける各位置はキーポイントを表し、各ベクトルの位置のバイナリ値は、表された前記キーポイントが前記共通の一セットの解剖学的特徴に含まれる解剖学的特徴に対応するかどうかを示す、特定コンポーネントと、
最も類似する基準ベクトルを予め定められた条件にしたがって特定するために、前記入力ベクトルと前記基準ベクトルとを比較するよう適合されている比較コンポーネントと、
前記複数の対象が同じ固有性を有するか否かを判定するために、前記複数の画像の画像データのすべて又は一部を含む、前記複数の対象の画像データを、前記最も類似する基準ベクトルにより表される前記ニューラルネットワークに入力するよう構成されている入力コンポーネントと、
前記複数の対象を、同じ固有性を持つものとみなすか否かについて、前記ビデオ処理ユニットを制御するよう構成されている制御コンポーネントと、
を備える、コントローラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークが援助する、対象の再特定の分野に関する。

【背景技術】

【0002】

対象の再特定の技術が広く研究されており、例えば、関連するデジタル画像において対象を特定して追跡するために使用されている。

【0003】

人は、画像における同じ固有性の対象を、たとえその対象が様々な程度で隠れたり、又は、短時間又は長時間にわたってシーンから消えたとしても、容易に認知できて関連付けられる、ということが知られている。対象の外観は、視野角によっても、時間の経過によっても、さらに変化する場合がある。しかし、対象の再特定は、コンピュータビジョンシステムにとって、対象が隠れるようなシーン、すなわち、完全に視認可能でないか、又は、シーンから完全に消え、同じシーンに、又は、別のシーンに後に現れるような場合に、特に難しい。

【0004】

例えば、１つの試みとして、対象がシーンを出てから、同じシーン、又は、別のカメラが監視する別のシーンに入ると、その追跡を再開する、ということが挙げられる。追跡することを追跡アルゴリズムが再開できない場合、その対象は新たな、別の対象として特定され、ビデオ分析のための他のアルゴリズムの邪魔をする場合がある。

【0005】

再特定における支援のために、ニューラルネットワークを使用することが提案されている。しかし、画像及びビデオにおいて対象を再特定するための、改善された方法及び装置を提供する必要がある。

【発明の概要】

【0006】

本発明は、ニューラルネットワークが支援する再特定の方法を提供することを目的とする。上述するように、再特定のためのニューラルネットワークを使用することは、潜在的な欠点を伴う。例えば、完全な身体構造の画像を学習したニューラルネットワークは、身体構造の上半身のみが視認可能なイメージフレームにおいて、その人を再特定できない場合がある。ニューラルネットワークにとって、対象を示す量が異なる画像、例えば、それらの画像のいくつかでは上半身を示し、それらの画像のいくつかでは体全体を示す画像に基づく再特定を確実に行うことが難しい、ということもまた示されている。これは、例えば、シーンを監視すること、ここでは、人々がそのシーンに入り（体全体を示し）、座り（上半身を示し）、そのシーンから出る（体全体を再度示すが、おそらくは別の角度で示す）、の場合があり得る。

【0007】

したがって、発明者達は、対象の再特定に際しての１つの欠点は、対象を示す量が異なる画像に基づいて対象を再特定することの難しさである、ということを特定している。例えば、人を対象とする際に、問題があることがわかっている。

【0008】

本発明の目的は、現在知られている、対象に対する、特に、人を対象とする際の、対象の再特定方法でのこの欠点及び他の欠点をなくす、又は、少なくとも減らすことである。

【0009】

第１の態様によると、対象の画像における対象の再特定の方法により、これら及び他の目的が、完全に、又は、少なくとも部分的に、達成される。この方法は、
対象の再特定のための複数のニューラルネットワークを提供することであって、複数のニューラルネットワークのそれぞれは、異なるセットの解剖学的特徴を持つ画像データを学習しており、各セットが基準ベクトルにより表される、対象の再特定のための複数のニューラルネットワークを提供することと、
対象の複数の画像と、それら複数の画像のすべてに描かれている解剖学的特徴を表している入力ベクトルと、を受け取ることと、
入力ベクトルと、最も類似する基準ベクトルを予め定められた条件にしたがって特定するための基準ベクトルと、を比較することと、
複数の対象の画像データを、それら複数の対象が同じ固有性を有するか否かを判定するための最も類似する基準ベクトルにより表されるニューラルネットワークに入力することと、
を含む。同じ固有性とは、複数の画像に撮像された複数の対象が、実際に複数回にわたって撮像されている同じ対象であることを意味する。

【0010】

本発明は、対象の再特定を学習した既知のニューラルネットワークは、入力された画像データが、視認可能な程度が異なる対象を含む場合に、良好に機能することが難しいことがあり得る、ということの認識に基づく。換言すると、入力データの対象が、入力された画像データの画像において多かれ少なかれ隠れている場合に、再特定できないことが多い。発明者達は、描かれている対象の量に対して均一の基準データを、異なるニューラルネットワークに学習させるソリューションに至った。換言すると、異なるニューラルネットワークは、対象とするタイプに対する異なるセットの解剖学的特徴を学習している。それに基づいて再特定が行われる画像データによって、好適なニューラルネットワークが選択される。具体的には、ニューラルネットワークは、所定の条件を満たす１セットの解剖学的特徴を持つデータを学習しており、そのニューラルネットワークが選択される。所定の条件は、比較するベクトルが有する類似性の程度を規定する、１つのタイプの類似性についての条件である。ニューラルネットワークの選択の前に、画像データに対する入力ベクトルが特定される。入力ベクトルは、画像データのすべての画像に描かれている解剖学的特徴を表す。この入力ベクトルは、ニューラルネットワークの基準ベクトルと比較される。ここでは、各基準ベクトルは、その対応するニューラルネットワークに対する基準データの解剖学的特徴を表す。このソリューションを、予備工程として、画像データを、再特定のためのニューラルネットワークに入力することに加えることより、例えば、描かれていない対象部分を予測するための複雑なアルゴリズムを必要とすることなく、再特定の成果が改善される。この発明に関するソリューションは、複数の画像のすべてに描かれている解剖学的特徴を特定するための既知のアルゴリズムを使用しての、及び、再特定のための既知のニューラルネットワーク構造を参照しての実装について、相対的に複雑でない。

【0011】

対象は、画像分析により再特定できるタイプのものである。これは、対象とするタイプの個人又は個々のグループが、外観に基づいて互いに分別できる、ということを意味する。対象とするタイプの各個人は、その対象とするタイプの他の個人のすべてに対して一意的に特定可能である必要はない。この発明に関する方法が有益となるには、個人の数人又は個々のグループのいくつかの間に差があればよい。

【0012】

対象とするタイプは人であってよい。そのような実施形態では、この方法は、人を対象とする際の再特定に向けられる。対象とするタイプの他の限定しない例としては、車両、動物、荷物などの物体（例えば、スーツケース、バックパック、ハンドバッグ、及び他のタイプのバッグ）、及び小包（手紙を含む）が挙げられる。この方法は、建物及び地理的ランドマークなどの大きな物体が、先に規定するように、画像分析により再特定できる限り、それらの再特定を行うことにも拡張できる。

【0013】

解剖学的特徴とは、本出願のコンテキストの範囲内において、対象の、異なる固有の部分を意味する。人体については、解剖学的特徴とは、例えば、鼻、眼、肘、首、膝、足、肩、及び手を含む。１つの部分は、異なる対象間において、異なる外観を有することができる。例えば、足は、靴を履いていたりいなかったりする場合があり、また、靴を履いていてもその見た目が異なる場合があるなど、外観が異なる場合があるが、依然として、同じ解剖学的特徴とみなされる。車両については、解剖学的特徴とは、例えば、窓枠、ホイール、テールライト、サイドミラー、及びサンルーフを含む。固有の部分とは、解剖学的特徴が互いに重ならないことを意味する。例えば、人体の腕は、肩、上腕、肘、前腕、手首、及び手の甲などの、異なる固有の解剖学的特徴を含む。解剖学的特徴は、対象における異なる身体的ポイントに対応するものと見られる場合がある。ここでは、解剖学的特徴は、各ポイント周囲の対象部分の単位に表される。

【0014】

入力ベクトル／基準ベクトルとは、解剖学的特徴を表す入力値／基準値に対するベクトルを表すものを意味する。解剖学的特徴がどのように特定され、したがって、キーポイントなどによりどのように表されるかによって、入力ベクトル／基準ベクトルは、異なる形態を有する場合がある。この表すものは、したがって、実装が違えば異なる場合がある。これは、当業者が予備知識に基づいて扱うことができる、既知の事実である。一例として、入力ベクトル／基準ベクトルは、数値を持つ一次元ベクトルの形態を有する場合がある。入力ベクトル／基準ベクトルは、二進値を持つベクトルであってよい。ここでは、ベクトルにおける各位置は、解剖学的特徴を表す。例えば、ベクトルにおける特定の位置での１は、対応する解剖学的特徴が検出されたこと／視認可能であることを示す場合がある。０は、対応する解剖学的特徴が検出されていないこと／視認可能でないことを示す場合がある。

【0015】

入力ベクトルは、人を対象とする際のキーポイントを表しているキーポイントベクトル、エッジベクトル（対象のエッジを表している）、又は輪郭ベクトル（対象の輪郭を表している）であってよい。キーポイントは、画像データにおける対象検出及びその取り扱いでの使用によく知られている。対象のキーポイントは、ニューラルネットワークの使用により見ることができる。キーポイントは、解剖学的特徴を表してよい。

【0016】

対象のエッジ又は輪郭は、画像データにおいて対象を表す代替方法を提供する。所与の画像データにおいて描かれた、対象のエッジ又は輪郭をどのように特定するかは、例えば、ソーベル（Ｓｏｂｅｌ）、プルウィット（Ｐｒｅｗｉｔｔ）、及びラプラシアン（Ｌａｐｌａｃｉａｎ）として知られる方法がよく知られている。エッジ及び輪郭は、そのような目的に設計されて、それらについて学習したニューラルネットワークを使用することにより特定されてよい。エッジ又は輪郭からは、解剖学的特徴が特定されてよい。

【0017】

予め定められた条件は、入力ベクトルに等しい基準ベクトルを、最も類似する基準ベクトルとして特定することを規定してよい。換言すると、最も類似する基準ベクトルとは、この実施形態において、入力ベクトルに等しい基準ベクトルである。その基準ベクトルに関連付けられた、対応するニューラルネットワークが、続いて、再特定に使用されるべきである。選択されたニューラルネットワークは、この実施形態において、入力された画像データにおける（すなわち、複数の画像における）画像のすべてが含む同じ解剖学的特徴を含む画像を学習している。

【0018】

予め定められた条件は、基準ベクトルから、入力ベクトルとの重なりが最も大きい基準ベクトルを、最も類似する基準ベクトルとして特定することを規定してよい。そのような基準ベクトルに対応するニューラルネットワークは、そのすべてが、複数の画像において表されている解剖学的特徴を持つ画像データを学習している。この実施形態は、先に開示する実施形態に対する第２のオプションを形成できる。つまり、この方法はまず、入力ベクトルに等しい基準ベクトルを見つけようとし、これがなければ、学習しているベクトルとの重なりが最も大きい基準ベクトルを選択する。他の条件、例えば、入力ベクトルが、後に開示するような特定の品質条件を満たす必要があること、が同様に含まれてよい。

【0019】

類似性についての条件（重なり量が等しい、又は、同じ重なり量を有する）を満たす、１つを超える基準ベクトルがある場合、予め定められた条件は、さらなる選択基準を含んでよい。例えば、入力ベクトルにより表されるいくつかの解剖学的特徴は、再特定において、他より大きな影響を有してよい。１つ又はそれ以上の重要な解剖学的特徴を表す基準ベクトルが続いて、他の基準ベクトルの前に選択される。別の例では、入力ベクトルと、選択基準の他の基準を満たす、基準ベクトル中の１つの基準ベクトルと、の間における最大のマッチングサブセットを選択する。

【0020】

予め定められた条件は、基準ベクトルから、優先リストにより規定されるように、入力ベクトルと重なっている解剖学的特徴の数が最も多い基準ベクトルを特定することを規定してよい。換言すると、入力ベクトルは、優先リストに含まれる１グループの解剖学的特徴と最も重なる基準ベクトルを見つけるために、基準ベクトルと比較される。優先リストは予め定められており、確実な再特定の可能性が高くなることが知られている解剖学的特徴を列挙してよい。そのような解剖学的特徴は、眼、鼻、口、肩などを含んでよい。優先リストは、異なるアプリケーション毎に異なってよく、ニューラルネットワークの構成との、又は、ニューラルネットワークの成果のフィードバックとの相関関係があってよい。例えば、ニューラルネットワークが、肩に対する画像データを含む画像において特に良好に機能することが特定される場合、この解剖学的特徴が優先リストに加えられる。フィードバックに基づく、優先リストの動的なアップデートがしたがって、達成されてよい。

【0021】

この方法は、
入力ベクトルを、予め設定された品質条件に対して評価することと、
予め設定された品質条件が満たされている場合、入力ベクトルを比較することと、画像データを入力することと、を行うことと、
予め設定された品質条件が満たされていない場合、複数の画像における少なくとも１つの画像を廃棄することと、複数の画像に基づいて、新たな入力ベクトルを入力ベクトルとして特定することと、この方法を、入力ベクトルを評価することから繰り返すことと、
をさらに含む。

【0022】

この実施形態は、この方法に品質保証を加える。再特定のための好適なニューラルネットワークが選ばれる、この提案する方法であっても、入力データの品質が低ければ、ニューラルネットワークの成果を低くし得る。入力データが一定の品質を有することを保証することにより、最低限の成果レベルが維持される。予め設定された品質条件は、例えば、最小ベクトルサイズであってよい。

【0023】

入力ベクトルの、予め設定された品質条件に対しての評価は、入力ベクトルを、そこから、少なくとも１つの解剖学的特徴が入力ベクトルにおいて表されるべきである、解剖学的特徴の予め規定されたリストと比較する行為を含んでよい。

【0024】

この条件が満たされない場合、この方法は、複数の画像の１つ又はそれ以上を廃棄して、この方法を、少なくなったこれら複数の画像に基づいて繰り返す行為をさらに含んでよい。廃棄される画像は、それらの内容に基づいて選択されてよい。例えば、予め規定されたリストにおける解剖学的特徴のいずれも含まない画像が廃棄されてよい。この廃棄することは、この方法を迅速にするために、入力ベクトルの評価の前に行われてよい。

【0025】

複数の画像は、複数の時点において、１つのカメラにより撮像されてよい。複数の画像はしたがって、シーンを描くイメージシーケンスを形成する。別の実施形態では、複数の画像は、同じシーンを異なる角度からカバーする複数のカメラにより撮像されてよい。複数の画像はしたがって、複数のイメージシーケンスを形成する。さらに別の実施形態では、複数の画像は、複数のイメージシーケンスをももたらす、異なるシーンを描く複数のカメラにより撮像されてよい。

【0026】

再特定は、それらのシナリオのそれぞれにおいて行うことに好適であってよい。しかし、再特定の目的及びアプリケーションは異なってよい。再特定は、例えば、異なるシーンではなく、単一のシーンの監視においてより一般的に適用される対象追跡アルゴリズムを援助してよい。再特定の目的は、そのような実施形態において、人が隠れた後に、その人を追跡することを再開することを容易にすることである。

【0027】

別のシナリオでは、カメラは、同じシーンを異なる角度から監視する。複数の画像が、同じ時点に撮像されてよい。再特定の目的は、別々のカメラにより撮像された、同じ対象を含む画像をつなぐことであり得る。

【0028】

カメラによりそれぞれが監視されるシーンが異なるシナリオでは、複数の画像は、別々のカメラから収集されてよい。再特定の目的は、そのようなシナリオにおいて、人が１つのシーンから立ち去り、潜在的に数分後、数時間後、又は、さらには数日後に、別のシーンに現れる、長期間にわたる追跡であってよい。シーンは、例えば、都市の異なる地区であってよい。再特定の目的は、指名手配中の人又は車両を追跡するためであってよい。

【0029】

複数の画像の画像データを入力することは、複数の画像のすべてに描かれている解剖学的特徴のみを表している画像データを入力することを含んでよい。この方法は、この実施形態において、画像データを、選択されたニューラルネットワークに入力することの前に、複数の画像の画像データを、複数の画像のすべてに描かれている解剖学的特徴に基づいてフィルタする行為を含んでよい。

【0030】

この方法は、複数の画像を受け取ることの一部として、
１つ又はそれ以上のカメラにより、複数の画像を撮像することと、
複数の画像のすべてに描かれている解剖学的特徴を特定することと、
特定された解剖学的特徴を表している入力ベクトルを特定することと、
をさらに含んでよい。

【0031】

換言すると、この方法は、複数の画像を形成する初期プロセスを含んでよい。複数の画像は、この実施形態にしたがって、この方法の主要部（すなわち、入力ベクトルと、ニューラルネットワークを特定するための基準ベクトルと、の比較）を行うものではない、別のプロセッサにより用意されてよい。代替的に、この用意は、同じ処理ユニット内で行われてよい。初期プロセスの、入力ベクトル及び複数の画像である成果は、内部的に送信されてよいし、又は、後続の方法手順を行う処理ユニットに送信されてよい。

【0032】

この方法における、複数の画像を受け取ることは、
１つ又はそれ以上のカメラにより画像を撮像することと、
所定のフレーム距離、タイムギャップ（所要時間の差）、画像鮮鋭度（image sharpness）、描かれた対象のポーズ、解像度、領域のアスペクト比、及び平面の回転に基づいて複数の画像を形成するために、異なる画像を選択することと、
を含んでよい。

【0033】

換言すると、再特定のための好適な候補である画像は、好適なニューラルネットワークを特定するこの主な方法の初期ステップとして、除去されてよい。フィルタすることの目的は、同じ対象を有する可能性が高い画像、及び／又は、この方法を良好に行うことができる画像を選択するためであってよい。

【0034】

第２の態様によると、処理能力を有するデバイス上で実行されると、上記に開示する方法のいずれか１つの方法を行うよう構成されているコンピュータ可読プログラムコードが記録された、非一時的コンピュータ可読記録媒体により、上記及び他の目的が、完全に、又は、少なくとも部分的に、達成される。

【0035】

第２の態様によると、対象の再特定を促進するビデオ処理ユニットを制御するためのコントローラにより、上記及び他の目的は、完全に、又は、少なくとも部分的に、達成される。コントローラは、対象の再特定のための複数のニューラルネットワークへのアクセスを有する。複数のニューラルネットワークのそれぞれは、異なるセットの解剖学的特徴を持つ画像データを学習している。各セットが、基準ベクトルにより表される。コントローラは、
人を対象とする際の複数の画像と、それら複数の画像のすべてに描かれている解剖学的特徴を表している入力ベクトルと、を受け取るよう構成されているレシーバと、
入力ベクトルと、最も類似する基準ベクトルを予め定められた条件にしたがって特定するための基準ベクトルと、を比較するよう適合されている比較コンポーネントと、
複数の対象の画像データを、複数の人を対象とする際に、それら複数の人が同じ固有性を有するか否かを判定するための最も類似する基準ベクトルにより表されるニューラルネットワークに入力するよう構成されている判定コンポーネントと、
複数の対象を、同じ固有性を持つものとみなすか否かについて、ビデオ処理ユニットを制御するよう構成されている制御コンポーネントと、
を含む。

【0036】

第３の態様の画像処理ユニットは一般的に、第１の態様の方法と同じ方法において、付随する利点と共に、具現化され得る。

【0037】

本発明の適用性のさらなる範囲が、以下の詳細説明より明らかとなるであろう。しかし、本発明の好適な実施形態を示す一方で、詳細説明及び具体例は、説明のみの目的に提供されていることが理解されるべきである。なぜなら、本発明の範囲内での種々の変更及び改修が、本詳細説明から当業者に明らかとなるからである。

【0038】

したがって、本発明は、記載するデバイスの特定の構成部品、又は、記載する方法の特定のステップに限定されず、そのようなデバイス及び方法は異なる場合があることが理解されよう。ここに使用する用語は、特定の実施形態を説明することのみを目的としており、限定を意図していないこともまた理解されよう。なお、本明細書及び添付の特許請求の範囲に使用されるように、不定冠詞「ａ」及び「ａｎ」、定冠詞「ｔｈｅ」、及び「ｓａｉｄ」は、他の例が文脈により明確に決定づけられない限り、要素が１つ又はそれ以上あることを意味するよう意図していることに注意されたい。したがって、例えば、「あるオブジェクト（ａｎ ｏｂｊｅｃｔ）」又は「そのオブジェクト（ｔｈｅ ｏｂｊｅｃｔ）」が引用される場合、これは、いくつかのオブジェクトなどを含んでよい。さらに、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素又はステップを排除しない。

【0039】

本発明を、例示のために、そして、添付の概略図面を参照して、以下にさらに詳細に説明する。

【図面の簡単な説明】

【0040】

【図1】図１は、対象の再特定の方法の各種の実施形態を示すフローチャートを示す。

【図2】図２は、この方法の一般的な概要を提供する。

【図3】図３は、イメージシーケンスを示す。

【図4】図４は、図３のイメージシーケンスから選択された複数の画像を示す。

【図5】図５は、あるシーンからの、異なる角度から撮像された１対の画像を示す。

【図6】図６は、異なるイメージシーケンスから選択された複数の画像を示す。

【発明を実施するための形態】

【0041】

この方法の概要をまず、図１及び図２を参照して開示する。ここでは、図１の選択されたステップを参照する。他のステップは後に開示する。この方法の目的は、１つ又はそれ以上のカメラにより撮像された画像に基づいて、対象を再特定することである。前述するように、再特定の目的は、アプリケーション毎に異なってよい。

【0042】

これにより、この方法は、少なくとも１つのカメラ２０により、画像２２を撮像するステップＳ１０２を含む。カメラ２０は、シーン２１を監視する。この実施形態では、人間の形態での対象がシーンに存在し、カメラ２０により撮像されている。画像２２は、カメラ２０内に配置されてよい、又は、別個のユニットとして、カメラ２０と有線又は無線接続されている処理ユニット２３により処理される。処理ユニット２３は、対象検出器２４により、画像２２における対象を検出Ｓ１０４する。これは、よく知られている対象検出アルゴリズムにより行われてよい。アルゴリズムは、人を対象とする際など、特定のタイプの対象を検出するよう構成されていてよい。

【0043】

画像２２から複数の画像を選択するステップＳ１０５が、続いて行われてよい。代替的に、ステップＳ１０５は、画像２２における対象を検出するステップＳ１０４の前に行われてよい。選択のステップＳ１０５の詳細は、後に開示する。

【0044】

複数の画像に基づいて、処理ユニット２３により、より正確には、特徴抽出器２６により、解剖学的特徴が特定される。解剖学的特徴の特定は、よく知られている画像分析アルゴリズムを実行することにより行われてよい。例えば、「オープンポーズ（ＯｐｅｎＰｏｓｅ）」（「オープンポーズ：リアルタイムでの、部分類似フィールドを使用しての、複数人の二次元ポーズ予測（ＯｐｅｎＰｏｓｅ：Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ－Ｐｅｒｓｏｎ ２Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ）」において、Ｃａｏら、により開示される）と呼ばれるシステムが使用されてよい。ＯｐｅｎＰｏｓｅは、単一の画像において身体及び手のキーポイントを検出できるリアルタイムシステムである。

【0045】

どの画像分析技術が適用されるかにより、特定された解剖学的特徴は、異なって表されてよい。表すものの例としては、（例えば、キーポイントベクトルの形態での）キーポイントによるもの、（例えば、エッジベクトルの形態での）エッジによるもの、又は、（例えば、輪郭ベクトルの形態での）輪郭によるもの、が挙げられる。

【0046】

次に、処理ユニット２３は、複数の画像、及び／又は、特定された解剖学的特徴を表すものを分析し、複数の画像のすべてにおいて表されている解剖学的特徴を表す入力ベクトルを特定Ｓ１０８する。

【0047】

任意のステップである、入力ベクトルを評価Ｓ１０９することと、１つ又はそれ以上の画像を廃棄Ｓ１１１することと、を、後に詳細に開示する。

【0048】

この発明に関するコンセプトの主要部について説明する。入力ベクトルは、特定された後に、ニューラルネットワーク＃１、＃２、＃４、＃３、及び＃５のグループ２９を学習している学習データを表す基準ベクトルに対して比較Ｓ１１２される。ニューラルネットワークが、処理ユニット２３に提供Ｓ１１０される。これは、処理ユニット２３による使用にこれらが利用可能であることを意味する。これらは、別個のニューラルネットワークの形態、又は、ニューラルネットワークアーキテクチャにおける異なる接続又はパスにより、異なるニューラルネットワークが形成される、単一のニューラルネットワークアーキテクチャ２７に含まれるニューラルネットワークの形態であってよい。ニューラルネットワークは、（異なる基準ベクトルにより表される）異なる学習データを学習している。基準ベクトルは、それが入力ベクトルと比較され得るようなフォーマットにおいて提供される。例えば、入力ベクトル及び基準ベクトルの双方は、キーポイントベクトルの形態であってよい。代替的に、入力ベクトルは、キーポイントベクトルであってよく、基準ベクトルは、対象ランドマークベクトル、又は、キーポイントベクトルフォーマットへの変換が前方に行われてよいスケルトン画像であってよい。

【0049】

比較Ｓ１１２は、処理ユニット２３の比較器２８により行われる。比較Ｓ１１２の目的は、入力ベクトルに最も類似する基準ベクトルを見つけることである。類似性の意味は、予め定められた条件により規定される。そのような条件の例を、後に詳細に開示する。比較の結果に基づいて、１つのニューラルネットワーク（ここに示す例では＃１）が選択される。したがって、入力ベクトルにより表される解剖学的特徴に最も類似する解剖学的特徴を持つ画像データを学習しているニューラルネットワークが選択される。複数の画像からの画像データのすべて又は選択された一部が、選択されたニューラルネットワーク（＃１）に入力Ｓ１１６される。

【0050】

選択されたニューラルネットワークからの結果が、処理ユニット２３により受け取られるＳ１１８。他の実施形態では、再特定の結果は、別個の制御ユニットなどの他のユニットに送信されてよい。処理ユニット２３は、代替的に、制御ユニット又はコントローラ（図示せず）の一部を形成してよい。

【0051】

しかし、この例において、処理ユニット２３は、ニューラルネットワーク（＃１）からの成果を受け取るＳ１１８。本質的に、この結果は、複数の画像の対象が同じ固有性を有するか否かについての情報を提供する。処理ユニット２３はこの情報を、カメラ２０を制御するために使用する。この情報は、例えば、対象が隠れた後に、その対象の追跡を続けるために、カメラ２０により使用されてよい。

【0052】

１つの実施形態では、この方法は、各検出された対象に対するポーズを特定することをさらに含む。このポーズは、例えば、人を対象とする際に、キーポイントなどの解剖学的特徴に基づいて特定されてよい。特定されたポーズは、入力ベクトルに含まれてよい。そのような実施形態では、基準ベクトルは、ネットワークが学習した画像データにおける対象のポーズに対応するポーズデータをさらに含む。この特徴は、現在の入力ベクトルに対して好適な、再特定のためのニューラルネットワークを選ぶことをさらに支援してよい。

【0053】

処理ユニット２３の各機能は、ハードウェア、ソフトウェア、又はそれらの組み合わせとして実装されてよい。

【0054】

ハードウェアの実装では、処理ユニットのコンポーネント（例えば、対象検出器２４、特徴抽出器２６、及び比較器２８）は、それらの部位の機能を提供する専用の、具体的に設計された回路に相当してよい。この回路は、１つ又はそれ以上の特定用途向け集積回路、若しくは、１つ又はそれ以上のフィールドプログラマブルゲートアレイなどの、１つ又はそれ以上の集積回路の形態であってよい。

【0055】

ソフトウェアの実装では、回路はその代わりに、不揮発性メモリなどの、（非一時的）コンピュータ可読媒体上に保存されたコンピュータコード命令と関連して、処理ユニット２３に、ここに開示するいずれの方法（の一部）を実施させるマイクロプロセッサなどの、プロセッサの形態であってよい。不揮発性メモリの例として、読み取り専用メモリ、フラッシュメモリ、強誘電性ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ又はＲＡＭ）、磁気コンピュータストレージデバイス、光学ディスク、などが挙げられる。ソフトウェアの場合では、処理ユニット２３のコンポーネントのそれぞれはしたがって、プロセッサにより実行されると、処理ユニット２３に、コンポーネントの機能を実施させる、コンピュータ可読媒体上に保存されたコンピュータコード命令の部位に相当してよい。

【0056】

ハードウェアの実装及びソフトウェアの実装の組み合わせもまた可能であるということが理解されるであろう。これは、処理ユニット２３におけるコンポーネントのいくつかの機能がハードウェアで実装され、その他がソフトウェアで実装されるということを意味する。

【0057】

ここで、この方法を、図３及び図４をさらに参照して、より詳細に開示する。図３は、シーンを監視する単一の監視カメラにより撮像されたイメージシーケンスを示す。イメージシーケンスは、デジタル画像３１から３６を含み、これらは時系列順に整理されている。イメージシーケンスは、一連のイベントを画像化している。ここでは、道路３９上の横断歩道を人３８が渡ろうとしているが、トラック３７が道を譲ることを無視したので、人３８は道路３９を渡る前に急いで横に逃げなければならず、（言うまでもなく）怒っている。トラック３７が人３８のそばを通る際には、カメラの角度から見られるように、後者はトラック３７に隠れることとなる。人３８を追跡しようと試みる追跡アルゴリズムは、人３８が隠れた後には、人３８を追跡し続けることができない可能性がある。その代わりに、人３８が隠れた後には、人３８は、新たな固有性を持つ新たな対象として検出される。再特定は、この欠点を軽減することを援助し得る。

【0058】

この方法によると、図４に示す複数の画像４は、図３のイメージシーケンスから選択Ｓ１０５されており、すなわち、画像３１、３２、及び３４である。これらの画像３１、３２、及び３４は、異なる選択基準に基づいて選択されてよい。例えば、１つ又はそれ以上の対象を描く画像が選択されてよい。複数の画像を形成する画像グループにおいて、どの画像を選択するかについての選択基準の、他の限定しない例としては、次が挙げられる：
所定のフレーム距離、例えば、９０フレーム毎。
タイムギャップ、例えば、５秒毎。
画像鮮鋭度、これは、各画像に対する鮮鋭度を特定することと、鮮鋭度が最良の画像を選択することと、により特定され得る。鮮鋭度は、画像全体に対して、又は、画像の、例えば、対象が配置される、若しくは、配置される可能性が高い選択されたエリアに対して、特定されてよい。
検出された対象のポーズ、これは、検出された対象のキーポイント、エッジ、又は輪郭を見ることにより特定され得る。特定のポーズを有する、又は、同様のポーズを有する対象を持つ画像が選択されてよい。
解像度、これは、画像全体に対して、又は、選択された領域に対して特定され得る。解像度が最良の画像が選択される。
対象領域のアスペクト比、ここでは、領域は、境界ボックスに対応してよい。アスペクト比は、対象のサイズについての情報を提供する。アプリケーションが違う場合には、別のアスペクト比が好適であってよい。

【0059】

次に、複数の画像４について対象検出が行われる。この例では、画像３１、３２、及び３４のそれぞれにおいて、１つの対象が検出される。この方法の目的は、これらの対象が、同じ固有性を有するか否かを判定することである。複数の画像において検出された対象に対して、共通のセットの解剖学的特徴、すなわち、複数の画像４のすべてに描かれている解剖学的特徴が特定される。共通のセットの解剖学的特徴は、キーポイントを特定することにより特定されてよく、これは、入力ベクトルにより表される。上に開示するように、入力ベクトルが続いて、複数の画像４において検出された対象の再特定に使用されてよい、利用可能なニューラルネットワークと関連付けられている基準ベクトルと比較Ｓ１１２される。

【0060】

先の開示にしたがって、好適なニューラルネットワークが選択Ｓ１１４された後に、複数の画像４からの画像データが、選択されたニューラルネットワークに入力される。１つの実施形態では、複数の画像４のすべてに描かれている解剖学的特徴のみを表す画像データが入力される。換言すると、複数の画像４のすべてに描かれていない解剖学的特徴を表す複数の画像４の画像データは、ニューラルネットワークに入力されない。画像データのそのような選択を達成するための１つの方法は、画像３１、３２、及び３４を、画像のすべてのそれらの解剖学的特徴を含み、他の解剖学的特徴のすべてを含まない、画像エリア４１、４２、及び４４に切り取ることである。切り取り４１、４２、及び４４は、処理のために、選択されたニューラルネットワークに入力される。

【0061】

複数の画像４を、解剖学的特徴に基づいて分析することと、複数の画像４の解剖学的特徴にマッチする画像データを学習しているニューラルネットワークを選択することと、のこの方法により、複数の画像４において、同じ固有性を有するものとして、人３８を確実に再特定する可能性が高くなる。

【0062】

別の実施形態に進む。この方法のさらなるステップは、入力ベクトルを基準ベクトルと比較Ｓ１１２することの前に、入力ベクトルを評価Ｓ１０９することである。これは、入力ベクトルの品質保証のようなもので、確実な再特定の最低レベルを維持することを目的とする。この目的は、複数の画像４の、ニューラルネットワークからの結果が不十分ととなり得る画像を除去することである。評価は、入力ベクトルを、予め設定された品質条件に対して評価することを含んでよい。予め設定された品質条件は、入力ベクトルが、解剖学的特徴の予め規定されたリストにおける少なくとも１つを表す必要があることを規定してよい。予め規定されたリストの内容は、提供されたニューラルネットワーク、具体的には、それらが学習した基準データがどれか、に依存してよい。例えば、利用可能なニューラルネットワークが、肩、上腕、肘、前腕、及び手の甲である、異なるセットの解剖学的特徴を有する基準データを学習している場合は、入力ベクトルは、複数の画像が、再特定での使用に値するよう、肘及び手の解剖学的特徴の１つを表さなければならない場合がある。

【0063】

予め設定された品質条件が満たされる場合、この方法は、ステップＳ１１２において、入力ベクトルを基準ベクトルと比較することにより、継続する。予め設定された品質条件が満たされない場合、この方法は、複数の画像４から、１つ又はそれ以上の画像を廃棄するステップＳ１１１を含んでよい。

【0064】

品質条件の第１の例は、入力ベクトルが、最低量の解剖学的特徴を有すべきことである。

【0065】

品質条件の第２の例は、入力ベクトルが、予め規定されたリストからの所定の数の解剖学的特徴を有すべきことである。予め規定されたリストは、ニューラルネットワークが学習している解剖学的特徴と関連してよく、これにより、そのニューラルネットワークが十分に学習していない解剖学的特徴を持つ複数の画像を処理することを回避する。

【0066】

品質条件の第３の例は、入力ベクトルの解剖学的特徴から計算されたポーズが、特定の条件を満たすべきであることである。例えば、ポーズは、（人を対象とする際の）解剖学的特徴に対する、関連付けられた身体部分の通常のポーズに対応すべきである。この品質条件の目的は、画像においてこの方法を行うことの、入力ベクトルにおける解剖学的特徴が誤って予測される／特定されるリスクを下げることである。

【0067】

１つ又はそれ以上の画像を廃棄Ｓ１１１することは、廃棄する１つの画像又は複数の画像を選択することを含んでよい。この選択は、画像の解剖学的特徴に基づいてよい。例えば、第１の画像が、複数の画像４の他の画像のすべてにある解剖学的特徴の１つ又はそれ以上を欠いている場合は、この第１の画像は廃棄されてよい。ここに示す例では、第１の画像は、画像３１及び３２には描かれている第２の眼の解剖学的特徴を欠いている画像３４であってよい。画像３４はしたがって廃棄されてよく、この方法は、今ではアップデートされた、複数の画像４の画像３１及び３２のみに基づいて、解剖学的特徴を特定するステップＳ１０６から再開してよい。

【0068】

ここに示して言及したイメージシーケンス及び複数の画像は、簡略化した例として提供され、この発明に関するコンセプトを容易に理解するために適合されていることに注意すべきである。実際には、イメージシーケンス及び複数の画像は、もっと多くの画像を含む。典型的には、１つ又はそれ以上の画像において検出される対象は１つを超える。この方法は、この方法を行う、複数の画像における１つの画像に対して、対象を１つ選択することを含んでよい。さらに、この方法は、複数の画像における１つの画像の対象の１つと、それら複数の画像の他の画像における対象のそれぞれと、を比較するよう適合されてよい。

【0069】

図５は、前述の同じシーンを監視する別々のカメラにより撮像された第１の画像５１及び第２の画像５２を含む複数の画像５の一例を示す。ここでは、トラック３７が走っている道路３９を、人３８が渡ろうとしている。この方法は、この例において、画像５１及び５２に描かれている対象３８が、同じ固有性を有するか否かを評価する目的を満たし得る。画像５１及び５２は、同じ時点に撮像されてよい。

【0070】

図６は、異なるシーンを監視する別々のカメラにより撮像された複数の画像６を示す。上の３つの画像６１、６２、及び６３は第１のイメージシーケンスを形成し、図３からの画像の選択に対応する。下の３つの画像６４、６５、及び６６は第２のイメージシーケンスを形成し、２つの異なる対象３８及び６８を描く。もちろん、この方法では、画像の対象が同じ固有性を有する、例えば、画像６４の対象６８が、画像６３の対象３８での同じ人であるか、ということを事前にはわかっていない。この問題を解消することは、この方法の実際の目的である。

【0071】

この方法によると、対象３８及び６８は、複数の画像６において検出される。複数の画像は、この実施形態において、時間距離に基づくイメージシーケンスから選択されている。すなわち、複数の画像６の各イメージシーケンスにおける画像のそれぞれの間には、所定のタイムギャップがある。この方法は、選択された複数の画像６を評価することと、対象が検出されなかった画像を廃棄することと、をさらに含んでよい。この例では、画像６２が廃棄される。対象３８及び６８が、今では複数の画像６を形成している、残りの画像６１、６３、６４、６５、及び６６から検出される。上述するように、この方法は、再特定の目的のために、他の画像の対象と比較される、画像の対象を選択することをさらに含んでよい。画像６１の対象３８は、画像６４の対象６８、画像６５の対象３８、及び画像６６の対象６８と比較されるために選択されてよい。この方法は、画像６１、６４、６５、及び６６のグループに同時に行われてよく、任意に、それが好適であれば、１つ又はそれ以上の画像を廃棄Ｓ１１１してよい。又は、この方法は、画像６１、６４、６５、及び６６のグループの各画像ペアに行われてよい。例えば、まず、画像ペア６１及び６４について、画像６１の対象３８及び画像６４の対象６８に注目する。この再特定は、良好な結果とならない可能性がある、すなわち、画像６１における対象３８は、画像６４の対象６８と同じ固有性を有しない。次に、画像６１及び画像６５の双方の対象３８に注目して、画像６１と、画像６５と、が比較されてよい。この再特定は、良好な結果となる可能性がある。すなわち、画像６１における対象３８は、画像６５の対象３８と同じ固有性を有する。代替的に、画像６１は再度、今では、画像６４における対象３８に注目する代わりに（対象６８の代わりに）、画像６４と比較されてよい。この再特定は、良好な成果となる可能性がある。

【0072】

換言すると、この方法は繰り返し行われてよく、複数の画像が、各繰り返し中、又は、その前にアップデートされる。再特定の目的により、異なる数の画像が、１回の繰り返しにおいて処理される。画像の数、及び、再特定が有する目的が何か、に関わらず、この方法は、再特定タスクを、対象を描く複数の画像に基づいて行うために、異なるセットの解剖学的特徴を学習した複数のネットワークから１つのニューラルネットワークを選択する、この発明に関するコンセプトに依存する。例示するように、本発明は、ここに示す実施形態に限定されず、本発明の範囲内で、種々の変更例及びバリエーションが考えられることに留意されたい。

【0073】

本発明のさらなる理解を支援するために、特許請求の範囲に記載する方法のサマリ及び明確な例が以下に続く。本発明の目的は、対象の再特定の本方法に伴う欠点を減らす、すなわち、対象に対する、異なる数の解剖学的特徴を示す画像に基づいて、対象を再特定する難しさを軽減することである。例えば、いくつかの画像は、体全体を対象として描き、他の画像は、上半身のみを対象として描く。この欠点は、発明者達により特定されており、人を対象とする際などに存在する。発明者達は、各ネットワークが、対象クラスの対象に対する、異なる構成の解剖学的特徴を学習している、対象の再特定のためのいくつかのニューラルネットワークを設定することを提案する。さらに、発明者達は、解剖学的特徴の最も類似する構成を、分析される１セットの画像において、それらの画像のすべてに描かれている解剖学的特徴として学習しているニューラルネットワークを採用することを提案する。

【0074】

この例が不必要に複雑とならないよう、ここでは、対象の再特定のためのニューラルネットワークを２つのみ提供する。各ニューラルネットワークは、異なるセットの解剖学的特徴を持つ画像データを学習している。各セットの解剖学的特徴は、基準ベクトルと呼ばれるキーポイントベクトルにより表されている。キーポイントベクトルは、この例において、一次元のバイナリベクトルであり、ベクトルにおける各位置は、特定の解剖学的特徴を示す。ベクトル位置値の１は、その位置の解剖学的特徴が視認可能であることを意味する。値の０は、解剖学的特徴が視認可能でないことを意味する。そのようなキーポイントベクトルの一例は、次のように見られる：
［ａ ｂ ｃ ｄ ｅ ｆ］

【0075】

ベクトル位置ａからｆは、以下の解剖学的特徴を示す：
ａ：眼
ｂ：鼻
ｃ：口
ｄ：肩
ｅ：肘
ｆ：手

【0076】

例えば、ある画像において検出された対象に対する［１ １ １ ０ ０ １］のキーポイントベクトルは、眼、鼻、口、及び手が視認可能であるが、肩及び肘は視認可能でない、ということを意味する。

【0077】

各ニューラルネットワークは、異なるセットの解剖学的特徴を持つ画像データを学習している。例えば、第１のニューラルネットワークは、眼、鼻、及び口の第１のセットの解剖学的特徴を含む顔を含む画像データを学習している。第１のセットの解剖学的特徴を表している第１の基準ベクトルは、［１ １ １ ０ ０ ０］である。第２のニューラルネットワークは、肘及び手の第２のセットの解剖学的特徴を含む前腕を含む画像データを学習している。第２のセットの解剖学的特徴を表している第２の基準ベクトルは、［０ ０ ０ ０ １ １］である。

【0078】

これら２つのニューラルネットワークを、入力された画像データにおける異なる解剖学的特徴に基づいて、対象の再特定を行うよう学習したニューラルネットワークとして説明できる。第１のニューラルネットワークは、眼、鼻、及び口を描く画像に基づいて対象の再特定を行うことにおいて、特に良好である。一方、第２のニューラルネットワークは、肘及び手を描く画像に基づいて対象の再特定を行うことにおいて、特に良好である。

【0079】

ここで、入力ベクトルについて説明する。これもまた、キーポイントベクトルフォーマットのそれである。入力ベクトルは、最も類似する基準ベクトル、したがって、対象の再特定のタスクのために、最も好適に学習したニューラルネットワークを見つけるために、基準ベクトルと比較される。比較を容易にするために、入力ベクトルに対するキーポイントベクトルは、基準ベクトル、すなわち、上記の［ａ ｂ ｃ ｄ ｅ ｆ］と同一に構成されてよい。しかし、異なるフォーマットのキーポイントベクトル間の比較を行うことは、当業者が従来の方法を使用して容易に解消できるタスクである。例えば、入力ベクトルは、別のサイズを有して（すなわち、ベクトル位置がより多くて、又は、より少なくて）よい、及び／又は、より多い、又は、より少ない解剖学的特徴を含んでよい。キーポイントベクトルから、どの解剖学的特徴が検出され、どの解剖学的特徴が検出されないか、をどのように読み取るかが明確に規定されている限りは、比較を行うことは可能である。

【0080】

しかし、ここではあまり複雑でない例を用いて説明を続け、基準ベクトルの構成と同一のキーポイントベクトル［ａ ｂ ｃ ｄ ｅ ｆ］の形態での入力ベクトルを構成する。入力ベクトルを特定するために、受け取られた複数の画像が分析され、それらのそれぞれにおいて、どの解剖学的特徴が描かれているかが特定される。複数の画像のすべてにおいて表されている解剖学的特徴について、入力ベクトルにおいて対応するベクトル位置は１であり、したがって、解剖学的特徴が視認可能であることが示されている。複数の画像における各画像及びすべての画像において描かれていない解剖学的特徴について、対応する入力ベクトル位置は０であり、すなわち、解剖学的特徴が視認可能でないことが示されている。複数の画像の各画像において、鼻、口、肩、及び手の解剖学的特徴が視認可能であることを意味する、入力ベクトル［０ １ １ １ ０ １］を得たものとここで想定する。

【0081】

次に、入力ベクトルが、基準ベクトルのそれぞれと比較され、所定の条件にしたがって、最も類似する基準ベクトルが特定される。換言すると、「０ １ １ １ ０ １］の入力ベクトルは、［１ １ １ ０ ０ ０］及び［０ ０ ０ ０ １ １］のそれぞれと比較される。所定の条件は、例えば、重なっている解剖学的特徴の数が最も多いことであってよい。その所定の条件との比較の成果は、第１の基準ベクトル［１ １ １ ０ ０ ０］が、第１のニューラルネットワークと関連付けられている、最も類似するベクトルである、ということである。したがって、第１のニューラルネットワークが選択され、対象の再特定が、複数の画像に基づいて、複数の画像において描かれている複数の対象が同じ固有性を有するか否かを判定する目的で、行われる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】