特許 7490584 画像内で群衆の中の人間を識別する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-17

(45)【発行日】2024-05-27

(54)【発明の名称】画像内で群衆の中の人間を識別する方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240520BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 15

(21)【出願番号】P 2021008096

(22)【出願日】2021-01-21

(65)【公開番号】P2021118001

(43)【公開日】2021-08-10

【審査請求日】2024-01-19

(31)【優先権主張番号】20152781.9

(32)【優先日】2020-01-21

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】100064012

【弁理士】

【氏名又は名称】浜田 治雄

(72)【発明者】

【氏名】トーマス ヴィンツェル

【審査官】伊知地 和之

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２８３７９８（ＵＳ，Ａ１）

【文献】特開２０１９－０７１０５０（ＪＰ，Ａ）

【文献】Xu et al.，“An Efficient Crowd Estimation Method Using Convolutional Neural Network with Thermal Images”，2019 IEEE International Conference on Signal, Information and Data Processing (ICSIDP)[online]，IEEE，2019年，pp.1-6，[検索日 2024.4.5], インターネット:<URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9172971&tag=1>，DOI: 10.1109/ICSIDP47821.2019.9172971

【文献】松本信幸 外１名，カメラで撮影した群集の画像から人数を正確に計測する技術，画像ラボ，日本，日本工業出版株式会社，2017年03月10日，第28巻 第3号，pp.58～62

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

人間識別システム（１）によって実行される、画像内で群衆の中の人間を識別する方法であって、
物体を検出し分類することによって、人間（２）として分類された１つまたはそれ以上の検出された物体を、人の目のレベルと見なされる本質的に前方を見据えた角度で、および／またはそれよりわずかに上方からシーンを撮像するのに適合されたサーマルカメラ（１０）で得られた画像（３）内で確認し（１００１）、
この方法は、
前記画像（３）内の１つまたはそれ以上の検出された人間（２）に含まれず、所定の強度範囲内の強度を有する隣接する画素の少なくとも第１の分類（４）を確認し（１００２）、
コンピュータビジョン技術および／または画像処理によって、前記画像（３）内の前記少なくとも第１の分類（４）の分類画素領域（４０）を決定し（１００３）、
前記画像（３）内の垂直位置（ｙ）と対応する人間の頭部の予想画素領域（ｘ_{ｅｘｐｅｃｔｅｄ}）のサイズおよび形態との間の関係を示すデータによって表される頭部サイズ基準データ（５）に基づいて、前記画像（３）内の前記分類画素領域（４０）の少なくとも第１の垂直位置（ｙ_{ｅｘｐｅｃｔｅｄ}）について、前記少なくとも第１の垂直位置（ｙ_{ｅｘｐｅｃｔｅｄ}）における人間の頭部の予想画素領域（ｘ_{ｅｘｐｅｃｔｅｄ}）のサイズおよび形態を決定し（１００４）、
前記分類画素領域（４０）の少なくとも人間の頭部に似ている部分を前記少なくとも第１の垂直位置（ｙ_{ｅｘｐｅｃｔｅｄ}）についての前記予想される頭部画素領域（ｘ_{ｅｘｐｅｃｔｅｄ}）と比較し（１００５）、さらに
前記比較から得られる少なくとも第１の比較が所定の適合性閾値を超える場合に、前記少なくとも第１の分類（４）が少なくとも第１の重複する人間（６）を含むと決定する（１００６）こと
を含むことを特徴とする方法。

【請求項2】

前記適合性閾値を超える比較の数値に基づいて、前記少なくとも第１の分類（４）における重複する人間（６）の数を推定する（１００７）ことをさらに含む請求項１に記載の方法。

【請求項3】

１つまたはそれ以上の検出された人間（２）に前記重複する人間（６）の数を加えることにより、前記画像（３）内の人間の総数を推定する（１００８）ことをさらに含む請求項２に記載の方法。

【請求項4】

少なくとも第１の分類（４）を確認すること（１００２）は、前記強度範囲が、１つまたはそれ以上の検出された人間（２）のうちの少なくとも１つ（２１、２２）の強度測定に基づくことを含む請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記頭部サイズ基準データ（５）は、検出された人間（２）のうちの２つ（２１，２２）またはそれ以上について、前記画像（３）内の検出された人間（２１，２２）の頭部（２１２、２２２）のそれぞれの垂直位置（ｙ_１、ｙ_２）と画素領域（ｘ_１、ｘ_２）のマッピングに基づく請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記頭部サイズ基準データ（５）は、前記マッピングからの補間に基づく請求項５に記載の方法。

【請求項7】

画像内で群衆の中の人間を識別する人間識別システム（１）であって、前記人間識別システム（１）は、
物体を検出し分類することによって、人間（２）として分類された１つまたはそれ以上の検出された物体を、人の目のレベルと見なされる本質的に前を見据えた角度で、および／またはそれよりわずかに上方からシーンを撮像するのに適合されたサーマルカメラ（１０）で得られた画像（３）内で確認する（１００１）ための人間確認ユニット（１０１）と、
この人間識別システムは、
前記画像（３）内の１つまたはそれ以上の検出された人間（２）に含まれず、所定の強度範囲内の強度を有する隣接する画素の少なくとも第１の分類（４）を確認する（１００２）ための分類確認ユニット（１０２）と、
コンピュータビジョン技術および／または画像処理によって、前記画像（３）内の前記少なくとも第１の分類（４）の分類画素領域（４０）を決定する（１００３）ように適合された領域決定ユニット（１０３）と、
前記画像（３）内の垂直位置（ｙ）と対応する人間の頭部の予想画素領域（ｘ_{ｅｘｐｅｃｔｅｄ}）のサイズおよび形態との間の関係を示すデータによって表される頭部サイズ基準データ（５）に基づいて、前記画像（３）内の前記分類画素領域（４０）の少なくとも第１の垂直位置（ｙ_{ｅｘｐｅｃｔｅｄ}）について、前記少なくとも第１の垂直位置（ｙ_{ｅｘｐｅｃｔｅｄ}）における人間の頭部の予想画素領域（ｘ_{ｅｘｐｅｃｔｅｄ}）のサイズおよび形態を決定する（１００４）ための予想領域決定ユニット（１０４）と、
前記分類画素領域（４０）の少なくとも人間の頭部に似ている部分を前記少なくとも第１の垂直位置（ｙ_{ｅｘｐｅｃｔｅｄ}）についての前記予想される頭部画素領域（ｘ_{ｅｘｐｅｃｔｅｄ}）と比較する（１００５）ための比較ユニット（１０５）と、さらに
前記比較から得られる少なくとも第１の比較が所定の適合性閾値を超える場合に、前記少なくとも第１の分類（４）が少なくとも第１の重複する人間（６）を含むと決定する（１００６）ための適合性決定ユニット（１０６）と
を備えることを特徴とするシステム。

【請求項8】

前記適合性閾値を超える比較の数値に基づいて、前記少なくとも第１の分類（４）における重複する人間（６）の数を推定する（１００７）ための数推定ユニット（１０７）をさらに備える請求項７に記載の人間識別システム（１）。

【請求項9】

１つまたはそれ以上の検出された人間（２）に前記重複する人間（６）の数を加えることにより、前記画像（３）内の人間の総数を推定する（１００８）ための総数推定ユニット（１０８）をさらに備える請求項７または８に記載の人間識別システム（１）。

【請求項10】

前記分類確認ユニット（１０２）は、１つまたはそれ以上の検出された人間（２）のうちの少なくとも１つ（２１、２２）の強度測定に基づく前記強度範囲に適合される請求項７～９のいずれか一項に記載の人間識別システム（１）。

【請求項11】

前記頭部サイズ基準データ（５）は、検出された人間（２）のうちの２つ（２１、２２）またはそれ以上について、前記画像（３）内の検出された人間（２１、２２）の頭部（２１２、２２２）のそれぞれの垂直位置（ｙ_１、ｙ_２）と画素領域（ｘ_１、ｘ_２）のマッピングに基づく請求項７～１０のいずれか一項に記載の人間識別システム（１）。

【請求項12】

前記頭部サイズ基準データ（５）は、前記マッピングからの補間に基づく請求項１１に記載の人間識別システム（１）。

【請求項13】

請求項７～１２のいずれか一項に記載の人間識別システム（１）を備えるサーマルカメラ（１０）。

【請求項14】

コンピュータ可読媒体または搬送波に格納された請求項１～６のいずれか一項に記載の方法のステップをコンピュータまたはプロセッサに実行させるように配置されたコンピュータプログラムコード手段を含むコンピュータプログラム製品。

【請求項15】

請求項１４に記載のコンピュータプログラム製品を格納した不揮発性コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像内の群衆の中の人間を識別する方法に関する。

【背景技術】

【0002】

様々な理由で、画像内に現れる人々を数えようと試みる必要性および／または関心があり得る。画像は、監視カメラのようなカメラが撮像した画像、例えば、部屋、オープンエリア、および／またはオープンスペースの人々の任意のシーンの画像であってもよい。

【0003】

例えば、コンピュータビジョン技術は、画像内の人数の推定値を提供することができる。検出器のような移動ウィンドウを使用して、画像内の人を確認し、どれだけの人が存在するかを数えることができ、これは、低レベルの特徴を抽出することができる検出のために十分に訓練された分類器を必要とすることがある。しかしながら、これらの技術は、顔を検出するためにはうまく働くかもしれないが、一般に、いくつかの目標物体（ここでは人間）がはっきりと見えない混雑した画像ではうまく働かない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本明細書の実施形態の目的は、改善されたおよび／または代替の方法で、画像内で群衆の中の人々を識別するための取り組みを提供することである。

【課題を解決するための手段】

【0005】

上記の目的は、本明細書に開示される主題によって達成することができる。実施形態は、添付の特許請求の範囲、以下の説明および図面に記載されている。

【0006】

開示された主題は、人間識別システムによって実行される、群衆の中の人間を画像内で識別するための方法に関する。人間識別システムは、本質的に前方視の角度でシーンを撮像するように適合されたサーマルカメラから導出された画像内で人間として分類された１つまたはそれ以上の検出された物体を確認する。人間識別システムは、さらに、所定の強度範囲内の強度を有する、１つまたはそれ以上の検出された人間に含まれない、画像内の隣接する画素の少なくとも第１の分類を確認する。さらに、人間識別システムは、画像内の少なくとも第１の分類の分類画素領域を決定する。さらに、人間識別システムは、少なくとも第１の垂直位置において、頭部サイズ基準データに基づいて、画像内の少なくとも第１の垂直位置において、人間の頭部の予想される画素領域を決定する。人間識別システムは、さらに、少なくとも第１の垂直位置について、分類画素領域の少なくとも一部と予測される頭部画素領域とを比較する。さらに、人間識別システムは、前記比較から得られる少なくとも第１の比較が所定の適合性閾値を超える場合、少なくとも第１の分類が少なくとも第１の人間を含むと判定する。

【0007】

開示された主題は、さらに、群衆の中の人間を識別する画像内の人間識別システムに関する。人間識別システムは、本質的に前方視の角度でシーンを撮像するように構成されたサーマルカメラから導出された画像内で、人間として分類された１つまたはそれ以上の検出物体を確認するための－および／または適合された－人間確認ユニットを備える。人間識別システムは、さらに、所定の強度範囲内の強度を有する、１つまたはそれ以上の検出された人間に含まれていない、画像内の隣接する画素の少なくとも第１の分類を確認するための、および／または識別するように適合された分類識別ユニットに関する。さらに、人間識別システムは、少なくとも第１の垂直位置における人間頭部の分類画素領域を決定するための－および／または適合された領域決定ユニットを備える。人間識別システムは、さらに、頭部サイズ基準データに基づいて、少なくとも第１の垂直位置における人間の頭部の予想画素領域を、画像内の少なくとも第１の垂直位置に対して決定するための、および／または、決定するために適合された、予想領域決定ユニットを備える。さらに、人間識別システムは、少なくとも第１の垂直位置について、分類画素領域の少なくとも一部を予測される頭部画素領域と比較するための－および／または適合された－比較ユニットを備える。人間識別システムはさらに、比較から得られる少なくとも第１の比較が所定の適合性閾値を超えるときに、少なくとも第１の分類が少なくとも第１の人間を含むことを決定するための、および／または決定するように適合された適合性決定ユニットを備える。

【0008】

さらに、開示される主題は、本明細書に記載される人間識別システムを備えるサーマルカメラに関する。

【0009】

さらに、開示された主題は、コンピュータ可読媒体または搬送波に格納された、本明細書で説明された人間識別システムのステップをコンピュータまたはプロセッサに実行させるように構成されたコンピュータプログラムコード手段を含むコンピュータプログラムを備えるコンピュータプログラム製品に関する。

【0010】

開示される主題は、さらに、前記コンピュータプログラム製品を格納した不揮発性コンピュータ可読記憶媒体に関する。

【0011】

これにより、人が混み合った画像内で、ある人物と別の人物とを識別することができる手法が導入される。すなわち、本質的に前方視の角度でシーンを撮像するようになっているサーマルカメラから導出された映像において、人間として分類された１つまたはそれ以上の検出物体が確認されるため、サーマルカメラ映像において検出され、人間として分類される物体が認められる。サーマルカメラを使用することにより、さらに、影、バックライト、暗さ、カモフラージュされたオブジェクトなどの光条件に関する潜在的な問題を軽減することができる。さらに、１つまたはそれ以上の検出された人間に含まれていない、所定の強度範囲内の強度を有する画像内の隣接する画素の少なくとも第１の分類が確認されるので、人間に対応する強度などの特定の強度を有する、すでに検出された人間を除く、画像内の隣接する画素の領域を承認することができ、したがって、人間が少なくとも第１の分類内に存在することができることを示すことができる。すなわち、画像内の少なくとも第１の分類の分類画素領域が決定されるので、所定の範囲内にあると特定された隣接画素の領域分布が確立される。さらに、画像内の少なくとも第１の垂直位置に対して、頭部サイズ基準データに基づいて決定されるので、少なくとも第１の垂直位置における人間の頭部の予想画素領域は、頭部サイズ基準データと対向することによって、画像内の１つまたはそれ以上の垂直位置に対して、人間の頭部のそれぞれの予想画素領域形成およびサイズが確立される。すなわち、低い値を例示する垂直位置は、高い値を例示する垂直位置と比較して、サーマルカメラに対する近さを示すことができ、それによって、例示的な低い値を示す垂直位置における人間の頭部の画素領域は、高い値を例示する垂直位置よりも大きいサイズが予想され得る。従って、頭部サイズ基準データは、それぞれの１つまたはそれ以上の垂直位置に関する予想画素領域に関して、１つまたはそれ以上の垂直位置と、人間の頭部の対応する予想サイズおよび形態との間のマッピングを含み、従って、それぞれの垂直位置においてそれぞれの予想頭部サイズを決定することを可能にする。さらに、分類画素領域の少なくとも一部が、少なくとも第１の垂直位置についての予想される頭部画素領域と比較されるので、分類画素領域の画素の選択された領域は、１つまたはそれ以上の垂直位置についての人間の頭部のそれぞれの予想される画素領域と比較される。さらに、少なくとも第１の分類は、前記比較から得られる少なくとも第１の比較が所定の適合性閾値を超えるときに、少なくとも第１の重複する人間を含むと判定されるので、比較アクティビティが、少なくとも部分的に人間の頭部に類似する領域などの分類画素領域の領域と、予想される頭部サイズとの間の最小適合性のためのレベルを設定する閾値の１つまたはそれ以上の超過につながり、画像内の少なくとも第１の分類が１つまたはそれ以上の重複する人間を含むことを条件として、確立することができる。したがって、例えば、一般に知られている物体検出によって、および／または識別することが困難で、混雑した画像内で識別することができない人々は、導入された概念によって識別することができる。

【0012】

その理由のために、改善されたおよび／または代替的な方法で、画像内で、群衆の中の人々を識別するための取り組みが提供される。

【0013】

上述の方法の技術的特徴および対応する利点は、以下でさらに詳細に論じられる。

【図面の簡単な説明】

【0014】

特定の特徴および利点を含む、非限定的な実施形態の様々な態様は、以下の詳細な説明および添付の図面から容易に理解されるであろう。

【図1】本開示の実施形態による例示的な人間識別システムに関する概略図を示す。

【図2】本開示の実施形態による例示的な人間識別システムに関する概略図を示す。

【図3】本開示の実施形態による例示的な人間識別システムを示す概略ブロック図を示す。

【図4】本開示の実施形態による人間識別システムによって実行される例示的な方法を示す流れ図である。

【発明を実施するための形態】

【0015】

以下、本開示の非限定的な実施形態を、本開示の現在の好ましい実施形態が示されている添付の図面を参照して、より完全に説明する。しかしながら、本開示は、多くの異なる形態で具現化されてもよく、本明細書に記載された実施形態に限定されるものとして解釈されるべきではない。参照文字と同様に、全体を通して同じ要素を参照する。図面中のいくつかのボックスの破線は、これらの単位または行為がオプションであり、必須ではないことを示す。

【0016】

以下では、画像内で群衆の中の人間を識別することに関連する本明細書の実施形態によれば、人が混み合った画像内のある人物を別の人物から識別することを可能にする取り組みが開示される。

【0017】

ここで、図面を参照し、特に、図１～２は、本開示の実施形態による人間識別システム１を例示する概略図である。人間識別システム１は、群衆の中の人間を画像内で識別するように適合され、かつ／または構成される。

【0018】

「人間識別システム」とは、「人間検出システム」、「独特な頭部決定システム」および／または単に「評価システム」または「制御システム」を指し得、一方、「群衆の中の人間を画像内で識別するため」という語句は、「群衆の中の個別の人間または人間頭部を画像内で識別するため」、「近接した人間および／または少なくとも部分的に重複する人間を画像内で識別するため」、「画像内で１人の人間を少なくとも部分的に重複する他の人間から識別するため」および／または「群衆画像内の人間を識別するため」を指し得、他方、「群衆」という語句は、「人の群衆」を指し得る。

【0019】

人間識別システム１は、サーマルカメラ１０（図３に示す）と関連していてもよく、また、任意に含んでいてもよい。従って、サーマルカメラ１０の使用により、影、バックライト、暗さ、カモフラージュされた物体等の光条件に関する潜在的な問題を軽減することができる。

【0020】

サーマルカメラ１０は、人を含むすべての物体から絶えず放射される熱に少なくとも部分的に基づいて画像を生成する任意の－例えば公知の－サーマルカメラを意味することができる。サーマルカメラ１０－可視光と赤外線、ＩＲ、カメラを組み合わせたものとみなされてもよい－は、さらに、可視光と組み合わせてＩＲ放射を使用して画像を作成することをサポートする任意のカメラ、すなわち、中波長赤外線、ＭＷＩＲ、および／または長波長赤外線、ＬＷＩＲ帯域などのＩＲ範囲の少なくとも一部に感度があり、可視光範囲の少なくとも一部に感度があることと組み合わせて、ＩＲ放射を使用して画像を作成することをサポートする任意のカメラを意味することができる。

【0021】

サーマルカメラ１０は、一例によれば、例えば例示的な監視システム（図示せず）の一部である追加の構成要素を備えるサーマルカメラ装置（図示せず）に含まれてもよい。したがって、一例によれば、「人を識別するシステムを含むサーマルカメラ」という言葉は、「人を識別するシステムを含むサーマルカメラ構成」および／または「人を識別するシステムを含む監視システムのサーマルカメラ」を指し得る。

【0022】

人間識別システム１は、例えば、人間確認ユニット１０１（図３に示され、さらに説明される）によって、本質的に前方視の角度でシーンを撮像するように構成されたサーマルカメラ１０から導出された画像３において、人間として分類された１つまたはそれ以上の検出物体２を確認するように適合および／または構成される。これにより、サーマルカメラ画像３内で検出され、人間２として分類される物体を承認することができる。図１の例では、第１の検出された人間２１および第２の検出された人間２２が、例示的な方法で確認される。

【0023】

人間２として検出され分類された物体は、例えば、一連のヒストグラム勾配、ＨｏＧｓ、アルゴリズムを用いて、一般的に知られているコンピュータビジョン技術、画像処理、物体検出および／または分類器からのサポートなどの、任意の方法、例えば、公知の方法で、検出され、分類されていてもよいし、または任意の方法で分類されていてもよい。人間２として分類され検出された物体の数は、手元の画像３によって自然に変化することがあり、数十、数百、または数千までの人間２の範囲に及ぶことがある。しかしながら、人間２として分類され検出された物体が画像３において確認可能および／または確認されない状況が生じてもよく、その理由は、人間２として分類され検出された物体が、人間２として分類された「潜在的な」検出された物体と考えられてもよいからであり、他方、「画像」という語句は、任意のサイズの、例えば、画素の形態の、および／または任意の画質の、任意のカメラで撮像された画像を指してもよいことに留意されたい。

【0024】

サーマルカメラ１０がシーンを撮像するように適合され、および／または構成される本質的に前方視の角度は、サーマルカメラ１０の任意の位置によって表すことができ、ここで、前記サーマルカメラ１９は、例えば上面図とは対照的に、本質的に側面図から、および／またはわずかに下向きの傾斜から、前記シーン内の潜在的な人々を撮像することができる。したがって、本質的に前方視の角度は、本質的に人間の目の高さで、および／または人間の目の高さよりもわずかに上から、たとえば地面および／または床から１メートル未満から数メートルまでの範囲にわたるサーマルカメラ１０の位置を示すと考えられるものでシーンを撮像するサーマルカメラ１０によって表すことができる。一例によれば、「前方視の角度」という語句は、「わずかに上方の前方視の角度」を指し得、従って、サーマルカメラ１０は、シーンを撮像するように適合され得、その後、その潜在的な人が、例えば、ゼロを超えてから４５度までの範囲の、わずかに下方への傾斜および／または傾斜からであることを示す。一方、シーンは、例えば、部屋、オープンエリア、オープンスペース等の任意の周囲によって表されてもよい。

【0025】

「人間として分類された１つまたはそれ以上の検出された物体を確認する」という語句は、「人間として分類された１つまたはそれ以上の検出された物体を認識し、選別し、除去し、ブロックし、および／またはブラックリストにのせる」ことを指し得る。一例によれば、前記語句は、さらに、「人間として分類された１つまたはそれ以上の検出された物体を数える」および／または「１つまたはそれ以上の検出された物体を人間として分類する」ことを指し得る。一方で、「検出された物体」は、「潜在的な検出された物体」および／または単に「物体」を指し得、「画像」は、「カメラ画像」、「サーマルカメラ画像」、「温度および視覚光画像の組み合わせ」および／または「画像フレーム」を指し得る。「サーマルカメラから得られたおよび／または取り込まれた画像」および／または単に「サーマルカメラからの画像および／またはサーマルカメラによって撮像された画像」を指し得る。「本質的に人間の目のレベルで、および／またはわずかな下向きの傾斜で」および／または単に「前方視の角度で、および／またはわずかな下向きの傾斜で」を指し得る。さらに、「シーン」は「周囲」を指し得、「シーンを撮像するように適合されたサーマルカメラ」は「シーンの画像を撮像するように適合されたサーマルカメラ」を指し得る。一例によれば、「本質的に前方視の角度でシーンを撮像するように適合されたサーマルカメラから導出された画像で」という語句は、「サーマルカメラから導出された本質的に前方視の角度のシーンの画像で」を指し得る。

【0026】

図２にさらに示されるように、人間識別システム１は、例えば、分類確認ユニット１０２（図３に示され、さらに説明される）によって、所定の強度範囲内の強度を有する、１つまたはそれ以上の検出された人間２に含まれない、画像３内の隣接する画素の少なくとも第１の分類４を確認するように適合され、および／または構成される。これにより、－既に検出された人間２を除いて－、人間に対応する強度のような特定の強度の画像３内の隣接する画素４の領域が認識され、したがって、人間が少なくとも第１の分類４内に存在し得ることを示すことができる。図１を例示すると、例示的な方法で、第１の分類４のみが確認される。しかしながら、他の例示的な画像（図示せず）では、隣接する画素のさらなる別個の分類分けが、当然、確認および／または確認可能であってもよいことに留意されたい。

【0027】

隣接する画素の少なくとも第１の分類４の確認は、コンピュータビジョン技術および／または画像処理からのサポートなど、任意の、たとえば既知の方法で達成することができる。すなわち、異なる物体から反射されるかまたは省略される赤外線エネルギーの強度の相対的な差が検出され、画像３に表示されるので、人間および／または人間の頭部の強度に対応する強度を含むような所定の強度範囲が確認される。強度範囲は、人間および／または人間の頭部の強度および／またはサーマルシグネチャを表すことができる任意の範囲を指し得る。さらに、強度範囲は、例えば、人間識別システム１、サーマルカメラ１０、遠隔サーバ等に予め記憶されていてもよい。

【0028】

しかしながら、任意選択的に、強度範囲は、例えば図１の例示において、第１の検出された人間２１および第２の検出された人間のような、１つまたはそれ以上の検出された人間２のうちの少なくとも１つの強度測定２１１、２２１に基づいてもよい。それによって、１つまたはそれ以上の既に検出された人間２の強度は、強度範囲、例えば、前記強度測定２２１、２２１および／またはその統計的強度測定に本質的に等しい、および／またはその周辺に及ぶ強度範囲を定義するための基礎を形成することができる。「強度測定に基づく」とは、「強度測定から導出される」、「統計的強度測定に基づく」、および／または「強度値に基づく」ことを指し得る。

【0029】

「隣接する画素の少なくとも第１の分類を確認する」という語句は、「本質的に隣接する画素の少なくとも第１の分類を確認する」および／または「認識する、選択する、選別する、および／または隣接する画素の少なくとも第１の分類を除外する」ことを指し得る。一方、「分類する」は、「区域」、「領域」、「分布」および／または「関心の分類」を指し得るが、「隣接する画素」は、「隣接する画素」を指し得る。さらに、「１つまたはそれ以上の検出された人間に含まれない」という語句は、「人間に分類された１つまたはそれ以上の検出されたオ物体に含まれない」、「１つまたはそれ以上の検出された人間の画素を含まない」および／または「検出された人間を除く」を指し得る。一方、「事前決定可能な強度範囲」は、「人間および／または人間の頭部強度および／またはサーマルシグネチャに対応する、および／または同義語を有する事前決定可能な強度範囲」を指し得る。または、単に「人間の頭部強度範囲」を指し得る。

【0030】

人間識別システム１は、さらに、例えば、領域決定ユニット１０３（図３に示され、さらに説明される）によって、画像３内の少なくとも第１の分類４の分類画素領域４０を決定するように適合され、かつ／または構成される。それにより、隣接する画素４の予め決定可能な範囲内にあると確認される領域分布４０－輪郭として描かれた図１を例示すると－が確立される。

【0031】

分類画素領域４０の決定は、コンピュータビジョン技術および／または画像処理からのサポートなど、任意の、たとえば既知の方法で達成することができる。さらに、隣接する画素の分類画素領域４０は、シーン内で、人および／または人々、または所定の強度範囲内の強度を有する潜在的な他の物体に自然に応じて、任意の（例えば、不規則な）形状および／または形成であってもよい。語句「分類画素領域を決定する」は、「分類画素領域を計算および／または推定する」ことを指し得るが、一方、「画素領域」は、「画素領域分布」を指し得る。

【0032】

さらに、人間識別システム１は、例えば、予想領域決定ユニット１０４（図３に示され、さらに説明される）によって、頭部サイズ基準データ５、少なくとも第１の垂直位置ｙ_{ｅｘｐｅｃｔｅｃｔｅｄ}における人間の頭部の予想画素領域ｘ_{ｅｘｐｅｃｔｅｄ}に基づいて、画像３内の少なくとも第１の垂直位置ｙ_{ｅｘｐｅｃｔｅｄ}を決定するように適合および／または構成される。それによって、頭部サイズ基準データ５と比較することによって、画像３内の１つまたはそれ以上の垂直位置ｙに対する人間の頭部のそれぞれの予想画素領域ｘ形状およびサイズが確立される。すなわち、例示的な垂直位置と比較して、低値垂直位置ｙが、サーマルカメラ１０に対する近さを示すことができ、それによって、例示的な低値垂直位置ｙにおける人の頭部の画素領域ｘは、例示的な低値垂直位置ｙが例示的な高値垂直位置ｙに対する大きさよりも大きいことが予想され得る。したがって、頭部サイズ基準データ５は、１つまたはそれ以上の垂直位置ｙと、１つまたはそれ以上の垂直位置ｙのそれぞれについての予想画素面積ｘに関する人間の頭部の対応する予想サイズおよび形態との間のマッピングを含み、したがって、それぞれの垂直位置ｙ_{ｅｘｐｅｃｔｅｄ}で予想されるそれぞれの予想頭部サイズｘを決定することを可能にする。

【0033】

少なくとも第１の垂直位置ｙ_{ｅｘｐｅｃｔｅｄ}は、画像３内の任意の垂直位置ｙによって表すことができる。さらに、頭部サイズ基準データ５は、画像３内の垂直位置ｙと、対応する予想画素領域ｘまたは人間の頭部との間の関係を示す任意のデータによって表すことができる。頭部サイズ基準データ５は、例えば、データテーブルに含まれてもよく、さらに、例えば、人間識別システム１、サーマルカメラ１０、リモートサーバ等に記憶されてもよく、さらに、例えば、予め記憶されてもよい。

【0034】

「予想画素領域を決定する」という語句は、「予想画素領域を導出する、取得する、計算する、および／または補間する」ことを指し得、「頭部サイズ基準データに基づいて決定する」は、「頭部サイズ基準データに対峙することによって決定する」および／または「前記画像内の垂直位置と人間の頭の対応する予想画素領域との間の関係を示すデータから決定する」ことを指し得、さらに、「頭部サイズ基準データ」という語句は、「頭部画素領域基準データ」および／または「頭部サイズマッピングデータ」を指し得、「データ」は、「マッピング情報」を指し得る。一方、「予想」画素領域は、「予想対応」画素領域および／または「推定および／または計算された」画素領域を指し得る。

【0035】

任意選択的に、図１に例示されるように、頭部サイズ基準データ５は、検出された人間２のうちの２つである２１、２２またはそれ以上について、画像３内の検出された人間２１、２２の頭部２１２、２２２のそれぞれの垂直位置ｙ_１、ｙ_２および画素領域ｘ_１、ｘ_２のマッピングに基づくことができる。さらに任意選択で、頭部サイズ基準データ５は、前記マッピングからの補間に基づくことができる。これにより、第１の決定された垂直位置ｙ_１における検出された人間２１の頭部２１２の第１の決定された頭部サイズ画素領域ｘ_１と、第２の決定された垂直位置ｙ_２における検出された人間２２の頭部２２２の少なくとも第２の決定された頭部サイズ画素領域ｘ_２とが、頭部サイズ基準データ５の基礎を形成することができる。頭部サイズ基準データ５は、例えば、図１を例示する例示的な座標面に描かれるように、第１の頭部サイズ画素領域ｘ_１／第１の垂直位置ｙ_１と少なくとも第２の頭部サイズ画素領域ｘ_２／第２の垂直位置ｙ_２との間の、線形グラフ５０－または本質的に線形グラフ－に依存してもよい。検出された人間２１、２２のマッピングされた垂直位置ｙ_１、ｙ_２は、例えば、図１に例示されるように、それぞれの頭部２１２、２２２の下端で、あるいは、例えば、それぞれの頭部２１２、２２２の上端で、または仮定された目の高さで、適切と見なされるように、検出された人間２１、２２のそれぞれの延長部、すなわち、前記検出された人間２１、２２の高さに沿って選択されてもよい。さらに、「マッピング」は「関連付け」および／または「接続」を指し得、「マッピングに基づく」は「計算された、および／または「垂直位置および画素領域」のマッピングから導出された」を指し得、一方、「垂直頭部位置および垂直頭部サイズ画素領域」を指し得る。

【0036】

図２に例示されるように、人間識別システム１は、さらに、例えば、比較ユニット１０５（図３に示され、さらに説明される）によって、分類画素領域４０の少なくとも一部と、予想される少なくとも第１の垂直位置ｙ_{ｅｘｐｅｃｔｅｄ}に対して予想される頭部画素領域ｘ_{ｅｘｐｅｃｔｅｄ}とを比較するように適合および／または構成される。これにより、分類画素領域４０の画素の選択された領域が、１つまたはそれ以上の垂直位置ｙ_{ｅｘｐｅｃｔｅｄ}について人間の頭部に予想されるそれぞれの予想画素領域ｘ_{ｅｘｐｅｃｔｅｄ}と比較される。

【0037】

画素領域の比較は、任意の数の垂直位置ｙについて繰り返すことができる。さらに、比較アクティビティは、コンピュータビジョン技術および／または画像処理からのサポートなど、任意の、たとえば既知の方法で達成することができる。他方、分類画素領域４０の少なくとも一部は、分類画素領域４０の任意の領域によって表されてもよく、さらに、適切および／または実現可能であると考えられる任意のサイズ、形態および／または形状であってもよい。例えば、分類画素領域４０の１つまたはそれ以上の領域は、少なくともある程度、－あらかじめ決定可能な範囲に－人間の頭部をエントリーするまで、比較のために選択されてもよい。「少なくとも一部を比較する」という語句は、「少なくとも領域を比較する」および／または「少なくとも１つまたはそれ以上の領域を比較する」を指し得、「予想される頭部画素領域」は、「予想される頭部サイズの画素領域」および／または「人間の頭部の予想される画素領域」を指し得る。

【0038】

さらに、人間識別システム１は、例えば、適合性決定ユニット１０６（図３に示され、さらに説明される）によって、前記比較から得られる少なくとも第１の比較が所定の適合性閾値を超えるときに、少なくとも第１の分類４が少なくとも第１の重複する人間６を含むことを決定するように適合され、かつ／または構成される。それによって、比較アクティビティが、人間の頭部に少なくとも部分的に類似する領域のような分類画素領域４０の領域と、予想される頭部サイズｘとの間の最小適合性のためのレベルを設定する閾値の１つまたはそれ以上の超過につながるならば、画像３における少なくとも第１の分類４は、１つまたはそれ以上の重複する人間６を含むことが確立されてもよい。したがって、例えば、一般的に知られている物体検出によって、および／または識別することが困難で、混雑した画像３において識別することができない人々は、導入された概念によって識別することができる。

【0039】

図２を例示すると、一致閾値は、潜在的に多数の比較のうちの３つの場合を例示することにより、適合閾値を超えていると判断することができ、頭部に類似する領域－後に第１の重複する人間６１として確認されるもの－第１の垂直位置ｙ_{ｅｘｐｅｃｔｅｄ，}において予想される頭部サイズ画素領域ｘ_{ｅｘｐｅｃｔｅｄ}を持ち、同様の方法で、第２の重複する人間６２と第３の重複する人間６３を確認し、それぞれの予想される頭部サイズ画素領域ｘをそれぞれ第２および第３の垂直位置ｙに有することができる。

【0040】

所定の適合性閾値は、適切および／または実行可能と考えられる任意の値に設定されてもよく、例えば、重複する人間６を含む少なくとも第１の分類４を考慮するために超える必要がある、分類画素領域４０の領域と予想される頭部サイズｘとの間の一致のレベル、程度および／または率を示す。したがって、適合性閾値は、例えば、少なくとも５０パーセント、少なくとも７０パーセント、または少なくとも９０パーセントの一致によって表すことができる。語句「少なくとも第１の分類が含むことを決定すること」は、「少なくとも第１の分類が含むことを推定および／または結論付けること」を指し得、一方、「重複する人間」は、「少なくとも部分的に重複する人間」および／または「前記画像内で重複する人間」を指し得る。一方、「時」は、「すべき」および／または「条件付き」を指し得、「比較」は、「活動を比較すること」を指し得る。さらに、「事前に決定可能な適合性閾値」は、「事前に決定可能な類似性閾値」、「事前に決定可能な頭部一致閾値」および／または単に「適合性閾値」を指し得る。

【0041】

任意選択で、人間識別システム１は、例えば、任意選択の数推定ユニット１０７（図３に示され、さらに説明される）によって、適合性閾値を超える比較の数に基づいて、少なくとも第１の分類４内の重複する人間６の数を推定するように適合され、かつ／または構成されてもよい。それによって、適合性閾値を超えるたびに数えることによって－これは、重複する人間６が少なくとも第１の分類４に含まれると決定される－数と等しくてもよい、少なくとも第１の分類４における重複する人間６の数が推定されてもよい。図２を例示すると、３つの重複する人間６１、６２、６３が例示的な方法で描かれている。「数を推定する」という語句は、「数を決定する」および／または「数を計算する」ことを指し得、「前記適合性閾値を超える比較の数に基づいて」は、「前記適合性閾値を超える比較の数を数えることによって」を指し得る。

【0042】

さらに任意選択で、人間識別システム１は、－例えば、任意選択の総数推定ユニット１０８（図３に示され、さらに説明される）によって－、１つまたはそれ以上の検出された人間２に重複する人間６の数を加えることによって、画像３内の人間の総数を推定するように適合され、かつ／または構成されてもよい。これにより、群衆の画像３内の人の総数の推定を支援する手法が提供される。図１２の例では、２つの検出された人間２１、２２が、３つの重複する人間６１、６２、６３と共に、例示的な方法で描かれており、したがって、合計で例示的な５人の人間の総数になる。「総数を推定する」という語句は、「総数を決定する」および／または「総数を計算する」ことを指し得る。

【0043】

本開示の実施形態による例示的な人間識別システム１を示す概略ブロック図である図３にさらに示されるように、人間識別システム１は、人間確認ユニット１０１、分類確認ユニット１０２、領域決定ユニット１０３、予想領域決定ユニット１０４、比較ユニット１０５、適合性決定ユニット１０６、任意選択の数推定ユニット１０７、および／または任意選択の総数推定ユニット１０８を備えることができ、これらはすべて、既に上でより詳細に説明されている。さらに、群衆の中の人間－図３－を識別するための本明細書において、プロセッサ１０９（ここではＣＰＵと表記する）のような１つまたはそれ以上のプロセッサを介して、本明細書の実施形態の機能および動作を実行するためのコンピュータプログラムコードと共に実施することができる。前記プログラムコードは、コンピュータプログラム製品として、例えば、人間識別システム１に搭載されたときに本明細書の実施形態を実行するためのコンピュータプログラムコードを搬送するデータキャリアの形態で提供することもできる。このようなキャリアの一つは、ＣＤ－ＲＯＭディスクおよび／またはハードドライブの形態であってもよいが、他のデータキャリアで実現可能である。さらに、コンピュータプログラムコードは、サーバ上に純粋なプログラムコードとして提供され、人間識別システム１にダウンロードされてもよい。人間識別システム１は、１つまたはそれ以上のメモリユニットを備えるメモリ１１０をさらに備えることができる。メモリ１１０は、例えば、情報を記憶し、さらに、人間識別システム１において実行されるときに本明細書の方法を実行するために、データ、構成、スケジューリング、およびアプリケーションを記憶するために使用されるように構成されてもよい。例えば、コンピュータプログラムコードは、組み込みプロセッサ１０９のファームウェア、フラッシュメモリ１１０に記憶されたファームウェア、および／またはオフボードサーバなどからワイヤレスでダウンロードされたファームウェアに実装されてもよい。さらに、前記ユニット１０１～１０８、オプションのプロセッサ１０９、および／またはオプションのメモリ１１０は、少なくとも部分的に、サーマルカメラ１０に含まれ、関連付けられ、および／または接続されてもよく、および／または、例えば、オプションとして前記サーマルカメラ１０を備える監視システムに接続されてもよい。当業者はまた、上述の前記ユニット１０１～１０８は、アナログ回路およびデジタル回路の組合せ、および／または、例えば、メモリ１１０などのメモリに記憶されたソフトウェアおよび／またはファームウェアで構成され、プロセッサ１０９などの１つまたはそれ以上のプロセッサによって実行されるときに本明細書で説明されるように実行する１つまたはそれ以上のプロセッサを指してもよいことを理解するであろう。これらのプロセッサのうちの１つまたはそれ以上、ならびに他のデジタルハードウェアは、単一の特定用途向け集積回路、ＡＳＩＣ、またはいくつかのプロセッサに含まれてもよく、さまざまなデジタルハードウェアは、個別にパッケージ化されていても、システムオンチップ、ソックに組み立てられていても、いくつかの別個の構成要素の間で分散されていてもよいことを理解するであろう。

【0044】

図４は、本開示の実施形態による人間識別システム１によって実行される例示的な方法を示す流れ図である。前記方法は、画像内で、群衆の中の人間を識別するためのものである。連続的に繰り返すことができる例示的な方法は、図１～３を支持して論じられる以下の行為のうちの１つまたはそれ以上を含む。さらに、行為は、任意の適切な順序で取られてもよく、および／または、１つまたはそれ以上の行為は、適用可能な場合、同時に、および／または、代替の順序で実行されてもよい。例えば、行為１００４は、行為１００２および／または行為１００３と同時におよび／またはその前に実行されてもよい。

【0045】

行為１００１
行為１００１において、人間識別システム１は、－例えば、人間確認ユニット１０１からの支援により－、本質的に前方視の角度でシーンを撮像するように適合されたサーマルカメラ１０から導出された画像３において人間２として分類された１つまたはそれ以上の検出された物体を確認する。

【0046】

行為１００２
行為１００２において、人間識別システム１は、－例えば、分類確認ユニット１０２からの支援により－、１つまたはそれ以上の検出された人間２に含まれておらず、所定の強度範囲内の強度を有する、画像３内の隣接する画素の少なくとも第１の分類４を確認する。

【0047】

行為１００３
行為１００３において、人間識別システム１は、－例えば、領域決定ユニット１０３からの支援により－、画像３内の少なくとも第１の分類４の分類画素領域４０を決定する。

【0048】

行為１００４
行為１００４において、人間識別システム１は、頭部サイズ基準データ５に基づいて、－例えば、予想領域決定ユニット１０４からの支援により－画像３における少なくとも第１の垂直位置ｙ_{ｅｘｐｅｃｔｅｄ}における人間の頭部の予想画素領域ｘ_{ｅｘｐｅｃｔｃｅｄ}を基に、少なくとも第１の垂直位置ｙ_{ｅｘｐｅｃｔｅｄ}を決定する。

【0049】

行為１００５
行動１００５において、人間識別システム１は、－例えば、比較ユニット１０５からの支援により－、分類画素領域４０の少なくとも一部と、少なくとも第１の垂直位置ｙ_{ｅｘｐｅｃｔｅｄ－}に対する予想される頭部画素領域ｘ_{ｅｘｐｅｃｔｅｄ}とを比較する。

【0050】

行為１００６
行為１００６において、人間識別システム１は、－例えば、適合性判定ユニット１０６からの支援により－、行為１００５の比較から得られる少なくとも第１の比較が所定の適合性閾値を超えたときに、少なくとも第１の分類４が少なくとも第１の重複する人間６を含むことを判定する。

【0051】

行為１００７
任意の行為１００７において、人間識別システム１は、－例えば、任意選択の数推定ユニット１０７からの支援によって－、適合性閾値を超える比較の数に基づいて、少なくとも第１の分類４内の重複する人間６の数を推定することができる。

【0052】

行為１００８
任意の行為１００８では、人間識別システム１は、－例えば、任意の総数推定ユニット１０８からの支援によって－、１つまたはそれ以上の検出された人間２に重複する人間６の数を加算することによって、画像３内の人間の総数を推定することができる。

【0053】

当業者は、本開示が決して上記の好ましい実施形態に限定されないことを理解する。それどころか、添付の特許請求の範囲内で多くの修正および変形が可能である。さらに、図面は、必ずしも縮尺通りではなく、特定の特徴の寸法は、明確にするために誇張されている場合があることに留意されたい。代わりに、本明細書の実施形態の原理を説明することに重点が置かれる。さらに、特許請求の範囲では、「有する」という語は、他の要素または工程を除外せず、不定冠詞「ａ」または「ａｎ」は、複数を除外しない。

【図1】

【図2】

【図3】

【図4】