特許 7605218 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   G06V 40/16 20220101AFI20241217BHJP

   G06T 7/20 20170101ALI20241217BHJP

   G06T 7/00 20170101ALI20241217BHJP

【ＦＩ】

G06V40/16 A

G06T7/20 300Z

G06T7/00 510F

【請求項の数】 11

(21)【出願番号】P 2022555197

(86)(22)【出願日】2020-10-08

(86)【国際出願番号】 JP2020038142

(87)【国際公開番号】W WO2022074787

(87)【国際公開日】2022-04-14

【審査請求日】2023-04-03

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】佐々木 和幸

【審査官】松浦 功

(56)【参考文献】

【文献】特開２０１３－１６２３２９（ＪＰ，Ａ）

【文献】特開２０１１－２２１７９１（ＪＰ，Ａ）

【文献】特表２０２０－５２２８２８（ＪＰ，Ａ）

【文献】特開２０１９－０２３７８５（ＪＰ，Ａ）

【文献】特開２０１５－０８２２０５（ＪＰ，Ａ）

【文献】特開２０１０－２６７２３２（ＪＰ，Ａ）

【文献】特開２０１８－１６９８７２（ＪＰ，Ａ）

【文献】特開２０１６－２２５９３８（ＪＰ，Ａ）

【文献】特開２０１８－１３２９７７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１５１４４１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／００ －４０／７０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １／００

Ｇ０８Ｂ １３／１９４ －１３／１９６

Ｇ０６Ｖ １０／００ －２０／９０

(57)【特許請求の範囲】

【請求項1】

施設内の複数の撮影装置と通信接続し、前記複数の撮影装置のうち撮影画像に写る人物の記録判定を行う種別の撮影装置であるか、前記人物の照合処理を行う種別の撮影装置であるかを、前記撮影装置の識別子に基づいて判定する判定手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、画像に映る人物の顔領域を検出する第一顔検出手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記画像に映る前記人物の体領域を検出する第一体検出手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記顔領域の画像情報を用いて顔照合処理を行う第一顔照合手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定され、前記顔領域の画像情報と前記体領域の画像情報とが所定の対応関係を満たす場合に、顔照合処理において一致した人物情報の識別情報と、前記顔領域の画像情報と、前記体領域の画像情報との対応関係を特定する対応関係特定手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記顔照合処理の結果特定した前記人物の識別情報と体領域の画像情報とを紐づけて記録する画像記録手段と、
前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、画像に映る人物の顔領域を検出する第二顔検出手段と、
前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記画像に映る前記人物の体領域を検出する第二体検出手段と、
前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記顔領域の画像情報を用いて顔照合処理を行う第二顔照合手段と、
前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記体領域の画像情報を用いて体照合処理を行う第二体照合手段と、
を備え、
前記画像記録手段は、前記体領域の画像情報が記録条件を満たす場合に、前記体領域の画像情報を記録する
画像処理装置。

【請求項2】

前記記録条件は、前記画像の状態が所定の状態であることを示す情報である請求項１に記載の画像処理装置。

【請求項3】

前記記録条件は、前記体領域が検出された人物の体勢が所定の状態であり、
前記画像記録手段は、前記体領域の画像情報が前記記録条件を満たさない場合に前記体領域の画像情報を記録しない
請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記記録条件は、前記体領域が検出された人物の属性または付属物が、前記顔照合処理の結果特定した人物について記録されている体領域の画像情報と異なることを示す情報である請求項１から請求項３の何れか一項に記載の画像処理装置。

【請求項5】

前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記顔照合処理の結果特定した人物について過去に記録した体領域の画像情報と、前記顔照合処理に用いた顔領域の画像情報と対応関係を有する前記体領域の画像情報とを用いて体照合処理を行う第一体照合手段と、を備え、
前記画像記録手段は、前記顔照合処理に用いた顔領域の画像情報と対応関係を有する前記体領域の画像情報が、前記体照合処理において前記顔照合処理の結果特定した人物の体領域の画像情報であると判定した場合に、前記顔照合処理の結果特定した人物の体領域の画像情報を記録する
請求項１から請求項４の何れか一項に記載の画像処理装置。

【請求項6】

前記顔領域の画像情報または前記体領域の画像情報の少なくとも一方を用いて追跡処理を行う追跡処理手段と、
を備える請求項１から請求項５の何れか一項に記載の画像処理装置。

【請求項7】

前記第二体照合手段は、前記顔照合処理の結果特定した人物について過去に記録した体領域の画像情報と、前記第二体検出手段によって検出された前記人物の体領域の画像情報とを用いて体照合処理を行い、当該体照合処理によって前記人物情報を特定する請求項１に記載の画像処理装置。

【請求項8】

前記第二体照合手段は、前記第二顔照合手段が前記顔照合処理を失敗した場合において、前記体照合処理によって前記人物情報を特定する請求項７に記載の画像処理装置。

【請求項9】

前記対応関係特定手段は、前記顔領域と前記体領域の座標が所定距離以内にある場合に、前記顔領域の画像情報と前記体領域の画像情報とが対応関係にあると判定する請求項１に記載の画像処理装置。

【請求項10】

施設内の複数の撮影装置と通信接続し、
判定手段が、前記複数の撮影装置のうち撮影画像に写る人物の記録判定を行う種別の撮影装置であるか、前記人物の照合処理を行う種別の撮影装置であるかを、前記撮影装置の識別子に基づいて判定し、
第一顔検出手段が、前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、画像に映る人物の顔領域を検出し、
第一体検出手段が、前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記画像に映る前記人物の体領域を検出し、
第一顔照合手段が、前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記顔領域の画像情報を用いて顔照合処理を行い、
対応関係特定手段が、前記撮影装置が記録判定を行う種別の撮影装置であると判定され、前記顔領域の画像情報と前記体領域の画像情報とが所定の対応関係を満たす場合に、顔照合処理において一致した人物情報の識別情報と、前記顔領域の画像情報と、前記体領域の画像情報との対応関係を特定し、
画像記録手段が、前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記顔照合処理の結果特定した前記人物の識別情報と体領域の画像情報とを紐づけて記録し、
第二顔検出手段が、前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、画像に映る人物の顔領域を検出し、
第二体検出手段が、前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記画像に映る前記人物の体領域を検出し、
第二顔照合手段が、前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記顔領域の画像情報を用いて顔照合処理を行い、
第二体照合手段が、前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記体領域の画像情報を用いて体照合処理を行い、
前記画像記録手段は、前記体領域の画像情報が記録条件を満たす場合に、前記体領域の画像情報を記録する
画像処理方法。

【請求項11】

施設内の複数の撮影装置と通信接続した画像処理装置のコンピュータを、
前記複数の撮影装置のうち撮影画像に写る人物の記録判定を行う種別の撮影装置であるか、前記人物の照合処理を行う種別の撮影装置であるかを、前記撮影装置の識別子に基づいて判定する判定手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、画像に映る人物の顔領域を検出する第一顔検出手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記画像に映る前記人物の体領域を検出する第一体検出手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記顔領域の画像情報を用いて顔照合処理を行う第一顔照合手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定され、前記顔領域の画像情報と前記体領域の画像情報とが所定の対応関係を満たす場合に、顔照合処理において一致した人物情報の識別情報と、前記顔領域の画像情報と、前記体領域の画像情報との対応関係を特定する対応関係特定手段と、
前記撮影装置が記録判定を行う種別の撮影装置であると判定された場合に、前記顔照合処理の結果特定した前記人物の識別情報と体領域の画像情報とを紐づけて記録する画像記録手段と、
前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、画像に映る人物の顔領域を検出する第二顔検出手段と、
前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記画像に映る前記人物の体領域を検出する第二体検出手段と、
前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記顔領域の画像情報を用いて顔照合処理を行う第二顔照合手段と、
前記撮影装置が照合処理を行う種別の撮影装置であると判定された場合に、前記体領域の画像情報を用いて体照合処理を行う第二体照合手段と、
として機能させ、
前記画像記録手段は、前記体領域の画像情報が記録条件を満たす場合に、前記体領域の画像情報を記録する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、画像処理装置、画像処理方法、プログラムに関する。

【背景技術】

【0002】

人物の認証を行う場合に多くは顔の特徴情報を用いて認証処理を行っている。特許文献１には認証処理の技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０２０／１３６７９５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

顔の特徴情報が画像から得られない場合には、体の他の特徴や服装などの情報を用いて認証することが検討されている。ここで顔の特徴が認識できない場合でも人物を長時間にわたって複数回それぞれで精度高く認証することが求められている。

【0005】

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本開示の第１の態様によれば、画像処理装置は、画像に映る人物の顔領域を検出する顔検出手段と、前記画像に映る前記人物の体領域を検出する体検出手段と、前記顔領域の画像情報を用いて顔照合処理を行う顔照合手段と、前記顔領域の画像情報と前記体領域の画像情報とが所定の対応関係を満たす場合に、前記顔領域の画像情報と前記体領域の画像情報との対応関係を特定する対応関係特定手段と、前記顔照合処理の結果特定した前記人物の体領域の画像情報を記録する画像記録手段と、を備え、前記画像記録手段は、前記体領域の画像情報が記録条件を満たす場合に、前記体領域の画像情報を記録する。

【0007】

本開示の第２の態様によれば、画像処理方法は、画像に映る人物の顔領域を検出し、前記画像に映る前記人物の体領域を検出し、前記顔領域の画像情報を用いて顔照合処理を行い、前記顔領域の画像情報と前記体領域の画像情報とが所定の対応関係を満たす場合に、前記顔領域の画像情報と前記体領域の画像情報との対応関係を特定し、前記顔照合処理の結果特定した前記人物の体領域の画像情報が記録条件を満たす場合に、前記体領域の画像情報を記録する。

【0008】

本開示の第３の態様によれば、プログラムは、画像処理装置のコンピュータを、画像に映る人物の顔領域を検出する顔検出手段、前記画像に映る前記人物の体領域を検出する体検出手段、前記顔領域の画像情報を用いて顔照合処理を行う顔照合手段、前記顔領域の画像情報と前記体領域の画像情報とが所定の対応関係を満たす場合に、前記顔領域の画像情報と前記体領域の画像情報との対応関係を特定する対応関係特定手段、前記顔照合処理の結果特定した前記人物の体領域の画像情報が記録条件を満たす場合に、前記体領域の画像情報を記録する画像記録手段、として機能させる。

【図面の簡単な説明】

【0009】

【図1】この開示の一実施形態による照合システムの概略構成図である。

【図2】この開示の一実施形態による画像処理装置のハードウェア構成を示す図である。

【図3】この開示の一実施形態による画像処理装置の機能ブロック図である。

【図4】この開示の一実施形態による顔画像と体画像の関係を示す第一の図である。

【図5】この開示の一実施形態による顔画像と体画像の関係を示す第二の図である。

【図6】この開示の一実施形態による顔画像と体画像の関係を示す第三の図である。

【図7】この開示の一実施形態による顔画像と体画像の関係を示す第四の図である。

【図8】この開示の第一実施形態による画像処理装置の第一の処理フローを示す図である。

【図9】この開示の第一実施形態による画像処理装置の第二の処理フローを示す図である。

【図10】この開示の第二の実施形態による画像処理装置の機能ブロック図である。

【図11】この開示の第三実施形態による画像処理装置の機能ブロック図である。

【図12】この開示の第四実施形態による処理フローを示す図である。

【図13】この開示の第五実施形態による処理フローを示す図である。

【図14】画像処理装置の最小構成を示す図である。

【図15】最小構成の画像処理装置による処理フローを示す図である。

【発明を実施するための形態】

【0010】

以下、この開示の一実施形態による画像処理装置を図面を参照して説明する。
図１は本実施形態による照合システムの概略構成図である。
照合システム１００は、画像処理装置１、カメラ２、表示装置３を一例として含む。照合システム１００は、画像処理装置１を少なくとも含めばよい。本実施形態において画像処理装置１は、複数のカメラ２および表示装置３と通信ネットワークを介して接続する。図１においては説明の便宜上、１つのカメラ２のみを記載している。画像処理装置１は処理対象である人の撮影画像をカメラ２から取得する。一例として画像処理装置１は、カメラ２から取得した人の写る撮影画像を用いて、人の照合処理や、追跡処理などを行う。

【0011】

なお画像処理装置１が行う照合処理とは、一例として画像処理装置１の記憶する複数の人物の顔領域を含む顔画像または体領域を含む体画像と、カメラ２から取得した顔領域または体領域を含む撮影画像とを用いて、カメラ２から取得した撮影画像に写る人物の顔画像または体画像を、画像処理装置１が記憶する複数の顔画像や体画像の中から特定する処理を言う。顔画像と体画像の詳細については図４～図７を用いて以下に説明する。

【0012】

図２は画像処理装置のハードウェア構成を示す図である。
図２で示すように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。なお、表示装置３も同様のハードウェア構成を備えたコンピュータである。

【0013】

図３は画像処理装置の機能ブロック図である。
画像処理装置１は、ＣＰＵ１０１がＲＯＭ１０２等に記憶する画像処理プログラムを実行する。これにより画像処理装置１は、入力部１１、記録判定部１２、照合部１３の各機能を発揮する。
入力部１１は、カメラ２から顔画像を取得する。
記録判定部１２は、顔画像や記録画像の記録を行うかを判定する。
照合部１３は、照合処理を行う。

【0014】

記録判定部１２は、顔検出部２１、体検出部２２、対応関係特定部２３、顔照合部２４、画像記録部２５の機能を発揮する。
顔検出部２１は、カメラ２から取得した撮影画像に写る顔領域を検出する。
体検出部２２は、カメラ２から取得した撮影画像に写る体領域を検出する。
対応関係特定部２３は、顔検出部２１の検出した顔領域を示す顔画像と、体検出部２２の検出した体領域を示す体画像との対応関係を特定する。
顔照合部２４は、顔領域の画像情報を用いて顔照合処理を行う。
画像記録部２５は、顔照合処理が成功して人物が特定できた場合に、その人物の情報として体画像を記録する。画像記録部２５は人物が特定できた場合に、その人物の情報として顔画像をさらに記録してもよい。

【0015】

照合部１３は、記録判定部１２の記録した顔画像または体画像を用いて顔照合処理または体照合処理を行う。照合部１３は、顔検出部３１、顔照合部３２、体検出部３３、体照合部３４、および出力部３５の機能を発揮する。
顔検出部３１は、カメラ２から取得した撮影画像に写る顔領域を検出する。
顔照合部３２は、顔領域の画像情報を用いて顔照合処理を行う。顔照合処理は顔照合プログラムを用いる。
体検出部３３は、カメラ２から取得した撮影画像に写る体領域を検出する。
体照合部３４は、体領域の画像情報を用いて体照合処理を行う。体照合処理は体照合プログラムを用いる。
出力部３５は、体照合部３４または顔照合部３２の処理結果を出力する。

【0016】

なお、顔照合プログラムは、複数の顔画像や顔画像に対応する教師データをニューラルネットワークなどの機械学習処理を用いて学習し、入力した顔画像と比較対象となった顔画像との間の一致度を少なくとも算出するプログラムである。より具体的には、画像処理装置１は、一例として、顔全体を含む顔画像を入力情報とし、データベースに記録されている複数の比較対象の顔画像に関する正解（つまり、入力情報の顔画像と同一人物の顔画像であること）の尤もらしさを示す一致度を出力情報として、その入出力関係をニューラルネットワークなどの機械学習処理を用いて学習し顔照合モデルを生成する。画像処理装置１は顔照合モデルやニューラルネットワークを構成するプログラムなどを含む顔照合プログラムを生成する。画像処理装置１は、顔全体を含む顔画像を入力情報とし、データベースに記録されている複数の比較対象の顔画像についての一致度を算出する顔照合モデルの生成を公知の技術を用いて行ってよい。

【0017】

また、体照合プログラムは、複数の体画像や体画像に対応する教師データをニューラルネットワークなどの機械学習処理を用いて学習し、入力した体画像と比較対象となった体画像との間の一致度を少なくとも算出するプログラムである。より具体的には、画像処理装置１は、一例として、体画像を入力情報とし、データベースに記録されている複数の比較対象の体画像に関する正解（つまり、入力情報の体画像と同一人物の体画像であること）の尤もらしさを示す一致度を出力情報として、その入出力関係をニューラルネットワークなどの機械学習処理を用いて学習し体照合モデルを生成する。画像処理装置１は体照合モデルやニューラルネットワークを構成するプログラムなどを含む体照合プログラムを生成する。画像処理装置１は、体画像を入力情報とし、データベースに記録されている複数の比較対象の体画像についての一致度を算出する体照合モデルの生成を公知の技術を用いて行ってよい。

【0018】

本開示の照合システム１００は、一例として、所定領域に進入する人物を、所定領域内で複数回照合するために利用される情報処理システムである。例えば、所定領域がテーマパークである場合、当該テーマパークに入る人物の進入時や、当該テーマパーク内の所定の場所（例えばアトラクションの入り口や店舗の入り口など）で複数回の照合処理を行う。または所定領域は所定の地域（国、都道府県、地域）や、公共施設、ビル、オフィスなどであってもよい。この場合、照合システム１００は、所定の地域（国、都道府県、地域）や、公共施設、ビル、オフィスなどの所定領域内で、人物を複数回照合するために利用される情報処理システムである。

【0019】

図４は顔画像と体画像の関係を示す第一の図である。
図４で示すように、顔画像ｍ１は顔領域を含み体の領域を含まない画像領域であってよい。また図４で示すように、体画像ｍ２は、顔、腕、脚、胴体など、頭からつま先までの全体を含む画像領域であってよい。

【0020】

図５は顔画像と体画像の関係を示す第二の図である。
図５で示すように、顔画像ｍ１は顔領域を含み体の領域を含まない画像領域であってよい。また図５で示すように、体画像ｍ２は、顔の領域を含まずに、腕、脚、胴体などの首からつま先までの全体を含む画像領域であってよい。

【0021】

図６は顔画像と体画像の関係を示す第三の図である。
図６で示すように、顔画像ｍ１は顔領域を含み体の領域を含まない画像領域であってよい。また図６で示すように、体画像ｍ２は、顔の領域を含まずに、腕、胴体などの首から腰や股近傍までを含む画像領域であってよい。

【0022】

図７は顔画像と体画像の関係を示す第四の図である。
図７で示すように、顔画像ｍ１は顔領域を含み体の領域を含まない画像領域であってよい。また図７で示すように、体画像ｍ２は、顔の領域を含まずに、胴体の首から腰や股近傍までの脚を含まない画像領域であってよい。

【0023】

図４から図７で示したように、体画像に含まれる体の領域は適宜定められてよい。また体画像に含まれる領域は上半身の服の情報のみであってもよい。また顔画像や体画像に含まれる領域は、人の顔の領域や、体の領域のみを含み背景が切り取られた画像であってもよい。

【0024】

＜第一実施形態＞
図８は第一実施形態による画像処理装置の第一の処理フローを示す図である。
第一の処理フローでは、所定領域に人物が進入する場合の例を示す。
人物Ｍが所定領域に進入する際や、所定の位置を通過する際、その進入位置や、通過位置などにおける人物撮影位置に設けられたカメラ２が当該人物Ｍを撮影する。カメラ２は人物Ｍの撮影画像とカメラ２のＩＤとを含む撮影情報を画像処理装置１へ送信する。画像処理装置１の入力部１１は、カメラ２から撮影情報を取得する（ステップＳ１０１）。画像処理装置１の入力部１１は、撮影情報に含まれるカメラ２のＩＤを取得する。入力部１１は、カメラ２のＩＤに基づいて、当該カメラ２が進入位置や所定の人物撮影位置などの、撮影画像に写る人物の記録判定を行う位置に設けられたカメラであるかを判定する（ステップＳ１０２）。入力部１１は、カメラ２のＩＤとカメラ種別を示す情報との対応関係を記憶するデータベース１０４のカメラ種別テーブルの記録に基づいて、カメラ２のＩＤに対応するカメラ種別を読み取る。入力部１１はカメラ種別が、記録判定を行う種別であることを示す場合、撮影情報を記録判定部１２へ出力する。入力部１１はカメラ種別が、記録判定を行う種別であることを示さない場合、撮影情報を照合部１３へ出力する。

【0025】

記録判定部１２は入力部１１から撮影情報を取得する。記録判定部１２において顔検出部２１は撮影情報から撮影画像を読み取る。顔検出部２１は撮影画像において顔が検出できるかを判定する（ステップＳ１０３）。撮影画像における顔の検出は公知の技術を利用してよい。例えば顔の検出は、公知の技術を用いて算出した、撮影画像に含まれる顔の特徴点の信頼度を用いて行ってよい。当該顔の検出は、機械学習によって生成された顔検出モデルに撮影画像を入力した結果得られた情報に基づいて行ってよい。例えば顔検出モデルは、顔を領域に含む撮影画像を入力情報とし、顔の領域や特徴点やその信頼度の値を出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。顔検出部２１は撮影画像において顔を検出できた場合、撮影画像示す撮影画像ＩＤを体検出部２２へ出力する。また顔検出部２１は検出した顔領域を含む矩形の顔画像ｍ１の四隅の座標情報（顔画像情報）を撮影画像ＩＤに紐づけてメモリに記録する。

【0026】

体検出部２２は取得した撮影画像ＩＤが示す撮影画像において体が検出できるかを判定する（ステップＳ１０４）。撮影画像における体の検出は公知の技術を利用してよい。例えば体の検出は、画像に写る体の骨格などの特徴量を抽出し、その特徴量に基づいて体を検出してよい。当該体の検出は、機械学習によって生成された体検出モデルに撮影画像を入力した結果得られた情報に基づいて行ってよい。例えば体検出モデルは、体を領域に含む撮影画像を入力情報とし、体の領域や骨格の特徴点やその信頼度の値を出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。体検出部２２は撮影画像において体を検出できた場合、撮影画像示す撮影画像ＩＤを対応関係特定部２３へ出力する。また一例として体検出部２２は、検出した体領域を含む矩形の体画像ｍ２の四隅の座標情報（体画像情報）を撮影画像ＩＤに紐づけてメモリに記録する。

【0027】

対応関係特定部２３は、体検出部２２から撮影画像ＩＤを取得すると、その撮影画像ＩＤに紐づいてメモリに記録されている顔画像情報と体画像情報とに紐づけて人物仮ＩＤを付与してメモリに記録して、対応関係を特定する（ステップＳ１０５）。これにより、撮影画像ＩＤと人物仮ＩＤと顔画像情報（座標情報）と体画像情報（座標情報）とが対応づいてメモリに記録され、人物Ｍについての撮影画像における顔の領域と体の領域とが対応づいて記録される。対応関係特定部２３は、撮影画像における顔画像情報から特定した顔画像ｍ１をさらに撮影画像ＩＤや人物仮ＩＤに紐づけてメモリに記録する。また対応関係特定部２３は、撮影画像における体画像情報から特定した体画像ｍ２をさらに撮影画像ＩＤや人物仮ＩＤに紐づけてメモリに記録する。

【0028】

対応関係特定部２３は、上述の顔画像情報や体画像情報の対応関係を特定する際に、それら顔画像情報や体画像情報の座標情報に基づいて対応関係を判定してよい。例えば顔画像情報の座標の左下と右下の座標と、体画像情報の座標の左上と右上の座標との距離に基づいて、左と右の各座標が所定距離以内かなどの判定を行って、所定距離以下であれば顔画像情報と体画像情報との対応関係がある（同一人物の画像情報である）と判定してよい。

【0029】

または対応関係特定部２３は、顔検出部２１が顔を検出し、体検出部２２が体を検出した撮影画像を、対応関係特定モデルに入力し、その結果、対応関係特定モデルが出力した結果に基づいて、顔の領域と体の領域が同じ人物の領域であることの結果を取得して、その結果に基づいて、顔の領域と体の領域との関係を特定してもよい。この場合、対応関係特定部２３は、対応関係特定モデルが出力した顔の領域を示す顔画像情報（座標）と体の領域を示す体画像情報（座標）とを取得して、それらを撮影画像ＩＤや人物仮ＩＤに対応付けてメモリに記録されている画像情報に置き換えてもよい。例えば対応関係特定モデルは、顔と体を領域に含む撮影画像を入力情報とし、その撮影画像に写る一人の人物の顔の領域と体の領域と出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。

【0030】

対応関係特定部２３は、撮影画像に複数の人物が写る場合でも、各人物の顔の領域と体の領域との対応関係を特定することができる。例えば、対応関係特定部２３は、顔検出部２１が複数の人物の顔を検出し、体検出部２２が複数の人物の体を検出した撮影画像を、対応関係特定モデルに入力する。そして体検出部２２は、対応関係特定モデルが出力した結果に基づいて、各人物について、顔の領域と体の領域が同じ人物の領域であることの結果を取得して、その結果に基づいて、各人物の顔の領域と体の領域との関係を特定してもよい。対応関係特定モデルは、複数の人物の顔と体を領域に含む撮影画像を入力情報とし、その撮影画像に写る各人物の顔の領域と体の領域とその対応関係が示された情報を出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。

【0031】

対応関係特定部２３は、撮影画像に写る人物の顔画像情報（座標）、体画像情報（座標）、顔画像ｍ１、体画像ｍ２などの情報を、撮影画像ＩＤや人物仮ＩＤに紐づけてメモリに記録すると、対応関係が特定できたと判定し、撮影画像ＩＤや人物仮ＩＤを顔照合部２４へ出力する。顔照合部２４は、対応関係が特定できた人物を含む撮影画像の撮影画像ＩＤその撮影画像について検出された人物仮ＩＤを取得する。

【0032】

顔照合部２４は、撮影画像ＩＤと人物仮ＩＤとに紐づいてメモリに記録されている顔画像を読み取る。顔照合部２４は、顔照合プログラムを用いて、その顔画像の顔照合処理を行う（ステップＳ１０６）。顔照合部２４は、データベース１０４に含まれる複数の顔画像の中から順に特定した比較対象の顔画像を入力する。この比較対象の顔画像は、予めデータベース１０４に登録した顔画像であってよい。

【0033】

顔照合部２４は、顔検出部２１の検出した顔画像と、データベース１０４に含まれる複数の顔画像（比較対象）の中から特定した顔画像との一致度を、データベース１０４に含まれる複数の顔画像の中から順に特定した顔画像それぞれについて算出する。上述した通り、顔照合プログラムは機械学習処理によって生成されたモデルを用いたプログラムである。これにより顔照合部２４は、顔検出部２１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度を算出することができる。顔照合部２４は、顔検出部２１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度のうち、最も高い一致度が所定の閾値以上であるかを判定し、これにより顔照合が成功したかを判定する（ステップＳ１０７）。顔照合部２４は、顔検出部２１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度のうち、最も高い一致度が所定の閾値以上である場合、顔照合成功と判定し、その比較対象の顔画像を、顔検出部２１の検出した顔画像に一致すると判定する。

【0034】

顔照合部２４は、データベース１０４において一致すると判定した比較対象の顔画像の人物情報をデータベース１０４から特定する。人物情報には、その顔画像の人物を識別するための人物ＩＤが含まれる。これにより顔照合部２４は撮影画像ＩＤと人物仮ＩＤと人物ＩＤとを紐づけることができる。つまり撮影画像ＩＤの示す撮影画像に写る人物に対して付与した人物仮ＩＤと、その人物と照合して一致した比較対象の顔画像が示す人物の人物ＩＤとを紐づけることができる。顔照合部２４は撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤ、顔照合成功を示すフラグ情報と、を含む照合結果を、画像記録部２５へ出力する。

【0035】

画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている体画像を読み取る。画像記録部２５は、その読み取った体画像やその体画像に含まれる体領域の画像情報が記録条件を満たすかどうかを判定する（ステップＳ１０８）。画像記録部２５は、体画像や体領域の画像情報が記録条件を満たす場合に、その体画像を記録すると判定する。記録条件は、一例としては、画像の状態が所定の状態であることを求める条件を示す情報である。例えば記録条件として、体画像が示す明度、または彩度の少なくとも一方が所定の閾値以上であることや、ぼやけが無いと判定できる状態であること等、を所定の条件としてよい。また記録条件は、体領域が検出された人物の体勢が所定の状態であることを示す情報であってよい。例えば記録条件は、体領域において腕が含まれることや、脚が含まれること、正面と想定できること等、の条件を示す情報である。これらの記録条件に合致するかどうかは、公知の技術を用いてよい。または記録条件に合致するかどうかを、機械学習手法を用いて生成した記録条件判定モデルを用いて行うようにしてもよい。当該記録条件判定モデルは、体画像を入力情報として、所定の記録条件を満たすかどうかを示す結果を出力情報とする入出力関係を機械学習して得られた学習モデルである。所定の条件を満たす体画像を記録することにより、後の照合に用いる体画像として適切な情報のみを記録することができる。

【0036】

画像記録部２５は、体画像が示す各画素の明度、または彩度を読み取り、それらが閾値以上であるかを判定して、体画像が示す明度、または彩度が所定の閾値以上であるかを判定する。画像記録部２５は、体画像が示す画素に基づいて体の輪郭のエッジを判定し、そのエッジの有無や領域などに基づいて、ぼやけが無いかを判定してよい。これら画像の明度や彩度が閾値以上であるかの判定や、ぼやけが無いかの判定は公知の技術を用いてよい。

【0037】

また画像記録部２５は、体領域が検出された人物の形状と、予め記憶する記録条件を満たす人の形状とをパターンマッチングにより比較して、パターンマッチングにより一致した場合に、体領域が検出された人物の体勢が所定の状態であると判定してよい。または画像記録部２５は、体領域が検出された人物の形状に基づいてその人物の正面方向の向きを算出し、その向きのベクトルと、カメラ２の撮影方向の方向ベクトルとの成す角度に基づいて、人物がカメラ２方向に向いていると判定できる角度である場合、体領域が検出された人物の体勢が所定の状態であると判定してよい。

【0038】

また画像記録部２５は、体領域が検出された人物の形状に基づいて、両腕や両足が写っているかを判定し、写っている場合に、体領域が検出された人物の体勢が所定の状態であると判定してよい。

【0039】

画像記録部２５は、体画像やその体画像に含まれる体領域の画像情報が記録条件を満たす場合、その体画像と人物ＩＤと顔照合成功を示すフラグ情報とを紐づけて、データベース１０４の人物テーブルに記録する（ステップＳ１０９）。画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている顔画像を読み取って、その顔画像と人物ＩＤと顔照合成功を示すフラグ情報とを紐づけて、データベース１０４の人物テーブルに記録してもよい。画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている体画像と顔画像とを読み取って、その体画像と顔画像と人物ＩＤと顔照合成功を示すフラグ情報とを紐づけて、データベース１０４の人物テーブルに記録してもよい。画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている体画像と顔画像と、それら体画像と顔画像が映る撮影画像を読み取って、その体画像と顔画像と撮影画像と人物ＩＤと顔照合成功を示すフラグ情報とを紐づけて、データベース１０４の人物テーブルに記録してもよい。顔画像や撮影画像も体画像と同様に、所定の記録条件を満たす場合に記録されよい。画像処理装置１は、これら人物テーブルに記録された体画像、顔画像を用いて、後に行われる人物の照合処理に利用する。このように所定の記録条件を満たす体画像、顔画像、および撮影画像が記録されるため、より精度の高い照合処理が実施されることとなる。

【0040】

記録判定部１２は、撮影画像を入力する度に、上述のステップＳ１０１～ステップＳ１０９の処理を繰り返す。これにより、撮影画像を生成したカメラ２が、進入位置や所定の人物撮影位置などの、撮影画像に写る人物の記録判定を行う位置に設けられたカメラである場合に、その撮影画像に写る人物の体画像や顔画像を、人物テーブルに記録していく。

【0041】

元々人物テーブルには、登録対象の人物の顔画像や体画像が登録されている。しかしながら、記録判定部１２の処理により、この予め人物テーブルに登録されている登録対象の人物の顔画像や体画像が、さらに追加で記録される。または、記録判定部１２は、予め人物テーブルに登録されている登録対象の人物の顔画像や体画像を、新たに取得した撮影画像から生成した顔画像や体画像に置き換えて繰り返し更新してもよい。進入位置や所定の人物撮影位置などの、撮影画像に写る人物の記録判定を行う位置に設けられたカメラ２が、テーマパーク、所定の地域（国、都道府県、地域）や、公共施設、ビル、オフィスなどの所定領域に複数台設置されていれば、そのカメラ２に撮影されると自動的に人物Ｍの顔画像や体画像が人物テーブルに記録され蓄積されるか、または更新される。従って、例えば人物Ｍが、所定領域内で服を着替えたとしても、着替えた後の服を着た状態の人物Ｍの体画像を、記録していくことができる。また人物Ｍが所定領域内で眼鏡やサングラスをかけたり、マスクを装着したりしても、その顔画像が蓄積されてよい。上述した顔照合処理は、顔の一部の情報を用いて照合処理を行うものであってよい。

【0042】

そして、カメラ種別が照合処理を行う種別であることを示すカメラ種別のカメラ２において人物Ｍが撮影された場合には、画像処理装置１は、その照合処理を行う種別のカメラ２から取得した撮影画像に含まれる人物Ｍの顔画像や体画像と、上述の処理によって、記録判定を行う種別であることを示すカメラ種別のカメラ２から取得した撮影画像に含まれる人物Ｍの顔画像ｍ１や体画像ｍ２とを比較して、照合処理を行う。

【0043】

なお本開示における所定領域に設置されるカメラ２は、記録判定を行う種別と、照合処理を行う種別の両方の種別を示す種別ＩＤが付与されたカメラであってよい。この場合、そのカメラ２から取得した撮影画像については、画像処理装置１は、上述の記録判定処理と、以下に示す照合処理の両方が行われ得る。

【0044】

また上述の図８を用いて説明した処理は、複数のカメラ２の撮影制御によって生成された複数の撮影画像のフレームごとに同時並行して実行されている。

【0045】

図９は画像処理装置の第二の処理フローを示す図である。
次に、画像処理装置１の第二の処理フローについて説明する。第二の処理フローは照合処理の処理フローである。カメラ２が照合処理を行う為の撮影位置に設けられたカメラであるとする。カメラ２は、人物Ｍを撮影する。カメラ２は人物Ｍの撮影画像とカメラ２のＩＤとを含む撮影情報を画像処理装置１へ送信する。画像処理装置１の入力部１１はカメラ２から撮影情報を取得する（図８におけるステップＳ１０１）。画像処理装置１の入力部１１は撮影情報に含まれるカメラ２のＩＤを取得する。入力部１１は、カメラ２のＩＤに基づいて、カメラ２が進入位置などの記録判定を行う位置に設けられたカメラであるかを判定する（図８におけるステップＳ１０２）。この判定においてＮｏである場合には、カメラ２は照合処理を行う為の撮影位置に設けられたカメラである。入力部１１は、カメラ２のＩＤとカメラ種別を示す情報との対応関係を記憶するデータベース１０４のカメラ種別テーブルの記録に基づいて、カメラ２のＩＤに対応するカメラ種別を読み取る。入力部１１はカメラ種別が、記録判定を行う種別でないことを示す場合、照合処理を行う為の撮影位置に設けられたカメラであるため、入力部１１は撮影情報を照合部１３へ出力する。以上の処理までは上述の第一の処理フローと同様である。

【0046】

照合部１３の顔検出部３１は、入力部１１から撮影情報を取得する。顔検出部３１は、撮影画像において顔が検出できるかを判定する（ステップＳ２０１）。撮影画像における顔の検出は公知の技術を利用してよい。例えば顔の検出は、公知の技術を用いて算出した、撮影画像に含まれる顔の特徴点の信頼度を用いて行ってよい。当該顔の検出は、機械学習によって生成された顔検出モデルに撮影画像を入力した結果得られた情報に基づいて行ってよい。例えば顔検出モデルは、顔を領域に含む撮影画像を入力情報とし、顔の領域や特徴点やその信頼度の値を出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。顔検出部２１は撮影画像において顔を検出できた場合、顔照合部３２に顔照合を指示する。顔検出部２１は撮影画像において顔を検出できない場合、体検出部３３に体検出を指示する。

【0047】

顔照合部３２は、撮影画像において検出された顔領域に基づいて顔照合処理を行う（ステップＳ２０２）。顔照合部３２は、データベース１０４に含まれる複数の顔画像の中から順に特定した比較対象の顔画像を入力する。

【0048】

顔照合部３２は、顔検出部３１の検出した顔画像と、データベース１０４に含まれる複数の顔画像（比較対象）の中から特定した顔画像との一致度を、データベース１０４に含まれる複数の顔画像の中から順に特定した顔画像それぞれについて算出する。上述した通り、顔照合プログラムは機械学習処理によって生成されたモデルを用いたプログラムである。これにより顔照合部３２は、顔検出部３１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度を算出することができる。顔照合部３２は、顔検出部３１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度のうち、最も高い一致度が所定の閾値以上であるかを判定し、これにより顔照合が成功したかを判定する（ステップＳ２０３）。顔照合部３２は、顔検出部３１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度のうち、最も高い一致度が所定の閾値以上であると判定した場合、その比較対象の顔画像を、顔検出部３１の検出した顔画像に一致すると判定し、顔照合の成功と判定する。顔照合部３２は、顔検出部３１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度のうち、最も高い一致度が所定の閾値以上でない場合、顔照合処理が不成功と判定し、体検出部３３に体検出を指示する。

【0049】

顔照合部３２は、データベース１０４において一致すると判定した比較対象の顔画像の人物情報をデータベース１０４から特定する（ステップＳ２０４）。人物情報には、その顔画像の人物を識別するための人物ＩＤが含まれる。顔照合部３２は人物情報を出力部３５へ出力する。出力部３５は、撮影画像に基づいて顔照合部３２が特定した人物情報を、所定の出力先装置へ出力する（ステップＳ２０５）。

【0050】

これにより、画像処理装置１は撮影画像に写る人物Ｍの照合処理の結果を用いて、所定の処理を行うことができる。例えば、本開示の照合システム１００が所定領域であるテーマパークで用いられている場合、人物情報を用いてテーマパーク内のアトラクションに入場できるかを判定する装置であってよい。例えば人物情報に、その人物が入場しようとしているアトラクションを示す種別が含まれる場合、出力先装置はそのアトラクションに入場できると判定するようにしてよい。または本開示の照合システム１００が所定領域であるオフィスで用いられている場合、出力先装置は、人物情報を用いてオフィス内に設置されているコンピュータを操作できるように制御するようにしてもよい。例えば人物情報に含まれる操作可能コンピュータの識別子が含まれる場合、出力先装置はその識別子に対応するコンピュータを操作できるように制御してよい。

【0051】

ステップＳ２０１において、顔が検出できない場合、体検出部３３は、顔検出部３１から体検出の指示を取得する。またはステップＳ２０３において顔照合ができない場合、体検出部３３は、顔照合部３２から体検出の指示を取得する。体検出部３３は、撮影画像において体が検出できるかを判定する（ステップＳ２０６）。撮影画像における体の検出は公知の技術を利用してよい。例えば体の検出は、公知の技術を用いて算出した、撮影画像に含まれる体の骨格の特徴点の信頼度を用いて行ってよい。当該体の検出は、機械学習によって生成された体検出モデルに撮影画像を入力した結果得られた情報に基づいて行ってよい。例えば体検出モデルは、体を領域に含む撮影画像を入力情報とし、体の領域や特徴点やその信頼度の値を出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。体検出部３３は撮影画像において体を検出できた場合、体照合部３４に体照合を指示する。体検出部３３は撮影画像において体を検出できない場合、処理を終了すると判定する。

【0052】

体照合部３４は体照合の指示を取得すると、撮影画像において検出された体領域に基づいて体照合処理を行う（ステップＳ２０７）。体照合部３４は、データベース１０４に含まれる複数の体画像ｍ２の中から順に特定した比較対象の顔画像ｍ２を入力する。

【0053】

体照合部３４は、体検出部３３の検出した体画像と、データベース１０４に含まれる複数の体画像（比較対象）の中から特定した体画像との一致度を、データベース１０４に含まれる複数の体画像の中から順に特定した体画像それぞれについて算出する。上述した通り、体照合プログラムは機械学習処理によって生成されたモデルを用いたプログラムである。これにより体照合部３４は、体検出部３３の検出した体画像と、データベース１０４から特定した各体画像との一致度を算出することができる。体照合部３４は、体検出部３３の検出した体画像と、データベース１０４から特定した各体画像との一致度のうち、最も高い一致度が所定の閾値以上であり、かつ、データベース１０４において特定した体画像が顔照合成功を示すフラグ情報に紐づいて記録されているかを判定し、これにより体照合が成功したかを判定する（ステップＳ２０８）。体照合部３４は、体検出部３３の検出した体画像と、データベース１０４から特定した各体画像との一致度のうち、最も高い一致度が所定の閾値以上であると判定し、かつ、そのデータベース１０４において特定した比較対象の体画像が顔照合成功を示すフラグ情報に紐づいて記録されている場合、その比較対象の体画像を、体検出部３３の検出した体画像に一致すると判定し、体照合の成功と判定する。体照合部３４は、体検出部３３の検出した体画像と、データベース１０４から特定した各体画像との一致度のうち、最も高い一致度が所定の閾値以上でない場合、またはそのデータベース１０４において特定した比較対象の体画像が顔照合成功を示すフラグ情報に紐づいて記録されていない場合は、体照合処理が不成功と判定し、処理を終了すると判定する。顔照合成功を示すフラグ情報に紐づいていない体画像の記録を行わないことで、顔照合ができておらず体照合にだけ成功している人物の体画像の記録を防ぐことができる。

【0054】

体照合部３４は、データベース１０４において一致すると判定した比較対象の体画像の人物情報をデータベース１０４から特定する（ステップＳ２０９）。人物情報には、その体画像の人物を識別するための人物ＩＤが含まれる。体照合部３４は人物情報を出力部３５へ出力する（ステップＳ２１０）。出力部３５は、撮影画像に基づいて体照合部３４が特定した人物情報を、所定の出力先装置へ出力する（ステップＳ２１１）。これにより、画像処理装置１は撮影画像に写る人物Ｍの照合処理の結果を用いて、所定の処理を行うことができる。例えば、本開示の照合システム１００が所定領域であるテーマパークで用いられている場合、人物情報を用いてテーマパーク内のアトラクションに入場できるかを判定する装置であってよい。例えば人物情報に、その人物が利用できるアトラクションの種別が含まれる場合、出力先装置はアトラクションを使用できると判定するようにしてよい。

【0055】

そして画像処理装置１は、顔検出部３１において顔検出が出来ない場合や、顔照合部３２において顔照合が不成功となった場合にも、体照合部３４による体照合処理の結果、その照合処理に成功した場合には、所定の処理が出力先装置において行われるように制御することができる。または画像処理装置１自体が、顔検出部３１において顔検出が出来ない場合や、顔照合部３２において顔照合が不成功となった場合にも、体照合部３４による体照合処理の結果を用いて、何等かの処理を行うようにしてもよい。

【0056】

上述の図９を用いて説明した処理も、複数のカメラ２の撮影制御によって生成された複数の撮影画像のフレームごとに同時並行して実行されている。

【0057】

上述の実施形態において、進入位置や所定の人物撮影位置などの、撮影画像に写る人物の記録判定を行う位置に設けられたカメラ２は、所定の定点の位置の人物を複数方向からそれぞれ撮影する位置にそれぞれ設置されていてもよい。これにより、人物を複数の方向から撮影した場合の顔画像や体画像を記録して、そのように記録した画像を比較対象として用いることにより、より精度高く人物を照合することができる。

【0058】

＜第二実施形態＞
図１０は第二の実施形態による画像処理装置の機能ブロック図である。
図１０で示すように画像処理装置１は、さらに追跡部１４を備える。そして画像処理装置１は出力部３５の出力結果に基づいて、人物Ｍの追跡処理を行う装置であってよい。例えば、顔検出部３１において顔検出が出来ない場合や、顔照合部３２において顔照合が不成功となった場合にも、体照合部３４による体照合処理の結果、その照合処理に成功した場合には、出力部３５は、体照合処理によって特定した人物情報と、撮影画像と、その撮影画像を取得したカメラ２の識別情報と、そのカメラ２の設置座標と、検出時刻と、を追跡部１４へ出力する。追跡部１４は、それらの情報を紐づけて追跡テーブルに記録する。照合部１３や追跡部１４は、同様の処理を繰り返す。これにより追跡テーブルには、人物Ｍについての人物情報と、撮影画像と、その撮影画像を取得したカメラ２の識別情報と、そのカメラ２の設置座標と、検出時刻とが順次蓄積される。これにより、画像処理装置１は、後に追跡テーブルに記録されている履歴により、人物Ｍの移動を追跡することができる。追跡部１４は、人物Ｍの顔画像を用いて追跡処理を行うようにしてもよい。

【0059】

＜第三実施形態＞
図１１は第三実施形態による画像処理装置の機能ブロック図である。
第一実施形態における記録判定部１２の処理においては、顔照合処理が成功した場合にのみ、その顔照合処理によって特定した人物を示す人物ＩＤと、体画像や、顔画像、撮影画像を紐づけて人物テーブルに記録している。しかしながら、顔照合処理だけでなく、体検出処理と、体照合処理をさらに行って、顔照合処理と体照合処理の結果に基づいて同じ人物との一致を判定した場合に、その人物ＩＤと、体画像や、顔画像、撮影画像を紐づけて人物テーブルに記録するようにしてもよい。この場合、記録判定部１２は、さらに、体照合部２６を備える。

【0060】

そして、この場合、体検出部２２によって体検出が行われた後、体照合部２６は、顔照合処理の結果特定した人物について過去に記録した体領域の画像情報と、顔照合処理に用いた顔領域の画像情報と対応関係を有する体領域の画像情報とを用いて体照合処理を行う。画像記録部２５は、顔照合処理に用いた顔領域の画像情報と対応関係を有する体領域の画像情報が、体照合処理において顔照合処理の結果特定した人物の体領域の画像情報であると判定した場合に、顔照合処理の結果特定した人物の体領域を含む画像情報（体画像）を記録する。体検出部２２の処理と、体照合部２６の処理は、第一実施形態で説明した体検出部３３の処理と、体照合部３４の処理と同様である。このような処理により、顔照合処理と体照合処理の両方の照合処理が成功した場合に体画像が記録されるため、より精度高く特定の人物についての体画像の情報を記録することができる。

【0061】

＜第四実施形態＞
上述の第一実施形態で説明した記録条件は、体領域が検出された人物の属性（例えば着ている服の色、着ている服の形状など）または付属物（例えば身に着けている眼鏡や帽子などの物など）が、顔照合処理の結果特定した人物について記録されている体領域の画像情報と異なることを示す情報であってよい。これにより、例えば予め人物テーブルに記録されている体画像が示す服装と、新たに記録判定処理において記録判定部１２が処理する撮影画像の体領域が示す服装とが異なる場合、人物Ｍが所定領域内で着替えたものとしてその体画像を新たに記録することができる。

【0062】

上述の各実施形態の画像処理装置の処理によれば、顔の特徴が認識できない場合でも人物を長時間にわたって複数回それぞれで精度高く認証するための体画像の記録を行うことができる。そして体画像を記録することで、顔の特徴が認識できない場合でも人物を長時間にわたって複数回それぞれで精度高く認証することができる。

【0063】

上述の照合システムによれば、進入位置や所定の人物撮影位置などの、撮影画像に写る人物の記録判定を行う位置に設けられたカメラ２が、テーマパーク、所定の地域（国、都道府県、地域）や、公共施設、ビル、オフィスなどの所定領域に複数台設置されていれば、各人物の体画像を記録する。そして、所定領域内でその人物が着替えたとしても、その人物の体画像のみで、当該人物の照合や追跡の処理を行うことができる。

【0064】

所定領域がテーマパークであれば、テーマパークの入場ゲートや、エリアごとの所定位置に、記録判定を行うカメラ２が設置されている。その記録判定を行うカメラ２で撮影した画像に基づいて、各人物の記録条件を満たすベストショットの体画像が照合システム１００に記録される。各エリアに設置されているアトラクションの利用において、人物の顔画像による照合ができない場合でも、画像処理装置は上述の照合部１３の処理によって体画像のみで人物の照合を行うことができる。テーマパーク内では利用者は、帽子をかぶる、着替える、マスクをする、などの行為を行うことがある。このような場合でも、その利用者を、より精度高く照合することができる。またテーマパークなどの所定領域における人物の追跡においても、同様に体画像のみで追跡を行うことができる。

【0065】

上述の処理において、画像記録部２５は、記録判定処理において記録すると判定した体画像をカテゴリ別に分類して、各体画像を登録してもよい。例えば、画像記録部２５は、撮影画像を生成したカメラ２の設置されている位置座標を取得する。画像記録部２５は、所定領域において区分けされている小領域の位置座標と、記録対象となる体画像を含む撮影画像について特定した位置座標とを比較して、体画像に対応する小領域を特定する。そして画像記録部２５は、小領域の識別情報と、記録すると判定した体画像とを紐づけて、人物テーブルに記録するようにしてもよい。これにより、例えばテーマパーク内の異なる領域ごとの、照合処理に用いる体画像として記録することができる。照合部１３は、照合処理において、人物が撮影された位置をカメラ２の設置位置に基づいて特定し、その設置位置の位置座標に対応する小領域の識別情報に紐づいて記録されている体画像を特定する。そして、照合部１３は、その特定した体画像を比較対象の画像として利用して照合処理を行う。一例としては、テーマパーク内のエリアごとにテーマが分かれており、テーマに応じて入場者が服を着替えたり装飾物を付け替えたりすることが考えられる。また、入場者のエリアにおける入退場時には通常の服装となっていると考えられる。このような場合でも、エリアごとに位置情報と対応付けて体画像を登録し、当該エリア内での照合を、当該エリア内で登録された体画像を用いて照合処理を行うようにしてよい。

【0066】

図１２は第四実施形態による処理フローを示す図である。
人物Ｍがテーマパーク内の所定エリアに進入する際、その進入位置に設けられたカメラ２が当該人物Ｍを撮影する。カメラ２は人物Ｍの撮影画像とカメラ２のＩＤと位置情報とを含む撮影情報を画像処理装置１へ送信する。画像処理装置１の入力部１１は、カメラ２から撮影情報を取得する（ステップＳ３０１）。そして、以降のステップＳ３０２～ステップＳ３０８の処理は、第一実施形態と同様である。画像記録部２５は、体画像やその体画像に含まれる体領域の画像情報が記録条件を満たす場合、その体画像と人物ＩＤと顔照合成功を示すフラグ情報と撮影画像が撮影された位置を示す位置情報とを紐づけて、データベース１０４の人物テーブルに記録する（ステップＳ３０９）。画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている顔画像を読み取って、その顔画像と人物ＩＤと顔照合成功を示すフラグ情報と位置情報とを紐づけて、データベース１０４の人物テーブルに記録してもよい。

【0067】

そして、実際に、テーマパーク内の各位置に設けられたカメラ２の撮影した撮影画像を含む撮影情報に基づいて、撮影画像に写る人物の照合処理を行う場合には、画像処理装置１は、カメラ２が撮影情報に含む位置情報に基づいてテーマパークを特定する。そして画像処理装置１は、図９で説明した処理を行う場合、そのテーマパークのエリアを示す位置情報に紐づいてデータベース１０４の中から比較対象の顔画像や体画像を特定し、撮影画像に写る顔画像や体画像と比較して図９を用いて説明した第一実施形態と同様の照合処理を行う。

【0068】

画像処理装置１は、記録されている体画像や顔画像の再登録を所定のタイミングで行うようにしてもよい。例えば画像処理装置１は、００時００分などの所定の時刻において、各人物の体画像を人物テーブルから削除する。そして画像処理装置１は、新たに各人物の記録判定処理を行い、新しい体画像を記録していくようにしてもよい。

【0069】

画像処理装置１は、記録された体画像や顔画像の対応関係に基づいて、顔画像と体画像とを含む人物画像の所定期間の人物画像の一覧を作成して、人物ごとに記録してもよい。そして各人物の要求に基づいて、当該人物の携帯する端末に当該人物の人物画像の一覧のデータを送信するようにしてもよい。画像処理装置１は、アルバム形式の人物画像の一覧を送信することにより、所定領域内で撮影された画像を各人物が確認することができる。

【0070】

画像処理装置１は、所定のタイミングで人物テーブルに記録された顔画像や体画像を削除するようにしてもよい。例えば、画像処理装置１は、所定領域の出口近傍に設置されたカメラ２の撮影画像に基づいて照合処理を行う。画像処理装置１は、照合処理で一致した人物について人物テーブルに記録されている顔画像や体画像などの全ての画像情報を削除するようにしてもよい。

【0071】

＜第五の実施形態＞
図１３は第五実施形態による処理フローを示す図である。
第一実施形態において図８を用いた体画像の記録のための処理の説明では、顔照合に成功した場合に体画像を記録する処理を説明している。しかしながら、他の実施形態においては、撮影距離が長い位置にいる人物を撮影して得られた撮影画像において顔照合するための解像度の顔画像が得られない場合には、以下のような処理を行ってもよい。

【0072】

具体的には、画像処理装置１の入力部１１は、カメラ２から撮影情報を取得する（ステップＳ１０１）。画像処理装置１の入力部１１は、撮影情報に含まれるカメラ２のＩＤを取得する。入力部１１は、カメラ２のＩＤに基づいて、当該カメラ２が進入位置や所定の人物撮影位置などの、撮影画像に写る人物の記録判定を行う位置に設けられたカメラであるかを判定する（ステップＳ１０２）。入力部１１は、カメラ２のＩＤとカメラ種別を示す情報との対応関係を記憶するデータベース１０４のカメラ種別テーブルの記録に基づいて、カメラ２のＩＤに対応するカメラ種別を読み取る。入力部１１はカメラ種別が、記録判定を行う種別であることを示す場合、撮影情報を記録判定部１２へ出力する。入力部１１はカメラ種別が、記録判定を行う種別であることを示さない場合、撮影情報を照合部１３へ出力する。

【0073】

記録判定部１２は入力部１１から撮影情報を取得する。記録判定部１２において顔検出部２１は撮影情報から撮影画像を読み取る。顔検出部２１は撮影画像において顔が検出できるかを判定する（ステップＳ１０３）。ここまでは第一実施形態と同様の処理である。

【0074】

そして体検出部３３はステップＳ１０３で顔が検出できないと判定された場合（Ｎｏの場合）には、撮影画像において体が検出できるかを判定する（ステップＳ４０１）。撮影画像における体の検出は公知の技術を利用してよい。例えば体の検出は、公知の技術を用いて算出した、撮影画像に含まれる体の骨格の特徴点の信頼度を用いて行ってよい。当該体の検出は、機械学習によって生成された体検出モデルに撮影画像を入力した結果得られた情報に基づいて行ってよい。例えば体検出モデルは、体を領域に含む撮影画像を入力情報とし、体の領域や特徴点やその信頼度の値を出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。体検出部３３は撮影画像において体を検出できた場合、その検出した体領域を含む矩形の体画像ｍ２の四隅の座標情報（体画像情報）を撮影画像ＩＤに紐づけてメモリに記録する（ステップＳ４０２）。顔検出部２１は撮影画像において顔が検出できるかを判定する（ステップＳ４０３）。画像処理装置１は、顔検出部２１が撮影画像において顔が検出できるまでステップＳ４０１とステップＳ４０３の処理を繰り返す。この処理により、撮影画像に写る人物が遠くからカメラ２に近づくような状況において、顔が検出できるまで、一つ以上の体画像をメモリに記録することとなる。

【0075】

そして顔検出部２１が撮影画像において顔が検出できると判定した場合、撮影画像示す撮影画像ＩＤを体検出部２２へ出力する。また顔検出部２１は検出した顔領域を含む矩形の顔画像ｍ１の四隅の座標情報（顔画像情報）を撮影画像ＩＤに紐づけてメモリに記録する。顔検出部２１は撮影画像において体を検出できた場合、撮影画像示す撮影画像ＩＤを対応関係特定部２３へ出力する。

【0076】

対応関係特定部２３は、顔検出部２１から撮影画像ＩＤを取得すると、その撮影画像ＩＤに紐づいてメモリに記録されている顔画像情報と体画像情報とに紐づけて人物仮ＩＤを付与してメモリに記録して、対応関係を特定する（ステップＳ４０４）。これにより、撮影画像ＩＤと人物仮ＩＤと顔画像情報（座標情報）と体画像情報（座標情報）とが対応づいてメモリに記録され、人物Ｍについての撮影画像における顔の領域と体の領域とが対応づいて記録される。対応関係特定部２３は、撮影画像における顔画像情報から特定した顔画像ｍ１をさらに撮影画像ＩＤや人物仮ＩＤに紐づけてメモリに記録する。また対応関係特定部２３は、撮影画像における体画像情報から特定した体画像ｍ２をさらに撮影画像ＩＤや人物仮ＩＤに紐づけてメモリに記録する。

【0077】

対応関係特定部２３は、上述の顔画像情報や体画像情報の対応関係を特定する際に、それら顔画像情報や体画像情報の座標情報に基づいて対応関係を判定してよい。例えば顔画像情報の座標の左下と右下の座標と、体画像情報の座標の左上と右上の座標との距離に基づいて、左と右の各座標が所定距離以内かなどの判定を行って、所定距離以下であれば顔画像情報と体画像情報との対応関係がある（同一人物の画像情報である）と判定してよい。

【0078】

または対応関係特定部２３は、顔検出部２１が顔を検出し、体検出部２２が体を検出した撮影画像を、対応関係特定モデルに入力し、その結果、対応関係特定モデルが出力した結果に基づいて、顔の領域と体の領域が同じ人物の領域であることの結果を取得して、その結果に基づいて、顔の領域と体の領域との関係を特定してもよい。この場合、対応関係特定部２３は、対応関係特定モデルが出力した顔の領域を示す顔画像情報（座標）と体の領域を示す体画像情報（座標）とを取得して、それらを撮影画像ＩＤや人物仮ＩＤに対応付けてメモリに記録されている画像情報に置き換えてもよい。例えば対応関係特定モデルは、顔と体を領域に含む撮影画像を入力情報とし、その撮影画像に写る一人の人物の顔の領域と体の領域と出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。

【0079】

対応関係特定部２３は、撮影画像に複数の人物が写る場合でも、各人物の顔の領域と体の領域との対応関係を特定することができる。例えば、対応関係特定部２３は、顔検出部２１が複数の人物の顔を検出し、体検出部２２が複数の人物の体を検出した撮影画像を、対応関係特定モデルに入力する。そして体検出部２２は、対応関係特定モデルが出力した結果に基づいて、各人物について、顔の領域と体の領域が同じ人物の領域であることの結果を取得して、その結果に基づいて、各人物の顔の領域と体の領域との関係を特定してもよい。対応関係特定モデルは、複数の人物の顔と体を領域に含む撮影画像を入力情報とし、その撮影画像に写る各人物の顔の領域と体の領域とその対応関係が示された情報を出力情報とする入出力関係を、多数の撮影画像について機械学習処理して生成したモデルであってよい。

【0080】

対応関係特定部２３は、撮影画像に写る人物の顔画像情報（座標）、体画像情報（座標）、顔画像ｍ１、体画像ｍ２などの情報を、撮影画像ＩＤや人物仮ＩＤに紐づけてメモリに記録すると、対応関係が特定できたと判定し、撮影画像ＩＤや人物仮ＩＤを顔照合部２４へ出力する。顔照合部２４は、対応関係が特定できた人物を含む撮影画像の撮影画像ＩＤその撮影画像について検出された人物仮ＩＤを取得する。

【0081】

顔照合部２４は、撮影画像ＩＤと人物仮ＩＤとに紐づいてメモリに記録されている顔画像を読み取る。顔照合部２４は、顔照合プログラムを用いて、その顔画像の顔照合処理を行う（ステップＳ４０５）。顔照合部２４は、データベース１０４に含まれる複数の顔画像の中から順に特定した比較対象の顔画像を入力する。この比較対象の顔画像は、予めデータベース１０４に登録した顔画像であってよい。

【0082】

顔照合部２４は、顔検出部２１の検出した顔画像と、データベース１０４に含まれる複数の顔画像（比較対象）の中から特定した顔画像との一致度を、データベース１０４に含まれる複数の顔画像の中から順に特定した顔画像それぞれについて算出する。上述した通り、顔照合プログラムは機械学習処理によって生成されたモデルを用いたプログラムである。これにより顔照合部２４は、顔検出部２１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度を算出することができる。顔照合部２４は、顔検出部２１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度のうち、最も高い一致度が所定の閾値以上であるかを判定し、これにより顔照合が成功したかを判定する（ステップＳ４０６）。顔照合部２４は、顔検出部２１の検出した顔画像と、データベース１０４から特定した各顔画像との一致度のうち、最も高い一致度が所定の閾値以上である場合、顔照合成功と判定し、その比較対象の顔画像を、顔検出部２１の検出した顔画像に一致すると判定する。

【0083】

顔照合部２４は、データベース１０４において一致すると判定した比較対象の顔画像の人物情報をデータベース１０４から特定する。人物情報には、その顔画像の人物を識別するための人物ＩＤが含まれる。これにより顔照合部２４は撮影画像ＩＤと人物仮ＩＤと人物ＩＤとを紐づけることができる。つまり撮影画像ＩＤの示す撮影画像に写る人物に対して付与した人物仮ＩＤと、その人物と照合して一致した比較対象の顔画像が示す人物の人物ＩＤとを紐づけることができる。顔照合部２４は撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤを含む照合結果を、画像記録部２５へ出力する。

【0084】

画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている体画像を読み取る。画像記録部２５は、その読み取った体画像やその体画像に含まれる体領域の画像情報が記録条件を満たすかどうかを判定する（ステップＳ４０７）。この処理は第一実施形態と同様である。

【0085】

画像記録部２５は、体画像やその体画像に含まれる体領域の画像情報が記録条件を満たす場合、その体画像を人物ＩＤと紐づけて、データベース１０４の人物テーブルに記録する（ステップＳ４０８）。画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている顔画像を読み取って、その顔画像と人物ＩＤとを紐づけて、データベース１０４の人物テーブルに記録してもよい。画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている体画像と顔画像とを読み取って、その体画像と顔画像と人物ＩＤとを紐づけて、データベース１０４の人物テーブルに記録してもよい。画像記録部２５は、撮影画像ＩＤ、人物仮ＩＤ、人物ＩＤに紐づいてメモリに記録されている体画像と顔画像と、それら体画像と顔画像が映る撮影画像を読み取って、その体画像と顔画像と撮影画像と人物ＩＤとを紐づけて、データベース１０４の人物テーブルに記録してもよい。顔画像や撮影画像も体画像と同様に、所定の記録条件を満たす場合に記録されよい。画像処理装置１は、これら人物テーブルに記録された体画像、顔画像を用いて、後に行われる人物の照合処理に利用する。このように所定の記録条件を満たす体画像、顔画像、および撮影画像が記録されるため、より精度の高い照合処理が実施されることとなる。

【0086】

第五の実施形態によれば、撮影画像において顔画像が検出できない場合でも、先に記録用の体画像をメモリ等に記憶しておく。そして画像処理装置１は、顔画像が検出できた段階で、それら顔画像と体画像の対応関係を特定して、顔画像に基づいて特定した人物の情報として体画像を記録することができる。

【0087】

図１４は画像処理装置の最小構成を示す図である。
図１５は最小構成の画像処理装置による処理フローを示す図である。
画像処理装置１は、少なくとも、顔検出手段４１、体検出手段４２、顔照合手段４３、画像記録手段４４を備える。
そして、顔検出手段４１は、画像に映る人物の顔領域を検出する（ステップＳ１３１）。
体検出手段４２は、画像に映る人物の体領域を検出する（ステップＳ１３２）。
顔照合手段４３は、顔領域の画像情報を用いて顔照合処理を行う（ステップＳ１３３）。
画像記録手段４４は、顔照合処理の結果特定した人物の体領域の画像情報を記録する。この時、画像記録手段４４は、体領域の画像情報が記録条件を満たす場合に、体領域の画像情報を記録する（ステップＳ１３４）。

【0088】

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0089】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0090】

１・・・画像処理装置
２・・・カメラ
１１・・・入力部
１２・・・記録判定部
１３・・・照合部
１４・・・追跡部
２１・・・顔検出部
２２・・・体検出部
２３・・・対応関係特定部
２４・・・顔照合部
２５・・・画像記録部
２６・・・体照合部
３１・・・顔検出部
３２・・・顔照合部
３３・・・体検出部
３４・・・体照合部
３５・・・出力部
１００・・・照合システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】