特許 7602341 画像処理装置、画像処理システム、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-10

(45)【発行日】2024-12-18

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241211BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 660B

【請求項の数】 13

(21)【出願番号】P 2020158964

(22)【出願日】2020-09-23

(65)【公開番号】P2022052525

(43)【公開日】2022-04-04

【審査請求日】2023-07-18

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100117673

【弁理士】

【氏名又は名称】中島 了

(72)【発明者】

【氏名】森藤 健

(72)【発明者】

【氏名】古川 勇輔

(72)【発明者】

【氏名】藤丸 顕太郎

【審査官】松浦 功

(56)【参考文献】

【文献】国際公開第２０２０／１５２９１７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０２６５６０４（ＵＳ，Ａ１）

【文献】特開平０９－０９１４２９（ＪＰ，Ａ）

【文献】特開２０１６－１６２１０５（ＪＰ，Ａ）

【文献】特開２０１８－０４５２９１（ＪＰ，Ａ）

【文献】特開２０１９－１４４８３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００８６１０８（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０３８９６５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ４０／００ －４０／７０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

可視画像において顔画像を検出する制御部、
を備え、
前記制御部は、
前記可視画像に基づき人物の骨格情報を検出し、
前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出し、
前記可視画像に基づく前記骨格情報の検出処理の実行頻度は、前記可視画像に基づく前記顔画像の検出処理の実行頻度よりも小さいことを特徴とする、画像処理装置。

【請求項2】

可視画像において顔画像を検出する制御部、
を備え、
前記制御部は、
前記可視画像に基づき人物の骨格情報を検出し、
前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出し、
前記制御部は、前記可視画像に基づき複数の顔画像が検出される場合、当該複数の顔画像のうち、対応骨格情報を有する顔画像と対応骨格情報を有しない顔画像とを互いに異なる態様で表示部に表示することを特徴とする、画像処理装置。

【請求項3】

可視画像において顔画像を検出する制御部、
を備え、
前記制御部は、
前記可視画像に基づき人物の骨格情報を検出し、
前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出し、
前記制御部は、前記可視画像に基づき複数の顔画像が検出される場合、前記複数の顔画像のうち、対応骨格情報を有する顔画像を囲む枠を表示部に表示する一方、対応骨格情報を有しない顔画像を囲む枠を前記表示部に表示しないことを特徴とする、画像処理装置。

【請求項4】

可視画像において顔画像を検出する制御部、
を備え、
前記制御部は、
前記可視画像に基づき人物の骨格情報を検出し、
前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出し、
前記制御部は、前記可視画像に基づく顔画像の検出処理を所定時間間隔で実行する一方で、所定条件が成立するまでは前記骨格情報の検出処理を実行せず、前記所定条件が成立すると前記骨格情報の検出処理をも実行することを特徴とする、画像処理装置。

【請求項5】

請求項１から請求項４のいずれかに記載の画像処理装置と、
前記可視画像を撮像する撮像部と、
を備えることを特徴とする画像処理システム。

【請求項6】

ａ）可視画像に基づき人物の骨格情報を検出するステップと、
ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、
を備え、
前記可視画像に基づく前記骨格情報の検出処理の実行頻度は、前記可視画像に基づく前記顔画像の検出処理の実行頻度よりも小さいことを特徴とする、画像処理方法。

【請求項7】

ａ）可視画像に基づき人物の骨格情報を検出するステップと、
ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、
ｃ）前記可視画像に基づき複数の顔画像が検出される場合、当該複数の顔画像のうち、対応骨格情報を有する顔画像と対応骨格情報を有しない顔画像とを互いに異なる態様で表示するステップと、
を備えることを特徴とする、画像処理方法。

【請求項8】

ａ）可視画像に基づき人物の骨格情報を検出するステップと、
ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、
ｃ）前記可視画像に基づき複数の顔画像が検出される場合、前記複数の顔画像のうち、対応骨格情報を有する顔画像を囲む枠を表示する一方、対応骨格情報を有しない顔画像を囲む枠を表示しないステップと、
を備えることを特徴とする、画像処理方法。

【請求項9】

ａ）可視画像に基づき人物の骨格情報を検出するステップと、
ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、
をコンピュータに実行させるためのプログラムであって、
前記可視画像に基づく前記骨格情報の検出処理の実行頻度は、前記可視画像に基づく前記顔画像の検出処理の実行頻度よりも小さいことを特徴とする、プログラム。

【請求項10】

ａ）可視画像に基づき人物の骨格情報を検出するステップと、
ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、
ｃ）前記可視画像に基づき複数の顔画像が検出される場合、当該複数の顔画像のうち、対応骨格情報を有する顔画像と対応骨格情報を有しない顔画像とを互いに異なる態様で表示するステップと、
をコンピュータに実行させるためのプログラム。

【請求項11】

ａ）可視画像に基づき人物の骨格情報を検出するステップと、
ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、
ｃ）前記可視画像に基づき複数の顔画像が検出される場合、前記複数の顔画像のうち、対応骨格情報を有する顔画像を囲む枠を表示する一方、対応骨格情報を有しない顔画像を囲む枠を表示しないステップと、
をコンピュータに実行させるためのプログラム。

【請求項12】

ａ）可視画像に基づき顔画像を検出するステップと、
ｂ）前記可視画像に基づき人物の骨格情報を検出するステップと、
ｃ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、
を備え、
前記可視画像に基づく顔画像の検出処理が所定時間間隔で実行される一方で、所定条件が成立するまでは前記骨格情報の検出処理が実行されず、前記所定条件が成立すると前記骨格情報の検出処理もが実行されることを特徴とする、画像処理方法。

【請求項13】

ａ）可視画像に基づき顔画像を検出するステップと、
ｂ）前記可視画像に基づき人物の骨格情報を検出するステップと、
ｃ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、
をコンピュータに実行させるためのプログラムであって、
前記可視画像に基づく顔画像の検出処理が所定時間間隔で実行される一方で、所定条件が成立するまでは前記骨格情報の検出処理が実行されず、前記所定条件が成立すると前記骨格情報の検出処理もが実行されることを特徴とする、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置およびそれに関連する技術に関する。

【背景技術】

【0002】

撮影画像を解析して顔画像を検出する技術が存在する。たとえば、鉄道の駅等において撮影された撮影画像を解析して当該撮影画像の中から人物の顔画像を検出する技術が存在する。

【0003】

このような撮影画像には、人間の顔が描かれたＴシャツを着用した人物が写っていることがある。詳細には、駅構内等にて歩いている人物がＴシャツを着用しているとともに、当該Ｔシャツ内に他の人物（あるいは自分自身）の顔を模した絵（顔写真等）が比較的大きく（人物の実際の顔の大きさと同程度の大きさで）描かれていることがある。

【0004】

このような撮影画像（可視画像）に基づいて顔画像を検出する場合、誤検出が生じ得る。具体的には、人物の正面側から撮影した可視画像においては、当該人物の顔画像（本来の顔画像）が検出されるとともに、当該人物の着用中のＴシャツ内に描かれた顔画像（人物の胸付近に描かれた顔画像）が誤って検出されることがある。

【0005】

特許文献１に記載の技術では、このような誤検出を回避するため、人物の通過位置の鉛直上部に設けられた距離画像センサが用いられている。具体的には、距離画像センサは、その設置位置（人物の通過位置の真上等）から対象物（人物の頭部等）までの距離（鉛直下向きの距離）を測定する。距離画像センサによる測定情報が考慮されることによって、人物の頭部よりも下側に存在する顔画像（Ｔシャツ内の顔写真）は人物の顔画像としては検出されない。これによって、誤検出が回避されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１３－０７３４５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の技術では、比較的高価な距離画像センサが用いられている。

【0008】

コスト抑制の観点からは、距離画像センサを用いずとも、上述のような誤検出が回避されることが好ましい。

【0009】

そこで、この発明の課題は、低コストで人物の顔画像を精度良く検出することが可能な画像処理装置およびそれに関連する技術を提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決すべく、本発明に係る画像処理装置は、可視画像において顔画像を検出する制御部、を備え、前記制御部は、前記可視画像に基づき人物の骨格情報を検出し、前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出し、前記可視画像に基づく前記骨格情報の検出処理の実行頻度は、前記可視画像に基づく前記顔画像の検出処理の実行頻度よりも小さいことを特徴とする。

【0011】

上記課題を解決すべく、本発明に係る画像処理装置は、可視画像において顔画像を検出する制御部、を備え、前記制御部は、前記可視画像に基づき人物の骨格情報を検出し、前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出し、前記制御部は、前記可視画像に基づき複数の顔画像が検出される場合、当該複数の顔画像のうち、対応骨格情報を有する顔画像と対応骨格情報を有しない顔画像とを互いに異なる態様で表示部に表示することを特徴とする。

【0012】

上記課題を解決すべく、本発明に係る画像処理装置は、可視画像において顔画像を検出する制御部、を備え、前記制御部は、前記可視画像に基づき人物の骨格情報を検出し、前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出し、前記制御部は、前記可視画像に基づき複数の顔画像が検出される場合、前記複数の顔画像のうち、対応骨格情報を有する顔画像を囲む枠を表示部に表示する一方、対応骨格情報を有しない顔画像を囲む枠を前記表示部に表示しないことを特徴とする。

【0013】

上記課題を解決すべく、本発明に係る画像処理装置は、可視画像において顔画像を検出する制御部、を備え、前記制御部は、前記可視画像に基づき人物の骨格情報を検出し、前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出し、前記制御部は、前記可視画像に基づく顔画像の検出処理を所定時間間隔で実行する一方で、所定条件が成立するまでは前記骨格情報の検出処理を実行せず、前記所定条件が成立すると前記骨格情報の検出処理をも実行することを特徴とする。

【0014】

上記課題を解決すべく、本発明に係る画像処理システムは、上記いずれかの特徴を備える画像処理装置と、前記可視画像を撮像する撮像部と、を備えることを特徴とする。

【0015】

上記課題を解決すべく、本発明に係る画像処理方法は、ａ）可視画像に基づき人物の骨格情報を検出するステップと、ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、を備え、前記可視画像に基づく前記骨格情報の検出処理の実行頻度は、前記可視画像に基づく前記顔画像の検出処理の実行頻度よりも小さいことを特徴とする。

【0016】

上記課題を解決すべく、本発明に係る画像処理方法は、ａ）可視画像に基づき人物の骨格情報を検出するステップと、ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、ｃ）前記可視画像に基づき複数の顔画像が検出される場合、当該複数の顔画像のうち、対応骨格情報を有する顔画像と対応骨格情報を有しない顔画像とを互いに異なる態様で表示するステップと、を備えることを特徴とする、

【0017】

上記課題を解決すべく、本発明に係る画像処理方法は、ａ）可視画像に基づき人物の骨格情報を検出するステップと、ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、ｃ）前記可視画像に基づき複数の顔画像が検出される場合、前記複数の顔画像のうち、対応骨格情報を有する顔画像を囲む枠を表示する一方、対応骨格情報を有しない顔画像を囲む枠を表示しないステップと、を備えることを特徴とする。

【0018】

上記課題を解決すべく、本発明に係るプログラムは、ａ）可視画像に基づき人物の骨格情報を検出するステップと、ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、をコンピュータに実行させるためのプログラムであって、前記可視画像に基づく前記骨格情報の検出処理の実行頻度は、前記可視画像に基づく前記顔画像の検出処理の実行頻度よりも小さいことを特徴とする。

【0019】

上記課題を解決すべく、本発明に係るプログラムは、ａ）可視画像に基づき人物の骨格情報を検出するステップと、ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、ｃ）前記可視画像に基づき複数の顔画像が検出される場合、当該複数の顔画像のうち、対応骨格情報を有する顔画像と対応骨格情報を有しない顔画像とを互いに異なる態様で表示するステップと、をコンピュータに実行させるためのプログラムであることを特徴とする。

【0020】

上記課題を解決すべく、本発明に係るプログラムは、ａ）可視画像に基づき人物の骨格情報を検出するステップと、ｂ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、ｃ）前記可視画像に基づき複数の顔画像が検出される場合、前記複数の顔画像のうち、対応骨格情報を有する顔画像を囲む枠を表示する一方、対応骨格情報を有しない顔画像を囲む枠を表示しないステップと、をコンピュータに実行させるためのプログラムであることを特徴とする。

【0021】

上記課題を解決すべく、本発明に係る画像処理方法は、ａ）可視画像に基づき顔画像を検出するステップと、ｂ）前記可視画像に基づき人物の骨格情報を検出するステップと、ｃ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、を備え、前記可視画像に基づく顔画像の検出処理が所定時間間隔で実行される一方で、所定条件が成立するまでは前記骨格情報の検出処理が実行されず、前記所定条件が成立すると前記骨格情報の検出処理もが実行されることを特徴とする。
上記課題を解決すべく、本発明に係るプログラムは、ａ）可視画像に基づき顔画像を検出するステップと、ｂ）前記可視画像に基づき人物の骨格情報を検出するステップと、ｃ）前記可視画像に基づき検出される顔画像であって前記骨格情報に対応する顔画像を、前記人物の顔画像として検出するステップと、をコンピュータに実行させるためのプログラムであって、前記可視画像に基づく顔画像の検出処理が所定時間間隔で実行される一方で、所定条件が成立するまでは前記骨格情報の検出処理が実行されず、前記所定条件が成立すると前記骨格情報の検出処理もが実行されることを特徴とする。

【発明の効果】

【0022】

本発明によれば、可視画像に基づき人物の骨格情報が検出され、可視画像に基づき検出される顔画像であって当該骨格情報に対応する顔画像が当該人物の顔画像として検出される。したがって、距離画像センサを用いることなく撮影された可視画像に基づき、低コストで人物の顔画像を検出することが可能である。また、骨格情報を用いない場合に比べて、精度良く人物の顔画像を検出することが可能である。

【図面の簡単な説明】

【0023】

【図1】第１実施形態に係る画像処理システムを示すブロック図である。

【図2】入場用サブシステムのゲート装置等を示す図である。

【図3】退場用サブシステムのゲート装置等を示す図である。

【図4】人物検出装置の構成を示すブロック図である。

【図5】可視画像（撮影画像）を示す図である。

【図6】顔画像の検出結果を示す図である。

【図7】骨格情報等をも示す図である。

【図8】骨格情報を用いた顔画像検出処理の処理結果を示す図である。

【図9】骨格情報を示す概念図である。

【図10】複数の人物を含む可視画像を示す図である。

【図11】複数の人物の骨格情報等が検出された様子を示している。

【図12】骨格情報を用いた顔画像検出処理の処理結果を示す図である。

【図13】図１２とは別の表示例を示す図である。

【図14】第１実施形態に係るコントローラの処理を示すフローチャートである。

【図15】変形例に係るフローチャートである。

【図16】第２実施形態に係る画像処理システムを示すブロック図である。

【図17】改札サブシステムのゲート装置の付近の様子を示す図である。

【図18】駅員室サブシステムの駅員室の付近の様子を示す図である。

【発明を実施するための形態】

【0024】

以下、本発明の実施形態を図面に基づいて説明する。

【0025】

＜１．第１実施形態＞
＜１－１．システム概要＞
図１は、第１実施形態に係る画像処理システム１（１Ａ）を示すブロック図である。図１に示されるように、画像処理システム１は、入場用サブシステム２と退場用サブシステム３と入場者登録データベース４とを有している。入場用サブシステム２、退場用サブシステム３および入場者登録データベース４は、たとえば、駅（鉄道駅等）ごとに設けられる。なお、画像処理システム１は、認証システムとも称される。

【0026】

入場用サブシステム２は、人物検出装置１０（入場者検出装置１０Ａとも称する）とゲート装置９１（入場ゲート装置９２とも称する）（図２参照）とを有している。また、入場ゲート９２の付近には、カメラ２２（２２Ａ）が配置されている。入場用サブシステム２のカメラ２２Ａは、入場ゲート９２を通過して駅構内に入場しようとする人物を撮影することが可能である。

【0027】

退場用サブシステム３は、人物検出装置１０（退場者検出装置１０Ｂとも称する）とゲート装置９１（退場ゲート装置９３とも称する）（図３参照）とを有している。また、退場ゲート９３の付近には、カメラ２２（２２Ｂ）が配置されている。退場用サブシステム３のカメラ２２Ｂは、退場ゲート９３を通過して駅構内から退場しようとする人物を撮影することが可能である。

【0028】

図２は、入場用サブシステム２のゲート装置９１（入場ゲート装置９２）、および退場用サブシステム３のゲート装置９１（退場ゲート装置９３）を示す図である。図３も同様である。図２においては、人物の入場時における入場用サブシステム２等の処理（入場者登録データベースへの登録処理等）も示されている。また、図３においては、人物の退場時における退場用サブシステム３等の処理（入場者登録データベース４を用いた認証処理等）も示されている。

【0029】

各ゲート装置９１（９２，９３）は、たとえば通路型（通路開閉型）のゲート装置であり、切符（入場券を含む）等の読み取り結果等に基づいて、当該ゲート装置を通過する人物の通行等を制御する。なお、以下、ゲート装置を単にゲートとも称する。

【0030】

図２の入場ゲート９２は、或る駅の入場改札口に設けられたゲートであり、図２の退場ゲート９３は、同じ駅の退場改札口に設けられたゲートである。

【0031】

この第１実施形態では、入場券を利用したキセルを防止する技術に本発明の思想を適用する態様について説明する。

【0032】

図２等に示されるように、本来は、入場券の利用者は、或る駅の入場改札口（入場ゲート９２）から入場し、同じ駅の退場改札口（退場ゲート９３）から退場する。

【0033】

しかしながら、入場券を利用して次のようなキセル行為が行われることがある。

【0034】

具体的には、第１駅（たとえば大阪）にて人物Ｕ１が入場券Ｋ１で入場し、第２駅（たとえば東京）にて別の人物Ｕ２が入場券Ｋ２で入場する。その後、第１駅と第２駅との間の中間駅（たとえば名古屋）で合流した両人物Ｕ１，Ｕ２が入場券Ｋ１，Ｋ２を互いに交換する。そして、第２駅に移動した人物Ｕ１が第２駅から入場券Ｋ２で退場し、第１駅に移動した人物Ｕ２が第１駅から入場券Ｋ１で退場する。すなわち、入場券Ｋ１，Ｋ２の所持者が入れ替わった状態で、両人物Ｕ１，Ｕ２が移動後の駅からそれぞれ退場する。このようなキセル行為が行われることがある。

【0035】

この実施形態では、当該キセル行為を次のようにして検出する。

【0036】

具体的には、各人物Ｕ１，Ｕ２の入場時において、各入場券Ｋ１，Ｋ２を利用して各駅の入場ゲート９２から入場する人物の顔画像が撮影される。この際、入場者登録データベース４において、入場人物Ｕ１，Ｕ２の顔画像が入場券の識別番号に関連づけて登録される。

【0037】

より詳細には、図２に示されるように、第１駅において人物Ｕ１が入場券Ｋ１を利用して入場ゲート９２から入場する際には、当該人物Ｕ１の顔画像Ｅ１が第１駅のカメラ２２Ａによって撮影される。そして、当該人物Ｕ１の顔画像Ｅ１が入場券Ｋ１の識別番号に関連づけて第１駅用の入場者登録データベース４に登録される。これらの処理は、第１駅の入場用サブシステム２において実行される。

【0038】

同様に、第２駅において人物Ｕ２が入場券Ｋ２を利用して入場ゲート９２から入場する際には、当該人物Ｕ２の顔画像Ｅ２が第２駅のカメラ２２Ａによって撮影される。そして、当該人物Ｕ２の顔画像Ｅ２が入場券Ｋ２の識別番号に関連づけて第２駅用の入場者登録データベース４に登録される。これらの処理は、第２駅の入場用サブシステム２において実行される。

【0039】

なお、各駅用の入場者登録データベース４は、各駅に設けられたサーバ装置（不図示）等に格納される。

【0040】

その後、各人物Ｕ１，Ｕ２の退場時には、退場ゲート９３を通過しようとする人物の顔画像が撮影される。そして、当該人物が退場ゲート９３の切符投入口に投入した入場券の識別番号に関連づけて入場時に登録されている顔画像と、当該入場券を利用して退場ゲート９３を通過しようとする人物の顔画像とが照合される。

【0041】

たとえば、図３に示されるように、第１駅において或る人物が入場券Ｋ１を利用して退場ゲート９３から退場する際には、当該人物の顔画像Ｅ３が第１駅の退場ゲート９３付近のカメラ２２Ｂによって撮影される。そして、当該人物が退場ゲート９３の切符投入口に投入した入場券Ｋ１の識別番号に関連づけられて登録されている顔画像Ｅ１と、当該入場券Ｋ１を利用して退場ゲート９３を通過しようとする人物の顔画像Ｅ３とが照合される。

【0042】

通常は（キセル行為が行われていない場合は）、退場ゲート９３を通過しようとする人物の顔画像Ｅ３と、当該退場ゲート９３に投入された入場券Ｋ１の識別番号に関連づけられて登録されている顔画像Ｅ１とが合致する。

【0043】

一方、上述のようなキセル行為が行われた場合、退場ゲート９３を通過しようとする人物の顔画像Ｅ３と、当該退場ゲート９３に投入された入場券Ｋ１の識別番号に関連づけられて登録されている顔画像とが合致しない。これによってキセル行為が検出される。

【0044】

たとえば、人物Ｕ２が第１駅の退場ゲート９３を通過しようとして交換後の入場券Ｋ１を第１駅の退場ゲート９３に投入すると、第１駅の退場用サブシステム３は、上述のような照合処理を実行する。その結果、第１駅の退場ゲート９３を通過しようとしている人物Ｕ２の顔画像Ｅ３（第１駅のカメラ２２Ｂで撮影された画像）と、当該退場ゲート９３に投入された入場券Ｋ１の識別番号に関連づけられて登録されている人物Ｕ１の顔画像Ｅ１とが合致しないことが判定される。これによって、人物Ｕ２のキセル行為が検出される。

【0045】

同様に、人物Ｕ１が第２駅の退場ゲート９３を通過しようとして交換後の入場券Ｋ２を第２駅の退場ゲート９３に投入すると、第２駅の退場用サブシステム３は、上述のような照合処理を実行する。その結果、退場ゲート９３を通過しようとしている人物Ｕ１の顔画像Ｅ３（第２駅のカメラ２２Ｂで撮影された画像）と、当該退場ゲート９３に投入された入場券Ｋ２の識別番号に関連づけられて登録されている人物Ｕ２の顔画像Ｅ２とが合致しないことを判定する。これによって、人物Ｕ１のキセル行為が検出される。

【0046】

なお、退場用サブシステム３は、退場ゲート９３を通過しようとする人物のキセル行為を検出すると、当該人物を通過させないように当該退場ゲート９３の開閉扉を閉じる。

【0047】

＜１－２．ハードウエア構成等＞
人物検出装置１０（具体的には、入場者検出装置１０Ａおよび退場者検出装置１０Ｂ）は、それぞれ同様のハードウエア構成を有している。以下では、まず、入場者検出装置１０Ａについて説明する。

【0048】

図４は、人物検出装置１０（入場者検出装置１０Ａ等）の構成を示すブロック図である。図４に示されるように、人物検出装置１０は、撮影部２０と画像処理装置３０とを備える。

【0049】

撮影部２０は、カメラ２２を有する。カメラ２２は、２次元画像を撮像する撮像センサ等を備えている。たとえば、カメラ２２は、可視光等を受光するＲＧＢ画像センサ等を備えており、可視画像（カラー画像あるいはグレースケール画像等）を撮影することが可能である。カメラ２２は、ゲート９１（入場ゲート９２等）を通過しようとする人物をゲート９１の直前で撮影することが可能である。

【0050】

画像処理装置３０は、カメラ２２で撮影された各撮影画像に対する画像処理等を施す装置である。

【0051】

画像処理装置３０は、コントローラ３１（制御部とも称する）と記憶部３２と通信部３４と操作部３５とを備える。

【0052】

コントローラ３１は、画像処理装置３０に内蔵され、画像処理装置３０の動作を制御する制御装置である。

【0053】

コントローラ３１は、１又は複数のハードウェアプロセッサ（例えば、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphics Processing Unit））等を備えるコンピュータシステムとして構成される。コントローラ３１は、ＣＰＵ等において、記憶部（ＲＯＭおよび／またはハードディスクなどの不揮発性記憶部）３２内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて画像処理装置３０にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて画像処理装置３０にインストールされるようにしてもよい。

【0054】

コントローラ３１は、カメラ２２による撮影画像（可視画像とも称する）２１０を撮影部２０から取得する。そして、コントローラ３１は、可視画像２１０に基づき、ゲート９１を通過しようとする人物の顔画像の検出処理等を実行する。

【0055】

記憶部３２は、ハードディスクドライブ（ＨＤＤ）あるいはソリッドステートドライブ（ＳＳＤ）等の記憶装置で構成される。

【0056】

通信部３４は、ネットワークを介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、画像処理装置３０は、所望の相手先（たとえば、入場者登録データベース４を格納しているサーバ装置、および他の画像処理装置３０等）との間で各種のデータを授受することが可能である。

【0057】

操作部３５は、画像処理装置３０に対する操作入力を受け付ける操作入力部３５ａと、各種情報の表示出力を行う表示部３５ｂとを備えている。操作入力部３５ａとしてはマウス、キーボード等が用いられ、表示部３５ｂとしてはディスプレイ（液晶ディスプレイ等）が用いられる。また、操作入力部３５ａの一部としても機能し且つ表示部３５ｂの一部としても機能するタッチパネルが設けられてもよい。

【0058】

以上においては、入場者検出装置１０Ａについて主に説明したが、退場者検出装置１０Ｂも同様の構成を有している。たとえば、退場者検出装置１０Ｂも、画像処理装置３０およびカメラ２２等を有している。退場者検出装置１０Ｂのカメラ２２（２２Ｂ）は、退場ゲート９３を通過しようとする人物を当該退場ゲート９３の直前で撮影することが可能である。

【0059】

また、入場者検出装置１０Ａの画像処理装置３０は、カメラ２２（２２Ａ）による撮影画像（可視画像）から人物の顔画像を検出する処理を実行するとともに、検出された顔画像を入場者登録データベース４に登録する処理等を実行する。

【0060】

また、退場者検出装置１０Ｂの画像処理装置３０は、カメラ２２（２２Ｂ）による撮影画像（可視画像）から人物の顔画像を検出する処理を実行するとともに、検出された顔画像と入場者登録データベース４に予め登録されていた顔画像とを照合する処理（認証処理）等を実行する。

【0061】

このように、各人物検出装置１０の画像処理装置３０では、それぞれ、カメラ２２による撮影画像（可視画像）から人物の顔画像を検出する処理（顔画像検出処理）が行われる。

【0062】

これらの顔画像検出処理（顔画像抽出処理とも称する）では、本発明の課題欄で述べたように、人物を撮影した可視画像において、当該人物の着用中のＴシャツ内に描かれた顔画像（人物の胸付近等に描かれた顔画像）が誤って検出（抽出）されることがある。すなわち、本物ではない顔画像（疑似顔画像）が誤検出されることがある。

【0063】

このような誤検出を回避する手法について次に説明する。

【0064】

＜１－３．本物の顔画像を検出する処理等＞
図１４は、第１実施形態に係る画像処理装置３０（詳細には、コントローラ３１）の処理を示すフローチャートである。

【0065】

カメラ２２によって撮影される可視画像２１０（可視撮像データとも称される）は、動画像であってもよく、静止画像であってもよい。ここでは、可視画像２１０が動画像であるものとする。また、コントローラ３１は、動画像である可視画像２１０を随時取得しており、図１４のフローチャートの処理は、可視画像２１０（詳細にはその最新フレーム）に対して所定の微小時間間隔（たとえば１／３０秒）で繰り返し実行される。

【0066】

コントローラ３１は、先ずステップＳ１１において顔画像を検出する。ステップＳ１１においては、可視画像２１０を解析して顔画像が抽出される。より詳細には、ニューラルネットワーク等を用いて、顔特徴（目および／または鼻の存在）等に基づき顔画像が検出される。ステップＳ１１の顔画像の検出処理（抽出処理）は、たとえば可視画像２１０の全体を対象にして実行される。

【0067】

図５の可視画像（撮影画像）２１０においては、人物Ｕ１の本物（実物）の顔を撮影した顔画像（本物の顔画像とも称する）Ｅ１と当該人物Ｕ１の着用中のＴシャツに描かれた顔画像Ｆ１との双方が含まれている。

【0068】

なお、本願においては、可視画像２１０内の顔画像であって、本物（実物）の顔を模した顔画像（Ｔシャツ等にプリントされた写真、および絵画等）（Ｆ１等）は、本物の顔画像ではない（擬似的な顔画像である）、と表現する。また、可視画像２１０内の顔画像であって、生体の顔を模した顔画像（Ｔシャツ等にプリントされた写真、および絵画等）（Ｆ１等）は、生体の顔を撮影した顔画像（生体顔画像とも称する）ではない（非生体顔画像である）、と表現する。

【0069】

図５のような可視画像２１０を解析して顔画像が検出される（ステップＳ１１）と、図６に示されるように、人物Ｕ１の本物の顔画像Ｅ１（生体顔画像）のみならず、Ｔシャツに描かれた擬似的な顔画像Ｆ１（非生体顔画像）もが検出される。すなわち、擬似的な顔画像Ｆ１が誤検出される。特に、顔画像Ｅ１，Ｆ１の大きさが近い場合には、その大きさで両者（生体／非生体）を区別することは困難である。図６は、可視画像２１０に基づく顔画像検出処理（ステップＳ１１の処理）の処理結果を示す図である。なお、可視画像２１０に基づく顔画像検出処理（ステップＳ１１の処理）は、骨格情報１４０（後述）を用いない顔画像検出処理とも称される。

【0070】

そこで、この実施形態では、人物（人体）の骨格情報１４０もが可視画像２１０に基づいて検出される（ステップＳ１２）。具体的には、コントローラ３１は、可視画像２１０の解析処理（被写体人物の特定部位（関節位置等）の検出処理等）によって、被写体人物の骨格情報１４０（骨格モデル情報）（図９の右下参照）を取得する。ステップＳ１２の骨格情報の検出処理は、たとえば可視画像２１０の全体を対象にして実行される。なお、図９は、骨格情報１４０を示す概念図である。

【0071】

図９に示されるように、当該骨格情報１４０は、被写体人物の複数の特定部位（詳細には、胸、鼻、肩、肘、手首、腰、膝、足首、目、耳等）（主に関節）と当該複数の特定部位を接続する骨格線（リンク）とを用いて、当該人物の骨格を（簡略化して）表現する情報である。図９の骨格情報１４０では、各特定部位は「点」で示され、各骨格線（接続線）は「線分」で示されている。撮影画像に基づく骨格情報１４０は、複数の特定部位（ここではＢ０～Ｂ１７）に関する情報（各特定部位の画像内での平面位置情報等）を有している。

【0072】

図７においては、図６の可視画像２１０にて検出された骨格情報１４０もが示されている。ここでは、左肩、左肘、右肩、右肘、胸等の特定部位の位置が検出され、骨格情報１４０は、これら複数の特定部位を示す「点」（黒丸）と当該複数の特定部位を接続する線分とを備えて構成されている。なお、実際には、目、耳の各特定部位の位置も特定されているが、図７では、目、耳の各特定部位を示す「点」は省略されている。図７では、顔内においては、目、耳の位置に基づいて推定された顔位置（詳細には顔の代表位置）（たとえば眉間部分）のみに「点」（黒丸）が付されている。

【0073】

そして、コントローラ３１は、人物の骨格情報１４０と可視画像２１０から検出された顔画像とに基づき、当該人物の顔画像を特定（検出）する（ステップＳ１４）。たとえば、図６および図７のように可視画像２１０に基づき複数の顔画像Ｅ１，Ｆ１がステップＳ１１にて検出される場合、当該複数の顔画像Ｅ１，Ｆ１のうち、人物の骨格情報１４０に対応する顔画像Ｅ１を、当該人物の顔画像として特定（検出）する（ステップＳ１４）。詳細には、骨格情報１４０に基づく推定頭部位置（たとえば、図７における顔中央の黒丸位置）に存在する顔画像Ｅ１が、当該人物の顔画像として特定される。換言すれば、当該顔画像Ｅ１が本物の顔画像として特定（検出）される。なお、骨格情報１４０に基づく推定頭部位置（推定顔位置とも称される）は、各特定部位の位置関係等に基づいて算出（推定）されればよい。たとえば、当該推定頭部位置は、骨格情報１４０における左肩位置と右肩位置との中間位置から所定距離（両肩間の半分等）上側の位置として求められばよい。

【0074】

一方、骨格情報１４０に基づく推定頭部位置（推定顔位置）に存在しない顔画像Ｆ１は、当該人物Ｕ１の顔画像としては検出されない。換言すれば、対応する骨格情報（対応骨格情報とも称する）を有しない顔画像Ｆ１は、本物の顔画像として検出されず、当該人物Ｕ１の顔画像としても検出されない。当該顔画像Ｆ１は、本物ではない擬似的な顔画像として判定（特定）される。

【0075】

このように、可視画像２１０に基づき検出される顔画像であって、可視画像２１０に基づき検出された骨格情報１４０に対応する顔画像Ｅ１が、人物の顔画像として検出される。詳細には、人物の骨格情報１４０に基づく推定頭部位置（推定顔位置）に存在する顔画像Ｅ１が、当該人物の顔画像として検出される。より詳細には、対応する骨格情報１４０（対応骨格情報）を有する顔画像Ｅ１（対応骨格情報が検出される顔画像Ｅ１）が、本物の顔画像（生体顔画像）として判定されて検出される。一方、対応骨格情報を有しない顔画像Ｆ１（対応骨格情報が検出されない顔画像Ｆ１）は、擬似的な顔画像（非生体顔画像）と判定されて検出される。

【0076】

したがって、人物の骨格情報１４０にも基づき人物の顔画像が検出されるので、骨格情報１４０を用いない場合に比べて、精度良く人物の顔画像を検出することが可能である。特に、人物Ｕ１の本来の顔画像Ｅ１とＴシャツに描かれた疑似的な顔画像Ｆ１との両者が同程度の大きさを有する場合でも、両者を適切に区別することが可能である。また、比較的高価な距離画像センサ（深度センサ等）を用いることを要することなく、比較的安価な２次元カメラで取得された可視画像に基づき人物の顔画像を検出することができる。したがって、低コストで人物の顔画像を検出することが可能である。

【0077】

また、図８は、このような検出結果（骨格情報１４０を用いた顔画像検出処理（ステップＳ１４）の処理結果）を示す表示例である。図８においては、本物の顔画像Ｅ１（対応骨格情報を有する顔画像）は、特定色（たとえば青色）の枠（矩形枠）で包囲されて示されている。一方、擬似的な顔画像Ｆ１（対応骨格情報を有しない顔画像）は、当該特定色とは異なる色（たとえば緑色）の枠で包囲されて示されている。また、図８では、本物の顔画像Ｅ１を包囲する枠は実線で表示され且つ擬似的な顔画像Ｆ１を包囲する枠は破線で表示されている。ただし、これに限定されず、本物の顔画像Ｅ１を包囲する枠と擬似的な顔画像Ｆ１を包囲する枠との双方が同じ種類の線（たとえば実線）で表示されてもよい。

【0078】

このように、複数の顔画像のうち、対応骨格情報を有する顔画像Ｅ１と対応骨格情報を有しない顔画像Ｆ１との両者が互いに異なる態様で表示されてもよい。これによれば、操作ユーザが当該両者を容易に見分けることが可能である。

【0079】

あるいは、複数の顔画像のうち、対応骨格情報を有する顔画像Ｅ１（本物の顔画像）を包囲する枠が表示される一方、対応骨格情報を有しない顔画像Ｆ１（擬似的な顔画像）を包囲する枠は表示されない（非表示）ようにしてもよい。これによれば、操作ユーザが、顔画像Ｅ１と顔画像Ｆ１とを容易に見分けることが可能である。

【0080】

また、これらの検出結果は、検出処理時において人物検出装置１０の表示部３５ｂにリアルタイムで表示される。ただし、これに限定されず、可視画像２１０の録画画像（録画映像）とともに事後的に再生表示されてもよい。

【0081】

より具体的には、当該検出処理時において、可視画像２１０の録画画像とともに、可視画像２１０の各時刻における顔画像の検出結果（骨格情報に基づく顔画像の検出処理の検出結果）に関する情報を記憶部３２（図４）等に記憶しておく。顔画像の当該検出結果に関する情報は、各顔画像の顔位置、顔サイズ及び顔検出種類等を含む。顔位置は、可視画像２１０内での各顔画像の２次元位置（代表位置）（あるいは包囲枠の位置）を示す情報であり、顔サイズは、当該各顔画像の大きさ（あるいは包囲枠の大きさ）を示す情報である。また、顔検出種類は、対応骨格情報を有する顔画像と対応骨格情報を有しない顔画像とのいずれであるか、（端的に言えば、生体顔画像であるか非生体顔画像であるか）を示す情報である。

【0082】

そして、事後に録画画像（可視画像２１０）を再生する際に、顔画像の当該検出結果に関する情報（記憶部３２等に記憶された情報）に基づき、顔画像を包囲する枠等が可視画像２１０に重畳して表示されればよい。これによれば、再生時においても図８等と同様の表示を実現することが可能である。

【0083】

また、これらの顔画像は、可視画像２１０とともに当該可視画像２１０内での位置を示すように表示されてもよいが、これに限定されず、元の可視画像２１０から抽出され可視画像２１０とは独立して表示されてもよい。

【0084】

＜１－４．本物の顔画像の検出後の処理＞
図１４に示すような処理によって、単一の人物Ｕ１を含む可視画像２１０において本物の顔画像Ｅ１が当該単一の人物Ｕ１の顔画像であるとして検出されると、当該本物の顔画像Ｅ１が着目顔画像として特定（判定）される。

【0085】

このような着目顔画像の特定処理（判定処理）は、上述のように所定時間間隔で随時（繰り返し）実行されている。そして、人物Ｕ１がゲート９１の直前の所定位置に到達した時点で検出された着目顔画像が、各人物検出装置１０Ａ，１０Ｂにおける次の処理での処理対象顔画像として採用される。

【0086】

具体的には、その後、各人物検出装置１０Ａ，１０Ｂにおいて、着目顔画像に関する次の処理が実行される。

【0087】

入場者検出装置１０Ａにおいては、着目顔画像を入場者登録データベース４に登録する処理がさらに実行される（図２参照）。

【0088】

詳細には、上述のような顔画像の検出処理にて可視画像２１０からの本物の顔画像Ｅ１が着目顔画像として検出された場合、コントローラ３１は、当該着目顔画像Ｅ１を入場者登録データベース４に登録する処理をさらに実行する。より具体的には、着目顔画像Ｅ１が入場券Ｋ１の識別番号に関連付けられて入場者登録データベース４に登録される。

【0089】

また、退場者検出装置１０Ｂにおいては、着目顔画像と入場者登録データベース４に予め登録されていた顔画像Ｅ１（あるいはＥ２）とを照合する処理（認証処理）等が実行される（図３参照）。

【0090】

詳細には、可視画像２１０（２１０Ｂ）から人物の顔画像を検出（抽出）する処理を上述のようにして実行して、本物の顔画像Ｅ３が着目顔画像として検出された場合、コントローラ３１は、照合処理等をさらに実行する。具体的には、コントローラ３１は、検出された顔画像Ｅ３と入場者登録データベース４に予め登録されていた顔画像Ｅ１（あるいはＥ２）とを照合する照合処理（認証処理）等を実行する。たとえば、第１駅の退場ゲート９３を通過しようとしている人物の顔画像Ｅ３（第１駅の退場ゲート９３で撮影された顔画像）と、当該退場ゲート９３に投入された入場券Ｋ１の識別番号に関連づけられて登録されている人物Ｕ１の顔画像Ｅ１（第１駅の入場ゲート９２で撮影された顔画像）とが合致しないことが判定される。これによって、キセル行為が検出される。

【0091】

なお、２つの顔画像（の相互間）の照合処理は、２つの顔画像同士をパターンマッチングによって（直接的に）照合する処理であってもよいが、これに限定されない。たとえば、２つの顔画像（の相互間）の照合処理は、各顔画像から抽出された特徴量同士を比較することによって、当該２つの顔画像を（間接的に）照合する処理であってもよい。このように、２つの顔画像の照合処理は、（結果として）２つの顔画像の合致性（合致／非合致）を判定できるものであればよい。

【0092】

＜１－５．着目対象人物の絞り込み処理（骨格の大小関係）＞
上記においては、可視画像２１０内に単一の人物のみが含まれている場合において、当該単一の人物が着目対象人物として特定されているが、これに限定されない。可視画像２１０内に複数の人物が含まれている場合において、当該複数の人物のうちの一の人物（複数の人物の中から絞り込まれた人物）が着目対象人物として特定されてもよい。

【0093】

たとえば、可視画像２１０に基づき複数の人物の骨格情報がステップＳ１１にて検出される場合、複数の人物の骨格のうち可視画像２１０内にて最も大きく撮影されている骨格に対応する人物が着目対象人物として特定されてもよい。さらに、この着目対象人物の骨格情報に対応する顔画像が、当該着目対象人物の顔画像として特定されてもよい。

【0094】

図１０は、可視画像２１０内に複数の人物が存在する様子を示す図である。図１０においては、コントローラ３１が複数（ここでは３人）の人物Ｕ１，Ｕ３，Ｕ５の顔画像（複数の顔画像）を（図１４のステップＳ１１にて）検出した様子が示されている。ただし、擬似的な顔画像Ｆ１をも含めて４つの顔画像が検出されている。

【0095】

図１１は、ステップＳ１２にて複数の人物の骨格情報等が検出された様子を示している。図１１に示されるように、複数の人物Ｕ１，Ｕ３，Ｕ５の骨格のうち、最も手前に存在する人物Ｕ１の骨格が、他の人物Ｕ３，Ｕ５の骨格よりも大きく撮影されている。そして、可視画像２１０にて検出された骨格情報によって、人物Ｕ１の骨格は他の人物Ｕ３，Ｕ５の骨格よりも大きいことが判る。たとえば、３人の肩幅（左肩位置と右肩位置とを結ぶ線分の長さ）のうち、人物Ｕ１の肩幅が最も大きい。また、３人の右腕の長さ（右肩位置と右肘位置とを結ぶ線分の長さ）のうち、人物Ｕ１の右腕の長さが最も大きい。

【0096】

コントローラ３１は、ステップＳ１２において、さらに、複数の人物の骨格の大きさを求めるとともに当該複数の人物の骨格の大小関係を求めることによって、いずれの人物の骨格が最も大きく撮影されているかを判定する。図１１の場合には、人物Ｕ１に関する骨格が最も大きく撮影されていると判定され、当該人物Ｕ１が着目対象人物として特定される。

【0097】

その後、上記と同様にして、ステップＳ１４において、当該着目対象人物の骨格情報１４０に対応する顔画像Ｅ１が当該着目対象人物の顔画像として検出される（図１２参照）。換言すれば、最も大きく撮影されている骨格（図１１も参照）に対応する顔画像Ｅ１が、着目対象人物Ｕ１の顔画像として検出される。図１２は、このような検出結果（骨格情報を用いた顔画像検出処理の処理結果）の表示例を示す図である。図１２では、対応骨格情報を有する顔画像Ｅ１（着目対象人物Ｕ１の骨格情報に対応する顔画像Ｅ１）は、特定色の枠で囲まれて表示され、対応骨格情報を有しない顔画像Ｆ１（擬似的な顔画像）は、当該特定色以外の色の枠で囲まれて表示されている。図１２では、対応骨格情報を有する顔画像であっても着目対象人物Ｕ１以外の顔画像に対しては、包囲枠自体が表示されていない。なお、図１２では、対応骨格情報を有しない顔画像Ｆ１の包囲枠が表示されているが、対応骨格情報を有しない顔画像Ｆ１の包囲枠は表示されなくてもよい。

【0098】

このような態様によれば、可視画像２１０内に複数の人物が含まれている場合において、可視画像２１０内の複数の人物のうち、最も大きく撮影されている骨格に対応する人物が着目対象人物として特定される。より詳細には、入場券の利用者がゲートに近づいてくる状況において、最も大きく撮影されている人物を着目対象人物として特定することが可能である。したがって、複数の人物が撮影画像の視界内に存在する場合に、着目すべき人物を適切に選択することが可能である。

【0099】

また、当該着目対象人物の骨格に対応する顔画像Ｅ１が、当該着目対象人物の顔画像（着目対象顔画像）として特定される。したがって、複数の人物が撮影画像の視界内に存在する場合に、着目すべき人物の本物の顔画像を適切に選択することが可能である。特に、骨格情報を用いることによって、当該着目対象人物の骨格情報に対応しない顔画像Ｆ１は、着目対象顔画像から排除される。したがって、骨格情報を用いない場合に比べて、精度良く人物の顔画像を検出することが可能である。

【0100】

なお、図１３は、図１２とは別の表示例を示す図である。図１３では、対応骨格情報を有する顔画像（本物の顔画像）の全て（着目対象人物Ｕ１以外の人物の顔画像をも含む）に特定色の包囲枠が付されている。結果的に、複数の人物Ｕ１，Ｕ３，Ｕ５のそれぞれの顔画像（本物の顔画像）に対して特定色の包囲枠が付されている。一方、対応骨格情報を有しない顔画像Ｆ１には、当該特定色とは異なる色の包囲枠が付されている。

【0101】

＜１－６．着目対象人物の絞り込み処理（手前側人物）＞
あるいは、可視画像２１０に基づき複数の人物の骨格情報がステップＳ１１にて検出される場合、複数の人物の骨格のうち最も手前側に存在する骨格に対応する人物が着目対象人物として特定されるようにしてもよい。さらに、この着目対象人物の骨格情報に対応する顔画像が、当該着目対象人物の顔画像として検出（特定）されてもよい。

【0102】

上述の図１１に示す状況において、ステップＳ１２の骨格情報の検出処理が実行される場合、複数の人物Ｕ１，Ｕ３，Ｕ５の骨格のうち、人物Ｕ１，Ｕ３の骨格が、他の人物Ｕ５の骨格よりも一定程度以上大きい旨が判定される。複数の人物の骨格の大きさに関して一定程度以上の差が存在する場合、一定程度以上大きく撮影されている骨格に対応する人物（ここではＵ１，Ｕ３）が、それ以外の人物（Ｕ５）よりも手前側に存在すると判定される。

【0103】

また、骨格の大きさ（および／または顔の大きさ）だけでは何れの人物が手前側に存在するかが判定できない場合（比較的手前側に存在する人物が２人以上存在する場合）には、骨格の前後関係（前後方向における重畳関係）を判定することによって人物の前後関係が判定されればよい。

【0104】

前方の人物の背後に存在する人物の骨格は、当該前方の人物に隠れてしまう。図１１に示されるように、人物Ｕ３が人物Ｕ１の背後に接近すると、人物Ｕ３の骨格は人物Ｕ１の人体（骨格および筋肉等を含む）で隠れてしまう。図１１では、後方の人物Ｕ３の左肩が前方の人物Ｕ１の人体で隠されている。このような性質を利用して、その骨格の一部が別の人物Ｕ１の人体で隠されている人物Ｕ３は、当該別の人物Ｕ１の背後に存在する旨が判定されればよい。換言すれば、別の人物Ｕ１の骨格を自らの骨格で隠している人物Ｕ１が、当該別の人物よりも手前側に存在する旨が判定されればよい。これによれば、その大きさ（その顔の大きさ等）が近い２人以上の人物のうち最も手前側の人物を適切に判定することが可能である。

【0105】

このようにして、複数の人物の骨格のうち最も手前側に存在する骨格に対応する人物が着目対象人物として特定されればよい（ステップＳ１２等）。

【0106】

なお、その後、上記と同様にして、ステップＳ１４において、当該着目対象人物の骨格情報に対応する顔画像Ｅ１が、当該着目対象人物の顔画像として検出されればよい。

【0107】

このような態様によれば、可視画像２１０内に複数の人物が含まれている場合において、複数の人物のうち、その骨格が最も手前側に存在する人物が着目対象人物として特定される。より詳細には、入場券の利用者がゲートに近づいてくる状況において、最も手前側に存在する人物を着目対象人物として特定することが可能である。したがって、複数の人物が撮影画像（可視画像２１０）の視界内に存在する場合に、着目すべき人物を適切に選択することが可能である。

【0108】

また、当該着目対象人物の骨格に対応する顔画像Ｅ１が、当該着目対象人物の顔画像（着目対象顔画像）として特定される。したがって、複数の人物が撮影画像の視界内に存在する場合に、着目すべき人物の本物の顔画像を適切に選択することが可能である。特に、骨格情報を用いることによって、当該着目対象人物の骨格情報に対応しない顔画像Ｆ１は、着目対象顔画像から排除される。したがって、骨格情報を用いない場合に比べて、精度良く人物の顔画像を検出することが可能である。

【0109】

＜２．第２実施形態＞
図１６は、第２実施形態に係る画像処理システム（認証システム）１Ｂを示すブロック図である。図１６に示されるように、画像処理システム１Ｂは、改札サブシステム５と駅員室サブシステム６と事象情報登録データベース７とを有している。改札サブシステム５、駅員室サブシステム６および事象情報登録データベース７は、たとえば、駅（鉄道駅等）ごとに設けられる。

【0110】

改札サブシステム５は、人物検出装置１０（退場者検出装置１０Ｃとも称する）と改札ゲート９１（詳細には退場ゲート９３）（図１７参照）とを有している。また、退場ゲート９３の付近には、カメラ２２（２２Ｃ）が配置されている。改札サブシステム５のカメラ２２は、退場ゲート９３を通過しようとした人物（特にエラー事象の対象人物）を撮影することが可能である。

【0111】

駅員室サブシステム６は、人物検出装置１０（来訪者検出装置１０Ｄとも称する）を有している。また、駅員室の付近には、カメラ２２（２２Ｄ）（図１８参照）が配置されている。退場用サブシステム３のカメラ２２は、退場ゲート９３を通過して駅構内から退場しようとする人物を撮影することが可能である。

【0112】

なお、各人物検出装置１０（１０Ｃ，１０Ｄ）は、図４の人物検出装置１０と同様の構成を有している。

【0113】

図１７は、改札サブシステム５のゲート装置９１（退場ゲート９３）の付近の様子を示す図であり、図１８は、駅員室サブシステム６の駅員室の付近の様子を示す図である。

【0114】

第２実施形態においては、改札で生じた事象（エラー事象等）を駅員室で確認する技術に本発明の思想を適用する態様について説明する。

【0115】

鉄道利用者が改札（特に退場用改札）のゲート９１を通過しようとする際（図１７参照）に、各種のエラー事象が生じることがある。当該エラー事象としては、たとえば、交通カード（プリペイド式）の残高不足、および切符での乗り越し等が例示される。当該エラー事象が発生した場合、鉄道利用者（たとえば人物Ｕ１）は、退場ゲート９３を通過できず、駅構内の駅員室へと移動し、駅員に対して事情を説明し、駅員と相談の上でエラー事象に対する対処策を講じる。この際、駅員は、当該人物Ｕ１に関して発生したエラー事象の内容等を迅速に把握できることが好ましい。

【0116】

第２実施形態に係るシステム１Ｂにおいては、図１７に示されるように、退場用改札に設けられた退場ゲート９３にてエラー事象が発生すると、事象情報Ｌ１（エラー事象の発生時刻、内容および識別番号等）が事象情報登録データベース７に登録される。詳細には、改札サブシステム５の退場者検出装置１０Ｃ（図１６）は、カメラ２２Ｃで撮影された人物Ｕ１の顔画像Ｅ１と事象情報（エラー事象等に関する情報）Ｌ１とを関連付けて事象情報登録データベース７に登録する。

【0117】

特に、カメラ２２Ｃで撮影された可視画像２１０（２１０Ｃ）から顔画像Ｅ１を検出（抽出）する際に、上述のような思想（骨格情報に基づく顔画像検出処理等）が適用される。これにより、擬似的な顔画像Ｆ１の誤検出が防止され、人物Ｕ１の骨格情報に基づき人物Ｕ１の顔画像Ｅ１（本物の顔画像Ｅ１）が適切に検出される。そして、人物Ｕ１の顔画像Ｅ１が適切に事象情報登録データベース７に登録される。

【0118】

次に、退場ゲート９３を通過できなかった人物Ｕ１は、駅構内の駅員室へと移動する（図１８参照）。駅員室の入口付近に設けられたカメラ２２（２２Ｄ）は、当該入口に接近してくる人物を撮影することが可能である。駅員室サブシステム６の来訪者検出装置１０Ｄは、当該カメラ２２Ｄによって撮影された可視画像２１０（２１０Ｄ）に基づき、可視画像２１０内の人物の顔画像Ｅ３を検出する。

【0119】

特に、カメラ２２Ｄで撮影された可視画像２１０（２１０Ｄ）から顔画像Ｅ３を検出（抽出）する際に、上述のような思想（骨格情報に基づく顔画像検出処理等）が適用される。これにより、擬似的な顔画像Ｆ３（図１８参照）の誤検出が防止され、可視画像２１０内の被写体人物の骨格情報に基づき当該被写体人物の顔画像Ｅ３（本物の顔画像Ｅ３）が適切に検出される。

【0120】

そして、来訪者検出装置１０Ｄは、カメラ２２Ｄを用いて検出した顔画像Ｅ３（人物Ｕ１の顔画像）を、事象情報登録データベース７に予め登録された１または複数の顔画像と照合する。換言すれば、顔画像Ｅ３に関する検索処理（認証処理）が実行される。このような照合処理の結果、顔画像Ｅ３と同一の人物（Ｕ１）の顔画像Ｅ１が検出されるとともに、当該顔画像Ｅ１に関連付けられて登録されていた事象情報Ｌ１（エラー事象の発生時刻、内容および識別番号等）が抽出される。そして、駅員室内に設けられた表示部（来訪者検出装置１０Ｄの表示部３５ｂ（図４参照））に、当該事象情報Ｌ１が表示される。駅員は、当該事象情報Ｌ１を確認することによって、駅員室に来訪した人物（あるいは駅員室に接近中の人物）に関する事象情報（エラー事象等）を把握することが可能である。これによれば、駅員は、改札で発生していた当該事象情報Ｌ１（エラー事象等）を正確に且つ迅速に把握することが可能である。

【0121】

本発明に係る思想を用いて、以上のような態様を実現することも可能である。

【0122】

＜３．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

【0123】

＜各処理の実行頻度等＞
たとえば、上記各実施形態等においては、可視画像２１０に基づく骨格情報の検出処理（ステップＳ１２）の実行頻度と当該可視画像２１０に基づく顔画像の検出処理（ステップＳ１１）の実行頻度とが同じ態様を例示しているが、これに限定されない。具体的には、可視画像２１０が動画像である場合、当該可視画像２１０に基づく骨格情報の検出処理の実行頻度は、当該可視画像２１０に基づく顔画像の検出処理の実行頻度よりも小さくてもよい。

【0124】

詳細には、３０ｆｐｓ（フレーム／秒）の動画像である可視画像２１０からの顔画像の検出処理は比較的高頻度で実行される一方、当該可視画像２１０からの骨格情報の検出処理は比較的低頻度で実行されてもよい。たとえば、当該顔画像の検出処理は、全フレームについて（あるいは２フレーム毎等に１回の頻度で）実行され（比較的高頻度で実行され）、骨格情報の検出処理は、数フレーム（５フレーム等）（～十数フレーム）毎に１回の頻度（比較的低頻度で）で実行されてもよい。端的に言えば、顔画像の検出処理は、１／３０秒ごと等の高頻度で実行され、骨格情報の検出処理は、５／３０秒ごと等の低頻度で実行されてもよい。数フレーム程度の時間においては被写体人物の位置の変化は一定程度以内であるので、各フレームの顔画像の検出に関して、時間的に近接する他のフレームにて検出された骨格情報を用いることが可能である。

【0125】

これによれば、画像処理装置の処理負荷（詳細にはコントローラ３１におけるＣＰＵの処理負荷等）を抑制することが可能である。特に、骨格情報の検出処理の処理負荷は、顔画像の検出処理の処理負荷よりも大きいので、骨格情報の検出処理の実行頻度を顔画像の検出処理の実行頻度よりも抑制することによって、ＣＰＵの処理負荷を効果的に抑制することが可能である。

【0126】

＜骨格情報の検出処理の実行条件等＞
また、上記各実施形態等においては、骨格情報の検出処理（ステップＳ１２）が所定の時間間隔で実行されているが、これに限定されない。たとえば、所定条件を満たしたときに骨格情報の検出処理が実行されてもよい。

【0127】

具体的には、動画像である可視画像２１０に対して一定の時間間隔で顔画像の検出処理（ステップＳ１１参照）が実行される一方で、所定条件が成立するまでは骨格情報の検出処理が実行されず、当該所定条件が成立すると骨格情報の検出処理が実行されてもよい。

【0128】

当該所定条件としては、一定の微少時間間隔（たとえば１／３０秒）での顔画像の検出処理にて検出される顔画像が一定程度以上の大きさになること、が例示される。詳細には、人物Ｕ１がゲートに近づいてくるにつれて顔画像が徐々に大きくなり、人物Ｕ１がゲートの直前にまで到達すると顔画像の大きさも一定程度以上の大きさを有する。このように一定程度以上の大きさを有する顔画像が検出されると、着目対象人物に関する顔画像の登録タイミングが到来したと判定され、骨格情報の検出処理が実行されてもよい。そして、当該検出処理によって検出された骨格情報に基づいて、着目対象人物の顔画像（本物の顔画像（対応骨格情報を有する顔画像））が検出されてもよい。

【0129】

あるいは、当該所定条件として、上記とは別の登録タイミング（顔画像に関する登録タイミング）が到来したこと、も例示される。たとえば、当該所定条件として、第２実施形態等におけるゲート通過時のエラー事象の発生に応じて着目対象人物に関する顔画像の登録タイミングが到来したと判定されること、が例示される。詳細には、退場ゲート９３においてエラー事象が発生すると、カメラ２２（２２Ｃ）（図１７参照）によって撮像された可視画像２１０内の人物の顔画像を登録するべきタイミング（登録タイミング）が到来したと判定される。このような登録タイミングの到来が判定されると、可視画像２１０に基づく骨格情報の検出処理が実行されてもよい。そして、当該検出処理によって検出された骨格情報に基づいて、着目対象人物の顔画像（本物の顔画像）が検出されてもよい。

【0130】

あるいは、当該所定条件としては、一定の微少時間間隔（たとえば１／３０秒）での顔画像の検出処理にて一定程度以上の大きさの複数の顔画像が検出されること、が例示される。

【0131】

詳細には、人物Ｕ１がゲートに近づいてくるにつれて顔画像が徐々に大きくなり、人物Ｕ１がゲートの直前にまで到達すると顔画像の大きさも一定程度以上の大きさになる。同時に、人物Ｕ１が着用しているＴシャツ内の顔画像Ｆ１の大きさも一定以上の大きさになることがある。このように、一定程度以上の大きさの複数の顔画像が同時に検出される場合、当該複数の顔画像の中には本物でない顔画像が含まれている可能性がある。

【0132】

そこで、一定程度以上の大きさを有する複数の顔画像が検出されると、骨格情報の検出処理等が実行されるようにしてもよい。これによれば、当該検出処理によって検出された骨格情報を上述のように用いることによって、本物でない顔画像を良好に除外しつつ、本物の顔画像（対応骨格情報を有する顔画像）が適切に検出され得る。なお、一定程度以上の大きさを有する単一の顔画像が検出され、着目対象人物に関する顔画像の登録タイミングが到来したと判定される場合には、本物の顔画像のみが検出されたと判断して、骨格情報の検出処理が実行されなくてもよい。

【0133】

これらの改変例によれば、所定条件を満たしたときに骨格情報の検出処理が実行されるので、比較的処理負荷が大きな骨格情報検出処理の実行が抑制される。したがって、画像処理装置における処理負荷を抑制することが可能である。

【0134】

＜その他＞
また、上記各実施形態等においては、可視画像２１０に基づく顔画像の検出処理（ステップＳ１１参照）が、可視画像２１０に基づく骨格情報の検出処理（ステップＳ１２参照）より先に行われているが、これに限定されない。逆に、可視画像２１０に基づく骨格情報の検出処理が、可視画像２１０に基づく顔画像の検出処理よりも先に行われてもよい。

【0135】

図１５のフローチャートはこのような処理手順を示している。たとえば、図１５のフローチャートの処理が、図１４のフローチャートの処理に代えて実行される。

【0136】

具体的には、コントローラ３１は、ステップＳ２２にて可視画像２１０に基づく骨格情報の検出処理を先ず実行する。そして、ステップＳ２３にて、コントローラ３１は、当該骨格情報の顔位置に相当する領域内（具体的には、骨格情報における顔位置（顔の代表位置）を中心とし所定の大きさを有する矩形領域内）において顔画像を検出する検出処理を実行する。そして、コントローラ３１は、当該検出処理によって検出された顔画像を、骨格情報が検出された人物の顔画像（対応骨格情報を有する顔画像）として特定（検出）する（ステップＳ２４）。

【0137】

このように、コントローラ３１は、骨格情報の顔位置に相当する領域内において顔画像を検出する検出処理（ステップＳ２３）を実行し、当該検出処理によって検出された顔画像を、対応骨格情報を有する顔画像として検出（ステップＳ２４）してもよい。換言すれば、顔画像の検出処理（抽出処理）は、可視画像２１０内のうちの一部領域（具体的には、骨格画像に基づく推定顔位置付近の所定領域）のみを対象に施されてもよい。

【符号の説明】

【0138】

１，１Ａ，１Ｂ 画像処理システム
２ 入場用サブシステム
３ 退場用サブシステム
４ 入場者登録データベース
５ 改札サブシステム
６ 駅員室サブシステム
７ 事象情報登録データベース
１０ 人物検出装置
１０Ａ 入場者検出装置
１０Ｂ，１０Ｃ 退場者検出装置
１０Ｄ 来訪者検出装置
２２，２２Ａ～２２Ｄ カメラ
３０ 画像処理装置
９１ ゲート装置
９２ 入場ゲート
９３ 退場ゲート
１４０ 骨格情報
２１０ 可視画像（撮影画像）
Ｅ１～Ｅ３，Ｆ１，Ｆ３ 顔画像
Ｕ１，Ｕ２．Ｕ３，Ｕ５ 人物
Ｋ１，Ｋ２ 入場券

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】