特開 2022-168349 装着確認システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022168349

(43)【公開日】2022-11-08

(54)【発明の名称】装着確認システム、方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221031BHJP

   G08B 25/04 20060101ALI20221031BHJP

   G08B 25/00 20060101ALI20221031BHJP

   G07C 9/00 20200101ALI20221031BHJP

   G06Q 10/06 20120101ALI20221031BHJP

【ＦＩ】

G06T7/00 660B

G08B25/04 F

G08B25/00 510M

G07C9/00 Z

G06Q10/06

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021073723

(22)【出願日】2021-04-26

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100122529

【弁理士】

【氏名又は名称】藤枡 裕実

(74)【代理人】

【識別番号】100135954

【弁理士】

【氏名又は名称】深町 圭子

(74)【代理人】

【識別番号】100119057

【弁理士】

【氏名又は名称】伊藤 英生

(74)【代理人】

【識別番号】100131369

【弁理士】

【氏名又は名称】後藤 直樹

(74)【代理人】

【識別番号】100171859

【弁理士】

【氏名又は名称】立石 英之

(72)【発明者】

【氏名】清野 創

【テーマコード（参考）】

3E138

5C087

5L049

5L096

【Ｆターム（参考）】

3E138AA01

3E138CA03

3E138JA02

3E138JB04

3E138JB16

3E138JC30

5C087AA09

5C087AA19

5C087DD03

5C087DD27

5C087EE05

5C087EE18

5C087FF04

5C087FF25

5C087GG02

5C087GG10

5C087GG17

5C087GG20

5C087GG59

5C087GG66

5L049AA06

5L096AA06

5L096BA02

5L096CA02

5L096DA02

5L096HA09

5L096JA03

5L096JA09

5L096JA11

5L096JA18

(57)【要約】

【課題】 人物への装着物の装着状態を容易に確認することが可能な装着確認システム、方法およびプログラムを提供することを課題とする。
【解決手段】 入場者を撮影する撮影装置１２と、撮影装置１２により取得された撮影画像に対して画像解析を行い、撮影画像内の人物を検出する人物検出手段と、撮影画像に対して画像解析を行い、人物の装着物を検出する装着物検出手段と、人物検出手段および装着物検出手段による検出結果に基づいて装着物の装着状態を判定する装着判定手段と、装着判定手段により判定された装着状態と撮影画像を確認結果として記憶する記憶手段と、を有する装着確認システム。
【選択図】 図１

【特許請求の範囲】

【請求項1】

入場者を撮影する撮影装置と、
前記撮影装置により取得された撮影画像に対して画像解析を行い、撮影画像内の人物を検出する人物検出手段と、
前記撮影画像に対して画像解析を行い、前記人物の装着物を検出する装着物検出手段と、
前記人物検出手段および前記装着物検出手段による検出結果に基づいて装着物の装着状態を判定する装着判定手段と、
前記装着判定手段により判定された装着状態と、前記撮影画像を確認結果として記憶する記憶手段と、
を有する装着確認システム。

【請求項2】

前記撮影画像と、前記人物検出手段による人物の検出到達度と、前記装着物検出手段による装着物の検出到達度と、を表示する表示装置を有する、請求項１に記載の装着確認システム。

【請求項3】

前記検出到達度は、所定時間において画像解析された撮影画像の数に基づいて、人物または装着物が検出された撮影画像の数を検出時間として算出し、事前に設定された検出到達時間に対する前記検出時間の到達度として算出される、請求項２に記載の装着確認システム。

【請求項4】

前記表示装置は、さらに、前記人物検出手段および前記装着物検出手段による処理の状態に応じたメッセージと、撮影画像の処理レートを表示する、請求項２または請求項３に記載の装着確認システム。

【請求項5】

前記装着判定手段による判定結果に基づいて、自動扉またはキーボックスを開錠する制御装置を備える、請求項１から請求項４のいずれか一項に記載の装着確認システム。

【請求項6】

前記人物検出手段は、撮影画像における人物の顔部分または目部分における特徴量を算出し、当該特徴量に基づいて人物を検出する、請求項１から請求項５のいずれか一項に記載の装着確認システム。

【請求項7】

前記装着物検出手段は、前記装着物のテンプレート画像を用いて、前記撮影画像の注目領域と比較することにより、撮影画像内の装着物を検出する、請求項１から請求項６のいずれか一項に記載の装着確認システム。

【請求項8】

前記装着物検出手段は、単一のテンプレート画像を用いる通常モード、大きさの異なる３つのテンプレート画像を用いる３テンプレートモード、元のテンプレート画像を所定の範囲で拡大縮小した変倍テンプレート画像を用いるランダムテンプレートモードの３つのモードを備える請求項７に記載の装着確認システム。

【請求項9】

前記テンプレート画像は、前記装着物に所定のマークが付された画像である、請求項７または請求項８に記載の装着確認システム。

【請求項10】

入場者を撮影する撮影装置に接続されたコンピュータが、装着物の状態を確認する装着確認方法であって、
コンピュータが、
前記撮影装置により取得された撮影画像に対して画像解析を行い、撮影画像内の人物を検出し、
前記撮影画像に対して画像解析を行い、前記人物の装着物を検出し、
前記人物の検出結果および前記装着物の検出結果に基づいて装着物の装着状態を判定する装着判定手段と、
前記装着判定手段により判定された装着状態と、撮影画像を確認結果として記憶する、装着確認方法。

【請求項11】

入場者を撮影する撮影装置に接続されたコンピュータを、
前記撮影装置により取得された撮影画像に対して画像解析を行い、撮影画像内の人物を検出する人物検出手段、
前記撮影画像に対して画像解析を行い、前記人物の装着物を検出する装着物検出手段、
前記人物検出手段および前記装着物検出手段による検出結果に基づいて装着物の装着状態を判定する装着判定手段、
前記装着判定手段により判定された装着状態と、前記撮影画像を確認結果として記憶する記憶手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は装着確認システム、方法およびプログラムに関する。

【背景技術】

【0002】

従来、工事現場や工場などの危険作業が伴うエリアに入場する際には、作業者の安全のため、ヘルメット等の安全装備の着用が義務付けられている。このように特別なエリアに入場するに際して、ヘルメットの着用を確認する技術も開発されている（特許文献1参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０３８４５６

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の技術では、身分証等を所持していない場合は入場できず、また、ヘルメット等の装着物が人物の頭に正しく装着されているかを判定することは難しい、という問題がある。

【0005】

そこで、本開示は、人物への装着物の装着状態を容易に確認することが可能な装着確認システム、方法およびプログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本開示では、
入場者を撮影する撮影装置と、
前記撮影装置により取得された撮影画像に対して画像解析を行い、撮影画像内の人物を検出する人物検出手段と、
前記撮影画像に対して画像解析を行い、前記人物の装着物を検出する装着物検出手段と、
前記人物検出手段および前記装着物検出手段による検出結果に基づいて装着物の装着状態を判定する装着判定手段と、
前記装着判定手段により判定された装着状態と、前記撮影画像を確認結果として記憶する記憶手段と、
を有する装着確認システムを提供する。

【0007】

また、本開示の装着確認システムは、
前記撮影画像と、前記人物検出手段による人物の検出到達度と、前記装着物検出手段による装着物の検出到達度と、を表示する表示装置を有してもよい。

【0008】

また、本開示の装着確認システムにおける、
前記検出到達度は、所定時間において画像解析された撮影画像の数に基づいて、人物または装着物が検出された撮影画像の数を検出時間として算出し、事前に設定された検出到達時間に対する前記検出時間の到達度として算出されてもよい。

【0009】

また、本開示の装着確認システムにおける、
前記表示装置は、さらに、前記人物検出手段および前記装着物検出手段による処理の状態に応じたメッセージと、撮影画像の処理レートを表示してもよい。

【0010】

また、本開示の装着確認システムは、
前記装着判定手段による判定結果に基づいて、自動扉またはキーボックスを開錠する制御装置を備えてもよい。

【0011】

また、本開示の装着確認システムは、
前記人物検出手段は、撮影画像における人物の顔部分または目部分における特徴量を算出し、当該特徴量に基づいて、人物を検出してもよい。

【0012】

また、本開示の装着確認システムにおける、
前記装着物検出手段は、前記装着物のテンプレート画像を用いて、前記撮影画像の注目領域と比較することにより、撮影画像内の装着物を検出してもよい。

【0013】

また、本開示の装着確認システムにおける、
前記装着物検出手段は、単一のテンプレート画像を用いる通常モード、大きさの異なる３つのテンプレート画像を用いる３テンプレートモード、元のテンプレート画像を所定の範囲で拡大縮小した変倍テンプレート画像を用いるランダムテンプレートモードの３つのモードを備えてもよい。

【0014】

また、本開示の装着確認システムにおける、
前記テンプレート画像は、前記装着物に所定のマークが付された画像であってもよい。

【0015】

また、本開示では、
入場者を撮影する撮影装置に接続されたコンピュータが、装着物の状態を確認する装着確認方法であって、
コンピュータが、
前記撮影装置により取得された撮影画像に対して画像解析を行い、撮影画像内の人物を検出し、
前記撮影画像に対して画像解析を行い、前記人物の装着物を検出し、
前記人物の検出結果および前記装着物の検出結果に基づいて装着物の装着状態を判定する装着判定手段と、
前記装着判定手段により判定された装着状態と、前記撮影画像を確認結果として記憶する、装着確認方法を提供する。

【0016】

また、本開示では、
入場者を撮影する撮影装置に接続されたコンピュータを、
前記撮影装置により取得された撮影画像に対して画像解析を行い、撮影画像内の人物を検出する人物検出手段、
前記撮影画像に対して画像解析を行い、前記人物の装着物を検出する装着物検出手段、
前記人物検出手段および前記装着物検出手段による検出結果に基づいて装着物の装着状態を判定する装着判定手段、
前記装着判定手段により判定された装着状態と、前記撮影画像を確認結果として記憶する記憶手段、
として機能させるためのプログラムを提供する。

【発明の効果】

【0017】

本開示によれば、人物への装着物の装着状態を容易に確認することが可能な装着確認システム、方法およびプログラムを提供することが可能となる。

【図面の簡単な説明】

【0018】

【図1】本開示の一実施形態に係る装着確認システムの構成を示す図である。

【図2】本開示の一実施形態に係る装着確認システムの外観を示す概略図である。

【図3】入場口の側面方向から見た装着確認システムの概略図である。

【図4】処理装置１１の詳細を示す機能ブロック図である。

【図5】表示装置１３の表示画面を示す図である。

【図6】本開示の一実施形態に係る装着確認システムの処理概要を示す状態遷移図である。

【図7】表示装置１３に表示される画面の状態を示す図である。

【図8】人物検出の詳細を説明するための図である。

【図9】装着物検出の詳細を説明するための図である。

【図10】ヘルメットの正面に付されたロゴを検出する例を説明するための図である。

【発明を実施するための形態】

【0019】

以下、本開示の好適な実施形態について図面を参照して詳細に説明する。
＜１．システム構成＞
図１は、本開示の一実施形態に係る装着確認システムの構成を示す図である。図２は、本開示の一実施形態に係る装着確認システムの外観を示す概略図である。図３は、入場口の側面方向から見た装着確認システムの概略図である。図１～図３において、１０は装着確認システム、１１は処理装置、１２は撮影装置、１３は表示装置、１４は制御装置、１５は自動扉、１６はキーボックス、１７はタブレットＰＣである。

【0020】

処理装置１１は、装着確認システム１０における様々な演算処理を行う装置であり、ＣＰＵ、主メモリ、不揮発性の記憶装置等を有するコンピュータに、装着確認システム１０としての機能を実現するためのプログラムを組み込むことにより実現される。撮影装置１２は、撮影を行って画像データとして撮影画像を取得する撮影手段であり、ＣＣＤカメラ等の汎用の撮影機器により実現される。表示装置１３は、処理装置１１により処理された結果に基づいて表示を行う表示手段であり、液晶ディスプレイ、有機ＥＬディスプレイ等の汎用の表示機器により実現される。本実施形態では、処理装置１１、撮影装置１２、表示装置１３は、１つのタブレットＰＣ１７内に内蔵されている。

【0021】

制御装置１４は、自動扉１５、キーボックス１６に接続されており、自動扉１５，キーボックス１６に対して開錠信号を送信する装置である。制御装置１４は、処理装置１１に接続されており、処理装置１１からの指令に基づいて開錠信号を自動扉１５、キーボックス１６に送信する。図３においては制御装置１４の図示は省略している。

【0022】

自動扉１５は、自動で開く扉である。本実施形態では、制御装置１４からの開錠信号に基づき、壁に沿った方向に移動することにより、入場可能に入場口を開く。キーボックス１６は、キー（鍵）が挿入された箱である。キーとしては、物理キーやカードキーを用いることができる。扉が自動扉でない場合は、キーボックス１６から取り出したキーを用いて、施錠されている扉を開錠する。本実施形態では、制御装置１４からの開錠信号に基づき、キーボックスを開錠する。これにより利用者は、扉のキーをキーボックスから取り出すことが可能となる。自動扉１５，キーボックス１６は、入場口機構の一例であり、入場口機構としては、制御装置１４による制御に基づき、入場口を直接または間接的に開口するものであれば、自動扉１５，キーボックス１６に限定されない。

【0023】

図４は、処理装置１１の詳細を示す機能ブロック図である。本実施形態では、処理装置１１を汎用のコンピュータに、専用のプログラムを組み込むことにより実現される。図４に示すように、処理装置１１は、人物検出手段１１ａ、装着物検出手段１１ｂ、装着判定手段１１ｃ、確認結果記憶手段１１ｄを有する。

【0024】

人物検出手段１１ａは、撮影装置１２により取得された撮影画像に対して画像解析を行い、撮影画像内の人物を検出する手段であり、不揮発性の記憶装置に記憶されたプログラムをＣＰＵが読み込んで実行することにより実現される。装着物検出手段１１ｂは、撮影装置１２により取得された撮影画像に対して画像解析を行い、人物の装着物を検出する手段であり、不揮発性の記憶装置に記憶されたプログラムをＣＰＵが読み込んで実行することにより実現される。装着判定手段１１ｃは、人物検出手段１１ａおよび装着物検出手段１１ｂによる検出結果に基づいて装着物の装着状態を判定する手段であり、不揮発性の記憶装置に記憶されたプログラムをＣＰＵが読み込んで実行することにより実現される。確認結果記憶手段１１ｄは、装着判定手段１１ｃにより判定された装着状態と、撮影画像を確認結果として記憶する手段であり、不揮発性の記憶装置の所定の記憶領域により実現される。

【0025】

図５は、表示装置１３の表示画面を示す図である。図５において、１３ａは撮影画像表示領域、１３ｂはメッセージ表示領域、１３ｃは到達度表示領域、１３ｄは日時表示領域、１３ｅは処理情報表示領域である。図５に示すように、表示装置１３の表示画面においては、画面中央の撮影画像表示領域１３ａに撮影画像が表示される。実際には、所定のレート（ｆｐｓ：フレーム（画像）／秒）で撮影された撮影画像が順次切り替えて表示される。表示される撮影画像は、処理装置１１により画像解析された解析レートであってもよい。本実施形態では、解析レートで撮影画像が順次切り替えて表示される。例えば撮影レートが３０ｆｐｓであって、解析レートが２０ｆｐｓである場合は、1秒間に２０回のペースで切り替えて表示される。

【0026】

表示装置１３の画面上部のメッセージ表示領域１３ｂには、入場者へのメッセージが表示される。このメッセージは、処理装置１１による処理に応じて、処理装置１１から取得されて、表示される。表示装置１３の画面左部の到達度表示領域１３ｃには、処理装置１１による解析の到達度が表示される。表示装置１３の画面右部上側の日時表示領域１３ｄには、現在の日時が表示される。表示装置１３の画面右部下側の処理情報表示領域１３ｅには、処理装置１１により処理された他の詳細な情報が表示される。処理情報表示領域１３ｅには、日時の秒以下の単位を示す情報や、撮影画像の処理レート（ｆｐｓ：フレーム（画像）／秒）等を表示することができる。処理レートとしては、撮影のレートである撮影レート、撮影画像を解析するレートである解析レートがある。図５の例では、処理情報表示領域１３ｅには、日時の秒以下の単位を示す「４５．４０」、撮影レートを示す３０．０ｆｐｓ、解析レートを示す２０．０ｆｐｓが示されている。処理レートとしては、撮影レートと解析レートのどちらか一方を表示するようにしてもよい。

【0027】

＜２．処理動作＞
次に、本実施形態に係る装着確認システムの処理動作について、本実施形態に係る装着確認方法とともに説明する。図６は、本実施形態に係る装着確認システムの処理概要を示す状態遷移図である。本実施形態に係る装着確認システムは、起動後、Ｓ１～Ｓ６の６つの状態に遷移しながら処理を行う。なお、装着物は、人物に装着されるものであれば、特に限定されないが、ここでは、装着物の一例としてヘルメットを用いた場合について説明していく。

【0028】

まず、装着確認システムが起動すると、処理を開始する。そして、撮影装置１２が常時撮影し、撮影により得られた画像データを撮影画像として取り込む。取り込まれた撮影画像は処理装置１１に渡されて所定の処理が行われる。撮影装置１２は、所定のレート（ｆｐｓ：フレーム（画像）／秒）で撮影を行い、撮影画像を取り込んで処理装置１１に送る。また、処理装置１１は、撮影装置１２から取得した画像を表示装置１３に渡す。そして、表示装置１３では、処理装置１１から受け取った画像を随時表示する。例えば、２０ｆｐｓ（フレーム／秒）の解析レートで画像解析を行う場合、１／２０秒ごとに撮影画像が処理装置１１から送信され、表示装置１３の画面に表示される。そのため、表示装置１３の画面では動画のように表示されることになる。撮影装置１２による撮影画像の取得、表示装置１３による撮影画像の表示は、図６に示したＳ１～Ｓ６の状態に関わらず、装着確認システムの稼働中は常に行われる。

【0029】

装着確認システムで処理が開始されると、まず、待機状態Ｓ１に移行する。待機状態Ｓ１では、撮影装置１２が常時撮影し、撮影により得られた画像データを撮影画像として取り込む。そして、処理装置１１は、取り込んだ撮影画像に対して、解析等の処理を行う。処理装置１１における撮影画像の解析レートは、撮影装置１２による撮影レートと同じであってもよいし、異なっていてもよい。例えば、上記のように撮影レートが３０ｆｐｓである場合、処理装置１１における解析レートは、撮影レートと同じ３０ｆｐｓとしてもよいし、レートを落として２０ｆｐｓとしてもよい。

【0030】

待機状態Ｓ１においては、処理装置１１内の人物検出手段１１ａが人物検出処理を行う。そして、人物検出手段１１ａが、所定の大きさ以上で人物が１回でも検出した場合には、人物検出状態Ｓ２に移行する。図７は、表示装置１３に表示される画面の状態を示す図である。待機状態Ｓ１では、表示装置１３は、図７（ａ）に示すような画面の表示を行う。待機状態Ｓ１は、人物が検出できていない状態であるため、メッセージ表示領域１３ｂに、利用者に対して移動を促すメッセージを表示する。例えば、図７（ａ）に示すように、「ヘルメットを装着してカメラの前に近づいて下さい。」等のメッセージを表示する。

【0031】

撮影画像から人物が検出されない場合には、撮影装置１２が新たに取り込んだ撮影画像に対して、人物検出手段１１ａが人物検出処理を繰り返し行う。人物検出処理の詳細については後述する。待機状態Ｓ１の間は、「ヘルメットを装着してカメラの前に近づいて下さい。」等の利用者に近付くことを促すメッセージを表示し続ける。

【0032】

人物検出状態Ｓ２では、人物検出手段１１ａは、撮影画像に対して人物検出処理を継続する。具体的には、人物検出手段１１ａは、人物検出時間ＰＤＴを算出する。人物検出時間ＰＤＴは、人物が検出された時間である。具体的には、人物検出手段１１ａは、以下の[数式１]に従った処理を実行して人物検出時間ＰＤＴを算出する。

【0033】

[数式１]
人物検出時間ＰＤＴ＝人物検出回数ＰＤＭ×（１／解析レートＦＰＳ）

【0034】

[数式１]において、人物検出回数ＰＤＭは、人物が検出された回数を人物検出手段１１ａがカウントした値である。解析レートＦＰＳは、１秒間に画像解析された撮影画像の数である。[数式１]に示したように、この人物検出回数ＰＤＭに解析レートＦＰＳの逆数を乗じることにより人物検出時間ＰＤＴを算出する。そして、人物検出手段１１ａは、以下の[数式２]に従った処理を実行して人物検出到達度ＰＧＬを算出する。

【0035】

[数式２]
人物検出到達度ＰＧＬ＝人物検出時間ＰＤＴ／人物検出到達時間ＰＧＴ

【0036】

[数式２]において、人物検出到達時間ＰＧＴは、事前に設定された人物検出に必要な時間である。 [数式２]に示したように、[数式１]に従った処理を実行して算出された人物検出時間ＰＤＴを、人物検出到達時間ＰＧＴで除算することにより、人物検出到達度ＰＧＬを算出する。すなわち、人物検出到達度は、所定時間において画像解析された撮影画像の数に基づいて、人物が検出された撮影画像の数を検出時間として算出し、事前に設定された人物検出到達時間に対する人物検出時間の到達度として算出される。[数式２]の例では、人物検出到達度ＰＧＬは、０以上１以下の値として算出される。人物検出到達時間ＰＧＴは、任意に設定可能であるが、例えば、１．５秒と設定しておくことができる。

【0037】

処理装置１１は、[数式２]に従った処理を実行して算出した人物検出到達度ＰＧＬを表示装置１３に送信し、表示装置１３は人物検出到達度ＰＧＬを到達度表示領域１３ｃに表示する。したがって、人物検出状態Ｓ２では、表示装置１３は、図７（ｂ）に示すような画面の表示を行うことになる。

【0038】

図７（ｂ）に示すように、到達度表示領域１３ｃには、人物検出到達度ＰＧＬが上下方向に延びるバー形式で表示される。到達度表示領域１３ｃでは、上下方向に延びるバーの内部において、その下端から人物検出到達度ＰＧＬに比例する高さまで塗り潰された状態で表示される。したがって、人物検出状態Ｓ２に遷移直後の状態では、人物検出到達度ＰＧＬ＝０であるため、バーの内部に塗り潰された箇所はない。そして、人物検出到達度ＰＧＬが増えるにつれて、バーの内部が下から塗り潰されて行き、人物検出到達度ＰＧＬ＝１になると、バーの内部全体が塗り潰された状態となる。図７（ｂ）の例は、人物検出到達度ＰＧＬ＝０．４程度の時点を示している。

【0039】

また、人物検出状態Ｓ２においては、メッセージ表示領域１３ｂに、「人物を検出中」などの、現在の状況を表示する。この表示により、利用者に現在の状況を知らせることができる。そして、到達度表示領域１３ｃに人物検出到達度ＰＧＬのバー表示を行うことにより、入場者は、人物検出がどの程度まで進んでいるかを確認することができる。このため、入場者は、撮影装置１２の前でどの程度待てばよいのか認識することができる。

【0040】

人物検出状態Ｓ２において、処理装置１１が撮影画像から人物検出できないことが多くなると、人物検出回数ＰＤＭがなかなか増えないため、人物検出時間ＰＤＴも増えない。このような場合、いつまでも検出処理を続けることは望ましくない。このため、処理装置１１は、事前に設定された人物検出制限時間ＰＲＴが経過した場合に、待機状態Ｓ１に戻る処理を行う。すなわち、一旦、人物検出時間ＰＤＴおよび人物検出到達度ＰＧＬが０にリセットされて、次に人物が検出された場合に、人物検出状態Ｓ２に移行して、人物検出を行うことになる。人物検出制限時間ＰＲＴは、任意に設定可能であるが、例えば、１０秒と設定しておくことができる。

【0041】

人物検出状態Ｓ２において、人物検出到達度ＰＧＬが１に達した場合には、人物が正しく検出できたものとして、人物検出完了となる。人物検出が完了した場合には、処理装置１１は、装着物待機状態Ｓ３に遷移する。装着物待機状態Ｓ３では、取り込んだ撮影画像に対して、装着物検出手段１１ｂが装着物検出処理を行う。そして、装着物であるヘルメットが１回でも検出された場合には、装着物検出状態Ｓ４に遷移する。

【0042】

装着物待機状態Ｓ３では、表示装置１３は、図７（ｃ）に示すような画面の表示を行う。装着物待機状態Ｓ３は、装着である物ヘルメットが検出できていない状態であるため、メッセージ表示領域１３ｂに、利用者に対するメッセージを表示する。例えば、図７（ｃ）に示すように、「ヘルメットを装着して下さい。」等のメッセージを表示する。なお、図７（ｃ）の例では、撮影画像表示領域１３ａに、ヘルメットを装着していない状態の撮影画像が表示されているが、装着物待機状態Ｓ３では、ヘルメットを装着した状態の撮影画像であっても、同様なメッセージが表示される。

【0043】

撮影画像から装着物が検出されない場合には、撮影装置１２が新たに取り込んだ撮影画像に対して、装着物検出処理を繰り返し行う。装着物検出処理の詳細についても後述する。ヘルメット待機状態Ｓ３の間は、「ヘルメットを装着して下さい。」等の、利用者にヘルメット装着を促すメッセージを表示し続ける。

【0044】

装着物検出状態Ｓ４では、装着物検出手段１１ｂは、撮影画像に対してヘルメット検出処理を継続する。具体的には、装着物検出手段１１ｂは、装着物検出時間ＨＤＴを算出する。装着物検出時間ＨＤＴは、装着物であるヘルメットが検出された時間である。具体的には、装着物検出手段１１ｂは、以下の[数式３]に従った処理を実行して装着物検出時間ＨＤＴを算出する。

【0045】

[数式３]
装着物検出時間ＨＤＴ＝装着物検出回数ＨＤＭ×（１／解析レートＦＰＳ）

【0046】

[数式３]において、装着物検出回数ＨＤＭは、装着物であるヘルメットが検出された回数を装着物検出手段１１ｂがカウントした値である。解析レートＦＰＳは、[数式１]の場合と同様、１秒間に画像解析された撮影画像の数である。[数式３]に示したように、装着物検出回数ＨＤＭに解析レートＦＰＳの逆数を乗じることにより装着物検出時間ＨＤＴを算出する。そして、装着物検出手段１１ｂは、以下の[数式４]に従った処理を実行して装着物検出到達度ＨＧＬを算出する。

【0047】

[数式４]
装着物検出到達度ＨＧＬ＝装着物検出時間ＨＤＴ／装着物検出到達時間ＨＧＴ

【0048】

[数式４]において、装着物検出到達時間ＨＧＴは、事前に設定された装着物検出に必要な時間である。 [数式４]に示したように、[数式３]に従った処理を実行して算出された装着物検出時間ＨＤＴを、装着物検出到達時間ＨＧＴで除算することにより、装着物検出到達度ＨＧＬを算出する。すなわち、装着物検出到達度は、所定時間において解析される撮影画像の数に基づいて、装着物が検出された撮影画像の数を装着物検出時間として算出し、事前に設定された装着物検出到達時間に対する装着物検出時間の到達度として算出される。[数式４]の例では、装着物検出到達度ＨＧＬは、[数式２]の人物検出到達度ＰＧＬと同様、０以上１以下の値として算出される。装着物検出到達時間ＨＧＴは、任意に設定可能であるが、例えば、１．５秒と設定しておくことができる。

【0049】

処理装置１１は、[数式４]に従った処理を実行して算出した装着物検出到達度ＨＧＬを表示装置１３に送信し、表示装置１３は装着物検出到達度ＨＧＬを到達度表示領域１３ｃに表示する。したがって、装着物検出状態Ｓ４では、表示装置１３は、図７（ｅ）に示すような画面の表示を行うことになる。

【0050】

図７（ｅ）に示すように、到達度表示領域１３ｃには、装着物検出到達度ＨＧＬが上下方向に延びるバー形式で表示される。到達度表示領域１３ｃでは、上下方向に延びるバーの内部において、その下端から装着物検出到達度ＨＧＬに比例する高さまで塗り潰された状態で表示される。したがって、装着物検出状態Ｓ４に移行直後の状態では、装着物検出到達度ＨＧＬ＝０であるため、バーの内部に塗り潰された箇所はない。そして、装着物検出到達度ＨＧＬが増えるにつれて、バーの内部が下から塗り潰されて行き、装着物検出到達度ＨＧＬ＝１になると、バーの内部全体が塗り潰された状態となる。図７（ｅ）の例は、装着物検出到達度ＨＧＬ＝０．７程度の時点を示している。

【0051】

また、装着物検出状態Ｓ４においては、メッセージ表示領域１３ｂに、「ヘルメットを検出中」などの、現在の処理状況を表示する。この表示により、利用者に現在の処理状況を知らせることができる。そして、到達度表示領域１３ｃに装着物検出到達度ＨＧＬのバー表示を行うことにより、利用者は、装着物検出がどの程度まで進んでいるかを確認することができる。このため、撮影装置１２の前でどの程度待てばよいのか認識することができる。

【0052】

装着物検出状態Ｓ４において、装着物検出手段１１ｂが撮影画像から装着物を検出できないことが多くなると、装着物検出回数ＨＤＭがなかなか増えないため、装着物検出時間ＨＤＴも増えない。このような場合、いつまでも検出処理を続けることは望ましくない。このため、装着物検出手段１１ｂは、事前に設定された装着物検出制限時間ＨＲＴが経過した場合に、待機状態Ｓ１に戻る処理を行う。すなわち、一旦、人物検出時間ＰＤＴ、人物検出到達度ＰＧＬ、装着物検出時間ＨＤＴ、装着物検出到達度ＨＧＬが全て０にリセットされて、次に人物が検出された場合に、人物検出状態Ｓ２に移行して、人物検出を行うことになる。装着物検出制限時間ＨＲＴは、任意に設定可能であるが、例えば、１０秒と設定しておくことができる。

【0053】

装着物検出状態Ｓ４において、装着物検出到達度ＨＧＬが１に達した場合には、装着物であるヘルメットが正しく検出できたものとして、装着物検出完了となる。装着物検出が完了した場合には、装着判定手段１１ｃは、装着物であるヘルメットが正しく装着されているものとして装着物装着状態Ｓ５に遷移する。

【0054】

装着物装着状態Ｓ５に遷移したら、表示装置１３は、処理装置１１からの指示に基づき、メッセージ表示領域１３ｂの表示を切り替える。例えば、図７（ｄ）に示すように「［ＯＫ］ヘルメット装着が確認出来ました。キーボックスを開錠します。」などの、メッセージを表示する。そして、処理装置１１は、図７（ｄ）に示したような、装着物装着状態Ｓ５に遷移直後における表示装置１３の画面をキャプチャした全画面画像を取得する。この全画面画像には、人物検出および装着物検出が完了した撮影画像と、その日時が記録されている。装着判定手段１１ｃは、取得した全画面画像を確認結果記憶手段１１ｄに保存する。これにより、入場が許可された者（正常入場者）の顔画像と日時が記憶されることになる。なお、本実施形態では、確認結果として、表示装置１３の表示画面の全画面画像を確認結果記憶手段１１ｄに記憶するが、装着の良否（入場の可否）と、顔画像（顔が写った撮影画像）と、日時が記録されていれば、全画面画像以外の形式で記憶してもよい。

【0055】

装着物装着状態Ｓ５では、続いて、処理装置１１が、開錠信号を制御装置１４に送信する。具体的には、装着判定手段１１ｃによる判定結果が、「正しく装着されたもの」である場合に、開錠信号を制御装置１４に送信する。処理装置１１から開錠信号を受け取ると、さらに制御装置１４は、自動扉１５またはキーボックス１６に開錠信号を送信する。そして、装着物装着状態Ｓ５に遷移後、事前に設定された装着物装着制限時間ＨＳＴを超えたら、待機状態Ｓ１に移行する。装着物装着制限時間ＨＳＴは、任意に設定可能であるが、例えば、１５秒と設定しておくことができる。

【0056】

なお、装着物待機状態Ｓ３において、装着物検出が完了する前に、装着物待機制限時間ＨＷＴを超えた場合は、装着物未装着状態Ｓ６へ遷移する。装着物待機制限時間ＨＷＴは、任意に設定可能であるが、例えば、５秒と設定しておくことができる。装着物未装着状態Ｓ６に遷移したら、表示装置１３は、処理装置１１からの指示に基づき、メッセージ表示領域１３ｂの表示を切り替える。例えば、図７（ｆ）に示すように「［ＮＧ］ヘルメット装着が確認出来ませんでした。」などの、メッセージを表示する。そして、処理装置１１は、図７（ｆ）に示したような、装着物未装着状態Ｓ６に移行直後における表示装置１３の画面をキャプチャした全画面画像を取得する。この全画面画像には、人物検出は成功したが、装着物検出が成功しなかった撮影画像と、その日時が記録されている。装着判定手段１１ｃは、取得した全画面画像を確認結果記憶手段１１ｄに保存する。これにより、入場が許可されなかった者（違反者、部外者）の顔画像と日時が記憶されることになる。

【0057】

装着物未装着状態Ｓ６に移行後、事前に設定された装着物未装着制限時間ＮＨＴを超えたら、待機状態Ｓ１に移行する。すなわち、装着物未装着状態Ｓ６に移行後、装着物未装着制限時間ＮＨＴを経過したら、待機状態Ｓ１に移行する。装着物未装着制限時間ＮＨＴは、任意に設定可能であるが、例えば、１５秒と設定しておくことができる。待機状態Ｓ１では、取得された撮影画像に対して、人物検出手段１１ａが繰り返し人物検出処理を行う。

【0058】

＜３．人物検出処理の詳細＞
上述のように、待機状態Ｓ１、人物検出状態Ｓ２においては、撮影画像に対して人物検出手段１１ａが人物検出処理を行う。ここでは、人物検出手段１１ａによる人物検出処理の詳細について説明する。人物検出処理としては、画像から人物を検出する技術であれば、様々なものを用いることができる。本実施形態では、撮影画像における人物の顔部分または目部分における特徴量を算出し、算出した特徴量に基づいて人物を検出する。すなわち、特徴量をベースとした手法を用いている。特徴量をベースとした手法としては、Haar特徴ベースのCascade型分類器を使った物体検出を用いることができる。本実施形態では、人物検出手段１１ａは、顔検出を行う顔検出モード、目を検出する目検出モードの２つのモードを備え、設定によりどちらかを選択可能になっている。図８は、人物検出の詳細を説明するための図である。図８（ａ）は顔検出モードに対応しており、図８（ｂ）は目検出モードに対応している。

【0059】

まず、顔検出モードについて説明する。顔検出モードは顔全体の特徴を用いて人物を検出するモードである。図８（ａ）に示すように、顔検出モードでは、１つの対象領域Ｆｆを撮影画像内に設定する。そして、対象領域Ｆｆに含まれる顔の特徴を用いて顔を検出する。

【0060】

次に、目検出モードについて説明する。目検出モードは目の特徴のみを用いて人物を検出するモードである。図８（ｂ）（ｃ）に示すように、目検出モードでは、各目に対応させて計２つの対象領域Ｆｅを撮影画像内に設定する。そして、対象領域Ｆｅに含まれる目の特徴を用いて検出する。目検出モードの場合、図８（ｂ）の撮影画像に示すように、顔全体が露出している場合はもちろんであるが、図８（ｃ）の撮影画像に示すように、マスクをかけている場合でも、人物の検出が可能となる。

【0061】

＜４．ヘルメット検出処理の詳細＞
上述のように、待機状態Ｓ１、装着物検出状態Ｓ４においては、撮影画像に対して装着物検出手段１１ｂが装着物検出処理を行う。ここでは、装着物検出処理の詳細について説明する。装着物検出処理としては、画像からヘルメット等の装着物を検出する技術であれば、様々なものを用いることができる。本実施形態では、テンプレートマッチングの手法を用いている。すなわち、本実施形態では、装着物がヘルメットであれば、ヘルメットのみの画像をテンプレート画像として用意しておき、このテンプレート画像と比較、マッチングすることにより、ヘルメットを検出している。

【0062】

テンプレートマッチングの手法としては、テンプレート画像と撮影画像の注目領域を比較する手法を用いることができる。本実施形態では、通常モード、３テンプレートモード、ランダムテンプレートモードの３つのモードを備え、設定によりいずれかを選択可能になっている。図９は、装着物検出の詳細を説明するための図である。図９（ａ）は通常モードに対応しており、図９（ｂ）は３テンプレートモードに対応しており、図９（ｃ）はランダムテンプレートモードに対応している。

【0063】

まず、通常モードについて説明する。通常モードは１つのテンプレート画像、すなわち単一のテンプレート画像を予め設定しておき、テンプレート画像とマッチングすることにより検出するモードである。図９（ａ）に示すように、通常モードでは、１つの対象領域Ｆｍを撮影画像内に設定する。そして、対象領域Ｆｍに含まれる画像とテンプレート画像を比較する。

【0064】

次に、３テンプレートモードについて説明する。３テンプレートモードは、大きさの異なる３つのテンプレート画像を予め設定しておき、３つのテンプレート画像のいずれかとマッチした場合に、検出したものとするモードである。この場合、等倍（倍率１）、倍率１未満、倍率１超の３つのテンプレート画像を用いる。倍率１未満のテンプレート画像、倍率１超のテンプレート画像は、等倍のテンプレート画像を縮小、拡大して作成することができる。３テンプレートモードでは、図９（ａ）に示したように、対象領域Ｆｍを撮影画像内に設定して、対象領域Ｆｍに含まれる画像と等倍のテンプレート画像を比較する。

【0065】

さらに、３テンプレートモードでは、図９（ｂ）に示したように、対象領域Ｆｓを撮影画像内に設定して、対象領域Ｆｓに含まれる画像と縮小したテンプレート画像を比較する。また、図９（ｂ）に示したように、対象領域Ｆｌを撮影画像内に設定して、対象領域Ｆｌに含まれる画像と拡大したテンプレート画像を比較する。縮小率や拡大率は適宜設定できるが、例えば、拡大率０．７倍で縮小したテンプレート画像を作成し、拡大率１．２倍で拡大したテンプレート画像を作成する。この３テンプレートモードは、撮影装置１２と検出対象の距離をある程度許容することができる。

【0066】

ランダムテンプレートモードについて説明する。ランダムテンプレートモードは、検出の都度、設定された２つの拡大率（１未満、１超）の範囲内で値をランダムに選択し、選択された値を用いて等倍のテンプレート画像（元のテンプレート画像）を拡大縮小した変倍テンプレート画像（図９（ｃ）では、単に「テンプレート画像」と表記）を生成し、変倍テンプレート画像と一致した時に検出したものとするモードである。図９（ｃ）に示したように、例えば拡大率０．７倍から拡大率１．２倍の範囲内で変倍テンプレート画像を生成して、撮影画像との比較を行う。このランダムテンプレートモードも、撮影装置１２と検出対象の距離をある程度許容することができる。

【0067】

本実施形態では、装着物としてヘルメットを用いた例について説明したが、ヘルメットの正面に付された所定のロゴまでも検出対象とすることができる。図１０は、ヘルメットの正面に付されたロゴを検出する例を説明するための図である。この場合、テンプレートとして正面側にロゴが付された状態のヘルメットの画像を用意しておく。そして、このテンプレートを用いて、撮影画像との比較を行い、ヘルメットの形状に加えて、ロゴが一致する場合に、入場を許可するようにすることもできる。例えば、ロゴとしては、特定の企業を示すロゴマークを用いることができる。図１０では、ヘルメットの正面側にＡＢＣというロゴが付された例を示している。この場合、装着物検出手段１１ｂは、装着物検出状態Ｓ４において装着物検出を行い、ロゴが一致する場合に、正当なヘルメットを装着した者であるとして、開錠信号を制御装置１４に送信する。このように、正面側にロゴが付された状態のヘルメットの画像をテンプレート画像として用意しておくことにより、使用が許可されたヘルメットを装着した人物のみが入場を許可されることになり、部外者の侵入を防ぐことができる。

【0068】

＜５．撮影画像の反転＞
表示装置１３は、撮影画像表示領域１３ａに、撮影画像の向きを変えない状態でそのまま表示してもよいが、左右反転させた状態で表示するようにしてもよい。そのまま表示する通常表示と左右反転させて表示する反転表示は、設定により切り替えることができる。左右反転させて表示する反転表示を行うことにより、利用者は、鏡を見ているのと同じ感覚で自身の装着状態を確認することができる。

【0069】

以上、本開示の好適な実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、処理装置１１としてコンピュータを用い、記憶装置に記憶された専用のプログラムをＣＰＵが実行することにより、人物検出手段、装着物検出手段、装着判定手段、確認結果記憶手段を実現するようにしたが、これらの各手段を演算回路としてハードウェアに組み込むようにしても良い。

【符号の説明】

【0070】

１１・・・処理装置
１１ａ・・・人物検出手段
１１ｂ・・・装着物検出手段
１１ｃ・・・装着判定手段
１１ｄ・・・確認結果記憶手段
１２・・・撮影装置
１３・・・表示装置
１４・・・制御装置
１５・・・自動扉
１６・・・キーボックス
１７・・・タブレットＰＣ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】