特許 6558387 画像解析装置、画像解析方法、及び画像解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6558387

(24)【登録日】2019年7月26日

(45)【発行日】2019年8月14日

(54)【発明の名称】画像解析装置、画像解析方法、及び画像解析プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190805BHJP

【ＦＩ】

   G06T7/00 350B

   G06T7/00 660A

【請求項の数】11

【全頁数】22

(21)【出願番号】特願2017-48287(P2017-48287)

(22)【出願日】2017年3月14日

(65)【公開番号】特開2018-151919(P2018-151919A)

(43)【公開日】2018年9月27日

【審査請求日】2019年3月8日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(74)【代理人】

【識別番号】100156845

【弁理士】

【氏名又は名称】山田 威一郎

(74)【代理人】

【識別番号】100179213

【弁理士】

【氏名又は名称】山下 未知子

(74)【代理人】

【識別番号】100170542

【弁理士】

【氏名又は名称】桝田 剛

(72)【発明者】

【氏名】籔内 智浩

(72)【発明者】

【氏名】相澤 知禎

(72)【発明者】

【氏名】木下 航一

(72)【発明者】

【氏名】日向 匡史

(72)【発明者】

【氏名】青位 初美

(72)【発明者】

【氏名】上谷 芽衣

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１２−４８６７５（ＪＰ，Ａ）

【文献】 特開２００８−２６９１８２（ＪＰ，Ａ）

【文献】 特開２０１２−２３８０５７（ＪＰ，Ａ）

【文献】 特開２０１１−２８８２（ＪＰ，Ａ）

【文献】 特開２０１５−２１３５３７（ＪＰ，Ａ）

【文献】 特開２００８−９８４９（ＪＰ，Ａ）

【文献】 特開２０１６−４０７０５（ＪＰ，Ａ）

【文献】 特開２００７−２８７０２４（ＪＰ，Ａ）

【文献】 特開２０１０−１６０６４０（ＪＰ，Ａ）

【文献】 特開２０１２−２１２２１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

検出対象となる対象物の映る撮像画像を繰り返し取得する画像取得部と、
前記撮像画像内で、遮蔽物により遮蔽されていない状態の前記対象物が映ると推定される第１領域を検出する第１検出部と、
前記撮像画像内で、前記遮蔽物により遮蔽されている状態の前記対象物が映ると推定される第２領域を検出する第２検出部と、
前記撮像画像に対して、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定部と、
前記判定部の判定結果に従って、前記第１検出部及び前記第２検出部の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、前記撮像画像内で前記対象物が映る対象物領域を特定する領域特定部と、
を備え、
前記判定部は、前記第１検出部及び前記第２検出部の検出結果、並びに以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する、
画像解析装置。

【請求項2】

前記第１検出部が前記第１領域を探索する間隔及び前記第２検出部が前記第２領域を探索する間隔よりも粗い間隔で前記撮像画像を探索することで、前記対象物が映ると推定される粗推定領域を検出する粗検出部を更に備え、
前記第１検出部は、前記粗検出部により検出された前記粗推定領域の近傍範囲内で前記第１領域を検出し、
前記第２検出部は、前記粗検出部により検出された前記粗推定領域の近傍範囲内で前記第２領域を検出する、
請求項１に記載の画像解析装置。

【請求項3】

前記粗検出部は、以前に取得した前記撮像画像内で特定した前記対象物領域の近傍範囲内で前記粗推定領域を検出する、
請求項２に記載の画像解析装置。

【請求項4】

前記第１検出部が検出した前記第１領域の数及び前記第２検出部が検出した前記第２領域の数の差が所定の条件を満たすように、前記第１領域の数が前記第２領域の数よりも多い場合、前記対象物は前記遮蔽物により遮蔽されていないと前記判定部は判定し、
前記第１検出部が検出した前記第１領域の数及び前記第２検出部が検出した前記第２領域の数の差が所定の条件を満たすように、前記第２領域の数が前記第１領域の数よりも多い場合、前記対象物は前記遮蔽物により遮蔽されていると前記判定部は判定し、
前記第１検出部が検出した前記第１領域の数及び前記第２検出部が検出した前記第２領域の数の差が所定の条件を満たさない場合、前記判定部は、以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する、
請求項１から３のいずれか１項に記載の画像解析装置。

【請求項5】

前記第１検出部が複数の前記第１領域を検出し、かつ前記判定部が、前記対象物は前記遮蔽物により遮蔽されていないと判定した場合には、前記領域特定部は、当該複数の第１領域を結合することで、前記対象物が映る対象物領域を特定し、
前記第２検出部が複数の前記第２領域を検出し、かつ前記判定部が、前記対象物は前記遮蔽物により遮蔽されていると判定した場合には、前記領域特定部は、当該複数の第２領域を結合することで、前記対象物が映る前記対象物領域を特定する、
請求項１から４のいずれか１項に記載の画像解析装置。

【請求項6】

前記第１検出部が検出した前記第１領域の数及び前記第２検出部が検出した前記第２領域の数の差が所定の条件を満たさない場合に、以前に取得した前記撮像画像に対して前記対象物は前記遮蔽物により遮蔽されていると判定しており、かつ前記第１領域の数が前記第２領域の数よりも多いとき、又は以前に取得した前記撮像画像に対して前記対象物は前記遮蔽物により遮蔽されていないと判定しており、かつ前記第２領域の数が前記第１領域の数よりも多いときには、前記判定部は、前記対象物が前記遮蔽物により遮蔽されているか否かの特定は困難であると判定し、
前記対象物が前記遮蔽物により遮蔽されているか否かの特定は困難であると判定した場合、前記領域特定部は、前記第１検出部の検出した前記第１領域及び前記第２検出部の検出した前記第２領域を結合することで、前記対象物が映る前記対象物領域を特定する、
請求項１から５のいずれか１項に記載の画像解析装置。

【請求項7】

特定した前記対象物領域内で前記対象物の検出を再度実施することで、特定した前記対象物領域が誤検出されたものであるか否かを判定する誤検出判定部を更に備える、
請求項５又は６に記載の画像解析装置。

【請求項8】

検出対象となる前記対象物は人物の顔である、
請求項１から７のいずれか１項に記載の画像解析装置。

【請求項9】

前記遮蔽物はマスクである、
請求項８に記載の画像解析装置。

【請求項10】

コンピュータが、
検出対象となる対象物の映る撮像画像を繰り返し取得する画像取得ステップと、
前記撮像画像内で、遮蔽物により遮蔽されていない状態の前記対象物が映ると推定される第１領域を検出する第１検出ステップと、
前記撮像画像内で、前記遮蔽物により遮蔽されている状態の前記対象物が映ると推定される第２領域を検出する第２検出ステップと、
前記撮像画像に対して、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定ステップと、
前記判定部の判定結果に従って、前記第１検出部及び前記第２検出部の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、前記撮像画像内で前記対象物が映る対象物領域を特定する特定ステップと、
を実行し、
前記判定ステップでは、前記第１検出部及び前記第２検出部の検出結果、並びに以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する、
画像解析方法。

【請求項11】

コンピュータに、
検出対象となる対象物の映る撮像画像を繰り返し取得する画像取得ステップと、
前記撮像画像内で、遮蔽物により遮蔽されていない状態の前記対象物が映ると推定される第１領域を検出する第１検出ステップと、
前記撮像画像内で、前記遮蔽物により遮蔽されている状態の前記対象物が映ると推定される第２領域を検出する第２検出ステップと、
前記撮像画像に対して、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定ステップと、
前記判定部の判定結果に従って、前記第１検出部及び前記第２検出部の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、前記撮像画像内で前記対象物が映る対象物領域を特定する特定ステップと、
を実行させ、
前記判定ステップでは、前記第１検出部及び前記第２検出部の検出結果、並びに以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定させる、
ための画像解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置、画像解析方法、及び画像解析プログラムに関する。

【背景技術】

【0002】

テンプレートマッチング等の画像処理技術によれば、所望の対象物を撮像画像から検出することができる。ただし、対象物が遮蔽物により遮蔽されていると、撮像画像から対象物を検出できない可能性がある。例えば、人物がマスクを着用していると、撮像画像から人物の顔を検出できない可能性がある。

【0003】

このような問題点を解決するため、特許文献１では、マスクを装着した対象物の画像に反応するように学習した機械学習システム、及びマスクを装着していない対象物の画像に反応するように学習した機械学習システムを利用する方法が提案されている。この特許文献１の方法によれば、マスクを装着時及び非装着時の状態それぞれに対応する機械学習システムを個別に用意することで、それぞれの状態に適した画像解析を行うことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−００３１１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本件発明者らは、上記のような画像処理方法において、次のような問題点があることを見出した。すなわち、各機械学習システムに人物の顔のあらゆるパターンを予め学習させることは困難である。そのため、各機械学習システムは、ある時点で対象物の誤検出を起こす可能性がある。これがボトルネックとなって、マスク等の遮蔽物により対象物が遮蔽されているか否かの判定の精度を高めるのが難しいという問題点があることを本件発明者らは見出した。

【0006】

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、対象物が遮蔽物により遮蔽されているか否かの判定の精度を高める技術を提供することである。

【課題を解決するための手段】

【0007】

本発明は、上述した課題を解決するために、以下の構成を採用する。

【0008】

すなわち、本発明の一側面に係る画像解析装置は、検出対象となる対象物の映る撮像画像を繰り返し取得する画像取得部と、前記撮像画像内で、遮蔽物により遮蔽されていない状態の前記対象物が映ると推定される第１領域を検出する第１検出部と、前記撮像画像内で、前記遮蔽物により遮蔽されている状態の前記対象物が映ると推定される第２領域を検出する第２検出部と、前記撮像画像に対して、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定部と、前記判定部の判定結果に従って、前記第１検出部及び前記第２検出部の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、前記撮像画像内で前記対象物が映る対象物領域を特定する領域特定部と、を備え、前記判定部は、前記第１検出部及び前記第２検出部の検出結果、並びに以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する。

【0009】

当該構成では、遮蔽物により遮蔽されていない状態の対象物を検出する第１検出部、及び遮蔽物により遮蔽されている状態の対象物を検出する第２検出部の検出結果だけではなく、以前に取得した撮像画像に対する判定結果を利用して、対象物が遮蔽物により遮蔽されているか否かを判定する。これによって、以前の判定結果を利用して、各検出部の検出結果の信頼性を評価することができる。加えて、両検出部の検出結果では、対象物が遮蔽物により遮蔽されているか否かの特定が困難である場合には、以前の判定結果に従って、対象物が遮蔽物により遮蔽されているか否かを特定することができる。そのため、当該構成によれば、対象物が遮蔽物により遮蔽されているか否かの判定の精度を高めることができる。

【0010】

上記一側面に係る画像解析装置は、前記第１検出部が前記第１領域を探索する間隔及び前記第２検出部が前記第２領域を探索する間隔よりも粗い間隔で前記撮像画像を探索することで、前記対象物が映ると推定される粗推定領域を検出する粗検出部を更に備えてもよく、前記第１検出部は、前記粗検出部により検出された前記粗推定領域の近傍範囲内で前記第１領域を検出してもよく、前記第２検出部は、前記粗検出部により検出された前記粗推定領域の近傍範囲内で前記第２領域を検出してもよい。当該構成によれば、対象物を探索する回数を減らすことができるため、画像解析の計算量を低減することができ、これによって、プロセッサの処理負荷を抑えることができる。

【0011】

上記一側面に係る画像解析装置において、前記粗検出部は、以前に取得した前記撮像画像内で特定した前記対象物領域の近傍範囲内で前記粗推定領域を検出してもよい。当該構成によれば、対象物の存在する蓋然性の高い範囲に対象物の探索範囲を絞ることができるため、対象物の検出精度を大きく悪化させることなく、画像解析の計算量を低減することができ、これによって、プロセッサの処理負荷を抑えることができる。

【0012】

上記一側面に係る画像解析装置において、前記第１検出部が検出した前記第１領域の数及び前記第２検出部が検出した前記第２領域の数の差が所定の条件を満たすように、前記第１領域の数が前記第２領域の数よりも多い場合、前記対象物は前記遮蔽物により遮蔽されていないと前記判定部は判定してもよく、前記第１検出部が検出した前記第１領域の数及び前記第２検出部が検出した前記第２領域の数の差が所定の条件を満たすように、前記第２領域の数が前記第１領域の数よりも多い場合、前記対象物は前記遮蔽物により遮蔽されていると前記判定部は判定してもよく、前記第１検出部が検出した前記第１領域の数及び前記第２検出部が検出した前記第２領域の数の差が所定の条件を満たさない場合、前記判定部は、以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定してもよい。当該構成によれば、第１検出部及び第２検出部の検出数により優劣がつかない場合に、以前の判定結果を利用することで、対象物が遮蔽物により遮蔽されているか否かの判定の精度を高めることができる。

【0013】

上記一側面に係る画像解析装置において、前記第１検出部が複数の前記第１領域を検出し、かつ前記判定部が、前記対象物は前記遮蔽物により遮蔽されていないと判定した場合には、前記領域特定部は、当該複数の第１領域を結合することで、前記対象物が映る対象物領域を特定してもよく、前記第２検出部が複数の前記第２領域を検出し、かつ前記判定部が、前記対象物は前記遮蔽物により遮蔽されていると判定した場合には、前記領域特定部は、当該複数の第２領域を結合することで、前記対象物が映る前記対象物領域を特定してもよい。当該構成によれば、各検出部の全ての検出結果を利用して、対象物の映る領域を特定することができる。

【0014】

上記一側面に係る画像解析装置において、前記第１検出部が検出した前記第１領域の数及び前記第２検出部が検出した前記第２領域の数の差が所定の条件を満たさない場合に、以前に取得した前記撮像画像に対して前記対象物は前記遮蔽物により遮蔽されていると判定しており、かつ前記第１領域の数が前記第２領域の数よりも多いとき、又は以前に取得した前記撮像画像に対して前記対象物は前記遮蔽物により遮蔽されていないと判定しており、かつ前記第２領域の数が前記第１領域の数よりも多いときには、前記判定部は、前記対象物が前記遮蔽物により遮蔽されているか否かの特定は困難であると判定してもよく、前記対象物が前記遮蔽物により遮蔽されているか否かの特定は困難であると判定した場合、前記領域特定部は、前記第１検出部の検出した前記第１領域及び前記第２検出部の検出した前記第２領域を結合することで、前記対象物が映る前記対象物領域を特定してもよい。当該構成によれば、両検出部の検出結果及び以前の判定結果を利用しても、対象物が遮蔽物により遮蔽されているか否の特定が困難である場合に、両検出部の検出結果を結合することで、対象物が存在する蓋然性の高い領域を特定することができる。

【0015】

上記一側面に係る画像解析装置は、特定した前記対象物領域内で前記対象物の検出を再度実施することで、特定した前記対象物領域が誤検出されたものであるか否かを判定する誤検出判定部を更に備えてもよい。当該構成によれば、対象物領域の誤検出を回避することができるため、撮像画像から対象物を検出する一連の処理の信頼性を高めることができる。

【0016】

上記一側面に係る画像解析装置において、検出対象となる前記対象物は人物の顔であってよい。更に、前記遮蔽物はマスクであってよい。当該構成によれば、マスクを装着した顔かそうではない顔かを検出することができる。

【0017】

なお、上記各形態に係る画像解析装置の別の態様として、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積する媒体である。

【0018】

例えば、本発明の一側面に係る画像解析方法は、コンピュータが、検出対象となる対象物の映る撮像画像を繰り返し取得する画像取得ステップと、前記撮像画像内で、遮蔽物により遮蔽されていない状態の前記対象物が映ると推定される第１領域を検出する第１検出ステップと、前記撮像画像内で、前記遮蔽物により遮蔽されている状態の前記対象物が映ると推定される第２領域を検出する第２検出ステップと、前記撮像画像に対して、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定ステップと、前記判定部の判定結果に従って、前記第１検出部及び前記第２検出部の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、前記撮像画像内で前記対象物が映る対象物領域を特定する特定ステップと、を実行し、前記判定ステップでは、前記第１検出部及び前記第２検出部の検出結果、並びに以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する、情報処理方法である。

【0019】

また、例えば、本発明の一側面に係る画像解析プログラムは、コンピュータに、検出対象となる対象物の映る撮像画像を繰り返し取得する画像取得ステップと、前記撮像画像内で、遮蔽物により遮蔽されていない状態の前記対象物が映ると推定される第１領域を検出する第１検出ステップと、前記撮像画像内で、前記遮蔽物により遮蔽されている状態の前記対象物が映ると推定される第２領域を検出する第２検出ステップと、前記撮像画像に対して、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定ステップと、前記判定部の判定結果に従って、前記第１検出部及び前記第２検出部の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、前記撮像画像内で前記対象物が映る対象物領域を特定する特定ステップと、を実行させ、前記判定ステップでは、前記第１検出部及び前記第２検出部の検出結果、並びに以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定させる、ためのプログラムである。

【発明の効果】

【0020】

本発明によれば、対象物が遮蔽物により遮蔽されているか否かの判定の精度を高める技術を提供することができる。

【図面の簡単な説明】

【0021】

【図1】図１は、本発明が適用される場面の一例を模式的に例示する。

【図2】図２は、実施の形態に係る画像解析装置のハードウェア構成の一例を模式的に例示する。

【図3】図３は、実施の形態に係る画像解析装置の機能構成の一例を模式的に例示する。

【図4】図４は、実施の形態に係る画像解析装置の処理手順の一例を例示する。

【図5】図５は、顔領域を粗探索する場面の一例を模式的に例示する。

【図6】図６は、粗推定領域の近傍範囲内で顔領域を検出する場面の一例を模式的に例示する。

【図7】図７は、検出領域を結合する場面の一例を模式的に例示する。

【図8】図８は、以前に検出した顔領域の近傍範囲内で粗探索する場面の一例を模式的に例示する。

【発明を実施するための形態】

【0022】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

【0023】

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る画像解析装置１の適用場面の一例を模式的に例示する。

【0024】

図１に示されるとおり、本実施形態に係る画像解析装置１は、人物をカメラ３により撮像することにより得られる撮像画像３１から当該人物の顔の映る領域（以下、「顔領域」とも記載する）を抽出するコンピュータである。人物の顔は、本発明の「検出対象となる対象物」の一例である。

【0025】

具体的に、画像解析装置１は、人物の顔の映る撮像画像３１をカメラ３から繰り返し取得する。この撮像画像３１に映る人物は顔にマスクを着用している可能性がある。すなわち、撮像画像３１に映る人物の顔はマスクにより遮蔽されている可能性がある。この人物の装着し得るマスクは、本発明の「遮蔽物」の一例である。人物が顔にマスクを着用しているのとしていないのとでは、撮像画像３１内の人物の顔が映る範囲の画像は大きく相違し得る。

【0026】

そこで、本実施形態に係る画像解析装置１は、取得される撮像画像３１内で、マスクにより遮蔽されていない状態の顔が映っていると推定される第１領域を検出する。また、画像解析装置１は、取得される撮像画像３１内で、マスクにより遮蔽されている状態の顔が映ると推定される第２領域を検出する。そして、画像解析装置１は、取得される撮像画像３１に対して、人物の顔がマスクにより遮蔽されているか否か、換言すると、人物が顔にマスクを装着しているか否かを判定する。

【0027】

本実施形態に係る画像解析装置１は、繰り返し取得する撮像画像３１に対して、このような第１領域及び第２領域の検出、並びに人物が顔にマスクを装着しているか否かの判定の処理を実行する。これら処理を繰り返し実行すると、画像解析装置１は、人物が顔にマスクを装着しているか否かを過去に判定した結果を蓄積することができる。画像解析装置１は、この過去の判定結果を利用して、現ステップで取得された撮像画像３１に対して、人物が顔にマスクを装着しているか否かの判定を実施する。

【0028】

すなわち、画像解析装置１は、第１領域及び第２領域の検出結果、並びに以前に取得した撮像画像３１に対する、人物が顔にマスクを装着しているか否かの判定結果に基づいて、現ステップで取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定する。そして、画像解析装置１は、この判定結果に従って、第１領域及び第２領域の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、人物の顔が映る顔領域を特定する。この顔領域は、本発明の「対象物領域」に相当する。

【0029】

以上のとおり、本実施形態に係る画像解析装置１は、マスクを装着していない状態及びマスクを装着した状態それぞれを考慮した顔の個別の検出結果だけではなく、以前に取得した撮像画像３１に対する判定結果を利用して、現ステップで取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定する。これによって、以前の判定結果を利用して、各状態を考慮した顔の検出結果の信頼性を評価することができる。加えて、各状態に対する検出結果では、人物が顔にマスクを装着しているか否かの特定が困難である場合に、以前の判定結果に従って、人物が顔にマスクを装着しているか否かを特定することができる。そのため、本実施形態によれば、人物が顔にマスクを装着しているか否かの判定の精度を高めることができる。

【0030】

§２ 構成例
［ハードウェア構成］
次に、図２を用いて、本実施形態に係る画像解析装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る画像解析装置１のハードウェア構成の一例を模式的に例示する。

【0031】

図２に示されるとおり、本実施形態に係る画像解析装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図２では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

【0032】

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素を制御する。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成され、画像解析プログラム８、制御部１１で利用するデータ等を記憶する。記憶部１２は、「メモリ」に相当する。画像解析プログラム８は、画像解析装置１に後述する人物の顔を抽出する情報処理（図４）を実行させるためのプログラムである。詳細は後述する。

【0033】

外部インタフェース１３は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。本実施形態では、この外部インタフェース１３を介して、画像解析装置１にカメラ３が接続される。カメラ３は、実施の形態に応じて適宜配置されてよい。例えば、車両を運転する運転者の顔を検出するのに画像解析装置１を利用する場合には、カメラ３は、運転席に着いた運転者を撮影するように配置されてもよい。また、例えば、街頭を歩く人物の顔を検出するのに画像解析装置１を利用する場合には、カメラ３は、街頭を撮影するように配置されてもよい。また、例えば、工場内の作業者の顔を検出するのに画像解析装置１を利用する場合には、カメラ３は、工場内の作業者を撮影可能な場所に配置されてよい。このカメラ３は、ネットワークを介して、画像解析装置１に接続されてもよい。

【0034】

入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置１４及び出力装置１５を介して、画像解析装置１を操作することができる。

【0035】

ドライブ１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１６の種類は、記憶媒体９の種類に応じて適宜選択されてよい。上記画像解析プログラム８は、この記憶媒体９に記憶されていてもよい。

【0036】

記憶媒体９は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。画像解析装置１は、この記憶媒体９から、上記画像解析プログラム８を取得してもよい。

【0037】

ここで、図２では、記憶媒体９の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

【0038】

なお、画像解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。また、例えば、画像解析装置１は、ネットワークを介して他の装置とデータ通信を行うための通信モジュールを備えてもよい。画像解析装置１は、複数台の情報処理装置で構成されてもよい。また、画像解析装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップＰＣ（Personal Computer）、タブレットＰＣ等であってもよい。

【0039】

［機能構成］
次に、図３を用いて、本実施形態に係る画像解析装置１の機能構成の一例を説明する。図３は、本実施形態に係る画像解析装置１の機能構成の一例を模式的に例示する。

【0040】

画像解析装置１の制御部１１は、記憶部１２に記憶された画像解析プログラム８をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された画像解析プログラム８をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図３に示されるとおり、本実施形態に係る画像解析装置１は、画像取得部１１１、粗検出部１１２、第１検出部１１３、第２検出部１１４、判定部１１５、領域特定部１１６、及び誤検出判定部１１７を備えるコンピュータとして機能する。

【0041】

画像取得部１１１は、人物の顔の映る撮像画像３１をカメラ３から繰り返し取得する。粗検出部１１２は、取得される撮像画像３１内において、後述する第１検出部１１３及び第２検出部１１４の探索間隔よりも荒い間隔で、マスクの装着の有無に関わらず人物の顔が映る領域を探索する。これにより、粗検出部１１２は、取得される撮像画像３１内で、人物の顔が映ると推定される粗推定領域を検出する。

【0042】

第１検出部１１３は、取得される撮像画像３１内で検出された粗推定領域の近傍範囲内において、粗検出部１１２よりも密な間隔で、マスクを装着していない状態の顔が映る領域を探索する。これにより、第１検出部１１３は、取得される撮像画像３１内で、マスクを装着していない状態の顔が映ると推定される第１領域を検出する。第２検出部１１４は、取得される撮像画像３１内で検出された粗推定領域の近傍範囲内において、粗検出部１１２よりも密な間隔で、マスクを装着している状態の顔が映る領域を探索する。これにより、第２検出部１１４は、取得される撮像画像３１内で、マスクを装着している状態の顔が映ると推定される第２領域を検出する。

【0043】

判定部１１５は、取得される撮像画像３１に対して、人物が顔にマスクを装着しているか否かを判定する。特に、顔を抽出する一連の処理を繰り返し実行する過程で、判定部１１５は、第１検出部１１３及び第２検出部１１４の検出結果、並びに以前に取得した撮像画像３１に対する、人物が顔にマスクを装着しているか否かの判定結果に基づいて、現ステップで取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定する。

【0044】

領域特定部１１６は、上記判定部１１５の判定結果に従って、第１検出部１１３及び第２検出部１１４の第１領域及び第２領域の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、人物の顔が映る顔領域を特定する。誤検出判定部１１７は、特定した顔領域内で人物の顔の検出を再度実施することで、特定した顔領域が誤検出されたものであるか否かを判定する。

【0045】

画像解析装置１の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、画像解析装置１の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像解析装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

【0046】

§３ 動作例
次に、図４を用いて、画像解析装置１の動作例を説明する。図４は、画像解析装置１の処理手順の一例を例示するフローチャートである。以下で説明する人物の顔が映る顔領域を抽出する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0047】

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、人物の顔の映る撮像画像３１をカメラ３から取得する。撮像画像３１を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。取得する撮像画像３１は、動画像であってもよいし、複数の静止画像であってもよい。以下では、説明の便宜のため、制御部１１は、動画像の１フレーム又は１枚の静止画像を取得した後に、次のステップＳ１０２に処理を進めるものとする。ただし、本ステップＳ１０１の処理は、このような例に限定されなくてもよい。制御部１１は、本ステップＳ１０１の処理として、複数フレームで構成される動画像を取得してもよいし、複数枚の静止画像を取得してもよい。

【0048】

（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、粗検出部１１２として機能し、ステップＳ１０１で取得した撮像画像３１内において、人物の顔が映る領域の粗い探索を行う。すなわち、制御部１１は、取得した撮像画像３１内において、後述するステップＳ１０３及びＳ１０４により第１領域及び第２領域を探索する間隔よりも粗い間隔で、人物の顔が映る領域を探索する。これにより、制御部１１は、取得した撮像画像３１内で、人物の顔が映ると推定される粗推定領域を検出する。

【0049】

ここで、図５を用いて、本ステップＳ１０２の処理を詳細に説明する。図５は、本ステップＳ１０２の処理の一例を模式的に例示する。図５に示すとおり、制御部１１は、例えば、所定数のピクセル間隔（図５の例では、８ピクセル）で、取得した撮像画像３１内において、人物の顔が映る領域を探索する。探索の間隔は、実施の形態に応じて適宜設定されてよい。

【0050】

人物の顔が映ると推定される粗推定領域を検出する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、人物の顔が映ると推定される粗推定領域の検出には、テンプレートマッチング等の公知の画像処理手法が用いられてもよいし、ニューラルネットワーク、自己組織化マップ等の機械学習により構築された識別器が用いられてもよい。以下では、テンプレートマッチングにより、粗推定領域を検出する方法を説明する。

【0051】

図５は、テンプレートマッチングにより、人物の顔が映ると推定される粗推定領域を検出する例を示している。図５のハッチングされたピクセルは、テンプレートの左上隅のピクセルを合わせる位置を示している。すなわち、制御部１１は、撮影画像３１内の所定範囲内の領域とテンプレートとの比較（照合）を、当該撮像画像３１内の任意の基準位置から所定の探索間隔おきに実施する。これにより、制御部１１は、テンプレートと所定の閾値以上に適合する領域を、人物の顔の映ると推定される粗推定領域として検出する。なお、本ステップＳ１０２で利用されるテンプレートは、マスクの装着の有無に関わらず顔が映っているか否かを検出するために、対象画像（撮像画像３１）と比較する基準となる顔画像データである。

【0052】

なお、上記のとおり、粗推定領域を検出する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、撮像画像を入力すると、当該撮像画像内における粗推定領域の位置及び大きさを出力するように学習させた学習済みのニューラルネットワークが用いられてもよい。この場合、制御部１１は、学習済みのニューラルネットワークに撮像画像３１を入力し、入力層から順方向に発火判定の演算を実施することで、粗推定領域の位置及び大きさを示す情報を取得することができる。

【0053】

本ステップＳ１０２では、マスクを装着した状態及びマスクを装着していない状態のいずれの状態であっても顔が映ると推定される粗推定領域を検出することができるように、制御部１１は、当該粗推定領域の検出を粗い精度で実施する。これにより、制御部１１は、マスクを装着している又はマスクを装着していない状態の顔が映ると推定される粗推定領域を検出することができる。粗推定領域の検出が完了すると、制御部１１は、次のステップＳ１０３に処理を進める。

【0054】

（ステップＳ１０３及びステップＳ１０４）
図４に戻り、ステップＳ１０３では、制御部１１は、第１検出部１１３として機能し、取得した撮像画像３１内で、マスクを装着していない状態の顔が映ると推定される第１領域を検出する。本実施形態では、ステップＳ１０２により、人物の顔が映る領域の粗い検出が行われている。そのため、制御部１１は、本ステップ１０３では、撮像画像３１内で検出された粗推定領域の近傍範囲内において、ステップＳ１０２よりも密な間隔で、マスクを装着していない状態の顔が映る領域を探索する。これにより、制御部１１は、撮像画像３１内で、マスクを装着していない状態の顔が映ると推定される第１領域を検出する。

【0055】

一方、ステップＳ１０４では、制御部１１は、第２検出部１１４として機能し、取得した撮像画像３１内で、マスクを装着している状態の顔が映ると推定される第２領域を検出する。具体的には、上記ステップＳ１０３のように、制御部１１は、撮像画像３１内で検出された粗推定領域の近傍範囲内において、ステップＳ１０２よりも密な間隔で、マスクを装着している状態の顔が映る領域を探索する。これにより、制御部１１は、撮像画像３１内で、マスクを装着している状態の顔が映ると推定される第２領域を検出する。

【0056】

ここで、図６を用いて、本ステップＳ１０３及びＳ１０４の処理を詳細に説明する。図６は、本ステップＳ１０３及びＳ１０４の処理の一例を模式的に例示する。図６に示されるとおり、上記ステップＳ１０２により粗推定領域３１１を検出すると、制御部１１は、粗推定領域３１１の近傍範囲３１２を設定する。近傍範囲３１２は、粗推定領域３１１を含み、粗推定領域３１１の周囲の少なくともいずれかの方向に任意数のピクセル分だけ当該粗推定領域３１１を拡げた範囲である。図６の例では、制御部１１は、粗推定領域３１１を周囲の各方向に２ピクセル分拡げた範囲を近傍範囲３１２に設定している。

【0057】

ステップＳ１０３及びＳ１０４では、制御部１１は、この設定した近傍範囲３１２内で、マスクを装着していない状態の顔及びマスクを装着した状態の顔を密に探索する。ステップＳ１０３及びＳ１０４における探索の間隔は、上記ステップＳ１０２における探索の間隔よりも短ければ、実施の形態に応じて設定されてよい。例えば、制御部１１は、１ピクセル間隔で、マスクを装着していない状態の顔及びマスクを装着した状態の顔を探索してもよい。

【0058】

第１領域及び第２領域を検出する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、第１領域及び第２領域の検出には、上記ステップＳ１０２と同様に、テンプレートマッチング等の公知の画像処理手法が用いられてもよいし、ニューラルネットワーク、自己組織化マップ等の機械学習により構築された識別器が用いられてもよい。図６は、テンプレートマッチングにより、第１領域及び第２領域を検出する例を示している。具体的な手法は、上記ステップＳ１０２と同様でよい。すなわち、制御部１１は、テンプレートと所定範囲の画像との比較（照合）することで、第１領域及び第２領域を検出してもよい。このとき、テンプレートと照合した範囲が、検出される第１領域及び第２領域の範囲となる。また、制御部１１は、ニューラルネットワークを用いて、第１領域及び第２領域を検出してもよい。

【0059】

なお、本ステップＳ１０３及びＳ１０４では、マスクを装着した状態の顔とマスクを装着していない状態の顔とを区別して検出することができるように、制御部１１は、上記ステップＳ１０２よりも、第１領域及び第２領域の検出を高い精度で実施する。例えば、本ステップＳ１０３及びＳ１０４では、上記ステップＳ１０２と同様のテンプレートを用いるのではなく、マスクを装着した顔の基準となる画像データ及びマスクを装着していない顔の基準となる画像データをテンプレートとして用いてもよい。これにより、制御部１１は、ステップＳ１０３及びＳ１０４の処理を実行することで、マスクを装着していない状態の顔が映ると推定される第１領域、及びマスクを装着している状態の顔が映ると推定される第２領域を区別して検出することができる。第１領域及び第２領域の検出が完了すると、制御部１１は、次のステップＳ１０５に処理を進める。

【0060】

（ステップＳ１０５）
図４に戻り、ステップＳ１０５では、制御部１１は、判定部１１５として機能し、上記ステップＳ１０３及びＳ１０４の検出結果、並びに以前の処理における判定結果に基づいて、現処理で取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定する。ただし、初回の動作では、以前の判定結果が存在しない。そのため、初回の動作の際は、制御部１１は、上記ステップＳ１０３及びＳ１０４の検出結果に基づいて、現処理で取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定する。

【0061】

例えば、制御部１１は、第１領域及び第２領域の信頼度に基づいて、取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定してもよい。すなわち、第１領域の信頼度が第２領域の信頼度よりも高い場合に、制御部１１は、撮像画像３１内に映る人物は顔にマスクを装着していないと判定してもよい。また、第２領域の信頼度が第１領域の信頼度よりも高い場合に、制御部１１は、撮像画像３１内に映る人物は顔にマスクを装着していると判定してもよい。更に、第１領域の信頼度が第２領域の信頼度と同程度である場合、制御部１１は、撮像画像３１内に映る人物が顔にマスクを装着しているか否かの特定は困難であると判定してもよい。なお、上記ステップＳ１０３及びＳ１０４において、第１領域及び第２領域をパターンマッチングにより検出する場合、テンプレートとの適合率を信頼度として利用することができる。また、ニューラルネットワークを用いて第１領域及び第２領域を検出する場合、第１領域又は第２領域を入力すると、入力した領域に映る被写体が人物の顔である確率を出力するように学習したニューラルネットワークを更に利用してもよい。この場合、ニューラルネットワークから出力される確率を信頼度として利用することができる。

【0062】

また、例えば、上記ステップＳ１０３及びＳ１０４において、第１領域及び第２領域をパターンマッチングにより検出する場合、マスクを装着していない状態又はマスクを装着した状態の顔が映っている領域の周辺で複数の第１領域又は第２領域が検出され得る。そこで、制御部１１は、検出された第１領域及び第２領域の数に基づいて、取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定してもよい。

【0063】

この判定方法の一例として、ステップＳ１０３で検出した第１領域の数及びステップＳ１０４で検出した第２領域の数の差が所定の条件を満たすように、当該第１領域の数が当該第２領域の数よりも多い場合に、制御部１１は、撮像画像３１内に映る人物は顔にマスクを装着していないと判定してもよい。また、ステップＳ１０３で検出した第１領域の数及びステップＳ１０４で検出した第２領域の数の差が所定の条件を満たすように、当該第２領域の数が当該第１領域の数よりも多い場合に、制御部１１は、撮像画像３１内に映る人物は顔にマスクを装着していると判定してもよい。更に、ステップＳ１０３で検出した第１領域の数及びステップＳ１０４で検出した第２領域の数の差が所定の条件を満たさない場合に、制御部１１は、撮像画像３１内に映る人物が顔にマスクを装着しているか否かの特定は困難であると判定してもよい。

【0064】

ステップＳ１０３で検出した第１領域の数及びステップＳ１０４で検出した第２領域の数の差が所定の条件を満たすか否かは、所定の閾値によって判定されてもよい。すなわち、制御部１１は、第１領域の数及び第２領域の数の差が所定の閾値以上である場合に、当該第１領域の数及び第２領域の数の差が所定の条件を満たすと判定してもよい。また、制御部１１は、第１領域の数及び第２領域の数の差が所定の閾値未満である場合に、当該第１領域の数及び第２領域の数の差が所定の条件を満たさないと判定してもよい。この場合、所定の閾値は、実施の形態に応じて適宜設定されてよい。

【0065】

例えば、所定の閾値が３に設定されている場合に、検出された第１領域の数が６つであり、検出された第２領域の数が１つであるとき、制御部１１は、撮像画像３１内に映る人物は顔にマスクを装着していないと判定する。また、検出された第１領域の数が１つであり、検出された第２領域の数が６つであるとき、制御部１１は、撮像画像３１内に映る人物は顔にマスクを装着していると判定する。更に、検出された第１領域の数が３つであり、検出された第２領域の数が４つであるとき、制御部１１は、撮像画像３１内に映る人物が顔にマスクを装着しているか否かの特定は困難であると判定する。

【0066】

なお、以下では、説明の便宜のため、制御部１１は、上記のとおり、第１領域の数及び第２領域の数の差が所定の閾値以上であるか否かによって、当該第１領域の数及び第２領域の数の差が所定の条件を満たすか否かを判定するものとする。ただし、第１領域の数及び第２領域の数の差が所定の条件を満たすか否かを判定する方法は、上記のような例に限定されなくてもよい。例えば、制御部１１は、第１領域の数及び第２領域の数の比に基づいて、第１領域の数及び第２領域の数の差が所定の条件を満たすか否かをしてもよい。この場合、所定の条件を満たすか否かの基準となる閾値が、第１領域の数及び第２領域の数の比に対して適宜設定されてよい。

【0067】

以上のような方法により、取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定すると、制御部１１は、次のステップＳ１０６に処理を進める。

【0068】

（ステップＳ１０６）
ステップＳ１０６では、制御部１１は、ステップＳ１０５の判定結果に従って、上記ステップＳ１０３及びＳ１０４の検出結果のうちいずれの検出結果を利用するかを選択する。そして、制御部１１は、選択した検出結果に基づいて、人物の顔が映る顔領域の範囲を特定する。

【0069】

なお、上記ステップＳ１０３及びＳ１０４では、複数の第１領域及び複数の第２領域が検出される可能性がある。そこで、ステップＳ１０３で複数の第１領域を検出し、かつステップＳ１０５で人物が顔にマスクを装着していないと判定した場合には、制御部１１は、検出された複数の第１領域を結合することで、人物の顔が映る顔領域の範囲を特定する。また、ステップＳ１０４で複数の第２領域を検出し、かつステップＳ１０５で人物が顔にマスクを装着していると判定した場合には、制御部１１は、検出された複数の第２領域を結合することで、人物の顔が映る顔領域の範囲を特定する。更に、ステップＳ１０５において、人物が顔にマスクを装着しているか否かの特定は困難であると判定した場合には、制御部１１は、上記ステップＳ１０３及びＳ１０４で検出した第１領域及び第２領域を結合することで、人物の顔が映る顔領域の範囲を特定する。

【0070】

ここで、図７を用いて、本ステップＳ１０６により複数の領域を結合する処理を詳細に説明する。図７は、本ステップＳ１０６により複数の領域を結合する処理の一例を模式的に例示する。図７は、検出された複数（図７では、４つ）の推定領域３１３を結合して、人物の顔が映る顔領域３１４の範囲を特定する場面を例示している。

【0071】

ステップＳ１０５で人物が顔にマスクを装着していないと判定した場合には、ステップＳ１０３で検出された第１領域が推定領域３１３となる。ステップＳ１０５で人物が顔にマスクを装着していると判定した場合には、ステップＳ１０４で検出された第２領域が推定領域３１３となる。ステップＳ１０５において、人物が顔にマスクを装着しているか否かの特定は困難であると判定した場合には、ステップＳ１０３及びＳ１０４で検出された第１領域及び第２領域がそれぞれ推定領域３１３となる。

【0072】

図７の例では、制御部１１は、推定領域３１３の重心位置の平均値を算出し、算出した重心位置の平均値を顔領域３１４の重心位置としている。また、制御部１１は、推定領域３１３の各辺の平均値を算出し、算出した各辺の平均値を顔領域３１４の各辺の長さとしている。これにより、制御部１１は、複数の推定領域３１３を結合して、人物の顔が映る顔領域３１４の範囲を特定することができる。

【0073】

なお、複数の領域を結合する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、重心位置及び各辺の平均値を単純に算出するのではなく、制御部１１は、各推定領域３１３の信頼度に応じて、当該各推定領域３１３の比重を定めてもよい。これにより、人物の顔が映る顔領域３１４を的確に特定することができる。

【0074】

（ステップＳ１０７）
図４に戻り、ステップＳ１０７では、制御部１１は、誤検出判定部１１７として機能し、ステップＳ１０６で特定した顔領域内で人物の顔の検出を再度実施することで、当該特定した顔領域が誤検出されたものであるか否かを判定する。

【0075】

具体的には、ステップＳ１０５で人物が顔にマスクを装着していないと判定した場合には、制御部１１は、マスクを装着していない状態の顔の検出を顔領域内で試みる。ステップＳ１０５で人物が顔にマスクを装着していると判定した場合には、制御部１１は、マスクを装着している状態の顔の検出を顔領域内で試みる。ステップＳ１０５において、人物が顔にマスクを装着しているか否かの特定は困難であると判定した場合には、制御部１１は、マスクを装着していない状態及びマスクを装着している状態の顔の検出を顔領域内で試みる。なお、マスクを装着していない状態及びマスクを装着している状態の顔の検出は、上記ステップＳ１０３及びＳ１０４と同様の方法により行われてよい。人物の顔の検出が完了すると、制御部１１は、次のステップＳ１０８に処理を進める。

【0076】

（ステップＳ１０８及びＳ１０９）
ステップＳ１０８では、制御部１１は、ステップＳ１０７の処理により顔領域内で人物の顔が検出できたか否かを判定する。ステップＳ１０７の処理により顔領域内で人物の顔が検出できた場合には、制御部１１は、ステップＳ１０９を省略し、次のステップＳ１１０に処理を進める。他方、ステップＳ１０７の処理により顔領域内で人物の顔が検出できなかった場合には、制御部１１は、次のステップＳ１０９の処理を実行し、顔領域の検出結果を破棄する。例えば、制御部１１は、ステップＳ１０６で特定した顔領域は、人物の顔以外の対象物が映る領域であると認定する。そして、顔領域の検出結果を後、制御部１１は、次のステップＳ１１０に処理を進める。

【0077】

（ステップＳ１１０）
ステップＳ１１０では、制御部１１は、撮像画像３１から人物の顔が映る領域を検出する一連の画像解析を終了するか否かを判定する。顔領域を検出する一連の画像解析を終了すると判定した場合には、制御部１１は、本動作例に係る処理を終了する。一方、顔領域を検出する一連の画像解析を終了しないと判定した場合には、制御部１１は、ステップＳ１０１から処理を繰り返す。

【0078】

なお、顔領域を検出する一連の画像解析を終了する条件は、実施の形態に応じて設定されてよい。例えば、オペレータにより、終了するための操作が行われた際に、制御部１１は、顔領域を検出する一連の画像解析を終了すると判定してもよい。

【0079】

［２周目以降］
顔領域を検出する一連の画像解析の２周目以降の動作について、制御部１１は、基本的には、ステップＳ１０１〜Ｓ１１０の処理を上記と同様に実行する。ただし、本実施形態では、制御部１１は、ステップＳ１０２及びＳ１０５の処理では、以下のとおり、以前の処理結果を利用する。

【0080】

（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、以前に取得した撮像画像３１内で特定した顔領域の近傍範囲内で粗推定領域を検出する。すなわち、２周目以降の画像解析では、制御部１１は、以前に特定した顔領域の近傍範囲内に絞って、粗推定領域の検出を実施する。

【0081】

ここで、図８を用いて、顔領域を検出する一連の画像解析の２周目以降における本ステップＳ１０２の処理を詳細に説明する。図８は、顔領域を検出する一連の画像解析の２周目以降の本ステップＳ１０２の処理の一例を模式的に例示する。図８に示すとおり、制御部１１は、以前に取得した撮像画像３１内で特定した顔領域３１４に基づいて、当該顔領域３１４の近傍範囲３１５を設定する。

【0082】

近傍範囲３１５は、以前に特定した顔領域３１４を含み、以前に特定した顔領域３１４の周囲の少なくともいずれかの方向に任意数のピクセル分だけ当該顔領域３１４を拡げた範囲である。周囲に拡げる量は、顔領域３１４を特定した以前の撮像画像３１を取得した時点から現処理で撮像画像３１を取得した時点までに人物の顔が動き得る範囲に応じて設定されるのが好ましい。図８の例では、制御部１１は、以前に特定した顔領域３１４を周囲の各方向に４ピクセル分拡げた範囲を近傍範囲３１５に設定している。

【0083】

制御部１１は、この設定した近傍範囲３１５内において、上記と同様に、人物の顔が映る領域の粗い探索を行う。なお、「以前に取得した撮像画像」とは、現処理の直前の処理で取得した撮像画像であってもよいし、所定回数前の処理で取得した撮像画像であってもよいし、現処理の直前から所定回数前の処理までで取得した各撮像画像を平均したものであってもよい。

【0084】

（ステップＳ１０５）
ステップＳ１０５では、制御部１１は、上記のとおり、ステップＳ１０３及びＳ１０４の検出結果、並びに以前の処理における判定結果に基づいて、現処理で取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定する。すなわち、２周目以降の画像解析では、制御部１１は、以前に取得した撮像画像３１に対する、人物が顔にマスクを装着しているか否かの判定結果を利用して、現処理で取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定する。

【0085】

以前の処理における判定結果を利用する方法は、実施の形態に応じて適宜選択されてよい。例えば、ステップＳ１０３で検出した第１領域の数及びステップＳ１０４で検出した第２領域の数の差が所定の閾値以上であり、当該第１領域の数が当該第２領域の数よりも多い場合に、制御部１１は、撮像画像３１内に映る人物は顔にマスクを装着していないと判定してもよい。また、ステップＳ１０３で検出した第１領域の数及びステップＳ１０４で検出した第２領域の数の差が所定の閾値以上であり、当該第２領域の数が当該第１領域の数よりも多い場合に、制御部１１は、撮像画像３１内に映る人物は顔にマスクを装着していると判定してもよい。そして、ステップＳ１０３で検出した第１領域の数及びステップＳ１０４で検出した第２領域の数の差が所定の閾値未満である場合に、制御部１１は、以前の処理における判定結果に基づいて、現処理で取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かを判定してもよい。なお、２周目以降の動作時の上記各判定の基準となる閾値は、初回の動作時の閾値と相違していてもよい。

【0086】

また、検出した第１領域の数及び第２領域の数の差が所定の閾値未満である場合に、制御部１１は、以前の処理における判定結果を維持してもよい。すなわち、現処理で検出した第１領域の数及び第２領域の数の差が所定の閾値未満である場合に、以前の処理において人物は顔にマスクを装着していないと判定していたときには、制御部１１は、現処理で取得した撮像画像３１に映る人物は顔にマスクを装着していないと判定してもよい。同様に、現処理で検出した第１領域の数及び第２領域の数の差が所定の閾値未満である場合に、以前の処理において人物は顔にマスクを装着していると判定していたときには、制御部１１は、現処理で取得した撮像画像３１に映る人物は顔にマスクを装着していると判定してもよい。

【0087】

また、検出した第１領域の数及び第２領域の数の差が所定の閾値未満である場合に、制御部１１は、以下のとおりに場合分けをしてもよい。
（ａ）以前に取得した撮像画像３１に対して人物はマスクを装着していないと判定しており、かつ現処理で検出した第１領域の数が第２領域の数よりも多いとき
（ｂ）以前に取得した撮像画像３１に対して人物はマスクを装着していると判定しており、かつ現処理で検出した第２領域の数が第１領域の数よりも多いとき
（ｃ）以前に取得した撮像画像３１に対して人物はマスクを装着していると判定しており、かつ現処理で検出した第１領域の数が第２領域の数よりも多いとき
（ｄ）以前に取得した撮像画像３１に対して人物はマスクを装着していないと判定しており、かつ現処理で検出した第２領域の数が第１領域の数よりも多いとき
そして、（ａ）及び（ｂ）のときには、制御部１１は、以前の処理における判定結果を維持してもよい。すなわち、（ａ）のときには、制御部１１は、現処理で取得した撮像画像３１に映る人物は顔にマスクを装着していないと判定してもよい。また、（ｂ）のときには、制御部１１は、現処理で取得した撮像画像３１に映る人物は顔にマスクを装着していると判定してもよい。一方、（ｃ）及び（ｄ）のときには、制御部１１は、現処理で取得した撮像画像３１内に映る人物が顔にマスクを装着しているか否かの特定は困難であると判定してもよい。

【0088】

［作用・効果］
以上のとおり、本実施形態に係る画像解析装置１は、ステップＳ１０５の判定処理では、ステップＳ１０３及びＳ１０４の個別の状態の検出結果だけではなく、以前の処理における判定結果を利用する。これにより、例えば、第１領域及び第２領域の検出数では、人物が顔にマスクを装着しているか否かを特定し難い場合に、以前の処理における判定結果に従って、人物が顔にマスクを装着しているか否かを特定することができる。また、例えば、第１領域及び第２領域の検出数の多寡が以前の処理における判定結果と一致しているか否かに基づいて、各状態を考慮した顔の検出結果の信頼性を評価することができる。したがって、本実施形態によれば、人物が顔にマスクを装着しているか否かの判定の精度を高めることができる。

【0089】

また、本実施形態に係る画像解析装置１は、上記ステップＳ１０２によって、人物の顔が映る領域の粗い探索を行った後に、上記ステップＳ１０３及びＳ１０４によって、マスクを装着していない状態及びマスクを装着している状態の顔を密に探索する。これによって、撮像画像３１全体を密に探索しなくてもよくなり、人物の顔を探索する回数を減らすことができるため、画像解析の計算量を低減することができ、これによって、プロセッサの処理負荷を抑えることができる。

【0090】

また、本実施形態に係る画像解析装置１は、２周目以降のステップＳ１０２では、以前に取得した撮像画像３１内で特定した顔領域の近傍範囲内で粗推定領域を検出する。これにより、人物の顔の存在する蓋然性の高い範囲に当該人物の顔の探索範囲を絞ることができる。したがって、本実施形態によれば、当該人物の顔の検出精度を大きく悪化させることなく、画像解析の計算量を低減することができ、これによって、プロセッサの処理負荷を抑えることができる。

【0091】

また、本実施形態に係る画像解析装置１は、ステップＳ１０７により、ステップＳ１０６で特定した顔領域内で人物の顔の検出を再度実施することで、当該特定した顔領域が誤検出されたものであるか否かを判定する。これにより、本実施形態によれば、顔領域の誤検出を回避することができるため、撮像画像から人物の顔を検出する一連の画像処理の信頼性を高めることができる。

【0092】

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

【0093】

＜４．１＞
上記実施形態では、検出対象となる対象物の一例として「人物の顔」を例示し、対象物を遮蔽する遮蔽物の一例として「マスク」を例示している。しかしながら、対象物及び遮蔽物は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、検出対象となる対象物が上記と同様「人物の顔」である場合に、遮蔽物は、マスクの他、眼帯、サングラス、本、携帯電話等の顔を覆う物であってよい。

【0094】

なお、上記実施形態では、対象物が遮蔽物により遮蔽されているか否かの判定に、以前の処理における判定結果を利用する。そのため、遮蔽物は、対象物を遮蔽した状態又は遮蔽していない状態が継続し得るものが望ましい。マスクは、顔に装着した状態又は装着していない状態が継続し得るものであり、上記画像解析に適した遮蔽物である。

【0095】

＜４．２＞
上記実施形態では、ステップＳ１０２によって、人物の顔が映る領域の粗い探索を行った後に、ステップＳ１０３及びＳ１０４によって、マスクを装着していない状態及びマスクを装着している状態の顔を密に探索している。しかしながら、本発明の画像解析方法は、このような例に限定されなくてもよく、ステップＳ１０２は省略されてもよい。この場合、画像解析装置１の機能構成において、粗検出部１１２は省略されてもよい。

【0096】

＜４．３＞
上記実施形態では、２周目以降のステップＳ１０２では、以前に取得した撮像画像３１内で特定した顔領域の近傍範囲内で粗推定領域を検出している。しかしながら、本発明の画像解析方法は、このような例に限定されなくてもよく、ステップＳ１０２において、以前の処理結果の利用は省略されてもよい。なお、近傍範囲内で粗推定領域が検出できない場合には、制御部１１は、探索範囲を拡げて粗推定領域の検出処理を繰り返してもよい。

【0097】

＜４．４＞
上記実施形態では、ステップＳ１０３又はＳ１０４で複数の推定領域が検出された場合には、ステップＳ１０６において、複数の推定領域を結合することで、顔領域を特定している。しかしながら、本発明の画像解析方法は、このような例に限定されなくてもよい。例えば、制御部１１は、ステップＳ１０３又はＳ１０４で複数の推定領域が検出された場合には、検出された複数の推定領域から１つの推定領域を選択して、選択した推定領域を顔領域に認定してもよい。顔領域に認定する推定領域を選択する方法は、実施の形態に応じて適宜選択可能である。例えば、制御部１１は、検出された複数の推定領域のうち最も信頼度の高い推定領域を顔領域に選択してもよい。なお、ステップＳ１０３及びＳ１０４の処理順序は入れ替わってもよい。

【0098】

＜４．５＞
上記実施形態では、ステップＳ１０７により、ステップＳ１０６で特定した顔領域内で人物の顔の検出を再度実施することで、当該特定した顔領域が誤検出されたものであるか否かを判定している。しかしながら、本発明の画像解析方法は、このような例に限定されなくてもよく、ステップＳ１０７は省略されてよい。この場合、画像解析装置１の機能構成において、誤検出判定部１１７は省略されてよい。

【0099】

（付記１）
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える画像解析装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
検出対象となる対象物の映る撮像画像を繰り返し取得する画像取得ステップと、
前記撮像画像内で、遮蔽物により遮蔽されていない状態の前記対象物が映ると推定される第１領域を検出する第１検出ステップと、
前記撮像画像内で、前記遮蔽物により遮蔽されている状態の前記対象物が映ると推定される第２領域を検出する第２検出ステップと、
前記撮像画像に対して、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定ステップと、
前記判定部の判定結果に従って、前記第１検出部及び前記第２検出部の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、前記撮像画像内で前記対象物が映る対象物領域を特定する特定ステップと、
を実行するように構成され、
前記判定ステップでは、前記ハードウェアプロセッサは、前記第１検出部及び前記第２検出部の検出結果、並びに以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する、
画像解析装置。

【0100】

（付記２）
ハードウェアプロセッサにより、検出対象となる対象物の映る撮像画像を繰り返し取得する画像取得ステップと、
ハードウェアプロセッサにより、前記撮像画像内で、遮蔽物により遮蔽されていない状態の前記対象物が映ると推定される第１領域を検出する第１検出ステップと、
ハードウェアプロセッサにより、前記撮像画像内で、前記遮蔽物により遮蔽されている状態の前記対象物が映ると推定される第２領域を検出する第２検出ステップと、
ハードウェアプロセッサにより、前記撮像画像に対して、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定ステップと、
ハードウェアプロセッサにより、前記判定部の判定結果に従って、前記第１検出部及び前記第２検出部の検出結果のうちいずれの検出結果を利用するかを選択し、選択した検出結果に基づいて、前記撮像画像内で前記対象物が映る対象物領域を特定する特定ステップと、
を備え、
前記判定ステップでは、ハードウェアプロセッサは、前記第１検出部及び前記第２検出部の検出結果、並びに以前に取得した前記撮像画像に対する、前記対象物が前記遮蔽物により遮蔽されているか否かの判定結果に基づいて、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する、
画像解析方法。

【符号の説明】

【0101】

１…画像解析装置、
１１…制御部、１２…記憶部、１３…外部インタフェース、
１４…入力装置、１５…出力装置、１６…ドライブ、
１１１…画像取得部、１１２…粗検出部、
１１３…第１検出部、１１４…第２検出部、
１１５…判定部、１１６…領域特定部、
１１７…誤検出判定部、
３…カメラ、３１…撮像画像、
３１１…粗推定領域、３１２…近傍範囲、
３１３…推定領域、３１４…顔領域（対象物領域）、
３１５…近傍範囲、
８…画像解析プログラム、９…記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】