特許 7512844 学習方法、学習済みモデル、検出システム、検出方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-01

(45)【発行日】2024-07-09

(54)【発明の名称】学習方法、学習済みモデル、検出システム、検出方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240702BHJP

   G06N 20/00 20190101ALI20240702BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00 130

【請求項の数】 10

(21)【出願番号】P 2020181626

(22)【出願日】2020-10-29

(65)【公開番号】P2022072273

(43)【公開日】2022-05-17

【審査請求日】2023-08-08

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100101454

【弁理士】

【氏名又は名称】山田 卓二

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(74)【代理人】

【識別番号】100091524

【弁理士】

【氏名又は名称】和田 充夫

(74)【代理人】

【識別番号】100161883

【弁理士】

【氏名又は名称】北出 英敏

(74)【代理人】

【識別番号】100221556

【弁理士】

【氏名又は名称】金田 隆章

(72)【発明者】

【氏名】籔内 智浩

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－０７１６１５（ＪＰ，Ａ）

【文献】特開２０１３－１９６２９４（ＪＰ，Ａ）

【文献】特開２０１８－１６５９６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

原画像を準備する原画像準備処理と、
前記原画像から、特定部分を覆うマスク領域が設定されたマスク画像を準備する学習マスク画像準備処理と、
前記マスク画像を入力情報、前記マスク画像が対象物が存在する対象物領域を含むか否かを示す判定結果を正解情報としてそれぞれ含む教師データを準備する教師データ準備処理と、
前記教師データを用いて、モデルに対する機械学習を実行する学習処理と、
を含み、
前記学習処理は、前記マスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記判定結果との関係を前記モデルに学習させて学習済みモデルを生成することを含む、
学習方法。

【請求項2】

前記学習マスク画像準備処理は、１つの前記原画像から、前記特定部分が異なる複数の前記マスク領域がそれぞれ設定された複数のマスク画像を準備することを含む、請求項１に記載の学習方法。

【請求項3】

前記学習処理は、前記複数のマスク領域毎に前記非マスク情報と前記判定結果との関係を前記モデルに学習させて、前記複数のマスク領域にそれぞれ対応する複数の前記学習済みモデルを生成することを含む、
請求項２に記載の学習方法。

【請求項4】

特定部分を覆うマスク領域が設定された学習用のマスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記学習用のマスク画像が対象物の存在する対象物領域を含むか否かを示す判定結果との関係を学習し、
特定部分を覆うマスク領域が設定されたマスク画像が入力されると、前記マスク画像が前記対象物領域を含むか否かを示す判定結果を出力するよう、演算回路を機能させる、
学習済みモデル。

【請求項5】

原画像を準備する第１処理と、
前記原画像から、特定部分を覆うマスク領域が設定されたマスク画像を準備する第２処理と、
前記マスク画像を入力情報、前記マスク画像が対象物が存在する対象物領域を含むか否かを示す判定結果を正解情報としてそれぞれ含む教師データを生成する第３処理と、
を含む、
教師データ生成方法。

【請求項6】

学習済みモデルを記憶する記憶装置と、
演算回路とを備え、
前記学習済みモデルは、特定部分を覆うマスク領域が設定されたマスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記マスク画像が対象物の存在する対象物領域を含むか否かを示す判定結果との関係を学習し、
前記演算回路は、
検出対象画像を取得する検出対象画像取得処理と、
前記検出対象画像の一部又は全部を注目領域として設定する注目領域設定処理と、
前記注目領域から前記マスク画像を準備する検出マスク画像準備処理と、
前記検出マスク画像準備処理で準備した前記マスク画像を前記学習済みモデルに入力し、前記学習済みモデルから、前記検出マスク画像準備処理で準備した前記マスク画像に対応する前記判定結果を取得する判定結果取得処理と、
前記判定結果取得処理で取得した前記判定結果に基づいて、前記注目領域が前記対象物領域を含むか否かを判定する判定処理と、
を実行する、
検出システム。

【請求項7】

前記記憶装置は、前記特定部分が異なる複数の前記マスク領域にそれぞれ対応する複数の前記学習済みモデルを記憶し、
前記検出マスク画像準備処理は、前記注目領域から、前記複数のマスク領域がそれぞれ設定された複数の前記マスク画像を準備し、
前記判定結果取得処理は、前記複数のマスク領域毎に前記マスク画像を前記学習済みモデルに入力して、前記複数のマスク領域にそれぞれ対応する複数の前記判定結果を取得し、
前記判定処理は、前記複数の判定結果に基づいて前記注目領域が前記対象物領域を含むか否かを判定する、
請求項６に記載の検出システム。

【請求項8】

前記判定処理は、前記注目領域が前記対象物領域を含む場合に、前記複数の判定結果に基づいて、前記注目領域において前記対象物の一部が遮蔽されている遮蔽領域を特定する、請求項７に記載の検出システム。

【請求項9】

学習済みモデルを用いて演算回路によって実行される検出方法であって、
前記学習済みモデルは、特定部分を覆うマスク領域が設定されたマスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記マスク画像が対象物の存在する対象物領域を含むか否かを示す判定結果との関係を学習し、
前記検出方法は、
検出対象画像を取得する検出対象画像取得処理と、
前記検出対象画像の一部又は全部を注目領域として設定する注目領域設定処理と、
前記注目領域から前記マスク画像を準備する検出マスク画像準備処理と、
前記検出マスク画像準備処理で準備した前記マスク画像を前記学習済みモデルに入力し、前記学習済みモデルから、前記検出マスク画像準備処理で準備した前記マスク画像に対応する前記判定結果を取得する判定結果取得処理と、
前記判定結果取得処理で取得した前記判定結果に基づいて、前記注目領域が前記対象物領域を含むか否かを判定する判定処理と、
を含む、
検出方法。

【請求項10】

請求項９に記載の検出方法を演算回路に実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習方法、学習済みモデル、検出システム、検出方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、顔等の対象物を検出する画像処理において、対象物が遮蔽物により遮蔽されているか否かの判定の精度を高める技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５５８３８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示された従来技術は、対象物と遮蔽物とが予め定められた位置関係にある限定的な場合に、対象物の検出精度を高めるものである。例えば、従来技術は、遮蔽物であるフェイスマスクにより鼻及び口が遮蔽された顔の検出精度を高める。顔を遮蔽し得る遮蔽物には、自己の腕、他人の身体の一部、髭、サングラス等、鼻及び口以外の部分を遮蔽する物も含まれるが、従来技術は、このような多様な遮蔽態様に対応して精度良く顔を検出することができない。

【0005】

本開示の目的は、一部が遮蔽されている対象物の検出の精度を向上できる、学習方法、学習済みモデル、検出システム、検出方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る学習方法は、
原画像を準備する原画像準備処理と、
前記原画像から、特定部分を覆うマスク領域が設定されたマスク画像を準備する学習マスク画像準備処理と、
前記マスク画像を入力情報、前記マスク画像が対象物が存在する対象物領域を含むか否かを示す判定結果を正解情報としてそれぞれ含む教師データを準備する教師データ準備処理と、
前記教師データを用いて、モデルに対する機械学習を実行する学習処理と、
を含み、
前記学習処理は、前記マスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記判定結果との関係を前記モデルに学習させて学習済みモデルを生成することを含む。

【0007】

本開示の一態様に係る学習済みモデルは、特定部分を覆うマスク領域が設定されたマスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記マスク画像が対象物の存在する対象物領域を含むか否かを示す判定結果との関係を学習する。

【0008】

本開示の一態様に係る教師データ生成方法は、
原画像を準備する第１処理と、
前記原画像から、特定部分を覆うマスク領域が設定されたマスク画像を準備する第２処理と、
前記マスク画像を入力情報、前記マスク画像が対象物が存在する対象物領域を含むか否かを示す判定結果を正解情報としてそれぞれ含む教師データを生成する第３処理と、を含む。

【0009】

本開示の一態様に係る検出システムは、
学習済みモデルを記憶する記憶装置と、
演算回路とを備え、
前記学習済みモデルは、特定部分を覆うマスク領域が設定されたマスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記マスク画像が対象物の存在する対象物領域を含むか否かを示す判定結果との関係を学習し、
前記演算回路は、
検出対象画像を取得する検出対象画像取得処理と、
前記検出対象画像の一部又は全部を注目領域として設定する注目領域設定処理と、
前記注目領域から前記マスク画像を準備する検出マスク画像準備処理と、
前記検出マスク画像準備処理で準備した前記マスク画像を前記学習済みモデルに入力し、前記学習済みモデルから、前記検出マスク画像準備処理で準備した前記マスク画像に対応する前記判定結果を取得する判定結果取得処理と、
前記判定結果取得処理で取得した前記判定結果に基づいて、前記注目領域が前記対象物領域を含むか否かを判定する判定処理と、
を実行する。

【0010】

本開示の一態様に係る検出方法は、
学習済みモデルを用いて演算回路によって実行される検出方法であって、
前記学習済みモデルは、特定部分を覆うマスク領域が設定されたマスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記マスク画像が対象物の存在する対象物領域を含むか否かを示す判定結果との関係を学習し、
前記検出方法は、
検出対象画像を取得する検出対象画像取得処理と、
前記検出対象画像の一部又は全部を注目領域として設定する注目領域設定処理と、
前記注目領域から前記マスク画像を準備する検出マスク画像準備処理と、
前記検出マスク画像準備処理で準備した前記マスク画像を前記学習済みモデルに入力し、前記学習済みモデルから、前記検出マスク画像準備処理で準備した前記マスク画像に対応する前記判定結果を取得する判定結果取得処理と、
前記判定結果取得処理で取得した前記判定結果に基づいて、前記注目領域が前記対象物領域を含むか否かを判定する判定処理と、
を含む。

【0011】

本開示の一態様に係るプログラムは、上記の検出方法を演算回路に実行させるためのプログラムである。

【発明の効果】

【0012】

本開示の態様によれば、一部が遮蔽されている対象物の検出の精度を向上できる、学習方法、学習済みモデル、検出システム、検出方法、及びプログラムを得る。

【図面の簡単な説明】

【0013】

【図1】本開示の実施形態に係る顔検出システムの適用場面の一例である画像解析システムを模式的に例示する模式図である。

【図2】図１の顔検出システムのハードウェア構成の一例を示すブロック図である。

【図3】図２の顔検出システムの演算回路によって実行される検出方法の一例を示すフローチャートである。

【図4】図３に示した顔領域検出処理の一例を示すフローチャートである。

【図5】図４の処理を説明するための模式図である。

【図6】図４の処理Ｓ２２～Ｓ２４を説明するための模式図である。

【図7】図２に示した学習済みモデルを生成するための学習システムの一例を示すブロック図である。

【図8】学習方法の一例を示すフローチャートである。

【図9A】図７に示した学習マスク画像の一例を示す模式図である。

【図9B】図７に示した学習マスク画像の他の例を示す模式図である。

【図10】複数の学習マスク画像の一例を示す模式図である。

【図11】図８の教師データ準備処理で準備される教師データを例示する模式図である。

【図12】顔の特徴量の一例を示す模式図である。

【図13】複数のモデルに対する機械学習を説明するための模式図である。

【図14】図７に示した学習マスク画像の変形例を示す模式図である。

【図15】図７に示した学習マスク画像の他の変形例を示す模式図である。

【発明を実施するための形態】

【0014】

以下、添付の図面を参照して本開示に係る実施の形態を説明する。なお、以下の実施の形態において、同一又は同様の構成要素については同一の符号を付している。

【0015】

１．適用例
まず、図１を用いて、一実施形態に係る顔検出システム１００が適用される場面の一例について説明する。図１は、顔検出システム１００の適用場面の一例である画像解析システム１を模式的に例示する。顔検出システム１００は、本開示の「検出システム」の一例である。

【0016】

画像解析システム１は、顔検出システム１００を備える。画像解析システム１は、例えば、カメラ３、目開閉検出システム５０、及び顔認識システム６０を更に備えてもよい。カメラ３は、一部が遮蔽された人の顔を撮像し、撮像画像のデータを形成する。

【0017】

顔検出システム１００は、カメラ３によって撮像された撮像画像Ｃを取得し、撮像画像Ｃ内で人の顔が存在する領域（以下、「顔領域」という。）Ｒを検出する情報処理装置である。人の顔は、本開示の「対象物」の一例であり、顔領域Ｒは、撮像画像Ｃ内で対象物が存在する領域を示す「対象物領域」の一例である。撮像画像Ｃは、本開示の「検出対象画像」の一例である。

【0018】

顔領域Ｒの検出処理は、顔検出システム１００の演算回路１４によって実行される。演算回路１４は、例えば、撮像画像Ｃを記憶装置１５に格納された学習済みモデル１５１に入力し、顔領域Ｒを学習済みモデル１５１に検出させる。学習済みモデル１５１は、後述のように、撮像画像Ｃ内の注目領域の一部を検出マスク領域として設定したマスク画像の入力に対して、注目領域が顔領域を含むか否かを示す判定結果を出力するように学習されたものである。

【0019】

本開示では、「遮蔽された」とは、画像において顔等の対象物が存在する対象物領域の少なくとも一部が、対象物領域であることを判別できない程度に、対象物領域であることを表す特徴を失っていることを含む。以下、対象物領域であることを表す特徴を失った当該一部の領域を「遮蔽領域」という。「遮蔽された」は、画像において対象物領域の少なくとも一部が映っていないことを含む。「遮蔽」は、オクルージョン（Occlusion）を含む。

【0020】

画像において、対象物領域の少なくとも一部が遮蔽物によって覆われて映っていない場合も、「遮蔽された」に含まれる。この遮蔽は、例えば、カメラ３と顔との間に遮蔽物が存在する場合に生じる。例えば、図１では、顔画像Ｆａにおいて、顔領域の下側半分程度の部分は、フェイスマスクに覆われており、顔領域であることを判別できない程度に特徴を失っているといえ、遮蔽されているといえる。フェイスマスクは、本開示の「遮蔽物」の一例である。顔画像Ｆａにおけるフェイスマスクが映った領域は、本開示の「遮蔽領域」の一例である。

【0021】

また、例えば、図１では、顔画像Ｆｂにおいて、紙面に向かって顔領域の右上の部分は、毛髪によって覆われており、顔領域であることを判別できない程度に特徴を失っているといえ、遮蔽されているといえる。顔画像Ｆでは、毛髪は、本開示の「遮蔽物」の一例である。顔画像Ｆｂにおける毛髪で覆われた領域は、本開示の「遮蔽領域」の一例である。遮蔽物は他にも、手、腕、他人の頭部等の身体の一部、髭、サングラス、マフラー、ベール、服の襟、帽子等の物を含む。

【0022】

「遮蔽された」は、対象物領域の少なくとも一部が遮蔽物によって物理的に覆われて映っていない場合に限定されない。例えば、図１の顔画像Ｆｃに示すように、顔の一部が影となり、顔の特徴が失われている場合も、当該影になった部分は「遮蔽され」ているといえる。影のように対象物領域の一部が暗くなっている場合とは逆に、画像に光源が映っており、光によって対象物領域の一部において輝度が高く、当該部分において対象物領域であることを判別できない程度に、対象物領域であることを表す特徴を失っている場合も、当該部分は「遮蔽され」ているといえる。

【0023】

本開示では、「画像において対象物が存在する対象物領域」は、対象物領域が遮蔽されていない場合における対象物領域を含む。「画像において対象物が存在する対象物領域」は、対象物領域の少なくとも一部が遮蔽されている場合には、遮蔽を除去すると対象物が映ると推認される領域を含む。図１に示した顔領域Ｒは、このような遮蔽を除去すると顔が映ると推認される領域を含んでいる。

【0024】

以上のような構成により、顔検出システム１００は、撮像画像Ｃにおいて顔の一部が遮蔽領域により遮蔽されている場合であっても、顔領域Ｒを検出することができる。例えば、顔検出システム１００は、撮像画像Ｃにおいて顔の一部が遮蔽領域により遮蔽されている場合であっても、その遮蔽領域を含む顔を顔と判定することができる。

【0025】

顔検出システム１００によって検出された顔領域Ｒに対して、例えば、後続の目開閉検出システム５０、顔認識システム６０等による検出処理が実行されてもよい。目開閉検出システム５０は、例えば、顔領域Ｒを画像解析して、目、上眼瞼、下眼瞼等の位置を検出し、その開閉の回数、頻度等を測定する。顔認識システム６０は、例えば、顔領域Ｒを画像解析し、当該顔がデータベースに記憶された顔と同一人物の顔であるか否かを認識（識別）する。

【0026】

２．詳細
２－１．顔検出システム
２－１－１．顔検出システムの構成例
図２は、図１の顔検出システム１００のハードウェア構成の一例を示すブロック図である。顔検出システム１００は、入力装置１１と、出力装置１２と、通信インタフェース（Ｉ／Ｆ）１３と、演算回路１４と、記憶装置１５とを備える。顔検出システム１００のこれらの構成要素は、１つの筐体内に収容される必要はなく、複数台のコンピュータシステムで実現されてもよい。

【0027】

入力装置１１は、顔検出システム１００への情報の入力のために、顔検出システム１００とカメラ３等の外部機器とを接続するインタフェース回路である。出力装置１２は、顔検出システム１００からの情報の出力のために、顔検出システム１００と外部機器とを接続するインタフェース回路である。通信インタフェース１３は、顔検出システム１００と外部機器との通信接続を可能とするためのインタフェース回路を含む。通信インタフェース１３は、既存の有線通信規格又は無線通信規格に従って通信を行う。

【0028】

演算回路１４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて顔検出システム１００の動作を制御する。このような情報処理は、演算回路１４がプログラムを実行することにより実現される。演算回路１４は、１又は複数の専用のプロセッサにより実現されてもよい。また、演算回路１４の構成要素に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。演算回路１４は、ＣＰＵ、ＭＰＵ、ＧＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。

【0029】

記憶装置１５は、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶装置１５は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、学習済みモデル１５１、演算回路１４で実行されるプログラム等を記憶する。学習済みモデル１５１は、図２では記憶装置１５に記憶されているが、本開示はこれに限定されない。例えば、学習済みモデル１５１は、常に記憶装置２５に記憶されている必要はなく、演算回路１４による処理に必要な時に記憶装置２５に格納されていればよい。

【0030】

図示の例では、顔検出システム１００の入力装置１１には、カメラ３が接続される。カメラ３は、人の顔等の対象物が映る画像のデータを形成する撮像装置の一例である。例えば、演算回路１４は、入力装置１１を介して、カメラ３から、人の顔が映った画像を取得する。

【0031】

学習済みモデル１５１は、後述のように、特定部分を覆うマスク領域が設定されたマスク画像のうちマスク領域を除く部分に基づく非マスク情報と、マスク画像が顔領域を含むか否かを示す判定結果との関係をモデルに学習させることにより生成される。ここで、「非マスク情報」は、マスク領域を除く部分から計算される特徴量を示す。このような学習済みモデル１５１を利用することにより、顔検出システム１００は、一部が遮蔽された顔が映った画像において、顔領域を検出することができる。

【0032】

２－１－２．顔検出システムの動作例
図３は、図２の顔検出システム１００の演算回路１４によって実行される検出方法の一例を示すフローチャートである。以下で説明する処理手順は一例に過ぎず、処理手順及び各処理は可能な限り変更されてよい。

【0033】

（検出対象画像取得処理Ｓ１）
まず、演算回路１４は、後述の顔領域検出処理Ｓ２の対象となる検出対象画像として、撮像画像を取得する（Ｓ１）。例えば、演算回路１４は、カメラ３によって撮像された撮像画像を入力装置１１を介して取得する。あるいは、演算回路１４は、記憶装置１５、外部サーバ等に格納された撮像画像を取得してもよい。

【0034】

（顔領域検出処理Ｓ２）
次に、演算回路１４は、検出対象画像取得処理Ｓ１で取得された撮像画像を学習済みモデル１５１に入力し、撮像画像において人の顔が存在する顔領域を学習済みモデル１５１に検出させる（Ｓ２）。この顔領域検出処理Ｓ２は、学習済みモデル１５１が、撮像画像の中に顔領域が存在するか否かを検出する推論処理を含む。

【0035】

（検出結果出力処理Ｓ３）
演算回路１４は、顔領域検出処理Ｓ２の検出結果を出力してもよい（Ｓ３）。

【0036】

（注目領域設定処理Ｓ２１）
図４は、図３に示した顔領域検出処理Ｓ２の一例を示すフローチャートである。まず、演算回路１４は、図５に示すように、撮像画像Ｃ内で、検出処理の対象となる注目領域Ｄを設定する（Ｓ２１）。注目領域Ｄは、撮像画像Ｃの端から一定間隔で縦方向又は横方向へずれることによって順に選択される。例えば、注目領域Ｄは、撮像画像Ｃ内で、ラスタスキャンの手法によって順次選択される。図４に示した処理は、注目領域Ｄの選択回数に応じて繰り返し実行される。このようにラスタスキャンの手法を用いて顔を検出する処理の一例は、例えば特開２００５－３２７２４２号公報に開示されている。一例では、注目領域Ｄは、撮像画像Ｃの全部であってもよい。

【0037】

（検出マスク画像準備処理Ｓ２２）
次に、演算回路１４は、注目領域Ｄの一部をマスクしたマスク画像を準備する（Ｓ２２）。以下、検出対象のマスク画像を「検出マスク画像」と呼ぶ。図６は、図４の処理Ｓ２２～Ｓ２４を説明するための模式図である。検出マスク画像準備処理Ｓ２２で準備される検出マスク画像１５３ａ～１５３ｈは、例えば、図６に示すように、注目領域Ｄの互いに異なる部分が検出マスク領域として設定されたデータである。検出マスク画像１５３ａ～１５３ｈのそれぞれの検出マスク領域の位置は、後述の学習段階において各モデルが学習する学習マスク画像のマスク領域の位置に対応する。

【0038】

（検出マスク画像入力処理Ｓ２３）
次に、演算回路１４は、検出マスク画像を学習済みモデル１５１に与える（Ｓ２３）。図６では、学習済みモデル１５１が、検出マスク画像１５３ａ～１５３ｈのそれぞれに対応する第１～第８の学習済みモデル１５１ａ～１５１ｈで構成される例について説明する。学習済みモデル１５１ａ～１５１ｈは、後述のモデル２５１ａ～２５１ｈが学習を行うことによって生成される学習済みモデルにそれぞれ対応する。

【0039】

（判定結果取得処理Ｓ２４）
次に、演算回路１４は、学習済みモデル１５１ａ～１５１ｈのそれぞれから、出力情報である判定結果を得る（Ｓ２４）。例えば、学習済みモデル１５１ａは、検出マスク画像１５３ａにおいてマスクされていない非マスク領域（図６の紙面に向かって右下部分）に顔が映っているか否か、すなわち顔領域の右下部分であるか否かを判定する。このように、学習済みモデル１５１は、選択された注目領域Ｄを入力として、注目領域Ｄが顔領域を含むか否かを判定する。

【0040】

（判定処理Ｓ２５）
次に、演算回路１４は、判定結果取得処理Ｓ２４において学習済みモデル１５１ａ～１５１ｈのそれぞれから取得した判定結果に基づいて、撮像画像Ｃ内で顔領域を検出する（Ｓ２５）。例えば、学習済みモデル１５１が、注目領域Ｄが顔領域を含むと判定した場合、演算回路１４は、撮像画像Ｃにおいて、その注目領域Ｄの位置に顔領域があると判定する。

【0041】

（遮蔽領域特定処理Ｓ２６）
次に、演算回路１４は、判定結果取得処理Ｓ２４において学習済みモデル１５１ａ～１５１ｈのそれぞれから得た判定結果に基づいて、遮蔽領域を特定する（Ｓ２６）。例えば、演算回路１４は、検出した顔領域のうち、下側、上側、左側、右側など、顔領域のうちどの領域が遮蔽されているかを特定する。なお、遮蔽領域を特定することは、検出した顔領域が一切遮蔽されていないことを特定することを含む。

【0042】

例えば、学習済みモデル１５１ａが、注目領域Ｄの右下部分につき「顔領域である」との判定結果を出力する一方で、他の学習済みモデル１５１ｂ～１５１ｈが、それぞれの担当する非マスク領域につき「顔領域ではない」との判定結果を出力した場合、演算回路１４は、注目領域Ｄに右下部分が遮蔽された顔領域が映っていると判断する。したがって、演算回路１４は、注目領域Ｄの右下部分が遮蔽領域であると特定することができる。

【0043】

また、学習済みモデル１５１ａ～１５１ｈのすべてが、それぞれの担当する非マスク領域につき「顔領域である」との検出結果を出力した場合、注目領域Ｄには、検出マスク画像１５３ａ～１５３ｈのマスク領域のいずれも遮蔽されていない顔が映っているといえる。例えば、注目領域Ｄには、一切遮蔽されていない顔が映っているといえる。さらに、学習済みモデル１５１ａ～１５１ｈのすべてが、それぞれの担当する非マスク領域につき「顔領域ではない」との検出結果を出力した場合、注目領域Ｄには、顔領域が含まれていないと判定することができる。

【0044】

このように、演算回路１４は、判定結果取得処理Ｓ２４において顔領域を検出することに加えて、遮蔽領域特定処理Ｓ２６において顔領域のうちどの領域が遮蔽されているかを特定することができる。

【0045】

以上のように、顔検出システム１００は、学習済みモデル１５１を記憶する記憶装置１５と、演算回路１４とを備える。学習済みモデル１５１は、特定部分を覆うマスク領域が設定されたマスク画像のうち前記マスク領域を除く部分に基づく非マスク情報と、前記マスク画像が顔領域を含むか否かを示す判定結果との関係を学習する。演算回路１４は、検出対象画像取得処理Ｓ１と、注目領域設定処理Ｓ２１と、検出マスク画像準備処理Ｓ２２と、判定結果取得処理Ｓ２４と、判定処理Ｓ２５とを実行する。検出対象画像取得処理Ｓ１は、検出対象画像を取得する処理である。注目領域設定処理Ｓ２１は、検出対象画像の一部又は全部を注目領域Ｄとして設定する処理である。検出マスク画像準備処理Ｓ２２は、注目領域Ｄから検出マスク画像を準備する処理である。判定結果取得処理Ｓ２４は、検出マスク画像準備処理Ｓ２２で準備した検出マスク画像を学習済みモデルに入力し（Ｓ２３）、学習済みモデルから、検出マスク画像準備処理で準備した検出マスク画像に対応する前記判定結果を取得する（Ｓ２４）処理である。判定処理Ｓ２５は、判定結果取得処理Ｓ２４で取得した判定結果に基づいて、注目領域Ｄが顔領域を含むか否かを判定する処理である。このように構成された顔検出システム１００は、一部が遮蔽されている顔等の対象物の検出の精度を向上させることができる。

【0046】

また、従来の顔検出システムは、例えばフェイスマスクを装着した人の顔を検出するためには、フェイスマスクを装着した人の顔を示す大量の画像データを学習する必要があった。さらに、従来の顔検出システムは、白色のフェイスマスクを装着した人の顔の画像を用いて学習を行った場合には、白色以外の、例えば黒色のフェイスマスクを装着した人が映った画像について、当該人の顔を検出することができなかった。これに対して、本実施形態に係る顔検出システム１００では、学習済みモデル１５１は、撮像画像Ｃ内の注目領域の一部を検出マスク領域として設定した検出マスク画像１５３ａ～１５３ｈの入力に対して、注目領域が顔領域を示すものであるか否かを示す結果を出力するように学習されたものである。これにより、顔検出システム１００は、一部が遮蔽領域により遮蔽された顔について、その遮蔽の態様に関わらず、顔を検出することができる。例えば、遮蔽が、白色のフェイスマスク、黒色のフェイスマスク、マフラー等の遮蔽物によってされていても、顔検出システム１００は、当該遮蔽物によって遮蔽された顔を精度良く検出することができる。

【0047】

記憶装置１５は、特定部分が異なる複数の検出マスク領域にそれぞれ対応する複数の学習済みモデル１５１ａ～１５１ｈを記憶してもよい。この場合、検出マスク画像準備処理Ｓ２２は、注目領域Ｄから、複数の検出マスク領域がそれぞれ設定された複数の検出マスク画像１５３ａ～１５３ｈを準備する。判定結果取得処理Ｓ２４は、複数のマスク領域毎に検出マスク画像１５３ａ～１５３ｈを学習済みモデル１５１ａ～１５１ｈに入力して、複数のマスク領域にそれぞれ対応する複数の判定結果を取得する。判定処理Ｓ２５は、前記複数の判定結果に基づいて注目領域Ｄが顔領域を含むか否かを判定する。

【0048】

図６に示した例では、第１学習済みモデル１５１ａは、検出マスク画像１５３ａの入力に対して、注目領域Ｄが顔領域を含むか否かを示す判定結果を出力するように学習される。第２学習済みモデル１５１ｂは、検出マスク画像１５３ｂの入力に対して、注目領域Ｄが顔領域か否かを示す判定結果を出力するように学習される。第３～第８の学習済みモデル１５１ｃ～１５１ｈについても同様である。

【0049】

このように学習済みモデル１５１が複数の学習済みモデル１５１ａ～１５１ｈを含むように構成された顔検出システム１００は、多様な遮蔽の態様に応じて精度良く顔を検出することができる。

【0050】

顔検出システム１００は、注目領域Ｄが顔領域を含む場合に、複数の判定結果に基づいて、注目領域Ｄにおいて顔の一部が遮蔽されている遮蔽領域を特定してもよい（Ｓ２６）。このような、顔のどの領域が遮蔽されているかについての特定結果情報は、例えば特定の地域に存在する人についての社会状況の分析、及びこのような分析結果の地域ごとの比較等に利用できる。

【0051】

以上のように、顔検出システム１００によって実行される検出方法は、検出対象画像取得処理Ｓ１と、注目領域設定処理Ｓ２１と、検出マスク画像準備処理Ｓ２２と、判定結果取得処理Ｓ２４と、判定処理Ｓ２５とを含む。検出対象画像取得処理Ｓ１は、検出対象画像を取得する処理である。注目領域設定処理Ｓ２１は、検出対象画像の一部又は全部を注目領域Ｄとして設定する処理である。検出マスク画像準備処理Ｓ２２は、注目領域Ｄから検出マスク画像を準備する処理である。判定結果取得処理Ｓ２４は、検出マスク画像準備処理Ｓ２２で準備した検出マスク画像を学習済みモデルに入力し（Ｓ２３）、学習済みモデルから、検出マスク画像準備処理で準備した検出マスク画像に対応する前記判定結果を取得する（Ｓ２４）処理である。判定処理Ｓ２５は、判定結果取得処理Ｓ２４で取得した判定結果に基づいて、注目領域Ｄが顔領域を含むか否かを判定する処理である。このような検出方法により、一部が遮蔽されている顔等の対象物の検出の精度を向上できる。

【0052】

顔検出システム１００が実行する検出方法は、演算回路１４がプログラムを実行することにより実現され得る。このプログラムは、演算回路１４に、上記の検出方法を実行させるためのコンピュータプログラムである。このようなプログラムによれば、顔検出システム１００と同様に、一部が遮蔽されている顔等の対象物の検出の精度を向上できる。

【0053】

２－２．学習システム
２－２－１．学習システムの構成例
図７は、図２に示した学習済みモデル１５１を生成するための学習システム２００の一例を示すブロック図である。学習システム２００は、入力装置２１と、出力装置２２と、通信インタフェース（Ｉ／Ｆ）２３と、演算回路２４と、記憶装置２５とを備える。学習システム２００のこれらの構成要素は、１つの筐体内に収容される必要はなく、複数台のコンピュータシステムで実現されてもよい。

【0054】

入力装置２１は、学習システム２００への情報の入力のために、学習システム２００と外部機器とを接続するインタフェース回路である。出力装置２２は、学習システム２００からの情報の出力のために、学習システム２００と外部機器とを接続するインタフェース回路である。通信インタフェース２３は、学習システム２００と外部機器との通信接続を可能とするためのインタフェース回路を含む。通信インタフェース２３は、既存の有線通信規格又は無線通信規格に従って通信を行う。

【0055】

演算回路２４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて学習システム２００の動作を制御する。このような情報処理は、演算回路２４がプログラムを実行することにより実現される。演算回路２４は、１又は複数の専用のプロセッサにより実現されてもよい。また、演算回路２４の構成要素に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。演算回路２４は、ＣＰＵ、ＭＰＵ、ＧＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。

【0056】

記憶装置２５は、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶装置２５は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、モデル２５１、原画像２５２、学習マスク画像２５３、教師データ２５４、演算回路２４で実行されるプログラム等を記憶する。モデル２５１、原画像２５２、学習マスク画像２５３、及び教師データ２５４の詳細については後述する。これらのデータは、図７では記憶装置２５に記憶されているが、本開示はこれに限定されない。例えば、これらのデータは常に記憶装置２５に記憶されている必要はなく、演算回路２４による処理に必要な時に記憶装置２５に格納されていればよい。

【0057】

２－２－２．学習システムの動作例
次に、学習方法として、学習済みモデル１５１の生成方法について説明する。図８は、学習方法の一例を示すフローチャートである。学習方法は、例えば、図７に示した学習システム２００によって実行される。例えば、学習システム２００の演算回路２４は、モデル２５１に学習をさせて学習済みモデル１５１を生成する。以下で説明する処理手順は一例に過ぎず、処理手順及び各処理は可能な限り変更されてよい。

【0058】

（原画像準備処理Ｓ２０１）
まず、演算回路２４は、原画像２５２を準備する（Ｓ２０１）。例えば、演算回路２４は、記憶装置２５に記憶された原画像２５２を取得する。演算回路２４は、原画像２５２として、入力装置２１を介して、カメラ等の外部機器から撮像画像を取得してもよい。

【0059】

（学習マスク画像準備処理Ｓ２０２）
次に、演算回路２４は、学習用のマスク画像（以下、「学習マスク画像」という。）２５３を準備する（Ｓ２０２）。図９Ａは、学習マスク画像２５３の一例を示す模式図である。学習マスク画像２５３は、原画像２５２の一部がマスク領域Ｍとして設定されたものである。図９Ａに示した例では、原画像２５２の下側半分がマスク領域Ｍとして設定されている。このように、マスク領域Ｍは、原画像２５２の外縁のうちの１つである下端から、原画像２５２の中心に向けて、すなわち上方に広がる１つの領域であってもよい。また、マスク領域Ｍは、原画像２５２を表す矩形の少なくとも１辺の全部から顔領域の中心に向けて広がる１つの領域であってもよい。図９Ａに示した例では、マスク領域Ｍは、原画像２５２を表す矩形の下辺の全部から上方に広がる１つの領域である。

【0060】

図９Ａに示した例のように、マスク領域Ｍは、原画像２５２の約５０％を占めてもよい。しかしながら、本開示はこれに限定されず、マスク領域Ｍは、原画像２５２の２０％～７０％の範囲から選択された割合を占めるものであってもよい。また、図９Ａに示した例では、マスク領域Ｍは矩形の領域であるが、これに限定されず、例えば円形、楕円形、多角形等の形状を有する領域であってもよい。

【0061】

原画像２５２から図９Ａの学習マスク画像２５３を得ることは、演算回路２４自身がプログラムを実行することによって実現されてもよい。この場合、演算回路２４は、生成した学習マスク画像２５３を例えば記憶装置２５に格納する。あるいは、学習マスク画像２５３は、学習システム２００の外部で作成されてもよい。例えば、原画像２５２から図９Ａの学習マスク画像２５３を得ることは、外部のプロセッサ等によって実行され、その後、学習マスク画像２５３は、入力装置２１、通信インタフェース２３等を介して、記憶装置２５に記憶されてもよい。

【0062】

図９Ａは、学習マスク画像２５３において、原画像２５２が顔領域を示す顔画像である例を示すが、これは一例に過ぎない。図９Ｂに例示するように、原画像２５２は、顔が映っていない画像を含む。

【0063】

図１０は、特定部分が異なる複数のマスク領域Ｍａ～Ｍｈがそれぞれ設定された複数の学習マスク画像２５３ａ～２５３ｈの一例を示す模式図である。図７に示した学習マスク画像２５３は、それぞれ異なる８個の領域がマスク領域として設定された学習マスク画像２５３ａ～２５３ｈを含む画像データ群であってもよい。

【0064】

マスク領域Ｍａの特定部分は左上半分である。よって、学習マスク画像２５３ａでは、原画像の左上半分がマスク領域Ｍａとして設定されている。マスク領域Ｍｂの特定部分は上半分である。よって、学習マスク画像２５３ｂでは、原画像の上半分がマスク領域Ｍｂとして設定されている。マスク領域Ｍｃの特定部分は右上半分である。よって、学習マスク画像２５３ｃでは、原画像の右上半分がマスク領域Ｍｃとして設定されている。マスク領域Ｍｄの特定部分は右半分である。よって、学習マスク画像２５３ｄでは、原画像の右半分がマスク領域Ｍｄとして設定されている。マスク領域Ｍｅの特定部分は右下半分である。よって、学習マスク画像２５３ｅでは、原画像の右下半分がマスク領域Ｍｅとして設定されている。マスク領域Ｍｆの特定部分は下半分である。よって、学習マスク画像２５３ｆでは、図９Ａの学習マスク画像２５３と同様に、原画像の下半分がマスク領域Ｍｆとして設定されている。マスク領域Ｍｇの特定部分は左下半分である。よって、学習マスク画像２５３ｇでは、原画像の左下半分がマスク領域Ｍｇとして設定されている。マスク領域Ｍｈの特定部分は左半分である。よって、学習マスク画像２５３ｈでは、原画像の左半分がマスク領域Ｍｈとして設定されている。

【0065】

このように、学習マスク画像２５３ａ～２５３ｈは、原画像の互いに異なる位置にマスク領域を有する。すなわち、学習マスク画像準備処理Ｓ２０２は、原画像２５２において互いに異なる部分をそれぞれマスク領域Ｍａ～Ｍｈとして設定した複数の学習マスク画像２５３ａ～２５３ｈを準備することを含む。このように、マスク領域Ｍａ～Ｍｈは、それぞれ、原画像の外縁から、原画像の中心に向けて広がる連続した領域であってもよい。図１０に示した例のように、マスク領域Ｍａ～Ｍｈは、それぞれ、原画像の約５０％を占めてもよい。しかしながら、本開示はこれに限定されず、マスク領域Ｍａ～Ｍｈは、それぞれ、原画像の２０％～７０％の範囲から選択された割合を占めるものであってもよい。

【0066】

このように多様な位置にマスク領域を有する複数の学習マスク画像２５３ａ～２５３ｈを学習した学習済みモデル１５１を利用することにより、顔検出システム１００は、より多様な遮蔽の態様に応じて精度良く顔を検出することができる。

【0067】

（教師データ準備処理Ｓ２０３）
次に、演算回路２４は、学習マスク画像２５３を入力情報、学習マスク画像２５３が顔領域を含むか否かを示す判定結果を正解情報としてそれぞれ含む教師データ２５４を準備する（Ｓ２０３）。

【0068】

図１１は、教師データ準備処理Ｓ２０３で準備される教師データ２５４を例示する模式図である。図１１の表の第１行には、入力データである学習マスク画像２５３－１を示している。学習マスク画像２５３－１では、原画像２５２－１は、顔領域を示すものである。したがって、学習マスク画像２５３－１については、「顔領域である」という判定結果が正解情報として設定される。また、図１１において、第２行及び第３行では、学習マスク画像２５３－２の原画像２５２－２、及び学習マスク画像２５３－３の原画像２５２－３は、いずれも顔領域を示すものでない。したがって、学習マスク画像２５３－２及び学習マスク画像２５３－３については、「顔領域ではない」という判定結果が正解情報として設定される。

【0069】

（学習処理Ｓ２０４）
図８に戻り、教師データ準備処理Ｓ２０３の後、演算回路２４は、教師データ２５４を用いて、モデル２５１に対する機械学習を実行する（Ｓ２０４）。この学習処理Ｓ２０４は、学習マスク画像２５３のうちマスク領域Ｍを除く部分に基づく非マスク情報と、正解情報との関係をモデル２５１に学習させて学習済みモデル１５１（図２参照）を生成することを含む。

【0070】

モデル２５１は、例えば、分類木を含む決定木の手法により機械学習を行う決定木モデル、サポートベクターマシーン等の学習用モデルである。学習は、ＡｄａＢｏｏｓｔ等のブースティング学習アルゴリズムによって行われてもよい。

【0071】

図１１に示した例では、演算回路２４は、学習マスク画像２５３のうちマスク領域Ｍを除く上半分の部分における画像の特徴量と、正解情報との関係をモデル２５１に学習させる。ここで、画像の特徴量の学習は、図１２に示すように、学習マスク画像２５３のうちマスク領域Ｍを除く部分における第１特徴領域Ｐ１の特徴量と、第１特徴領域Ｐ１と異なる第２特徴領域Ｐ２の特徴量との差分又は比を学習することを含む。特徴領域の特徴量とは、例えば、その特徴領域内の画素値の平均値を示す。特徴量の差は、例えば画素の輝度の差である。例えば、このような特徴量としてＨａａｒ－Ｌｉｋｅ特徴量、ＬＢＰ（Local Binary Pattern）特徴量、ＨＯＧ（Histogram of Oriented Gradients）特徴量、Ｓｐａｒｓｅ特徴量（C. Huang, H. Ai, Y. Li, S. Lao , “Learning Sparse Features in Granular Space for Multi-View Face Detection”, International Conference on Automatic Face and Gesture Recognition, pp. 401-406, 2006）等が用いられ、モデル２５１は、学習によりカスケード分類器を構成してもよい。このように、特徴領域間の特徴量について差分を算出することにより人物の顔を検出する技術は、参考文献１（Paul Viola，Michael Jones，“Robust Real-time Object Detection”，SECOND INTERNATIONAL WORKSHOP ON STATISTICAL AND COMPUTATIONAL THEORIES OF VISION - MODELING, LEARNING, COMPUTING, AND SAMPLING VANCOUVER CANADA，JULY 13, 2001）、特開２００５－３２７２４２号公報等に開示されている。

【0072】

また、モデル２５１は、ニューラルネットワーク、例えば畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）の構造を有する学習用モデルであってもよい。ＣＮＮのようなモデルの教師あり学習は、例えば誤差逆伝播法を利用して、演算回路２４によって行われる。

【0073】

図１０に示したように複数の学習マスク画像２５３ａ～２５３ｈを利用する例では、学習処理Ｓ２０４は、複数の学習マスク画像２５３ａ～２５３ｈのうち、それぞれのマスク領域Ｍａ～Ｍｈを除く部分における情報と、正解情報との関係をそれぞれ異なるモデルに学習させて複数の学習済みモデル１５１ａ～１５１ｈ（図６参照）を生成することを含んでもよい。

【0074】

図１３は、複数のモデルに対する機械学習を説明するための模式図である。図１３は、８個のモデル２５１ａ～２５１ｈを例示している。

【0075】

例えば、第１モデル２５１ａは、原画像の左上半分がマスク領域として設定されたマスク画像を入力とし、原画像が顔領域であるか否かを示す結果を正解情報とする教師データ２５４ａを用いて、機械学習を行う。第２モデル２５１ｂは、原画像の上半分がマスク領域として設定されたマスク画像を入力とし、原画像が顔領域であるか否かを示す結果を正解情報とする教師データ２５４ｂを用いて、機械学習を行う。第３モデル２５１ｃは、原画像の右上半分がマスク領域として設定されたマスク画像を入力とし、原画像が顔領域であるか否かを示す結果を正解情報とする教師データ２５４ｃを用いて、機械学習を行う。第４モデル２５１ｄは、原画像の右半分がマスク領域として設定されたマスク画像を入力とし、原画像が顔領域であるか否かを示す結果を正解情報とする教師データ２５４ｄを用いて、機械学習を行う。第５モデル２５１ｅは、原画像の右下半分がマスク領域として設定されたマスク画像を入力とし、原画像が顔領域であるか否かを示す結果を正解情報とする教師データ２５４ｅを用いて、機械学習を行う。第６モデル２５１ｆは、原画像の下半分がマスク領域として設定されたマスク画像を入力とし、原画像が顔領域であるか否かを示す結果を正解情報とする教師データ２５４ｆを用いて、機械学習を行う。第７モデル２５１ｇは、原画像の左下半分がマスク領域として設定されたマスク画像を入力とし、原画像が顔領域であるか否かを示す結果を正解情報とする教師データ２５４ｇを用いて、機械学習を行う。第８モデル２５１ｈは、原画像の左半分がマスク領域として設定されたマスク画像を入力とし、原画像が顔領域であるか否かを示す結果を正解情報とする教師データ２５４ｈを用いて、機械学習を行う。

【0076】

このように、異なる領域をマスク領域として設定したマスク画像を、それぞれの位置のマスク領域を担当する複数のモデル２５１ａ～２５１ｈに学習させることにより、複数の学習済みモデル１５１ａ～１５１ｈを得る。このように学習済みモデル１５１が複数の学習済みモデル１５１ａ～１５１ｈを含むように構成された顔検出システム１００は、多様な遮蔽の態様に応じて精度良く顔を検出することができる。

【0077】

以上のように、学習方法は、原画像準備処理Ｓ２０１と、学習マスク画像準備処理Ｓ２０２と、教師データ準備処理Ｓ２０３と、学習処理Ｓ２０４とを含む。原画像準備処理Ｓ２０１は、原画像を準備する。学習マスク画像準備処理Ｓ２０２は、原画像から、特定部分を覆うマスク領域Ｍが設定された学習マスク画像２５３を準備する。教師データ準備処理Ｓ２０３は、学習マスク画像２５３を入力情報、学習マスク画像２５３が顔領域を含むか否かを示す判定結果を正解情報としてそれぞれ含む教師データ２５４を準備する。学習処理Ｓ２０４は、教師データ２５４を用いて、モデル２５１に対する機械学習を実行する。学習処理Ｓ２０４は、学習マスク画像２５３のうちマスク領域Ｍを除く部分に基づく非マスク情報と、教師データ２５４に含まれる判定結果との関係をモデル２５１に学習させて学習済みモデル１５１を生成することを含む。

【0078】

このような学習方法により、一部が遮蔽されている顔等の対象物の検出の精度を向上できる学習済みモデル１５１を得ることができる。

【0079】

さらに、このように得られた学習済みモデル１５１を利用する顔検出システム１００は、上記の効果に加えて、顔のどの領域が遮蔽されているかを検出することができる。例えば、学習済みモデル１５１を利用する顔検出システム１００は、例えば従来の遮蔽されていない顔を検出可能な顔検出器を備えることにより、ある画像について、以下のような判断をすることができる。すなわち、学習済みモデル１５１による検出結果も、従来の顔検出器による検出結果も、「顔である」という結果である場合、顔検出システム１００は、画像には遮蔽されていない顔が映っていると判断する。また、学習済みモデル１５１による検出結果が「顔である」という結果である一方で、従来の顔検出器による検出結果が「顔ではない」という結果である場合、顔検出システム１００は、画像にはマスク領域Ｍに対応する位置が遮蔽された顔が映っていると判断する。このような、顔のどの領域が遮蔽されているかについての検出結果情報は、例えば特定の地域に存在する人についての社会状況の分析、及びこのような分析結果の地域ごとの比較等に利用できる。

【0080】

学習マスク画像準備処理Ｓ２０２は、１つの原画像から、特定部分が異なる複数の学習マスク領域Ｍａ～Ｍｈがそれぞれ設定された複数の学習マスク画像２５３ａ～２５３ｈを準備することを含んでもよい。学習方法がこのような学習処理Ｓ２０４を含むことにより、学習済みモデル１５１は、より多様な遮蔽の態様に応じて精度良く顔を検出できる。

【0081】

学習処理Ｓ２０４は、複数のマスク領域Ｍａ～Ｍｈ毎に非マスク情報と判定結果との関係をモデル２５１ａ～２５１ｈに学習させて、複数のマスク領域Ｍａ～Ｍｈにそれぞれ対応する複数の学習済みモデル１５１ａ～１５１ｈを生成することを含んでもよい。複数の学習済みモデル１５１ａ～１５１ｈにより、より多様な遮蔽の態様に応じて精度良く顔を検出できる。さらに、複数の学習済みモデル１５１ａ～１５１ｈを利用する顔検出システム１００は、複数の学習済みモデル１５１ａ～１５１ｈからそれぞれ取得した結果に基づいて、注目領域Ｄにおける遮蔽領域の位置を検出できる。

【0082】

また、以上のように、本開示の一実施形態は、原画像を準備する原画像準備処理Ｓ２０１と、原画像から、特定部分を覆うマスク領域Ｍが設定された学習マスク画像２５３を準備する学習マスク画像準備処理Ｓ２０２と、学習マスク画像２５３を入力情報、学習マスク画像２５３が顔領域を含むか否かを示す判定結果を正解情報としてそれぞれ含む教師データを生成する教師データ準備処理Ｓ２０３と、を含む教師データ生成方法を提供する。原画像準備処理Ｓ２０１は、教師データ生成方法の「第１処理」の一例である。学習マスク画像準備処理Ｓ２０２は、教師データ生成方法の「第２処理」の一例である。教師データ準備処理Ｓ２０３は、教師データ生成方法の「第３処理」の一例である。このような教師データ生成方法により、一部が遮蔽されている顔等の対象物の検出の精度を向上できる学習済みモデルを生成ることができる。

【0083】

（変形例）
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。

【0084】

上記の実施形態では、図９Ａ，９Ｂ，１０に例示したように、学習マスク画像２５３のマスク領域Ｍ，Ｍａ～Ｍｈが、顔領域の外縁から広がる１つの領域である例について説明した。しかしながら、マスク領域の形状はこのような例に限定されない。例えば、図１４に示すように、マスク領域Ｍは、顔領域の外縁から広がる領域ではなく、顔領域の一部を占める１つの連続した領域であってもよい。また、例えば、図１５に示すように、マスク領域Ｍは、顔領域の異なる部分を占める複数の領域Ｍ１，Ｍ２，Ｍ３からなるものであってもよい。このような学習マスク画像２５３を学習した学習済みモデル１５１を利用することにより、顔検出システム１００は、より多様な遮蔽の態様に応じて精度良く対象物を検出することができる。

【0085】

また、顔検出システム１００及び学習システム２００は、それぞれ異なるコンピュータシステムで実現されることは必須ではない。顔検出システム１００及び学習システム２００は、単一のコンピュータシステムで実現されてもよい。

【符号の説明】

【0086】

１ 画像解析システム
３ カメラ
１１ 入力装置
１２ 出力装置
１３ 通信インタフェース
１４ 演算回路
１５ 記憶装置
２１ 入力装置
２２ 出力装置
２３ 通信インタフェース
２４ 演算回路
２５ 記憶装置
５０ 目開閉検出システム
６０ 顔認識システム
１００ 顔検出システム
１５１ 学習済みモデル
１５３ 検出マスク画像
２００ 学習システム
２５１ モデル
２５２ 原画像
２５３ 学習マスク画像
２５４ 教師データ
Ｃ 撮像画像
Ｄ 注目領域
Ｍ マスク領域
Ｒ 顔領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】