特許 6784261 情報処理装置、画像処理システム、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784261

(24)【登録日】2020年10月27日

(45)【発行日】2020年11月11日

(54)【発明の名称】情報処理装置、画像処理システム、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201102BHJP

【ＦＩ】

   G06T7/00 300F

   G06T7/00 660A

【請求項の数】14

【全頁数】19

(21)【出願番号】特願2017-544191(P2017-544191)

(86)(22)【出願日】2016年10月4日

(86)【国際出願番号】JP2016004471

(87)【国際公開番号】WO2017061106

(87)【国際公開日】20170413

【審査請求日】2019年9月13日

(31)【優先権主張番号】特願2015-199081(P2015-199081)

(32)【優先日】2015年10月7日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】荒木 健太

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１１−１６５１７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００− ７／１９４

(57)【特許請求の範囲】

【請求項1】

所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する算出手段と、
前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する変更手段と
を備え、
前記変更手段は、前記複数の位置のうちのスコアが第１の閾値以下である位置に応じて決められる第１の領域の、前記画像における分布に基づいてスコアを変更する、
情報処理装置。

【請求項2】

前記変更手段は、前記第１の領域と、前記複数の位置のうちのスコアが前記第１の閾値より大きい第２の閾値以上である位置に応じて決められる第２の領域の、前記画像における分布に基づいてスコアを変更する
請求項１に記載の情報処理装置。

【請求項3】

前記変更手段は、前記画像における前記第１の領域又は前記第２の領域の、面積又は比率に基づいてスコアを変更する
請求項２に記載の情報処理装置。

【請求項4】

前記変更手段は、前記面積又は前記比率と、前記複数の位置のうちの前記第１の領域に含まれる位置及び前記第２の領域に含まれる位置の少なくともいずれかのスコアとに基づいてスコアを変更する
請求項３に記載の情報処理装置。

【請求項5】

前記変更手段は、前記所定の領域に含まれる位置のスコアの少なくともいずれかに対して一定値を加算する
請求項１から請求項４までのいずれか１項に記載の情報処理装置。

【請求項6】

前記変更手段は、前記所定の領域に含まれる位置のスコアの少なくともいずれかを一定値に変更する
請求項１から請求項４までのいずれか１項に記載の情報処理装置。

【請求項7】

前記変更手段は、前記複数の位置のうちの前記所定の領域に含まれる位置のスコアを当該位置に応じて変更する
請求項１から請求項４までのいずれか１項に記載の情報処理装置。

【請求項8】

前記変更手段は、前記複数の位置のうちの前記所定の領域に含まれる位置のスコアを、当該所定の領域以外の位置のスコアに応じて変更する
請求項１から請求項４までのいずれか１項に記載の情報処理装置。

【請求項9】

前記画像の前記検出対象物に応じた所定の位置において特徴点を検出する特徴点検出手段を備え、
前記変更手段は、前記複数の位置のうち前記第２の領域に含まれる位置のスコアを、前記検出された特徴点に応じて変更する
請求項２から請求項４までのいずれか１項に記載の情報処理装置。

【請求項10】

前記算出されたスコア及び前記変更されたスコアに基づいて前記検出対象物を検出する物体検出手段を備える
請求項１から請求項９までのいずれか１項に記載の情報処理装置。

【請求項11】

前記変更手段は、前記複数の位置のうちの前記第１の領域に含まれる位置のスコアを、前記物体検出手段における検出において無効な値に変更する
請求項１０に記載の情報処理装置。

【請求項12】

所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する算出手段と、
前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する変更手段と、
前記算出されたスコア及び前記変更されたスコアに基づいて前記検出対象物を検出する物体検出手段と
を備え、
前記変更手段は、前記複数の位置のうちのスコアが第１の閾値以下である位置に応じて決められる第１の領域の、前記画像における分布に基づいてスコアを変更する、
画像処理システム。

【請求項13】

所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出し、
前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更し、
前記算出されたスコア及び前記変更されたスコアに基づいて前記検出対象物を検出する方法であって、
前記複数の位置のうちのスコアが第１の閾値以下である位置に応じて決められる第１の領域の、前記画像における分布に基づいてスコアを変更する、
画像処理方法。

【請求項14】

コンピュータに、
所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する処理と、
前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する処理と
を実行させるためのプログラムであって、
前記複数の位置のうちのスコアが第１の閾値以下である位置に応じて決められる第１の領域の、前記画像における分布に基づいてスコアを変更する処理
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理、特に物体の検出に関する。

【背景技術】

【0002】

物体検出において、検出対象物に対して遮蔽物が存在すると、概して検出精度が低下する。画像処理においては、このような遮蔽をオクルージョンともいう。オクルージョンに対処するための技術には、例えば、特許文献１に記載された技術がある。特許文献１に記載された技術は、隠れ領域をあらかじめ設定することで、隠れ領域の特徴量の寄与を低下させる（例えば、段落０００９、図８〜１１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１９０２６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

検出対象物に対する遮蔽は、必ずしも同じような位置で生じるとは限らない。特許文献１に記載された技術を用いた場合、隠れ領域と遮蔽物の対応関係、換言すれば隠れ領域の設定が適切でなければ、検出対象物（特許文献１においては顔）が画像に含まれているにもかかわらずそうでないと判定される可能性が高まる。

【0005】

本発明の一つの例示的な目的は、検出対象物の一部が遮蔽されている場合において、その遮蔽されている位置によらず、当該遮蔽された検出対象物を検出対象物であると検出しやすくするための技術を提供することである。

【課題を解決するための手段】

【0006】

本発明は、一の態様において、所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する算出手段と、前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する変更手段とを備える情報処理装置を提供する。

【0007】

本発明は、他の態様において、所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する算出手段と、前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する変更手段と、前記算出されたスコア及び前記変更されたスコアに基づいて前記検出対象物を検出する物体検出手段とを備える画像処理システムを提供する。

【0008】

本発明は、他の態様において、所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出し、前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更し、前記算出されたスコア及び前記変更されたスコアに基づいて前記検出対象物を検出する画像処理方法を提供する。

【0009】

本発明は、他の態様において、コンピュータに、所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する処理と、前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する処理とを実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体を提供する。

【発明の効果】

【0010】

本発明によれば、検出対象物の一部が遮蔽されている場合において、その遮蔽されている位置によらず、当該遮蔽された検出対象物を検出対象物であると検出しやすくすることが可能である。

【図面の簡単な説明】

【0011】

【図1】図１は、画像処理システムの構成の一例を示すブロック図である。

【図2】図２は、画像処理システムにおける動作の一例を示すシーケンスチャートである。

【図3】図３は、画像処理システムの構成の一例を示すブロック図である。

【図4】図４は、画像処理装置の構成の一例を示すブロック図である。

【図5】図５は、画像処理装置の動作の一例を示すフローチャートである。

【図6】図６は、フィルタ処理後のスコアデータを例示する図である。

【図7】図７は、フィルタ処理後のスコアデータを例示する図である。

【図8】図８は、フィルタ処理後のスコアデータを例示する図である。

【図9】図９は、カスケード型識別器の構成の一例を示すブロック図である。

【図10】図１０は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0012】

［第１実施形態］
図１は、本発明の一実施形態に係る画像処理システム１００の構成を示すブロック図である。画像処理システム１００は、画像から検出対象の物体を検出するための情報処理システムである。ここにおいて、検出対象の物体は、一定の傾向又は特徴を有する物体であればよく、特定の物体に限定されない。以下においては、検出対象の物体のことを、単に「対象物」という。対象物は、例えば、人体又はその一部（顔、手など）、動物、建物、車両、標識などである。

【0013】

画像処理システム１００は、情報処理装置１１０及び１２０を備える。情報処理装置１１０及び１２０は、専用又は汎用のコンピュータ装置であり、例えばサーバ装置やパーソナルコンピュータである。情報処理装置１１０及び１２０は、互いに通信可能に構成されている。情報処理装置１１０及び１２０の通信方法は、特に限定されず、他の装置を中継してもよい。

【0014】

情報処理装置１１０は、算出部１１１と、変更部１１２とを備える。また、情報処理装置１２０は、物体検出部１２１を備える。

【0015】

算出部１１１は、画像について対象物らしさを示すスコアを算出する。ここにおいて、対象物らしさとは、当該対象物に存する特徴が画像に表れる程度をいい、尤度ともいう。算出部１１１は、画像の複数の位置について局所的なスコアをそれぞれ算出する。例えば、算出部１１１は、画像の局所的な特徴量（局所特徴量）に基づいてスコアを算出する。局所特徴量を算出するアルゴリズムは、特に限定されない。

【0016】

算出部１１１は、画像データを取得してスコアを算出してもよい。この場合、算出部１１１は、取得した画像データに基づいて局所特徴量を算出した後にスコアを算出する。あるいは、算出部１１１は、画像の複数の位置の局所特徴量を示すデータを取得してスコアを算出してもよい。この場合、局所特徴量の算出は、算出部１１１よりも前段にある装置や回路によって実行されればよい。

【0017】

算出部１１１は、画像の所定範囲を対象としてスコアを算出する。この範囲は、画像の一部であってもよいし全体であってもよい。例えば、算出部１１１は、対象物に応じた形状の検出窓（探索窓）を画像に対して設定し、検出窓内の所定の位置においてスコアを算出してもよい。この場合、算出部１１１は、画像における検出窓の位置やサイズを変更しながら、それぞれの位置毎又はサイズ毎にスコアを算出することが可能である。

【0018】

算出部１１１がスコアを算出する画像中の位置のことを、以下においては「算出点」ともいう。算出点の具体的な位置や数は、特に限定されない。ただし、画像から対象物を検出するためには、ある程度の数の算出点が画像に存在する必要がある。

【0019】

変更部１１２は、算出部１１１により算出されたスコアのうちの一部のスコアを変更する。変更部１１２は、画像におけるスコアの分布が所定の条件（第１の条件）を満たした場合に、スコアが所定の条件（第２の条件）を満たす算出点の少なくとも一部のスコアを変更する。第１の条件及び第２の条件は、それぞれ、（算出点の）位置的条件、（スコアの）数値的条件であるともいえる。

【0020】

端的に述べると、変更部１１２は、複数の算出点のうち、対象物の一部が遮蔽された領域である可能性が高い所定の領域に含まれる算出点のスコアを、対象物らしさが向上するように変更する。このとき、変更部１１２は、上述した条件を満たし、対象物らしさが低いと判断されたスコアを、対象物らしさが向上するように変更する。ここでいう所定の領域の特定方法は、複数考えられるが、例えば以下の方法である。

【0021】

変更部１１２は、検出対象の画像を算出部１１１により算出されたスコアに基づいて複数（２以上）の領域に分類し、複数の領域のうちのいずれかの領域に含まれる算出点のスコアを変更する。例えば、変更部１１２は、検出対象の画像を「低いスコアが集まっている領域（以下「第１の領域」という。）」、「高いスコアが集まっている領域（以下「第２の領域」という。）」の２種類の領域に分類し、第１の領域において算出されたスコアを変更する。

【0022】

具体的には、変更部１１２は、例えば、所定の範囲に含まれる算出点のスコアの平均値が所定の閾値以下であり、かつ、当該範囲に含まれ、スコアが当該閾値以下である算出点が一定数（又は一定の割合）以上ある場合に、スコアが当該閾値以下である算出点のスコアを変更する。変更部１１２は、この場合、スコアが所定の閾値以下である算出点のスコアの全部を変更するのではなく、同様のスコアの算出点が周囲にある程度存在する算出点のスコアのみを選択的に変更してもよい。

【0023】

変更部１１２は、算出部１１１により算出されたスコアを変更した後、スコアを出力する。変更部１１２は、変更したスコアだけでなく、所定の条件を満たさなかったために変更しなかったスコアも出力する。すなわち、所定の条件を満たさなかったスコアは、変更部１１２を素通りする。

【0024】

物体検出部１２１は、情報処理装置１１０からスコアを取得し、取得したスコアに基づいて対象物を検出する。換言すれば、物体検出部１２１は、取得したスコアに基づいて対象物の有無を検出する。また、物体検出部１２１は、対象物の検出結果に応じた処理を実行する。例えば、物体検出部１２１は、対象物を検出したか否かを示すデータを出力してもよい。あるいは、物体検出部１２１は、対象物の検出結果を利用した画像処理を実行してもよい。

【0025】

図２は、画像処理システム１００における動作の概要を示すシーケンスチャートである。まず、情報処理装置１１０は、複数の算出点のスコアをそれぞれ算出する（ステップＳ１１）。次いで、情報処理装置１１０は、ステップＳ１１において算出されたスコアのうち、所定の条件を満たすスコアを変更する（ステップＳ１２）。情報処理装置１１０は、スコアを情報処理装置１２０に供給する（ステップＳ１３）。

【0026】

情報処理装置１２０は、情報処理装置１１０からスコアを取得したら、対象物の検出を試みる（ステップＳ１４）。情報処理装置１２０は、複数の算出点のスコアに基づき、検出対象となっている画像に対象物が含まれているか否かを判断する。その後、情報処理装置１２０は、判断結果に応じた処理を実行する。このとき実行する処理は、特定の処理に限定されない。

【0027】

画像処理システム１００は、図２に示す処理を１つの画像に対して複数回実行してもよい。上述したように、画像処理システム１００は、検出窓の位置やサイズを変えながら、図２に示す処理を繰り返し実行してもよい。また、画像処理システム１００は、算出点の位置や数を変えながら、図２に示す処理を繰り返し実行してもよい。

【0028】

例えば、図２に示す処理を１つの画像に対してｎ回実行する場合、画像処理システム１００は、図２に示す一連の処理をｎ回繰り返してもよい。あるいは、画像処理システム１００は、情報処理装置１１０において、ステップＳ１１、Ｓ１２の処理をｎ回実行し、ステップＳ１３においてｎ回分のスコアをまとめて情報処理装置１２０に供給してもよい。この場合、情報処理装置１２０は、スコアを取得してから、ステップＳ１４の処理をｎ回分まとめて実行する。

【0029】

上記の画像処理システム１００によれば、対象物の一部が遮蔽されている場合に、当該遮蔽された対象物が対象物であると判断される可能性を高めることが可能である。画像処理システム１００は、複数の算出点におけるスコアに基づいて決められる所定の領域のスコアを変更するように構成されているため、スコアの変更に際し、対象物が遮蔽されている位置をあらかじめ設定する必要がない。換言すれば、画像処理システム１００は、対象物が遮蔽されている位置をあらかじめ設定しなくても、遮蔽された対象物を対象物であると検出しやすくすることが可能である。

【0030】

［第２実施形態］
図３は、本発明の別の実施形態に係る画像処理システム２００の構成を示すブロック図である。画像処理システム２００は、画像から人間の顔を検出するための情報処理システムである。すなわち、本実施形態の対象物は、人間の顔である。なお、ここでいう顔は、特定の人物の顔である必要はない。画像処理システム２００は、人間の顔であるとみなせる一般的な特徴を有する領域を画像から検出する。

【0031】

画像処理システム２００は、画像処理装置２１０と、撮影装置２２０と、モニタ装置２３０とを備える。画像処理装置２１０、撮影装置２２０及びモニタ装置２３０は、互いに通信可能に接続されている。これらの装置は、インターネットなどのネットワークを介して接続されていてもよいが、ネットワークや他の装置を介さず直接接続されていてもよい。また、これらの装置は、少なくともいずれかが複数あってもよい。例えば、画像処理システム２００は、１つの画像処理装置２１０に複数の撮影装置２２０が接続された構成であってもよい。なお、画像処理装置２１０は、撮影装置２２０又はモニタ装置２３０の一部として構成されてもよい。

【0032】

撮影装置２２０は、例えば、監視カメラである。撮影装置２２０は、例えば所定の施設や路上に設けられ、画像データを画像処理装置２１０に送信する。撮影装置２２０は、有人又は無人の移動体（自動車、ドローンなど）に搭載されていてもよい。画像データの色数（モノクロ又はカラー）、画素数、データフォーマットなどは、特に限定されない。また、ここでいう画像は、動画の一部（フレーム単位の画像）であってもよい。

【0033】

画像処理装置２１０は、撮影装置２２０から受信した画像データに基づいて人間の顔を検出する。画像処理装置２１０は、画像データから局所特徴量を算出し、いわゆるブースティングを用いた識別器により人間の顔を検出する。画像処理装置２１０は、検出結果に応じたデータ（画像データなど）をモニタ装置２３０に送信する。

【0034】

モニタ装置２３０は、例えば、画像を表示する表示装置である。モニタ装置２３０は、画像処理装置２１０による人物の検出に基づいて、さらに別の画像処理を実行してもよい。また、モニタ装置２３０は、画像処理装置２１０から送信された画像データをハードディスクなどの記録媒体に記録してもよい。

【0035】

図４は、画像処理装置２１０のより詳細な構成を示すブロック図である。画像処理装置２１０は、取得部２１１と、第１識別部２１２と、補正部２１３と、第２識別部２１４と、出力部２１５とを備える。

【0036】

本実施形態の画像処理装置２１０は、機械学習の学習アルゴリズムや局所特徴量が特定のものに限定されない。以下の記載は、学習アルゴリズムがReal AdaBoostであり、局所特徴量がＬＢＰ（Local Binary Pattern）である場合の典型例である。ただし、ここに示した学習アルゴリズムと局所特徴量は、本発明を実施するための一例にすぎず、本発明の範囲を限定するものではない。なお、サンプルによる学習は、あらかじめ実行されているものとし、ここでは詳細な説明が省略される。

【0037】

取得部２１１は、撮影装置２２０から送信された画像データを取得する。取得部２１１は、取得した画像データに対して、後段の処理の前処理に相当する画像処理を実行してもよい。例えば、取得部２１１は、解像度の変換、カラー画像からグレースケール画像への減色、画像の拡大、縮小又は回転などの画像処理を実行してもよい。

【0038】

第１識別部２１２は、取得部２１１により取得された画像データが示す画像の複数の算出点について、顔らしさを示すスコア（評価値）をそれぞれ算出する。第１識別部２１２は、具体的には、算出点毎の弱識別器によって構成される。第１識別部２１２は、所定範囲の検出窓を設定し、検出窓内の画像の複数の算出点に関する局所特徴量を算出する。そして、第１識別部２１２は、算出した局所特徴量に基づいて算出点毎のスコアを算出する。第１識別部２１２は、第１実施形態の算出部１１１の一例に相当する。

【0039】

例えば、局所特徴量がＬＢＰである場合、第１識別部２１２は、算出点とその周辺の８画素の画素値（例えば輝度値）を比較することで２５６次元の局所特徴量を算出する。第１識別部２１２は、学習段階であらかじめ求められたルックアップテーブルを用いて、この局所特徴量からスコアを算出する。

【0040】

以下において、本実施形態のスコアは、顔らしさ、すなわち対象物らしさが高いほど大きい値であるとする。また、本実施形態のスコアは、０を基準とし、顔である可能性が高い場合に正であり、顔でない（非顔である）可能性が高い場合に負であるとする。ただし、スコアの値の取り方は、必ずしもこの例に限定されない。

【0041】

補正部２１３は、第１識別部２１２により算出されたスコアを選択的に変更する。補正部２１３は、後述する手順により、第１識別部２１２により算出された複数の算出点のスコアのうち所定の条件を満たすスコアを変更する。本実施形態においては、補正部２１３によるスコアの変更のことを「補正」という。補正部２１３は、第１実施形態の変更部１１２の一例に相当する。

【0042】

第２識別部２１４は、第１識別部２１２により算出され、補正部２１３により補正されたスコアに基づいて顔を検出する。第２識別部２１４は、第１識別部２１２の弱識別器に対する強識別器として機能する。第２識別部２１４は、第１実施形態の物体検出部１２１の一例に相当する。

【0043】

Real AdaBoostを用いる場合、第２識別部２１４は、第１識別部２１２及び補正部２１３を経て得られたスコアを加算し、加算したスコアを所定の閾値と比較する。第２識別部２１４は、加算したスコアが所定の閾値以上であれば、検出窓内の画像に顔が含まれていると判断し、当該スコアが当該閾値未満であれば、検出窓内の画像に顔が含まれていないと判断する。

【0044】

出力部２１５は、第２識別部２１４による判断結果に応じたデータを出力する。このとき、出力部２１５は、取得部２１１により取得された画像データに対して画像処理を実行してもよい。

【0045】

例えば、出力部２１５は、第２識別部２１４により画像に顔が含まれていると判断された場合には「１」、第２識別部２１４により画像に顔が含まれていないと判断された場合には「０」を出力してもよい。あるいは、出力部２１５は、顔であると判断された検出窓を可視化し、取得部２１１により取得されたオリジナルの画像に検出窓を重畳して表示する画像データを出力してもよい。このようにすれば、第２識別部２１４による判断結果をユーザにわかりやすく示すことができる。

【0046】

図５は、画像処理装置２１０の動作の概要を示すフローチャートである。このフローチャートは、画像処理装置２１０が実行する処理のうち、特に補正部２１３による補正の手順を詳細に示す。

【0047】

図５に示す動作において、取得部２１１は、適当なタイミングで画像データを取得する（ステップＳ２０１）。取得部２１１が画像データを取得するタイミングは、特に限定されない。第１識別部２１２は、ステップＳ２０１において取得された画像データを用いて、所定範囲（すなわち所定画素数）の画像からスコアを算出する（ステップＳ２０２）。第１識別部２１２は、上述したように、複数の算出点のそれぞれについてスコアを算出する。

【0048】

補正部２１３は、ステップＳ２０２において算出されたスコアに基づいてスコアデータを生成する（ステップＳ２０３）。ここにおいて、スコアデータとは、画像におけるスコアの分布を示すデータをいい、算出点の画素と当該画素において算出されたスコアとを対応付けたデータをいう。なお、スコアが算出される画素は、画像の全体ではなく一部でよい。

【0049】

次に、補正部２１３は、スコアデータに対して平滑化処理（フィルタ処理）を実行する（ステップＳ２０４１）。この平滑化処理に際し、スコアが算出されていない画素のスコアは、「０」であるとみなす。平滑化処理に用いるフィルタは、例えば移動平均フィルタやガウシアンフィルタであるが、特定のフィルタに限定しなくてよい。

【0050】

図６〜８は、フィルタ処理後のスコアデータを例示する図である。図６〜８は、検出窓のサイズが２３×２３画素であり、スコアの範囲が−０．２〜＋０．２である場合のスコアデータを示している。図６は、顔が画像に含まれている場合のスコアデータの一例を示す。図７は、遮蔽された顔（具体的には、図６のスコアデータが算出された顔と同じ顔の左側を遮蔽した顔）が画像に含まれている場合のスコアデータの一例を示す。図８は、顔が画像に含まれていない場合（非顔の画像の場合）のスコアデータの一例を示す。

【0051】

補正部２１３は、スコアデータに平滑化処理を実行したら、Ｎ（Negative）領域及びＰ（Positive）領域を算出する（ステップＳ２０４２、Ｓ２０５）。ここにおいて、Ｎ領域とは、（平滑化後の）スコアが第１の閾値（例えば「−０．１」）以下である画素が連続している領域をいう。Ｎ領域は、換言すれば、顔らしい特徴を有しない領域であるともいえる。これに対し、Ｐ領域とは、（平滑化後の）スコアが第２の閾値（例えば「＋０．１」）以上である画素が連続している領域をいう。Ｐ領域は、換言すれば、顔らしい特徴を有する領域であるともいえる。Ｎ領域は、第１実施形態における第１の領域の一例に相当する。Ｐ領域は、第１実施形態における第２の領域の一例に相当する。

【0052】

補正部２１３は、ステップＳ２０４２において算出したＮ領域が一定の広さ以上存在するか否かを判断する（ステップＳ２０６）。補正部２１３は、例えば、Ｎ領域の面積（すなわち画素数）が所定の閾値以上であるか否かを判断してもよいし、画像全体に対してＮ領域が占める割合が所定の比率以上であるか否かを判断してもよい。

【0053】

なお、Ｎ領域が離散的に、すなわち画像中に複数現れる場合、補正部２１３は、個々のＮ領域の広さを閾値と比較してもよいし、複数のＮ領域を足し合わせた広さを閾値と比較してもよい。前者の場合、補正部２１３は、広さが閾値以上であるＮ領域のみを補正の対象とし、広さが閾値未満であるＮ領域を補正の対象から除外してもよい。

【0054】

一定の広さ以上のＮ領域が存在すれば（Ｓ２０６：ＹＥＳ）、補正部２１３は、ステップＳ２０５において算出したＰ領域が一定の広さ以上存在するか否かを判断する（ステップＳ２０７）。ステップＳ２０７の判断は、ステップＳ２０６の判断と同様に実行される。ただし、判断に用いる閾値は、ステップＳ２０６とＳ２０７とで異なってもよい。

【0055】

一定の広さ以上のＮ領域及びＰ領域が存在する場合（Ｓ２０７：ＹＥＳ）、補正部２１３は、Ｎ領域に属する算出点のスコアを補正する（ステップＳ２０８）。一方、Ｎ領域及びＰ領域の少なくとも一方が一定の広さに満たない場合（Ｓ２０６：ＮＯ又はＳ２０７：ＮＯ）、補正部２１３は、ステップＳ２０８の処理をスキップする。つまり、補正部２１３は、ある程度の広さ以上のＮ領域及びＰ領域がともに存在する場合に補正を実行し、そうでない場合には補正を実行しない。

【0056】

ステップＳ２０８におけるスコアの補正方法は、例えば、以下に示す４通りの方法のいずれかが適用可能である。第１の方法は、Ｎ領域に含まれる算出点のスコアに一定値（例えば「＋０．１」又は「＋０．１５」）を加算する方法である。第２の方法は、Ｎ領域に含まれる算出点のスコアを一定値（例えば「０」又は「＋０．１」）に変更する方法である。第３の方法は、Ｎ領域に含まれる算出点のスコアを算出点毎（すなわち位置毎）に決められた所定の値に変更する方法である。第４の方法は、Ｎ領域に含まれる算出点のスコアの補正量をＮ領域以外の領域のスコアに応じて決定する方法である。

【0057】

第３の方法は、例えば、ある画像のＮ領域に含まれる算出点のスコアを、当該画像が顔を含む場合の典型的な値に変換するものである。このような値は、学習に用いるサンプルなどに基づいて、あらかじめ実験的又は経験的に求められればよい。

【0058】

第４の方法は、例えば、Ｐ領域に含まれる算出点のスコアの平均値が高ければ補正量を大きくし、当該平均値が低ければ補正量を小さくするものである。なぜならば、Ｐ領域に含まれる算出点のスコアの平均値が高い画像には、顔が含まれている可能性が高いからである。このような場合に現れるＮ領域は、遮蔽された領域である可能性が高いといえる。

【0059】

いずれの方法においても、補正後のスコアは、結果として対象物らしさが向上するように値が変更されていれば足りる。例えば、本実施形態においては、補正部２１３は、スコアに対して何らかの正の値を加算すれば足りる。個々のスコアは、補正に際し、必ずしも第２の閾値以上の値に変更されなくてもよい。

【0060】

第１の方法又は第２の方法によれば、算出点毎の補正値を計算する必要がないため、処理を単純化することが可能である。これに対し、第３の方法によれば、第１の方法又は第２の方法を用いた場合よりも画像に顔が含まれるか否かを精度良く判断することが可能である。

【0061】

なお、Ｎ領域に属する算出点は、その全てが第１の閾値以下であるとは限らない。なぜならば、ここでいうＮ領域は、平滑化処理後のスコアデータに基づいて定められる領域だからである。したがって、スコアが第１の閾値より大きい算出点であっても、その周辺の画素のスコア次第でＮ領域に属する可能性がある。補正部２１３は、このような算出点、すなわち“Ｎ領域に含まれるが、スコアが第１の閾値より大きい算出点”を補正の対象に含んでもよいし、含まなくてもよい。つまり、補正部２１３は、Ｎ領域に含まれる全ての算出点のスコアを補正してもよいし、Ｎ領域に含まれる算出点の一部のみを補正してもよい。

【0062】

補正部２１３により実行される処理は、以上のとおりである。以下においては、このステップＳ２０３〜Ｓ２０８の処理のことを「補正処理」という。なお、補正処理は、一部のステップの順序が異なっていてもよい。例えば、ステップＳ２０６、Ｓ２０７の判断は、順序が逆であってもよいし、あるいは並列的に（すなわち同時に）実行されてもよい。

【0063】

第２識別部２１４は、補正処理による補正結果を用いて、顔の検出を試みる（ステップＳ２０９）。すなわち、第２識別部２１４は、Ｐ領域に含まれる算出点と、Ｐ領域とＮ領域のいずれにも含まれない算出点については、第１識別部２１２によって算出されたスコアをそのまま用いる。一方、Ｎ領域に含まれる算出点については、第２識別部２１４は、補正部２１３によって補正されたスコアを用いる。その後、出力部２１５は、第２識別部２１４による判断結果に応じたデータを出力する（ステップＳ２１０）。

【0064】

画像処理装置２１０は、検出窓の位置やサイズを変えながら図５に示す処理を繰り返し実行してもよい。また、画像処理装置２１０は、撮影装置２２０から画像データを反復的に受信し、それぞれの画像データについて図５に示す処理を実行してもよい。

【0065】

上記の画像処理システム２００によれば、Ｎ領域に含まれる算出点のスコアが底上げされることにより、顔の一部が遮蔽された場合に顔を検出しやすくすることが可能である。本発明の発明者は、「顔であるが一部が遮蔽されている画像（以下「オクルージョン画像」という。）」には「顔でない画像」と異なる一定の傾向が現れることに着目し、この傾向に基づいて両者の高精度な区別を可能にした。その傾向とは、オクルージョン画像には、Ｎ領域だけでなくＮ領域とＰ領域の双方が一定の割合以上で現れる点である。

【0066】

図８に示したように、顔でない画像は、算出点のスコアが全体的に低く、その大部分がＮ領域に属する。これに対し、オクルージョン画像は、図７に示すように、遮蔽された領域がＮ領域になり、遮蔽されていない領域がＰ領域になるという、顔でない画像と異なる傾向を生じる。すなわち、オクルージョン画像は、Ｎ領域を含む点においては顔でない画像と共通するが、Ｎ領域の分布やＮ領域とＰ領域の比率といった点において顔でない画像と相違する。画像処理装置２１０は、このような傾向に基づいてスコアの補正の可否を判断することで、オクルージョン画像から顔を検出しやすくしながらも、顔でない画像のスコアの補正を抑制することを可能にしている。

【0067】

なお、画像処理装置２１０は、遮蔽物の具体的な位置を問わずに遮蔽物の影響を低減させて顔を検出することが可能である。そのため、画像処理装置２１０によれば、顔を遮る遮蔽物が特定の位置にある物体でなくても、遮蔽物の影響を低減させることが可能である。例えば、画像処理装置２１０は、ユーザがマスク（サージカルマスク）で口を隠している場合と、サングラスで目を隠している場合のいずれにおいても、同じアルゴリズムで処理を実行することが可能である。なお、顔に対する遮蔽物は、ユーザが顔面に装着する物に限られず、例えば手や髪であってもよい。

【0068】

［変形例］
本発明の実施の形態は、上述した実施形態のみに限定されない。本発明の実施の形態は、例えば、以下に記載する変形例を含み得る。また、本発明の実施の形態は、本明細書に記載された実施形態及び変形例を必要に応じて適宜に組み合わせたものであってもよい。例えば、特定の実施形態を用いて説明された変形は、他の実施形態に対しても適用され得る。

【0069】

（変形例１）
補正部２１３は、補正に際し、Ｎ領域に含まれる算出点のスコアを無効な値に変更してもよい。ここにおいて、無効な値とは、第２識別部２１４における判断に影響を与えない値をいう。あるいは、第２識別部２１４は、無効なスコア以外のスコアを用いて画像に顔が含まれるか否かを判断してもよい。したがって、補正部２１３は、この場合、第２識別部２１４による判断に用いるスコアの数を減少させることが可能である。また、上述した例、すなわち、スコアが顔らしさに応じて正又は負の値をとる場合、補正部２１３は、Ｎ領域に含まれる算出点のスコアを「０」に変更してもよい。

【0070】

（変形例２）
ステップＳ２０６（又はＳ２０７）の判断（図５参照）において、補正部２１３は、Ｎ領域（又はＰ領域）の広さに加え、当該領域の算出点のスコアに基づいて補正を実行するか否かを判断してもよい。例えば、補正部２１３は、ステップＳ２０６において、Ｎ領域の広さと当該領域の算出点のスコアとに応じて定まる指標を算出し、算出した指標が所定の閾値以上である場合に補正を実行してもよい。この指標は、例えば、Ｎ領域の面積に当該領域に含まれる算出点のスコアの平均値を乗じた積である。

【0071】

（変形例３）
補正部２１３は、算出点のスコアと他の判断基準とを組み合わせて補正を実行してもよい。ここでいう他の判断基準には、例えば、周知の物体検出アルゴリズムのいずれかが適用され得る。

【0072】

例えば、補正部２１３は、対象物に特有の特徴点を検出する機能をさらに有してもよい。ここでいう特徴点は、対象物が顔である場合、眼、眉、眉間、鼻及び口の端点又は中心などである。以下においては、顔に特有の特徴点を「顔特徴点」という。

【0073】

顔特徴点は、ある程度の個体差はあるものの、相対的な位置関係に一定の傾向を有する。例えば、口に対応する顔特徴点は、鼻に対応する顔特徴点よりも下方にある。また、右眼及び左眼に対応する顔特徴点は、鼻に対応する顔特徴点よりも上方にある。ただし、ここでは、顔は横向きや逆向きではないものとする。

【0074】

所定の位置において当該位置に応じた顔特徴点が検出された場合には、画像に顔が含まれている可能性が高いといえる。この場合において、画像にＰ領域とＮ領域とが含まれるとき、当該画像は、（非顔ではなく）顔の一部が遮蔽された画像である可能性が高いといえる。また、顔特徴点がＰ領域において検出された場合には、画像に顔が含まれている可能性がさらに高まる。

【0075】

補正部２１３は、画像の所定の位置において顔特徴点の検出を試みる。補正部２１３は、顔特徴点の検出をいくつかの代表的な位置（右眼、左眼、眉間、鼻、口など）において実行する。補正部２１３は、例えば、所定の数以上の顔特徴点が検出された場合には、Ｐ領域に含まれる算出点のスコアを顔らしさが向上するようにさらに補正してもよい。また、補正部２１３は、所定の数以上の顔特徴点が検出されなかった場合には、Ｐ領域に含まれる算出点のスコアを顔らしさが低下するように補正してもよい。このようにすれば、Ｐ領域及びＮ領域の有無だけでなく、顔らしさも加味して判断が行われるため、Ｐ領域とＮ領域とが存在する場合の顔と非顔の区別をより正確に行うことが可能である。

【0076】

（変形例４）
本発明の実施の形態には、いわゆるカスケード型識別器（分類器）が含まれ得る。ここにおいて、カスケード型識別器とは、複数の識別器を直列につなぎ合わせて対象物を検出する識別器をいう。

【0077】

図９は、本発明の他の実施形態に係るカスケード型識別器３００の構成を示すブロック図である。カスケード型識別器３００は、識別器３００₁、３００₂、３００₃、…、３００_mを備える。なお、ｍの具体的な値は、特に限定されない。

【0078】

識別器３００₁〜３００_mは、その少なくともいずれかが、第１実施形態の画像処理システム１００又は第２実施形態の画像処理装置２１０と同等の機能を有する。ただし、ここでは、識別器３００₁〜３００_mの全てが画像処理システム１００又は画像処理装置２１０と同等の機能を有するものとする。識別器３００₁〜３００_mは、それぞれ、弱識別器の位置やサイズが異なるように構成される。識別器３００₁〜３００_mは、例えば、前段ほど高速であるが誤検出も多く、後段ほど検出精度が高くなるように構成される。

【0079】

カスケード型識別器３００は、前段の識別器（例えば識別器３００₁）において対象物が検出された画像を後段の識別器（識別器３００₂）に入力して当該対象物の有無を判断する処理を繰り返す。カスケード型識別器３００は、識別器３００₁〜３００_mの全てで対象物が検出された場合に、画像に対象物が含まれていると判断する。

【0080】

カスケード型識別器３００は、前段の識別器においては、弱識別器の数が少ないためにＮ領域（第１の領域）及びＰ領域（第２の領域）を算出することができない。しかし、カスケード型識別器３００は、対象物の検出を繰り返すと、やがてＮ領域及びＰ領域を算出できるようになる。

【0081】

カスケード型識別器３００は、ある段階の識別器においてＮ領域及びＰ領域を算出し、これらが所定の条件（図５のステップＳ２０６、Ｓ２０７参照）を満たす場合に、当該識別器においてスコアを補正する。また、カスケード型識別器３００は、ある段階の識別器においてＮ領域及びＰ領域を算出し、これらが所定の条件を満たす場合に、当該識別器以降の識別器においてスコアを補正するように構成されてもよい。

【0082】

（変形例５）
算出点毎に算出されるスコアは、必ずしも数値でなくてもよい。スコアは、例えば、Ａ、Ｂ、Ｃ、…といったアルファベットによって対象物らしさを段階的に示すものであってもよい。また、スコアが示す対象物らしさは、例えばスコアが１〜１０の１０段階である場合において、１が最高でもよいし、１０が最高でもよい。

【0083】

（変形例６）
第２実施形態の画像処理システム２００は、第１実施形態の画像処理システム１００と同様に、顔以外の対象物にも適用可能である。ただし、対象物の検出に用いるアルゴリズムの細部は、対象物に応じて異なり得る。

【0084】

局所特徴量は、ＬＢＰに限定されない。スコアの算出に用いられる局所特徴量は、例えば以下の特徴量であってもよい。
・Haar-Like特徴量[Viola04]
・ＨＯＧ（Histograms of Oriented Gradients）特徴量[Dalal05]

【0085】

また、機械学習の学習アルゴリズムも、Real AdaBoostに限定されない。機械学習の学習アルゴリズムは、ブースティング全般のほか木構造の識別器を用いたアンサンブル学習が利用可能であり、例えば以下のアルゴリズムであってもよい。
・AdaBoost
・LogitBoost
・Gentle AdaBoost
・Random Forests

【0086】

（変形例７）
第１実施形態及び第２実施形態に記載された装置の具体的なハードウェア構成は、さまざまなバリエーションが考えられ、特定の構成に限定されない。例えば、第１実施形態の情報処理装置１１０及び１２０は、単一の装置によって構成されてもよい。また、第２実施形態の画像処理装置２１０は、複数の装置によって実現されてもよい。また、これらの実施形態に含まれる個々の装置は、有線又は無線のいずれで接続されてもよく、また、ネットワークを介して接続されてもよい。

【0087】

図１０は、情報処理装置１１０、１２０又は画像処理装置２１０を実現するコンピュータ装置４００のハードウェア構成を例示するブロック図である。コンピュータ装置４００は、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、記憶装置４０４と、ドライブ装置４０５と、通信インタフェース４０６と、入出力インタフェース４０７とを備える。

【0088】

ＣＰＵ４０１は、ＲＡＭ４０３を用いてプログラム４０８を実行する。プログラム４０８は、ＲＯＭ４０２に記憶されていてもよい。また、プログラム４０８は、記録媒体４０９に記録され、ドライブ装置４０５によって読み出されてもよいし、外部装置からネットワーク４１０を介して送信されてもよい。通信インタフェース４０６は、ネットワーク４１０を介して外部装置とデータをやり取りする。入出力インタフェース４０７は、周辺機器（キーボード、マウス、表示装置など）とデータをやり取りする。通信インタフェース４０６及び入出力インタフェース４０７は、データを取得又は出力する手段として機能することができる。

【0089】

なお、情報処理装置１１０、１２０又は画像処理装置２１０の構成要素の一部又は全部は、汎用又は専用の回路、プロセッサ等やこれらの組み合わせによって実現され得る。例えば、画像処理に係る構成要素は、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）であってもよい。情報処理装置１１０、１２０又は画像処理装置２１０の構成要素は、単一のチップによって構成されてもよいし、複数のチップによって構成されてもよい。また、情報処理装置１１０、１２０又は画像処理装置２１０の構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0090】

［付記］
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0091】

（付記１）
所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する算出手段と、
前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する変更手段と
を備える情報処理装置。

【0092】

（付記２）
前記変更手段は、前記複数の位置のうちのスコアが第１の閾値以下である位置に応じて決められる第１の領域の前記画像における分布に基づいてスコアを変更する
付記１に記載の情報処理装置。

【0093】

（付記３）
前記変更手段は、前記複数の位置のうちのスコアが第１の閾値以下である位置に応じて決められる第１の領域と、前記複数の位置のうちのスコアが前記第１の閾値より大きい第２の閾値以上である位置に応じて決められる第２の領域の前記画像における分布に基づいてスコアを変更する
付記１又は付記２に記載の情報処理装置。

【0094】

（付記４）
前記変更手段は、前記画像における前記複数の位置のうちのスコアが第１の閾値以下である位置に応じて決められる第１の領域又は前記複数の位置のうちのスコアが前記第１の閾値より大きい第２の閾値以上である位置に応じて決められる第２の領域の面積又は比率に基づいてスコアを変更する
付記１から付記３までのいずれかに記載の情報処理装置。

【0095】

（付記５）
前記変更手段は、前記面積又は前記比率と、前記複数の位置のうちの前記第１の領域に含まれる位置及び前記第２の領域に含まれる位置の少なくともいずれかのスコアとに基づいてスコアを変更する
付記４に記載の情報処理装置。

【0096】

（付記６）
前記変更手段は、前記所定の領域に含まれる位置のスコアの少なくともいずれかに対して一定値を加算する
付記１から付記５までのいずれかに記載の情報処理装置。

【0097】

（付記７）
前記変更手段は、前記所定の領域に含まれる位置のスコアの少なくともいずれかを一定値に変更する
付記１から付記５までのいずれかに記載の情報処理装置。

【0098】

（付記８）
前記変更手段は、前記複数の位置のうちの前記所定の領域に含まれる位置のスコアを当該位置に応じて変更する
付記１から付記５までのいずれかに記載の情報処理装置。

【0099】

（付記９）
前記変更手段は、前記複数の位置のうちの前記所定の領域に含まれる位置のスコアを、当該所定の領域に含まれない位置のスコアに応じて変更する
付記１から付記５までのいずれかに記載の情報処理装置。

【0100】

（付記１０）
前記画像の前記検出対象物に応じた所定の位置において特徴点を検出する特徴点検出手段を備え、
前記変更手段は、前記複数の位置のうち前記第２の領域に含まれる位置のスコアを、前記検出された特徴点に応じて変更する
付記３から付記５までのいずれかに記載の情報処理装置。

【0101】

（付記１１）
前記算出されたスコア又は前記変更されたスコアに基づいて前記検出対象物を検出する物体検出手段を備える
付記１から付記１０までのいずれかに記載の情報処理装置。

【0102】

（付記１２）
前記変更手段は、前記複数の位置のうちの前記第１の領域に含まれる位置のスコアを、前記物体検出手段における検出において無効な値に変更する
付記１１に記載の情報処理装置。

【0103】

（付記１３）
所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する算出手段と、
前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する変更手段と、
前記算出されたスコア及び前記変更されたスコアに基づいて前記検出対象物を検出する物体検出手段と
を備える画像処理システム。

【0104】

（付記１４）
所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出し、
前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更し、
前記算出されたスコア及び前記変更されたスコアに基づいて前記検出対象物を検出する
画像処理方法。

【0105】

（付記１５）
コンピュータに、
所定範囲の画像に含まれる複数の位置について、検出対象物らしさを示す局所的なスコアをそれぞれ算出する処理と、
前記複数の位置のうちの前記算出された複数のスコアに応じて決められる所定の領域に含まれる位置のスコアを、前記検出対象物らしさが向上するように変更する処理と
を実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体。

【0106】

この出願は、２０１５年１０月７日に出願された日本出願特願２０１５−１９９０８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0107】

１００、２００ 画像処理システム
１１０、１２０ 情報処理装置
１１１ 算出部
１１２ 変更部
１２１ 物体検出部
２１０ 画像処理装置
２１１ 取得部
２１２ 第１識別部
２１３ 補正部
２１４ 第２識別部
２１５ 出力部
２２０ 撮影装置
２３０ モニタ装置
３００ カスケード型識別器
４００ コンピュータ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】