特許 7480088 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-26

(45)【発行日】2024-05-09

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240430BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 11

(21)【出願番号】P 2021074870

(22)【出願日】2021-04-27

(65)【公開番号】P2022169068

(43)【公開日】2022-11-09

【審査請求日】2023-03-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】沈 陽太

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１９－２０４３３３（ＪＰ，Ａ）

【文献】特開２０２０－１１９２５０（ＪＰ，Ａ）

【文献】特開２０２１－０５６９６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

第１のニューラルネットワークに基づき、入力画像における第１前景領域を検出する第１前景領域検出手段と、
前記入力画像のうちニューラルネットワーク以外の手法により前景領域を検出する部分領域を、第２のニューラルネットワークに基づき、特定する部分領域特定手段と、
ニューラルネットワーク以外の手法の検出結果に基づき、前記部分領域における第２前景領域を検出する第２前景領域検出手段と、
前記第１前景領域、前記部分領域、および前記第２前景領域に基づき、前記入力画像における前景領域を示す第３前景領域を出力する出力手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記部分領域は、位置ごとに前記部分領域が存在する確率が付与された確率マップであり、
前記出力手段は、前記第１前景領域が示す領域と前記第２前景領域が示す領域とを前記確率マップに応じて重み付けして統合した領域に基づき前記第３前景領域を生成する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１のニューラルネットワークと前記第２のニューラルネットワークとは、互いに独立したニューラルネットワークである、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記第１のニューラルネットワークと前記第２のニューラルネットワークとは、少なくとも一部を共有する、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項5】

前記第２のニューラルネットワークの入力層、中間層または出力層の入力として、前記第１のニューラルネットワークの入力層、中間層または出力層の出力を用いる、
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記第２のニューラルネットワークは、前記第１のニューラルネットワークの検出誤差に基づき学習されている、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第２前景領域検出手段は、前記ニューラルネットワーク以外の手法として、前記入力画像の前記部分領域に関する空間位置情報および時間情報の少なくとも一方に基づき、ニューラルネットワーク以外の手法を選択する、
ことを特徴とする、請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記ニューラルネットワーク以外の手法は、背景を固定する背景差分法、背景を更新する背景差分法、フレーム差分法、およびＧｒａｂＣｕｔ法のうちの１つである、
ことを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記第１前景領域検出手段および前記部分領域特定手段で用いるニューラルネットワークは、複数の中間層を有するディープニューラルネットワークである、
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

第１のニューラルネットワークに基づき、入力画像における第１前景領域を検出するステップと、
前記入力画像のうちニューラルネットワーク以外の手法により前景領域を検出する部分領域を、第２のニューラルネットワークに基づき、特定するステップと、
ニューラルネットワーク以外の手法の検出結果に基づき、前記部分領域における第２前景領域を検出するステップと、
前記第１前景領域、前記部分領域、および前記第２前景領域に基づき、前記入力画像における前景領域を示す第３前景領域を出力するステップと、
を有することを特徴とする画像処理方法。

【請求項11】

コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像から前景領域を検出する画像処理技術に関する。

【背景技術】

【0002】

撮像装置などで得られる画像において前景領域（例えば、人や車など）を検出する技術は、コンピュータビジョン分野やコンピュータグラフィックス分野において基礎的な技術となっている。例えば、車載の撮像装置で撮像して得られた撮像画像において、自車周辺に存在する車両が存在する領域を検出することで、検出した車両までの距離を監視することができる。また、複数視点画像から人や物体などの前景領域を抽出して処理することで、人物や物体などの三次元形状を生成することができる。

【0003】

近年、ディープラーニング技術の進化とハードウェアの性能向上により、ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いた前景領域検出技術が注目されている。ＤＮＮは、データが入力される入力層と、入力画像の特徴を抽出して分析する複数の中間層と、検出結果を出力する出力層とから構成されている。事前に膨大な学習用データをＤＮＮに学習させることにより、ＤＮＮを用いた前景領域検出は、従来の手法よりも高い精度と汎用性を持つことができる。

【0004】

特許文献１では、ＤＮＮの学習効率向上のため、検出対象の前景領域が関連した同種のものである２種類のＤＮＮの学習を、２種類のＤＮＮのそれぞれの検出結果と一方の検出結果の検出誤差とに基づいて行う方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２０－９１５４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、ＤＮＮには、層の数、各層を構成するニューロンの数、ニューロン間の接続関係等のＤＮＮのネットワーク構造に依存した検出精度の限界がある。そのため、ネットワーク構造が同じＤＮＮに対して学習を重ねても、前景領域検出の精度を改善することが困難な場合がある。

【0007】

本開示は、ニューラルネットワークを用いても、前景領域を精度よく検出することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一つ態様は、画像処理装置であって、第１のニューラルネットワークに基づき、入力画像における第１前景領域を検出する第１前景領域検出手段と、前記入力画像のうちニューラルネットワーク以外の手法により前景領域を検出する部分領域を、第２のニューラルネットワークに基づき、特定する部分領域特定手段と、ニューラルネットワーク以外の手法の検出結果に基づき、前記部分領域における第２前景領域を検出する第２前景領域検出手段と、前記第１前景領域、前記部分領域、および前記第２前景領域に基づき、前記入力画像における前景領域を示す第３前景領域を出力する出力手段と、を有することを特徴とする。

【発明の効果】

【0009】

本開示により、ニューラルネットワークを用いても、前景領域を精度よく検出することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態1の領域検出装置の構成図

【図2】実施形態１の入力画像と領域検出結果

【図3】実施形態１のディープニューラルネットワークの学習処理と推論処理を示した図

【図4】実施形態１の領域検出装置のハードウェア構成図

【図5】実施形態１の領域検出装置の動作を示すフローチャート

【図6】実施形態２の領域検出装置の構成図

【図7】実施形態２のディープニューラルネットワーク構造を示した図

【図8】実施形態２の補正処理設定部の動作を示したフローチャート

【図9】実施形態２の領域検出装置の動作を示すフローチャート

【図10】本実施形態に係る領域検出方法を説明する図

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、本開示を実施するための形態について説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。また、参照符号において番号の後ろに付与したアルファベットのみが異なる用語については、同一機能を持つ装置の別インスタンスを示すものとする。

【0012】

＜実施形態１＞
本実施形態は、入力画像からＤＮＮを用いて前景領域を抽出し、ＤＮＮにおいて未検出または誤検出が発生する可能性のある部分領域（以降、苦手領域という）についてはＤＮＮを含むニューラルネットワーク以外の手法を用いて前景領域を抽出する。

【0013】

図１０に、本実施形態に係る領域検出方法の概要を説明する図を示す。まず、画像１０００に対する人体領域を検出対象とするＤＮＮによる検出結果から、前景領域を白抜きして示すマスク画像１０１０を取得する。なお、マスク画像１０１０の破線で囲った領域では、前景領域の未検出および誤検出が発生している。

【0014】

本実施形態では、画像１０１０の取得と並行して、人体領域を検出対象とするＤＮＮにおいて誤検出または未検出が発生する可能性のある苦手領域を検出対象とするＤＮＮによる検出結果から、画像１０２０を取得する。画像１０２０は、苦手領域を矩形で示している。次に、入力画像１０００の苦手領域部分１０３１、１０３２からＤＮＮを用いない領域検出手法を用いて人体領域の検出を行って、マスク画像１０４１、１０４２を取得する。

【0015】

そしてマスク画像１０１０とマスク画像１０４１、１０４２とを組み合わせて統合することにより、マスク画像１０５０を生成する。マスク画像１０５０は、マスク画像１０１０の破線で囲った領域がマスク画像１０４１、１０４２で補正され、マスク画像１０１０よりも高精度に人体領域が検出されたマスク画像となっている。このようにして本実施形態では、ＤＮＮを用いた領域検出の検出精度を向上させることができる。

【0016】

[構成]
本実施形態について、図面を参考しながら説明する。

【0017】

図１は、本実施形態における入力装置１、領域検出装置２および出力装置３の構成図である。領域検出装置２は入力装置１と出力装置３に接続される。本実施形態の領域検出システムは、入力装置１から領域検出を行う画像を取得し、領域検出装置２が取得した画像から所定の前景領域を検出し、出力装置３に前景領域の検出結果を出力する構成をとる。

【0018】

入力装置１は、対象領域を撮像して得られた画像を出力する撮像装置としてもよいし、予め格納された画像を出力するサーバ等の情報処理装置や記憶装置としてもよい。

【0019】

領域検出装置２は、第１領域検出部１００、苦手領域特定部１１０、第２領域検出部１２０、および統合部１３０を有し、入力装置１から取得した画像に対して領域検出を行い、検出結果を出力装置３に出力する。領域検出装置２の詳細については、図１を参照しながら後述する。

【0020】

出力装置３は、領域検出装置２から出力された検出結果を表示するディスプレイ、または他の処理を行う任意の装置としてよい。

【0021】

第１領域検出部１００は、ＤＮＮを用いて画像内の前景領域を検出し、検出結果として前景領域を示す第１前景領域情報を出力する。前景領域は、例えば、車両が走行している道路を撮像して得られた画像においては車両に対応する画像領域、スポーツ競技を撮像して得られた画像においてはボールや選手に対応する画像領域とすることができる。

【0022】

図２に、入力画像、検出された前景領域を示す画像、および苦手領域を示す画像の例を示す。図２（ａ）は、入力装置１から出力され、領域検出装置２に入力される画像の例となる。図２（ｂ）は、第１領域検出部１００による検出結果である前景領域を示す二値画像の例となる。なお、図２（ｂ）の第１領域検出部１００の検出結果は、未検出と誤検出が発生していない例となる。図２（ｃ）は、苦手領域特定部１１０による検出結果である第１領域検出部１００の苦手領域を矩形で示す二値画像の例となる。ここで苦手領域とは、第１領域検出部１００が用いるＤＮＮにおいて、検出対象である前景領域を誤検出または未検出する可能性のある部分領域である。

【0023】

次に図３を参照しながら、ＤＮＮを用いた領域検出処理について説明する。ＤＮＮを用いた処理には、学習段階と推論段階がある。図３（ａ）はＤＮＮの学習段階の処理を示し、図３（ｂ）は学習済みＤＮＮによる推論段階の処理を示す。

【0024】

ＤＮＮを構成する入力層３０２、中間層３０３Ａ、３０３Ｂ、および出力層３０４の各層は、それぞれ重みおよびバイアスを保持し、前の層からの各入力に対し対応する重みを乗じたものの和とバイアスとに基づき出力を行う。各層の入力は、直前の層または複数前の層の出力にしてよく、他の層とは独立の入力にしてもよい。また、入力層３０２、中間層３０３Ａ、３０３Ｂ、および出力層３０４は同じ構造であっても、異なる構造であってもよい。

【0025】

図３（ａ）に示す学習段階では、まず処理方向３１０で示すように、学習画像３０１をＤＮＮの入力層３０２に入力し、中間層３０３を経て、出力層３０４から領域検出の推論結果を出力させる。本実施形態において、検出結果は確率マップの形式で出力されるものとする。確率マップは、学習画像３０１の各画素に対応する値からなり、それらの各値は、対応する画素が検出対象の領域に存在する確率を表す。確率マップ３０５の各値は、対応する画素に検出対象が存在する確率が高いほど１に近くなり、対応する画素に検出対象が存在する確率が低いほど０に近くなる。が、検出結果の形式は確率マップに限定されない。

【0026】

次に、損失算出部３２０のように、処理方向３１０の処理により得られた推論結果３０５を学習画像３０１に対応する領域検出における教師データとなる正解画像３０６と比較し、画素毎の推論結果の誤差を示す誤差マップから損失を算出する。損失算出部３２０が算出する損失としては、例えばクロスエントロピー誤差を用いることができるが、検出対象に応じて他の指標を用いてもよい。

【0027】

次に、損失算出部３２０が算出した損失に基づき、処理方向３３０の処理、すなわち逆伝搬法を用いた処理を行い、損失が最小になるように各層の重みおよびバイアスを更新する。上記学習段階の処理により学習されたＤＮＮは、検出対象となる所定のオブジェクトが写った領域を検出できるようになる。

【0028】

そして、図３（ｂ）に示すように、推論段階では、入力画像に対して学習段階で得られた各層の重みおよびバイアスを有するＤＮＮを用いて領域検出の推論結果、すなわち、検出対象となる所定のオブジェクトが写った領域を示す情報を出力する。

【0029】

苦手領域特定部１１０は、ＤＮＮを用いて、第１領域検出部１００のＤＮＮと検出対象が同じＤＮＮにおいて誤検出または未検出が発生する可能性のある苦手領域を検出し、苦手領域情報（部分領域情報）を出力する。苦手領域特定部１１０で用いるＤＮＮの構成は、第１領域検出部１００と同じとするため、説明を省略する。本実施形態の苦手領域特定部１１０では、第１領域検出の領域検出のタスクにおいて、誤検出または未検出が発生する可能性のある部分領域特定、すなわち苦手領域特定を行う。苦手領域としては、例えば、スポーツ競技の場合では、選手が密集している領域や、館内競技やコンサートの場合では、対象を照射する照明が激しく変化する領域などが挙げられる。それ以外に、第１領域検出部１００のＤＮＮの学習画像３０１やネットワーク構造などの制限に起因した第１領域検出部１００で誤検出または未検出が発生する可能性が高くなってしまう領域にしてもよい。なお、苦手領域特定部１１０のＤＮＮは、第１領域検出部１００のＤＮＮと独立し、ＤＮＮのネットワーク構造も第１領域検出部１００のＤＮＮと苦手領域特定部１１０のＤＮＮとは互いに異なっていてもよい。

【0030】

なお、第１領域検出部１００のＤＮＮと苦手領域特定部１１０のＤＮＮとが、一部を共有するマルチタスクのＤＮＮを構成するようにしてもよい。

【0031】

苦手領域特定部１１０のＤＮＮを学習させるための正解画像は、第１領域検出部１００のＤＮＮの学習段階の処理で、損失算出部３２０で損失を算出するために生成した検出誤差を表す誤差マップにしてよい。なお、苦手領域特定部１１０のための正解画像として用いる誤差マップは、第１領域検出部１００のＤＮＮと検出対象は同じであるが、第１領域検出部１００のＤＮＮと独立した別のＤＮＮに関する誤差マップを用いてもよい。このとき、第１領域検出部１００のＤＮＮと別のＤＮＮとは、同程度の学習がなされていることが望ましい。

【0032】

本実施形態において、苦手領域特定部１１０の検出結果は、苦手領域を矩形で示し、各矩形に対して苦手領域が存在する確率を付与した画像として出力される。図２（ｃ）に、苦手領域特定部１１０の検出結果として苦手領域を示す二値画像の例を示す。この例では、ボールの領域と、背景が大きく変わる境界付近の領域とを苦手領域と推論している。なお、苦手領域特定部１１０の推論結果はこのような具体例に限定されない。

【0033】

第２領域検出部１２０は、入力画像の苦手領域特定部１１０で検出された苦手領域に対し、ニューラルネットワーク以外の手法で、第１領域検出部１００で検出対象とした前景領域と同じ前景領域を検出対象として領域検出を行う。そして第２領域検出部は、検出結果として、苦手領域内の前景領域を示す第２前景領域情報を出力する。例えば、事前に取得した、入力装置１から入力される画像の背景画像を用いた背景差分法で前景領域を検出してもよい。

【0034】

統合部１３０は、第１領域検出部１００で検出した前景領域と第２領域検出部１２０で検出した前景領域とを統合し、前景領域の統合結果を出力する。統合部１３０は、第１領域検出部１００で検出した前景領域の苦手領域を第２領域検出部１２０で検出した前景領域で補正する。統合方法は、第１領域検出部１００の検出結果と第２領域検出部１２０の検出結果の論理和にしてもよい。また、苦手領域特定部１１０の検出結果で各矩形に付与された確率を用いて重み付けて統合してもよい。

【0035】

次に、領域検出装置２のハードウェア構成について、図４を用いて説明する。領域検出装置２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１１を含む画像処理を行うための演算部を有する。また、領域検出装置２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１２、ＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）４１３、補助記憶装置４１４を含む記憶部を有する。さらに領域検出装置２は、表示部４１５、操作部４１６、通信Ｉ／Ｆ４１７、及びバス４１８を有する。

【0036】

ＣＰＵ４１１は、ＲＯＭ４１２やＲＡＭ４１３に格納されているコンピュータプログラムやデータを用いて領域検出装置２の全体を制御することで、図１に示す領域検出装置２の各機能を実現する。またＣＰＵ４１１は、表示部４１５を制御する表示制御部、及び操作部４１６を制御する操作制御部としても動作する。

【0037】

ＧＰＵ４１０は、データをより多く並列処理することで効率的な演算を行うことができる。ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵ４１０で処理を行うことが有効である。そこで実施形態１では、第１領域検出部１００と苦手領域特定部１１０とによる領域検出の処理には、ＣＰＵ４１１に加えてＧＰＵ４１０を用いる。具体的には、第１領域検出部１００と苦手領域特定部１１０とによる領域検出を行う推論プログラムを実行する場合、ＣＰＵ４１１およびＧＰＵ４１０の一方みにより演算を行ってもよいし、ＣＰＵ４１１とＧＰＵ４１０が協働して演算を行ってもよい。

【0038】

なお、領域検出装置２がＣＰＵ４１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ４１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0039】

ＲＯＭ４１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ４１３は、補助記憶装置４１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ４１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置４１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0040】

表示部４１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが領域検出装置２を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部４１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受け付けて各種の指示をＣＰＵ４１１に入力する。

【0041】

通信Ｉ／Ｆ４１７は、領域検出装置２の外部の装置との通信に用いられる。例えば、領域検出装置２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ４１７に接続される。領域検出装置２が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ４１７はアンテナを備える。バス４１8は、領域検出装置２の各部をつないで情報を伝達する。

【0042】

本実施形態では、表示部４１５と操作部４１６が領域検出装置２の内部に存在するものとするが、表示部４１５と操作部４１６との少なくとも一方が領域検出装置２の外部に別の装置として存在していてもよい。

【0043】

[動作フロー]
図５のフローチャートを用いて実施形態１の処理の流れを説明する。

【0044】

S５１０において、第１領域検出部１００、苦手領域特定部１１０、および第２領域検出部１２０が、入力装置１から入力画像を読み込む。

【0045】

S５２０において、第１領域検出部１００が、ＤＮＮを用いて入力画像における所定の前景領域を検出する。本実施形態では前述の通り、第１領域検出部１００ではＤＮＮを用いた手法で前景領域を抽出する。ＤＮＮの各層で用いる重みおよびバイアスは、事前に学習させたものでよく、さらに領域検索を行う度に検索結果に基づき更新するようにしてもよい。前景領域の検出結果は、前景を画素値１、背景を画素値０とする二値化マスクなどの二値データ、または確率マップなどの多値データとすることができる。

【0046】

S５３０において、苦手領域特定部１１０が、第１領域検出部１００のＤＮＮと検出対象が同じＤＮＮを用いて入力画像に対して領域検出を行ったときに誤検出と未検出が発生する可能性のある苦手領域を、ＤＮＮを用いて検出する。苦手領域特定部１１０のＤＮＮの各層で用いる重みおよびバイアスも、第１領域検出部１００と同様に事前に学習させたものでよく、さらに領域検索を行う度に検索結果に基づき更新するようにしてもよい。入力画像における苦手領域を示す各矩形に対して所定の閾値以上の値を設定することで、第２領域検出部１２０の検出対象となる領域を設定することができる。この場合、第２領域検出部１２０は、所定の閾値以上の領域についてのみ領域検出を行う。

【0047】

S５４０において、第２領域検出部１２０が、入力装置１から読み込んだ入力画像のうち、苦手領域特定部１１０で検出された苦手領域において、ニューラルネットワーク以外の手法で第１領域検出部１００と同じ検出対象である前景領域の検出を行う。この前景領域の検出結果は、例えば第１領域検出部１００の検出結果と同様に、確率マップなどの多値データ、または前景を画素値１、背景を画素値０とする二値化マスクなどの二値データとすることができる。

【0048】

S５５０において、統合部１３０が、第１領域検出部１００の検出結果と第２領域検出部１２０の検出結果を統合する。統合方法は、前述のように、両者の論理和を取ることにしてよい。また、例えば、式１のように、苦手領域特定部１１０の検出結果の確率を用いて重み付けて統合してもよい。

【0049】

【数1】

【0050】

ここで、Ｉ_outは出力する統合された前景領域を示すマスクを示す。ｐ₁₁₀は苦手領域特定部１１０によって検出された苦手領域に付与された確率、Ｉ₁₂₀は第２領域検出部１２０によって検出された前景領域を示すマスク、Ｉ₁₁₀は第１領域検出部１００によって検出された前景領域を示すマスクを示す。Ｉ₁₁₀とＩ₁₂₀について、出力に応じて事前に二値化してもよい。統合後の検出結果は出力装置３により出力される。

【0051】

以上の説明の通り、本実施形態により、入力画像に対し、より高精度で安定的な領域検出を行うことができる。さらに、ＤＮＮにおいて未検出または誤検出が発生する可能性のある部分領域を推測でき、補正することを可能にする。

【0052】

なお、本実施形態の説明は、入力画像として静止画を想定した説明となっているが、本実施形態は入力画像が動画であっても適用可能である。入力画像が動画である場合、第１領域検出部１００、苦手領域特定部１１０、第２領域検出部１２０、および統合部１３０は、動画をタイムコードなどの時間情報に従ってフレーム毎に処理してもよい。

【0053】

＜実施形態２＞
図６は、本実施形態における入力装置１、領域検出装置２および出力装置３の構成図である。実施形態２は、苦手領域特定部１６０および補正処理設定部１４０が実施形態１との主な変更点となる。また実施形態２は、図４で示した実施形態１と同じ領域検出装置２のハードウェア構成を有する。

【0054】

[構成]
苦手領域特定部１６０は、入力装置１から入力画像が入力されるのに加えて、第１領域検出部１００の入力層や中間層のネットワーク構造に関する情報を入力する。苦手領域特定部１６０のＤＮＮは、第１領域検出部１００とＤＮＮの一部を共有する、例えば図７（ａ）に示すようなマルチタスクのＤＮＮにしてよい。

【0055】

図７（ａ）に示す苦手領域特定部１６０は、第１領域検出部１００におけるＤＮＮの中間層３０３Ａから分岐した出力を、複数の中間層３１３Ａ、３１３Ｂ、出力層３１４で処理し、第１領域検出部１００におけるＤＮＮの苦手領域の検出結果３１８を出力する。

【0056】

第１領域検出部１００の学習は、第１領域検出部１００の推論結果と正解画像との誤差マップから算出した損失を用いて、第１領域検出部１００の入力層３０２、中間層３０３Ａ、３０３Ｂ、および出力層３０４の重みおよびバイアスを更新する。

【0057】

苦手領域特定部１６０の学習は、苦手領域特定部１６０の推論結果と正解画像との誤差マップから算出した損失を用いて、苦手領域特定部１６０の中間層３１３Ａ、３１３Ｂ、および出力層３１４の重みおよびバイアスを更新する。なお、苦手領域特定部１６０の学習は、苦手領域特定部１６０の推論結果と正解画像と誤差マップから算出した損失で第１領域検出部１００の分岐前で共通する入力層３０２と中間層３０３Ａの重みおよびバイアスを更新してもよい。

【0058】

苦手領域特定部１６０のもう一例として、図７（ｂ）に示すようなＤＮＮとすることができる。図７（ｂ）に示す苦手領域特定部１６０ＤＮＮでは、第１領域検出部１００の入力層３０２、中間層３０３Ａ、３０３Ｂ、および出力層３０４の出力を対応する各層の入力の一部とし、第１領域検出部１００の各層をネットワーク構造に組み込む。学習時は、同様に、苦手領域特定部１６０のＤＮＮの損失は第１領域検出部１００のＤＮＮの重みおよびバイアスの更新に使用してもよい。

【0059】

なお、苦手領域特定部１６０のＤＮＮを実施形態１と同様に第１領域検出部１００のＤＮＮと独立したものとしてもよい。

【0060】

補正処理設定部１４０は、入力装置１からの入力画像に基づき、第１領域検出部１００と苦手領域特定部１６０の検出領域の特徴を分析し、特徴に応じて、第２領域検出部１５０の補正処理を決める。この検出領域の特徴は、入力画像の空間位置情報と時間情報とを用いて抽出する。補正処理設定部１４０は、例えばスポーツ球技の動画を処理する場合、図８に示すようなフローに基づき、ニューラルネットワーク以外の領域検出手法の選択を行う。本実施形態はニューラルネットワーク以外の領域検出手法として、背景を固定する背景差分法（Ｓ８４０）、背景を順次更新する背景差分法（Ｓ８５０）、フレーム差分法（Ｓ８６０）、およびＧｒａｂＣｕｔ法（Ｓ８７０）の４つの手法を用意している。これらの領域検出手法には、例えばそれぞれ下記のような長所と短所が存在する。

【0061】

背景を固定する背景差分法（Ｓ８４０）は、背景に動的なもの、例えば日照変化による影、について処理できないため、背景が変化する画像において前景領域を検出するには不向きな手法である。

【0062】

背景を更新する背景差分法（Ｓ８５０）は、一定範囲内の背景変化に対応できるが、電子看板や変化が大きい人工照明など、背景の変化が急な画像において前景領域を検出するには不向きな手法である。

【0063】

フレーム差分法（Ｓ８６０）は、背景領域に変動があっても前景領域の検出が可能であるが、静止または移動の遅い前景領域の検出には不向きな手法である。

【0064】

ＧｒａｂＣｕｔ法（Ｓ８７０）は、静止画で処理できるため、上記３つの手法に存在する短所はないが、背景領域と色が近い前景領域を検出するには不向きであり、更に手動で検出する前景領域を選定する必要がある点が短所となる。

【0065】

補正処理設定部１４０は、第１領域検出部１００で検出された前景領域、入力画像の苦手領域特定部１１０で検出された苦手領域を分析し、苦手領域に応じて４つの領域検出手法から選択する。ただし、補正処理設定部１４０はこのような具体例に限定されない。

【0066】

S８１０で、補正処理設定部１４０が、入力画像の背景領域の時間変化を確認し、背景が変化するか否かを判定する。入力画像の背景に変化がないと判定した場合は、補正処理設定部１４０は第２領域検出部１５０に背景を固定する背景差分法（Ｓ８４０）を設定する。入力画像の背景に変化があると判定した場合は、Ｓ８２０に移行する。

【0067】

S８２０で、補正処理設定部１４０が、背景領域の変化量を算出し、算出した背景領域の変化量が予め設定した所定の閾値より低いか否かを判定する。背景領域の変化量が所定の閾値より低い場合は、補正処理設定部１４０は背景を更新する背景差分法（Ｓ８５０）を第２領域検出部１５０に設定する。背景領域の変化量が閾値以上である場合は、Ｓ８３０に移行する。

【0068】

Ｓ８３０で、補正処理設定部１４０が、入力画像の前景領域に対して画像認識を行う。前景領域の画像認識の結果、前景領域に球技で使用される動きの速いボールなどに対応する領域が含まれると判定した場合は、フレーム差分法（Ｓ８６０）を第２領域検出部１５０に設定する。前景領域に人に対応する領域が含まれると判定した場合は、ＧｒａｂＣｕｔ法（Ｓ８７０）を第２領域検出部１５０に設定する。

【0069】

[動作フロー]
図９のフローチャートを用いて実施形態２の処理の流れを説明する。実施形態２の動作フローと実施形態１の動作フローの違いとして、Ｓ５３０とＳ５４０との間にＳ９１０が存在する。

【0070】

Ｓ９１０は、補正処理設定部１４０が、入力装置１から取得した入力画像、第１領域検出部１００の検出結果、苦手領域特定部１６０の検出結果を用いて、苦手領域について領域検出するための手法を上述した図８に示した方法で選択する。

【0071】

本実施形態により、入力画像に対し、より高精度と安定の領域検出を行うことができる。なお、ＤＮＮにおいて未検出または誤検出の発生する可能性のある部分領域を予測し、補正することを可能にする。さらに、第１領域検出部１００の各層の出力を苦手領域特定部１６０のＤＮＮの各層に入力することで、苦手領域特定部１６０で検出された苦手領域における第１領域検出部１００の未検出または誤検出の発生確率は、実施形態１より高い。また、苦手領域特定部１６０で苦手領域とされなかった領域における第１領域検出部１００の未検出または誤検出の発生確率は、実施形態１より低い。

【0072】

なお、実施形態１、２では、第１領域検出部１００、苦手領域特定部１１０、１６０においてＤＮＮを用いて領域検索を行う構成としたが、ＤＮＮに限定されず他のニューラルネットワークを用いてもよい。

【0073】

（その他の実施形態）
実施形態１と実施形態２は、スポーツ競技を用いた場合を説明したが、本開示はその限りではない。例えば、監視カメラの撮像画像における所定のオブジェクトに対応する領域の自動追尾や、車載カメラの撮像画像における車両認識などにも適応できる。

【0074】

（その他の実施例）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0075】

２ 領域検出装置
１００ 第１領域検出部
１１０ 苦手領域特定部
１２０ 第２領域検出部
１３０ 統合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】