(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231219BHJP
G06T 7/194 20170101ALI20231219BHJP
G06V 10/82 20220101ALI20231219BHJP
【ＦＩ】
G06T7/00 350C
G06T7/194
G06V10/82
【請求項の数】
3
(21)【出願番号】P 2022126701
(22)【出願日】2022-08-08
(62)【分割の表示】P 2018037567の分割
【原出願日】2018-03-02
(65)【公開番号】P2022145825
(43)【公開日】2022-10-04
【審査請求日】2022-08-08
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山本 琢麿
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２００８－１６５７９２（ＪＰ，Ａ）
【文献】特許第６２７６９０１（ＪＰ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ １０／００－２０／９０
(57)【特許請求の範囲】
【請求項1】
予め撮影された背景の背景画像と、判別対象となる対象画像とを取得する取得部と、前記背景画像と前記対象画像との第一の差分を示す差分画像を生成する差分生成部と、
前記背景画像と前記対象画像とのそれぞれをニューラル・ネットワークに入力することで、前記対象画像から背景および前景を区別した出力対象となるマップ画像と、前記差分画像との第二の差分を示す残差を推定する前記ニューラル・ネットワークと、
前記差分生成部が生成した前記差分画像と、前記ニューラル・ネットワークが推定した前記残差とを足し合わせて、前記対象画像から背景および前景を区別したマップ画像を出力する出力部と、を有し、
前記ニューラル・ネットワークは、前記背景画像と前記対象画像を前記ニューラル・ネットワークに入力したときの前記ニューラル・ネットワークから出力された出力結果によるマップ画像と、当該マップ画像の正解データを示す教師データとの比較により、前記ニューラル・ネットワークのパラメータが変更される、
ことを特徴とする画像処理装置。
【請求項2】
予め撮影された背景の背景画像と、判別対象となる対象画像とを取得し、前記背景画像と前記対象画像との第一の差分を示す差分画像を生成し、
前記背景画像と前記対象画像とのそれぞれをニューラル・ネットワークに入力することで、前記対象画像から背景および前景を区別した出力対象となるマップ画像と、前記差分画像との第二の差分を示す残差を推定する前記ニューラル・ネットワークを特定し、
生成した前記差分画像と、前記ニューラル・ネットワークが推定した前記残差とを足し合わせて、前記対象画像から背景および前景を区別したマップ画像を出力する、処理をコンピュータが実行し、
前記ニューラル・ネットワークは、前記背景画像と前記対象画像を前記ニューラル・ネットワークに入力したときの前記ニューラル・ネットワークから出力された出力結果によるマップ画像と、当該マップ画像の正解データを示す教師データとの比較により、前記ニューラル・ネットワークのパラメータが変更される、
ことを特徴とする画像処理方法。
【請求項3】
予め撮影された背景の背景画像と、判別対象となる対象画像とを取得し、前記背景画像と前記対象画像との第一の差分を示す差分画像を生成し、
前記背景画像と前記対象画像とのそれぞれをニューラル・ネットワークに入力することで、前記対象画像から背景および前景を区別した出力対象となるマップ画像と、前記差分画像との第二の差分を示す残差を推定する前記ニューラル・ネットワークを特定し、
生成した前記差分画像と、前記ニューラル・ネットワークが推定した前記残差とを足し合わせて、前記対象画像から背景および前景を区別したマップ画像を出力する、処理をコンピュータに実行させ、
前記ニューラル・ネットワークは、前記背景画像と前記対象画像を前記ニューラル・ネットワークに入力したときの前記ニューラル・ネットワークから出力された出力結果によるマップ画像と、当該マップ画像の正解データを示す教師データとの比較により、前記ニューラル・ネットワークのパラメータが変更される、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラムに関する。
【背景技術】
【0002】
従来、カメラで撮影された動画像から前景として映り込む動物体（以後、前景とも呼ぶ）を検出する手法として、背景差分法が知られている。背景差分法では、カメラで撮影された動画像から検出対象物体が撮影されていない背景画像（背景モデルとも呼ぶ）を検出して記憶しておく。そして、カメラで撮影された動画像から背景画像の差分を求めることで、前景に対応する画像領域を検出する。
【0003】
このように、画像から背景／前景を判別する手法としては、画像センサから出力された画像情報並びに時間的に遅延させた画像情報を入力層に取り込み、その差異に応じた情報を出力層から出力するニューラル・ネットワークを用いた手法が知られている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平２－１７３８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の従来技術では、背景と類似する類似色が前景に含まれる場合や、ノイズ等に対して頑健に背景／前景の判別を行うことが困難であるという問題がある。
【0006】
例えば、ニューラル・ネットワークにおける中間層の層数が少ない場合、エッジや色などの局所的な特徴をもとに判別することから、背景と類似する類似色が前景に含まれる場合に背景／前景の判別が困難となる。また、ノイズ等の影響を受けやすく、誤検出を生じることがある。
【0007】
また、ニューラル・ネットワークにおける中間層の層数を増やすと、学習に初期においては、結合重みが小さな値の乱数で初期化されているため、入力信号が層を経るごとに拡散していくことから、ニューラル・ネットワークからはほぼ０のノイズしか得られないこととなる。このため、教師データと比較しても有意味な情報が得られず、ニューラル・ネットワークの学習が進まないことから、ニューラル・ネットワークにおける中間層の層数を単純に増やすことは難しい。
【0008】
１つの側面では、ノイズ等に頑健な背景／前景の判別を可能とする画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
第１の案では、画像処理装置は、取得部と、差分生成部と、ニューラル・ネットワークと、出力部とを有する。取得部は、予め撮影された背景の背景画像と、判別対象となる対象画像とを取得する。差分生成部は、背景画像と対象画像との第一の差分を示す差分画像を生成する。ニューラル・ネットワークは、背景画像と対象画像とのそれぞれをニューラル・ネットワークに入力することで、対象画像から背景および前景を区別した出力対象となるマップ画像と、差分画像との第二の差分を示す残差を推定する。出力部は、差分生成部が生成した差分画像と、ニューラル・ネットワークが推定した差とに基づいて、対象画像から背景および前景を区別したマップ画像を出力する。
【発明の効果】
【0010】
本発明の１実施態様によれば、ノイズ等に頑健な背景／前景の判別を行うことができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、図面を参照して、実施形態にかかる画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラムを説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラムは、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
【0013】
図１は、実施形態の概要を説明する説明図である。図１に示すように、本実施形態では、背景および前景の判別対象となる対象画像Ｇ１と、事前に撮影しておいた背景の背景画像Ｇ２とを入力し、対象画像Ｇ１に含まれる背景および前景を区別する前景マップＧ５を得る。
【0014】
図２は、対象画像Ｇ１、背景画像Ｇ２および教師画像Ｇ６の一例を説明する説明図である。図２に示すように、対象画像Ｇ１は、撮影範囲にいる人物Ｈなどの前景と、背景との判別を行う画像データであり、例えば、不審者を検知するための監視カメラの画像データなどである。背景画像Ｇ２は、背景を事前に撮影しておいた画像データなどである。なお、背景画像Ｇ２については、幾つかの画像を重ね合わせて生成した背景モデルであってもよい。
【0015】
前景マップＧ５は、マップ画像の一例であり、例えば対象画像Ｇ１における背景に対応する領域を黒画素とし、前景に対応する領域を白画素とする画像データである。このようにして得られた前景マップＧ５に対象画像Ｇ１を掛け合わせることで、例えば対象画像Ｇ１に含まれる前景を識別することができる。例えば、対象画像Ｇ１に含まれる前景の識別結果を用いることで、自由視点映像生成技術における被写体のシルエットの抽出や、映像監視技術における不審者の抽出に応用できる。
【0016】
具体的には、前景マップＧ５を得るための推論フェーズでは、入力された対象画像Ｇ１と、背景画像Ｇ２との差分を生成する差分生成（Ｓ１）を行い、差分画像Ｇ３を生成する。また、入力された対象画像Ｇ１および背景画像Ｇ２により、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４（差分画像Ｇ３では、正解とする前景マップＧ５に足りない情報）をニューラル・ネットワークを用いて推定する残差推定（Ｓ２）を行う。次いで、差分生成（Ｓ１）で生成された差分画像Ｇ３と、残差推定（Ｓ２）で推定された残差Ｇ４とを足し合わせることで前景マップＧ５を得る（Ｓ３）。
【0017】
なお、残差推定（Ｓ２）を行うニューラル・ネットワークの学習を行う学習フェーズでは、前景マップＧ５と教師画像Ｇ６との比較により、ニューラル・ネットワークを構成する各ノードの結合重みを調整する。
【0018】
図２に示すように、教師画像Ｇ６は、ニューラル・ネットワークの学習時において入力された対象画像Ｇ１における背景／前景についての正解を示す教師データである。一例として、教師画像Ｇ６には、対象画像Ｇ１に含まれる前景（人物Ｈ）に対応した前景領域Ｒ１を白画素、前景領域Ｒ１以外の領域（背景領域）を黒画素とする画像データなどがある。
【0019】
この教師画像Ｇ６を用いた教師付き学習を行うことで、正解とする前景マップＧ５に足りない部分の残差Ｇ４を適正に推定するように残差推定部１１のニューラル・ネットワークの学習が行われる。
【0020】
図３は、ニューラル・ネットワークで前景マップを推定する従来手法の説明図である。図３に示すように、従来手法では、対象画像Ｇ１および背景画像Ｇ２をニューラル・ネットワーク２００の入力層２０１に入力し、中間層２０２を経て出力層２０３から背景／前景の判別結果Ｇ４ａが直接出力される。
【0021】
ニューラル・ネットワーク２００における中間層２０２の層数が少ない場合、入力された画像からは高次の特徴が得られず、低次の特徴、すなわちエッジや色などの局所的な特徴をもとに判別することとなる。ここで、高次の特徴とは、画像上のある領域が人物なのか車なのか、その内部・外部であるかなど、セマンティック（Ｓｅｍａｎｔｉｃ）な情報を含む特徴である。低次の特徴とは、縦・横方向のエッジや平坦な領域なのかなど、画像の局所的な構造の特徴である。
【0022】
図４は、高次の特徴／低次の特徴による判別を説明する説明図である。図４に示すように、ケースＣ１では、中間層を多層とするディープ・ニューラル・ネットワーク（ＤＮＮ）のニューラル・ネットワーク２００ａを用いて入力画像Ｇ１０から人物の領域を白画素とする判別結果Ｇ１１を得ている。ＤＮＮでは、対象画像Ｇ１から層を経ることで、エッジ→四角や丸（エッジの組み合わせ）→タイヤや顔（四角や丸の組み合わせ）→…のように徐々に特徴が抽象化されていき、高次の特徴を抽出できる。このような高次の特徴をもとに判別を行う場合は、ノイズ等に対して頑健に背景／前景の判別を行うができる。
【0023】
これに対し、ケースＣ２では、３層型のニューラル・ネットワーク２００ｂを用いて入力画像Ｇ１０から判別結果Ｇ１１を得ている。３層型のニューラル・ネットワーク２００ｂでは、局所的な低次の特徴をもとに判別を行うことから、ノイズ等の影響を受けやすく、誤検出を生じる。例えば、入力画像Ｇ１０は、コートのラインを跨いでプレーする人物の画像であり、ライン右側の領域ではコートの色と類似する類似色が人物に含まれている。また、ライン左側の領域では、コートの色と、人物（左足）との色は類似していない。したがって、ケースＣ２の判別結果Ｇ１１では、背景と類似する類似色が前景に含まれる部分については前景として判別されていない（左足の一部が前景として正しく判別されている）。
【0024】
図３に戻り、ニューラル・ネットワーク２００における中間層２０２の層数を増やす場合は、学習に初期においては、結合重みが小さな値の乱数で初期化されているため、入力層２０１からの入力信号（対象画像Ｇ１、背景画像Ｇ２）が層を経るごとに拡散していき、弱まることとなる。このため、出力層２０３から得られる判別結果Ｇ４ａは、学習初期において、ほぼ０のノイズとなる。したがって、教師画像Ｇ６と比較しても有意味な情報が得られず（勾配の方向が定まらないため）、ニューラル・ネットワーク２００における各ノードの結合重みを示すパラメータを調整することが困難となり、学習が進まないこととなる。
【0025】
これに対し、本実施形態では、図１に示すように、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４（差分画像Ｇ３では、正解とする前景マップＧ５に足りない情報）をニューラル・ネットワークを用いて推定する。そして、差分画像Ｇ３と、残差Ｇ４とを足し合わせることで前景マップＧ５を得ている。
【0026】
このため、例えば学習の初期に得られる残差Ｇ４が０であっても、差分画像Ｇ３が足し合わされていることから、有意味な出力（前景マップＧ５）が得られ、教師画像Ｇ６との比較によりニューラル・ネットワークの学習を進めることができる。したがって、ＤＮＮを用いて高次な特徴をもとに判別した残差Ｇ４による前景マップＧ５を得ることができ、背景類似色やノイズ等が含まれる場合においても、頑健に背景／前景を判別することができる。
【0027】
【0028】
差分生成部１０は、入力された対象画像Ｇ１と、背景画像Ｇ２との差分により差分画像Ｇ３を生成する。すなわち、差分生成部１０は、生成部の一例である。例えば、差分生成部１０は、対象画像Ｇ１および背景画像Ｇ２において互いに対応する画素における画素値の差分を求めることで差分画像Ｇ３を生成する。この差分については、画素値のＬ１ノルム（差の絶対値）や、Ｌ２ノルムなどを用いることができる。
【0029】
また、差分生成部１０が差分をとる対象は、互いに対応する画素における画素値に限定しない。例えば、差分生成部１０は、対象画像Ｇ１および背景画像Ｇ２それぞれの各画素から計算した特徴量の差分を求め、差分画像Ｇ３を生成してもよい。
【0030】
一例として、次の文献に示すように、局所特徴量を用いてもよい。
・SIFT(Scale-Invariant Feature Transform): David G.Lowe, “Distinctive image features from scale-invariant keypoints”, Int.Journal of Computer Vision,Vol.60, No.2, pp.91-110, 2004．
・SURF (Speeded-Up Robust Features): H. Bay, T. Tuytelaars, and L. Van Gool, “SURF: Speeded Up Robust. Features”, In ECCV , pp.404-417, 2006.
・BRIEF (Features from Accelerated Segment Test): M.Calonder, V.Lepetit and C.Strecha and P.Fua, “BRIEF: Binary Robust Independent Elementary Features”, In Proc. European Conference on Computer Vision, pp.778-792, 2010.
・ORB (Oriented FAST and Rotated BRIEF): E.Rublee, V.Rabaud, K.Konolige and G.Bradski “ORB: an efficient alternative to SIFT or SURF”, In Proc. International Conference on Computer Vision, 2011.
・SIFT(Scale-Invariant Feature Transform): David G.Lowe, “Distinctive image features from scale-invariant keypoints”, Int.Journal of Computer Vision,Vol.60, No.2, pp.91-110, 2004．
・SURF (Speeded-Up Robust Features): H. Bay, T. Tuytelaars, and L. Van Gool, “SURF: Speeded Up Robust. Features”, In ECCV , pp.404-417, 2006.
・BRIEF (Features from Accelerated Segment Test): M.Calonder, V.Lepetit and C.Strecha and P.Fua, “BRIEF: Binary Robust Independent Elementary Features”, In Proc. European Conference on Computer Vision, pp.778-792, 2010.
・ORB (Oriented FAST and Rotated BRIEF): E.Rublee, V.Rabaud, K.Konolige and G.Bradski “ORB: an efficient alternative to SIFT or SURF”, In Proc. International Conference on Computer Vision, 2011.
【0031】
また、差分生成部１０は、次の文献に示すように、一般物体認識向けに学習済みのＤＮＮの中間層の値を特徴量として用いてもよい。
・AlexNet： Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012.
・GoogLeNet： Szegedy, Christian, et al. "Going deeper with convolutions." Cvpr, 2015.
・VGG： Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014).
・ResNet： He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
・AlexNet： Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012.
・GoogLeNet： Szegedy, Christian, et al. "Going deeper with convolutions." Cvpr, 2015.
・VGG： Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014).
・ResNet： He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
【0032】
残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２より、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４をニューラル・ネットワークを用いて推定する。すなわち、残差推定部１１は、推定部の一例である。
【0033】
出力部１２は、差分生成部１０より生成された差分画像Ｇ３と、残差推定部１１より推定された残差Ｇ４との基づく前景マップＧ５を出力する。具体的には、出力部１２は、差分画像Ｇ３および残差Ｇ４において互いに対応する画素における画素値を加算して得られた前景マップＧ５を出力する。この加算については、重み付き加算であってもよい。この重みは、予め設計者が定めた値であってもよいし、可変のパラメータであってもよい。可変のパラメータについては、残差推定部１１のニューラル・ネットワークを学習するときに一緒に最適化を行ってもよい。
【0034】
図６は、実施形態にかかる画像処理装置１の動作例を示すフローチャートである。図６に示すように、処理が開始されると、画像処理装置１は、メモリ、ハードディスク、データベースもしくはネットワーク上のストレージ等に予め格納されている背景画像Ｇ２を取得する（Ｓ１０）。同様に、画像処理装置１は、対象画像Ｇ１を取得する（Ｓ１１）。
【0035】
なお、監視カメラからの画像を対象画像Ｇ１とする場合、画像処理装置１は、監視カメラと接続するインタフェースを介して監視カメラより対象画像Ｇ１を直接取得してもよい。また、画像処理装置１は、対象画像Ｇ１および背景画像Ｇ２の取得時にノイズ除去や色補正などの前処理を施してもよい。
【0036】
次いで、画像処理装置１は、対象画像Ｇ１および背景画像Ｇ２を差分生成部１０に入力する（Ｓ１２、Ｓ１３）。次いで、差分生成部１０は、対象画像Ｇ１と背景画像Ｇ２の差分を生成し（Ｓ１４）、差分画像Ｇ３を得る。
【0037】
次いで、画像処理装置１は、対象画像Ｇ１および背景画像Ｇ２を残差推定部１１に入力する（Ｓ１５、Ｓ１６）。次いで、残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２より、前景マップＧ５と差分画像Ｇ３の差を示す残差Ｇ４をニューラル・ネットワークを用いて推定する（Ｓ１７）。
【0038】
残差推定部１１のニューラル・ネットワークは、後述する学習装置による学習フェーズにより、残差Ｇ４を適正に推定するようにパラメータ調整が施されている。
【0039】
図７は、残差推定部１１のニューラル・ネットワークを説明する説明図である。図１１に示すように、ニューラル・ネットワーク１１ａは、脳のニューロンを模したユニットを階層的に結合したネットワーク構造を有する。脳には、多数のニューロン（神経細胞）が存在する。各ニューロンは、他のニューロンから信号を受け取り、他のニューロンへ信号を受け渡す。脳は、この信号の流れによって、様々な情報処理を行う。ニューラル・ネットワーク１１ａは、このような脳の機能の特性を計算機上で実現したモデルである。
【0040】
具体的には、ニューラル・ネットワーク１１ａは、対象画像Ｇ１および背景画像Ｇ２が入力される層から残差Ｇ４を出力する層までの中間層を多層とするディープ・ニューラル・ネットワークであってもよい。複数の中間層は、例えば、畳み込み層、活性化関数層、プーリング層、全結合層およびソフトマックス層を含む。各層の数及び位置は、要求されるアーキテクチャに応じて随時変更され得る。すなわち、ニューラル・ネットワーク１１ａの階層構造や各層の構成は、識別する対象などに応じて、設計者が予め定めることができる。
【0041】
また、ニューラル・ネットワーク１１ａにおいては、入力された画像データからの特徴抽出を可能とするように、畳み込み層と、プーリング層とを交互に積み重ねたＣＮＮ（畳み込みニューラル・ネットワーク）としての構成を有してもよい。また、ニューラル・ネットワーク１１ａは、ＣＮＮではなく、全結合層を多層に並べたもので構成してもよい。この場合、対象画像Ｇ１および背景画像Ｇ２については、ラスタスキャン順などの特定の方法に従って一列に並べたベクトルを入力とすればよい。
【0042】
例えば、ニューラル・ネットワーク１１ａは、次の文献に示すようなネットワーク構造を用いてもよい。
・FCN（Fully Convolutional Networks）：Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.
・U-Net：Ronneberger, Olaf, et al. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.
・FCN（Fully Convolutional Networks）：Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.
・U-Net：Ronneberger, Olaf, et al. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.
【0043】
図７のニューラル・ネットワーク１１ａは、上記のＵ－Ｎｅｔを適用した場合のネットワーク構造の一例である。例えば、ニューラル・ネットワーク１１ａでは、対象画像Ｇ１および背景画像Ｇ２をＲＧＢ３チャンネルのカラー画像とする場合、入力はそれらを重ねた６チャンネルとなる。この入力に対して、畳み込み層、拡大畳み込み層、プーリング層、Batch normalization層、活性化関数層などを経て、１チャンネルの残差Ｇ４を出力する。
【0044】
図６に戻り、Ｓ１７に次いで、出力部１２は、差分画像Ｇ３と残差Ｇ４を加算し（Ｓ１８）、前景マップＧ５を出力する（Ｓ１９）。
【0045】
画像処理装置１では、得られた前景マップＧ５を、自由視点映像生成技術における被写体のシルエットの抽出や、映像監視技術における不審者の抽出に適用することができる。
【0046】
例えば、複数視点のカメラ映像から任意の視点の映像を作り出す技術は自由視点映像生成と呼ばれる。この自由視点映像生成技術を用いることで、撮影したカメラ以外の視点での映像の生成や、現実では不可能なカメラワークの映像などを生成でき、ダイナミックで臨場感のある映像コンテンツを生成や、ユーザーが各自で好きなアングルから視聴などに応用できる。
【0047】
この自由視点映像生成技術への適用例としては、次のようなものがある。各カメラ画像に対して前景マップＧ５を求め、得られた前景マップＧ５をもとに、人物などの前景物体のシルエットを抽出する。次いで、Visual Hullという手法を用いて前景物体の３次元構造を復元し、任意に設定した視点からの映像をレンダリングする。
【0048】
また、映像監視技術における不審者の抽出への適用例としては、次のようなものがある。監視カメラの画像に対して前景マップＧ５を求め、前景領域の画素数を求める。この前景領域の画素数が所定の閾値以上であった場合、不審物を検出したものとして検出信号を出力する。
【0049】
次に、ニューラル・ネットワーク１１ａの学習（学習フェーズ）を行う学習装置の詳細について説明する。図８は、実施形態にかかる学習装置の機能構成例を示すブロック図である。
【0050】
なお、学習フェーズにおける対象画像Ｇ１、背景画像Ｇ２および教師画像Ｇ６については、学習用に予め設定された学習データセットのデータを用いるものとする。この学習データセットは、例えば、メモリ、ハードディスク、データベースもしくはネットワーク上のストレージ等に予め格納されているものを読み出して用いる。また、学習データセットについては、画像の回転やスケーリングなどの幾何学的変換やノイズを付加するなど、擬似的にデータの多様性を増やす処理（Data augumentation）を行ってもよい。また、ミニバッチ学習をする場合、対象画像Ｇ１、背景画像Ｇ２および教師画像Ｇ６については、ミニバッチ数分を取得してもよい。
【0051】
図８に示すように、学習装置２は、誤差算出部２０と、勾配算出部２１と、更新部２２とを有する。
【0052】
誤差算出部２０は、画像処理装置１が出力した前景マップＧ５と、教師画像Ｇ６との入力を受け付ける。誤差算出部２０は、入力された前景マップＧ５と、教師画像Ｇ６とを比較して誤差を算出する。すなわち、誤差算出部２０は、算出部の一例である。
【0053】
例えば、誤差算出部２０は、前景マップＧ５および教師画像Ｇ６において互いに対応する画素における画素値の二乗誤差を求めることで、誤差を算出する。この誤差については、二乗誤差に限定するものではなく、Ｌ１ノルム誤差や、ロバスト統計で用いられるＨｕｂｅｒノルム誤差などを用いてもよい。
【0054】
勾配算出部２１は、誤差算出部２０が算出した誤差をもとに、教師あり学習で一般的に使用される誤差逆伝搬法に基づいてニューラル・ネットワーク１１ａ全体の勾配を算出する。
【0055】
更新部２２は、勾配算出部２１が算出した勾配をもとに、ニューラル・ネットワーク１１ａを構成する各ノードの結合重み（パラメータ）の更新量を算出する。更新部２２は、算出した更新量をもとに、ニューラル・ネットワーク１１ａにおけるパラメータを更新する。
【0056】
更新部２２における更新量の算出には、例えば、次の文献に示すような最適化手法を用いることができる。
・Momentum付きのSGD（stocastic gradient descent）： Goodfellow, Ian, et al. Deep learning. Vol. 1. Cambridge: MIT press, 2016.
・RMSProp： Geoffrey Hinton, Nitish Srivastava, Kevin Swersky. 2014. Lecture 6e: Rmsprop: Divide the gradient by a running average of its recent magnitude (CSC321 Winter 2014).
・Adam： Diederik Kingma, Jimmy Ba. 2015. Adam: a method for stochastic optimization. the 3rd International Conference for Learning Representations (ICLR 2015).
・Momentum付きのSGD（stocastic gradient descent）： Goodfellow, Ian, et al. Deep learning. Vol. 1. Cambridge: MIT press, 2016.
・RMSProp： Geoffrey Hinton, Nitish Srivastava, Kevin Swersky. 2014. Lecture 6e: Rmsprop: Divide the gradient by a running average of its recent magnitude (CSC321 Winter 2014).
・Adam： Diederik Kingma, Jimmy Ba. 2015. Adam: a method for stochastic optimization. the 3rd International Conference for Learning Representations (ICLR 2015).
【0057】
図９は、学習フローを例示するフローチャートである。図９に示すように、処理が開始されると、学習データセットから対象画像Ｇ１および背景画像Ｇ２を取得する（Ｓ２０、Ｓ２１）。次いで、画像処理装置１は、Ｓ１２～Ｓ１９と同様の処理を行い、前景マップＧ５を出力する（Ｓ２２～Ｓ２９）。画像処理装置１より出力された前景マップＧ５は、学習装置２の誤差算出部２０に入力される。
【0058】
次いで、学習装置２の誤差算出部２０は、学習データセットから教師画像Ｇ６を取得する（Ｓ３０）。次いで、誤差算出部２０は、画像処理装置１より出力された前景マップＧ５と、教師画像Ｇ６とを比較して誤差を計算する（Ｓ３１）。
【0059】
次いで、勾配算出部２１は、誤差算出部２０が計算した誤差をもとに、ニューラル・ネットワーク１１ａ全体の勾配を算出する（Ｓ３２）。次いで、更新部２２は、差分生成部１０のニューラル・ネットワーク１１ａにおける各ノードの結合重みを勾配算出部２１が計算した勾配に応じて更新する（Ｓ３３）。
【0060】
次いで、学習装置２は、学習データセットに含まれる全てのデータを用いた学習が終了したか否かなど、所定の学習終了の条件を満たすかを判定する（Ｓ３４）。満たさない場合（Ｓ３４：ＮＯ）、学習装置２は、Ｓ２０へ処理を戻し、学習を継続する。満たす場合（Ｓ３４：ＹＥＳ）、学習装置２は、学習を終了する。
【0061】
以上のように、画像処理装置１の差分生成部１０は、背景および前景の判別対象となる対象画像Ｇ１と、背景にかかる背景画像Ｇ２との差分画像Ｇ３を生成する。画像処理装置１の残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２より、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４をニューラル・ネットワーク１１ａを用いて推定する。画像処理装置１の出力部１２は、差分生成部１０により生成された差分画像Ｇ３と、残差推定部１１により推定された残差Ｇ４とに基づく前景マップＧ５を出力する。
【0062】
これにより、画像処理装置１は、高次な特徴を判別する多層な残差推定部１１を用いることができ、背景と類似する類似色が前景に含まれる場合や、ノイズ等に対して頑健に背景／前景の判別を行うことが可能となる。
【0063】
また、残差推定部１１のニューラル・ネットワーク１１ａは、中間層を多層とするディープ・ニューラル・ネットワーク（ＤＮＮ）である。これにより、残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２に含まれる高次な特徴をもとに残差Ｇ４を推定することができる。したがって、画像処理装置１は、ノイズ等に対してより頑健な背景／前景の判別を行うことが可能となる。
【0064】
また、残差推定部１１のニューラル・ネットワーク１１ａは、畳み込みニューラル・ネットワークである。これにより、残差推定部１１は、入力された対象画像Ｇ１および背景画像Ｇ２の抽象化を行い、高次の特徴を得ることができる。
【0065】
また、差分生成部１０は、対象画像Ｇ１および背景画像Ｇ２それぞれの各画素に基づく特徴量の差分をもとに差分画像Ｇ３を生成する。このように差分画像Ｇ３は、対象画像Ｇ１および背景画像Ｇ２における特徴量の差分であってもよい。
【0066】
また、学習装置２の誤差算出部２０は、差分生成部１０により生成された差分画像Ｇ３、および、残差推定部１１のニューラル・ネットワーク１１ａにより推定された残差Ｇ４に基づいた前景マップＧ５を受け付ける。学習装置２は、受け付けた前景マップＧ５と、教師画像Ｇ６との誤差を算出する。学習装置２の更新部２２は、算出された誤差に基づいてニューラル・ネットワーク１１ａにかかるパラメータを更新する。これにより、学習装置２は、対象画像Ｇ１から背景および前景を区別する前景マップＧ５と、差分画像Ｇ３との差を示す残差Ｇ４を推定するニューラル・ネットワーク１１ａの学習を行うことができる。
【0067】
なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0068】
画像処理装置１、学習装置２で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、画像処理装置１、学習装置２で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。
【0069】
ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータ（ハードウェア）の一例を説明する。図１０は、プログラムを実行するコンピュータの一例を示す説明図である。
【0070】
図１０に示すように、コンピュータ３は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３と、スピーカ１０４とを有する。また、コンピュータ３は、記憶媒体からプログラム等を読み取る媒体読取装置１０５と、各種装置と接続するためのインタフェース装置１０６と、有線または無線により外部機器と通信接続するための通信装置１０７とを有する。また、コンピュータ３は、各種情報を一時記憶するＲＡＭ１０８と、ハードディスク装置１０９とを有する。また、コンピュータ３内の各部（１０１～１０９）は、バス１１０に接続される。
【0071】
ハードディスク装置１０９には、上記の実施形態で説明した差分生成部１０、残差推定部１１、出力部１２、誤差算出部２０、勾配算出部２１および更新部２２等の機能部における各種処理を実行するためのプログラム１１１が記憶される。また、ハードディスク装置１０９には、プログラム１１１が参照する各種データ１１２が記憶される。入力装置１０２は、例えば、コンピュータ３の操作者から操作情報の入力を受け付ける。モニタ１０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置１０６は、例えば印刷装置等が接続される。通信装置１０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。
【0072】
ＣＰＵ１０１は、ハードディスク装置１０９に記憶されたプログラム１１１を読み出して、ＲＡＭ１０８に展開して実行することで、差分生成部１０、残差推定部１１、出力部１２、誤差算出部２０、勾配算出部２１および更新部２２等にかかる各種の処理を行う。なお、プログラム１１１は、ハードディスク装置１０９に記憶されていなくてもよい。例えば、コンピュータ３が読み取り可能な記憶媒体に記憶されたプログラム１１１を、コンピュータ３が読み出して実行するようにしてもよい。コンピュータ３が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にプログラム１１１を記憶させておき、コンピュータ３がこれらからプログラム１１１を読み出して実行するようにしてもよい。
【0073】
以上の実施形態に関し、さらに以下の付記を開示する。
【0074】
（付記１）背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成する生成部と、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定する推定部と、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する出力部と、
を有することを特徴とする画像処理装置。
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定する推定部と、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する出力部と、
を有することを特徴とする画像処理装置。
【0075】
（付記２）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記１に記載の画像処理装置。
ことを特徴とする付記１に記載の画像処理装置。
【0076】
（付記３）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記２に記載の画像処理装置。
ことを特徴とする付記２に記載の画像処理装置。
【0077】
（付記４）前記生成部は、前記対象画像および前記背景画像それぞれの各画素に基づく特徴量の差分をもとに前記差分画像を生成する、
ことを特徴とする付記１乃至３のいずれか一に記載の画像処理装置。
ことを特徴とする付記１乃至３のいずれか一に記載の画像処理装置。
【0078】
（付記５）背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出する算出部と、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する更新部と、
を有することを特徴とする学習装置。
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する更新部と、
を有することを特徴とする学習装置。
【0079】
（付記６）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記５に記載の学習装置。
ことを特徴とする付記５に記載の学習装置。
【0080】
（付記７）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記６に記載の学習装置。
ことを特徴とする付記６に記載の学習装置。
【0081】
（付記８）背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成し、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【0082】
（付記９）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記８に記載の画像処理方法。
ことを特徴とする付記８に記載の画像処理方法。
【0083】
（付記１０）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記９に記載の画像処理方法。
ことを特徴とする付記９に記載の画像処理方法。
【0084】
（付記１１）前記生成する処理は、前記対象画像および前記背景画像それぞれの各画素に基づく特徴量の差分をもとに前記差分画像を生成する、
ことを特徴とする付記８乃至１０のいずれか一に記載の画像処理方法。
ことを特徴とする付記８乃至１０のいずれか一に記載の画像処理方法。
【0085】
（付記１２）背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出し、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータが実行することを特徴とする学習方法。
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータが実行することを特徴とする学習方法。
【0086】
（付記１３）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記１２に記載の学習方法。
ことを特徴とする付記１２に記載の学習方法。
【0087】
（付記１４）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記１３に記載の学習方法。
ことを特徴とする付記１３に記載の学習方法。
【0088】
（付記１５）背景および前景の判別対象となる対象画像と、前記背景にかかる背景画像との差分画像を生成し、
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
前記対象画像から前記背景および前記前景を区別するマップ画像と、前記差分画像との差を示す残差をニューラル・ネットワークを用いて推定し、
生成された前記差分画像と、推定された前記残差とに基づくマップ画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【0089】
（付記１６）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記１５に記載の画像処理プログラム。
ことを特徴とする付記１５に記載の画像処理プログラム。
【0090】
（付記１７）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記１６に記載の画像処理プログラム。
ことを特徴とする付記１６に記載の画像処理プログラム。
【0091】
（付記１８）前記生成する処理は、前記対象画像および前記背景画像それぞれの各画素に基づく特徴量の差分をもとに前記差分画像を生成する、
ことを特徴とする付記１５乃至１７のいずれか一に記載の画像処理プログラム。
ことを特徴とする付記１５乃至１７のいずれか一に記載の画像処理プログラム。
【0092】
（付記１９）背景および前景の判別対象となる対象画像と前記背景にかかる背景画像との差分画像、および、前記差分画像との差を示す残差に基づいて、ニューラル・ネットワークによって推定された、前記対象画像から前記背景および前記前景を区別するマップ画像を受け付け、当該マップ画像と、教師データとの誤差を算出し、
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
算出された前記誤差に基づいて前記ニューラル・ネットワークにかかるパラメータを更新する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
【0093】
（付記２０）前記ニューラル・ネットワークは、中間層を多層とするディープ・ニューラル・ネットワークである、
ことを特徴とする付記１９に記載の学習プログラム。
ことを特徴とする付記１９に記載の学習プログラム。
【0094】
（付記２１）前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである、
ことを特徴とする付記２０に記載の学習プログラム。
ことを特徴とする付記２０に記載の学習プログラム。
【符号の説明】
【0095】
１…画像処理装置
２…学習装置
３…コンピュータ
１０…差分生成部
１１…残差推定部
１１ａ、２００、２００ａ、２００ｂ…ニューラル・ネットワーク
１２…出力部
２０…誤差算出部
２１…勾配算出部
２２…更新部
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…スピーカ
１０５…媒体読取装置
１０６…インタフェース装置
１０７…通信装置
１０８…ＲＡＭ
１０９…ハードディスク装置
１１０…バス
１１１…プログラム
１１２…各種データ
２０１…入力層
２０２…中間層
２０３…出力層
Ｃ１、Ｃ２…ケース
Ｇ１…対象画像
Ｇ２…背景画像
Ｇ３…差分画像
Ｇ４…残差
Ｇ４ａ…判別結果
Ｇ５…前景マップ
Ｇ６…教師画像
Ｇ１０…入力画像
Ｇ１１…判別結果
Ｈ…人物
Ｒ１…前景領域
２…学習装置
３…コンピュータ
１０…差分生成部
１１…残差推定部
１１ａ、２００、２００ａ、２００ｂ…ニューラル・ネットワーク
１２…出力部
２０…誤差算出部
２１…勾配算出部
２２…更新部
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…スピーカ
１０５…媒体読取装置
１０６…インタフェース装置
１０７…通信装置
１０８…ＲＡＭ
１０９…ハードディスク装置
１１０…バス
１１１…プログラム
１１２…各種データ
２０１…入力層
２０２…中間層
２０３…出力層
Ｃ１、Ｃ２…ケース
Ｇ１…対象画像
Ｇ２…背景画像
Ｇ３…差分画像
Ｇ４…残差
Ｇ４ａ…判別結果
Ｇ５…前景マップ
Ｇ６…教師画像
Ｇ１０…入力画像
Ｇ１１…判別結果
Ｈ…人物
Ｒ１…前景領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】