特開 2020-14051 情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-14051(P2020-14051A)

(43)【公開日】2020年1月23日

(54)【発明の名称】情報処理方法、及び情報処理装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20191220BHJP

   H04N 9/74 20060101ALI20191220BHJP

【ＦＩ】

   H04N5/232 290

   H04N9/74 A

   H04N5/232 030

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2018-133295(P2018-133295)

(22)【出願日】2018年7月13日

(71)【出願人】

【識別番号】000116068

【氏名又は名称】ローランド株式会社

(74)【代理人】

【識別番号】100113608

【弁理士】

【氏名又は名称】平川 明

(74)【代理人】

【識別番号】100123098

【弁理士】

【氏名又は名称】今堀 克彦

(74)【代理人】

【識別番号】100105407

【弁理士】

【氏名又は名称】高田 大輔

(74)【代理人】

【識別番号】100178641

【弁理士】

【氏名又は名称】増渕 敬

(72)【発明者】

【氏名】木田 敦

【テーマコード（参考）】

5C066

5C122

【Ｆターム（参考）】

5C066AA11

5C066BA20

5C066CA05

5C066EA15

5C066ED01

5C066KE02

5C122EA12

5C122EA63

5C122FD01

5C122FF01

5C122FG14

5C122FH10

5C122FH19

5C122HB01

(57)【要約】

【課題】品質のよい差分合成画像を得る。
【解決手段】情報処理方法は、撮像視野内において背景の前方に所定の被写体が位置する状態で撮像を行った場合における撮像画像の露出、フォーカス及びホワイトバランスの各値の固定値を取得し、被写体が撮像視野の外に出た状態で固定値を用いて撮像した画像を背景学習データとして取得し、固定値を用いて視野範囲を撮像した入力画像と背景学習データとの差分画像を抽出し、差分画像を合成用背景画像と合成した合成画像を生成することを含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

撮像視野内において背景の前方に所定の被写体が位置する状態で撮像を行った場合における撮像画像の露出、フォーカス及びホワイトバランスの各値の固定値を取得することと、
前記被写体が前記撮像視野の外に出た状態で、前記固定値を用いて撮像した画像を背景学習データとして取得することと、
前記固定値を用いて前記視野範囲を撮像した入力画像と前記背景学習データとの差分画像を抽出することと、
前記差分画像を合成用背景画像と合成した合成画像を生成することと、
を情報処理装置が行う情報処理方法。

【請求項2】

前記固定値は、自動露出、オートフォーカス及びオートホワイトバランスによって得られる
請求項１に記載の情報処理方法。

【請求項3】

前記固定値の取得が指示されてから、自動露出、オートフォーカス及びオートホワイトバランスの各処理が所定時間行われた時点の各値を前記固定値として取得する
請求項１又は２に記載の情報処理方法。

【請求項4】

前記固定値における、露出、フォーカス及びホワイトバランスの少なくとも一つの値を、リモートコントローラから受信される調整情報に基づいて更新すること
をさらに情報処理装置が行う、
請求項１から３のいずれか１項に記載の情報処理方法。

【請求項5】

撮像視野内において背景の前方に所定の被写体が位置する状態で撮像を行った場合における撮像画像の露出、フォーカス及びホワイトバランスの各値の固定値を取得する処理と、
前記被写体が前記撮像視野の外に出た状態で、前記固定値を用いて撮像した画像を背景学習データとして取得する処理と、
前記固定値を用いて前記視野範囲を撮像した入力画像と前記背景学習データとの差分画像を抽出する処理と、
前記差分画像を合成用背景画像と合成した合成画像を生成する処理と、
を実行する制御部を含む
情報処理装置。

【請求項6】

撮像視野内において背景の前方に所定の被写体が位置する状態で撮像を行った場合における撮像画像の露出、フォーカス及びホワイトバランスの各値の固定値を取得するステップと、
前記被写体が前記撮像視野の外に出た状態で、前記固定値を用いて撮像した画像を背景学習データとして取得するステップと、
前記固定値を用いて前記視野範囲を撮像した入力画像と前記背景学習データとの差分画像を抽出するステップと、
前記差分画像を合成用背景画像と合成した合成画像を生成するステップと
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

画像から被写体を検出する被写体検出方法の一つに、背景差分法がある。背景差分法では、検出対象の被写体を含まない背景画像を用意し、その背景画像と入力画像との画素値の差分を算出し、算出結果に基づいて入力画像中の被写体を検出する。また、検出した被写体を、他の背景画像に合成することが行われている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５７８２８７１号公報

【特許文献2】特許第６０７６６２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、差分合成画像の品質を向上させることのできる情報処理方法、及び情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の一側面は、撮像視野内において背景の前方に所定の被写体が位置する状態で撮像を行った場合における撮像画像の露出、フォーカス及びホワイトバランスの各値の固定値を取得することと、
前記被写体が前記撮像視野の外に出た状態で、前記固定値を用いて撮像した画像を背景学習データとして取得することと、
前記固定値を用いて前記視野範囲を撮像した入力画像と前記背景学習データとの差分画像を抽出することと、
前記差分画像を合成用背景画像と合成した合成画像を生成することと、
を情報処理装置が行う情報処理方法である。

【0006】

情報処理方法において、前記固定値は、自動露出、オートフォーカス及びオートホワイトバランスによって得られるようにするのが好ましい。但し、手動で固定値を得る場合も有り得る。

【0007】

情報処理方法において、前記固定値の取得が指示されてから、自動露出、オートフォーカス及びオートホワイトバランスの各処理が所定時間行われた時点の各値を前記固定値として取得するようにしてもよい。

【0008】

情報処理装置において、前記固定値における、露出、フォーカス及びホワイトバランスの少なくとも一つの値を、リモートコントローラから受信される調整情報に基づいて更新することをさらに情報処理装置が行うようにしてもよい。

【0009】

本発明の他の態様は、撮像視野内において背景の前方に所定の被写体が位置する状態で撮像を行った場合における撮像画像の露出、フォーカス及びホワイトバランスの各値の固定値を取得する処理と、
前記被写体が前記撮像視野の外に出た状態で、前記固定値を用いて撮像した画像を背景学習データとして取得する処理と、
前記固定値を用いて前記視野範囲を撮像した入力画像と前記背景学習データとの差分画像を抽出する処理と、
前記差分画像を合成用背景画像と合成した合成画像を生成する処理と、
を実行する制御部を含む
情報処理装置である。

【0010】

本発明の他の態様は、撮像視野内において背景の前方に所定の被写体が位置する状態で撮像を行った場合における撮像画像の露出、フォーカス及びホワイトバランスの各値の固定値を取得するステップと、
前記被写体が前記撮像視野の外に出た状態で、前記固定値を用いて撮像した画像を背景学習データとして取得するステップと、
前記固定値を用いて前記視野範囲を撮像した入力画像と前記背景学習データとの差分画像を抽出するステップと、
前記差分画像を合成用背景画像と合成した合成画像を生成するステップと
をコンピュータに実行させるプログラムである。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る情報処理装置の構成例を示す図である。

【図2】情報処理装置の行う処理の説明図である。

【図3】情報処理装置の行う処理の説明図である。

【図4】情報処理装置の行う処理の説明図である。

【図5】差分キー合成の説明図である。

【図6】情報処理装置における処理例を示すフローチャートである。

【図7】情報処理装置における処理例を示すフローチャートである。

【図8】情報処理装置における処理例を示すフローチャートである。

【図9】情報処理装置における処理例を示すフローチャートである。

【図10】リモートコントローラ（リモコン）の構成例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、実施形態に係る情報処理装置及び情報処理方法について説明する。実施形態に係る情報処理装置の構成は一例であり、その構成に限定されない。本実施形態では、背景差分法を用いて背景の前方にある被写体（人、動植物、物など）を用いて抽出し、他の背景と合成する処理（差分検出キー合成）を行う情報処理方法及び情報処理装置について説明する。

【0013】

＜情報処理装置の構成＞
図１は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００には、パーソナルコンピュータ、ワークステーション、サーバマシン、スマートデバイス（スマートフォン、タブレット端末）、フィーチャーフォン、ＰＤＡ（Personal Digital Assistant）などの専用又は汎用のコンピュータを適用できる。コンピュータは、可搬性を有していても有していなくてもよい。また、通信機能を備えていてもいなくてもよい。情報処理装置１００は、例えば、画像合成用のアプリケーションプログラム（画像合成アプリと称する）がインストールされた、カメラ付きのスマートフォンである。

【0014】

図１に示す例では、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、主記憶装置１０２と、補助記憶装置１０３とを含む。情報処理装置１００は、さらに、カメラ入力部１０４と、映像制御部１０５と、操作部１０６と、表示部１０７と、映像入力部１０８と、通信部１０９とを含む。

【0015】

カメラ入力部１０４には、カメラ１１１が接続されており、映像制御部１０５には、デ
ィスプレイ１１２が接続されている。映像入力部１０８には、映像の再生装置１１３と接続されている。また、通信部１０９は、リモコン１１４と通信可能となっている。

【0016】

主記憶装置１０２は、ＲＯＭ（Read Only Memory）及びＲＡＭ(Random Access Memory
）を含む。ＲＯＭは、プロセッサ１０１によって実行されるプログラムや、プログラムの実行に際して使用されるデータを記憶する。ＲＡＭは、プログラムの展開領域、データ記憶領域、プロセッサ１０１の作業領域、通信データのバッファ領域などとして使用される。

【0017】

補助記憶装置１０３は、データやプログラムの記憶領域として使用される。補助記憶装置１０３は、例えば、ハードディスク、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ、
フラッシュメモリなどである。

【0018】

カメラ入力部１０４は、カメラ１１１と接続されるインタフェース回路である。カメラ入力部１０４は、カメラ１１１によって撮像される画像データの入力を受け付けて、プロセッサ１０１に渡したり、主記憶装置１０２や補助記憶装置１０３（両者を区別しない場合には「記憶装置」と称する）に記憶したりする等の処理を行う。

【0019】

映像制御部１０５は、ＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩ
Ｃ（Application Specific Integrated Circuit）などの集積回路で形成される、映像制
御部１０５は、ビデオＲＡＭを有し、ディスプレイ１１２に表示される画像（フレーム）を、所定のフレームレートでビデオＲＡＭに描画し、ディスプレイ１１２に出力する処理を行う。これによって、ディスプレイ１１２には、映像制御部１０５によって描画された映像（動画、静止画を含む）が表示される。

【0020】

操作部１０６は、キー、ボタン、ポインティングデバイス（マウスなど）、タッチパネルなどの入力装置であって、情報やデータ、操作指示などの入力に使用される。表示部１０７は、データや情報の表示に使用されるディスプレイ装置である。なお、表示部１０７は、情報処理装置１００の内蔵型のディスプレイであり、ディスプレイ１１２は外付け型のディスプレイである。どちらか一方は、省略されてもよい。

【0021】

再生装置１１３は、所定の動画ファイル（ＡＶＩ、ＷＭＶ、ＦＬＶ、ＭＰ４など）の再生処理を行う。再生処理によって生成された映像データは、映像入力部１０８に入力される。映像入力部１０８は、再生装置１１３のインタフェース回路であり、映像データをプロセッサ１０１や映像制御部１０５へ送信する等の処理を行う。通信部１０９は、所定の通信規格に則った通信を行う通信インタフェース回路であり、ＬＡＮカード、無線通信モジュール、赤外線通信モジュールなどを含む。

【0022】

プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）であり、制御部に相
当する。プロセッサ１０１は、記憶装置に記憶されたプログラムを実行することによって、様々な処理を行う。プロセッサ１０１が行う処理は、複数のＣＰＵ（プロセッサ）によって行うのでも、マルチコア構成のＣＰＵによって行うのでもよい。また、プロセッサ１０１が行う処理は、ＣＰＵ以外のプロセッサ（ＤＳＰやＧＰＵなど）、プロセッサ以外の集積回路（ＡＳＩＣやＦＰＧＡなど）、或いはプロセッサと集積回路との組み合わせ（ＭＰＵ、ＳｏＣなど）によって実行されてもよい。

【0023】

＜処理の概要＞
次に、プロセッサ１０１が行う処理の概要について説明する。図２〜図５は、情報処理装置１００の行う処理の説明図である。情報処理装置１００のプロセッサ１０１は、固定配置されたカメラ１１１を用いて、カメラ１１１の撮影視野において、背景の前方に被写
体が存在する画像（カメラ画像（固定値取得用画像）２０Ａと称する）を撮影する（図２（Ａ）参照）。図２（Ａ）に示す例では、カメラ画像２０Ａは、ソファ１２、壁１３及び窓１４からなる背景の前方に、被写体としての人物１１が存在する画像である。人物１１は、例えば、情報処理装置１００のユーザであるが、それ以外の人物でもよい。また、人物以外の動植物や物であってもよい。

【0024】

プロセッサ１０１は、カメラ画像２０Ａについて、自動露出（ＡＥ）処理、オートフォーカス（ＡＦ）処理、オートホワイトバランス（ＡＷＢ）処理（以下、３Ａ処理と称する）を行い、ＡＥ値、ＡＦ値、ＡＷＢ値（まとめて指す場合は３Ａ値と呼ぶ）を固定する。固定された３Ａ値を「固定値」と呼ぶ。

【0025】

ＡＥ処理は、撮像視野の輝度情報に基づいて、カメラ１１１が有するアイリス（レンズ絞り）、カメラ１１１が有するイメージセンサ（撮像素子）のゲイン、及びシャッタ速度を制御し、画像の明るさを一定に保つ処理である。ＡＦ処理は、コントラスト情報又は位相差情報によって、ピント位置を調整する処理である。ＡＷＢ処理は、通常、画面内の平均色をグレーに近づける処理である。人間の視覚は色順応するので照明光が変化しても被写体本来の色を感じることができる。しかし、撮像素子と人間の視覚は分光特性が異なる上、撮像素子に色順応する機能は無い。このため、照明光に応じて色の偏りが生じる。この偏りを補正する処理がＡＷＢ処理である。

【0026】

例えば、情報処理装置１００のユーザは、３Ａ処理の実行タイミングを制御するためのタイマを設定することができる。タイマが設定された場合、プロセッサ１０１は、タイマの満了をトリガとして３Ａ処理を開始し、ＡＥ値、ＡＦ値、ＡＷＢ値が最適な値になると、それらの値を固定値として取得し、記憶装置に記憶する。但し、ユーザは、リモコン１１４を用いて、固定値として得られたＡＥ値、ＡＦ値、ＡＷＢ値の少なくとも一つを指定し、値を調整することができる。プロセッサ１０１は、ユーザの調整によって更新されたＡＥ値、ＡＦ値、ＡＷＢ値を、固定値として記憶装置に記憶する。なお、露出、フォーカス、ホワイトバランスの調整を手動で行い、夫々の値を固定値として持つようにしてもよい。

【0027】

次に、プロセッサ１０１は、固定値を用いて、背景学習データを生成する（図２（Ｂ）参照）。図２（Ｂ）に示すように、ＡＥ値、ＡＦ値、ＡＷＢ値が固定値である状態で、カメラ１１１の撮像視野から前景の被写体たる人物１１が外れた画像（学習用画像）の撮像を、プロセッサ１０１はユーザに促し、学習用画像を撮像させる。プロセッサ１０１は、この学習用画像をなす各画素（ピクセル）に対応する値を、背景学習データとして記憶装置に記憶する。

【0028】

各画素の構成要素はRGBでは無く、YCbCr（YUV）で表されるのが好ましい。Yは輝度、Cbは青系統のそれぞれの色の色相と彩度、Crは赤系統のそれぞれの色の色相と彩度を表す。差分抽出において、YCbCrで判定した方が、輝度と色味で閾値を別々に設定出来るため、RGBを用いる場合よりも抽出精度が向上する。

【0029】

図３は、背景学習データの説明図である。図３には、映像の１フレーム（静止画に相当）の各画素の構成を示している。背景学習データは、例えば各画素に対応する背景データの集合である。背景データは、画素の成分Y、Cb、Cr（各８ビット、解像度０〜２５５）
に係るデータの集合であり、画素毎に用意されたデータ格納領域（BOXと呼ばれる）に格
納される。1280x720画素の場合、画素数は921,600個となる。背景データは、画素毎のY、Cb、Crのデータを有するため、Y、Cb、Crのデータは、総数2,764,800個となる。Y、Cb、Crのデータの夫々は、最小閾値であるMINと、最大閾値であるMAXとを有する。

【0030】

背景データは、ノイズ対策のため、数秒分の複数のフレームのデータから画素毎に作成され、例えば、座標（ｘ,ｙ）＝（１，１）の画素の背景データは、Y（輝度）MIN=100、MAX=120、Cb（青色差）MIN=60、MAX=62、Cr（赤色差）MIN=110、MAX=112といった形式で保存される。背景学習データ２０Ｂは、差分画像（前景の被写体）の抽出処理に使用される。

【0031】

背景学習データの生成後、図４（Ａ）に示すように、カメラ１１１の撮像によって、入力画像２０Ｃが得られたと仮定する。入力画像２０Ｃは、カメラ画像２０Ａの撮像視野と同じ視野範囲をカメラ１１１で撮像した画像である。図４（Ａ）に示す例では、前景に、被写体の一例として、人物１１が映り込んでいる。入力画像２０Ｃの撮像には、上記した固定値を用いる。プロセッサ１０１は、入力画像２０Ｃの各画素値（Y、Cb、Crの各値）
と、背景学習データ２０Ｂとの対比を行い、前景の被写体（人物１１）を抽出する処理を行う。

【0032】

すなわち、プロセッサ１０１は、入力画像の２０Ｃの各画素値が、背景学習データにおける、対応する画素の背景データで示される最大閾値と最小閾値との範囲に属する場合には、その画素を背景と判定する。これに対し、プロセッサ１０１は、各画素値が上記範囲に属しない場合には、その画素を前景の被写体（人物１１）と判定する。このような処理を全画素について行うことで、プロセッサ１０１は、入力画像２０Ｃから前景の被写体（人物１１）を抽出する。抽出結果を用いて、プロセッサ１０１は、キーマスク３０を生成する。

【0033】

プロセッサ１０１は、図４（Ｂ）に示すような、合成用の背景画像２０Ｄを得る。例えば、プロセッサ１０１は、再生装置１１３から映像入力部１０８を介して入力される背景画像２０Ｄのデータを得ることができる。

【0034】

プロセッサ１０１は、入力画像２０Ｃと、キーマスク３０と、背景画像２０Ｄとを用いた合成処理（キー合成）を行う。図５は、差分キー合成の説明図である。キーマスク３０は、入力画像２０Ｃ及び背景画像２０Ｄと同じ画素数を有し、入力画像２０Ｃから抽出（抜き出し）された部分の画素の値“１”（解像度０〜２５５の場合は２５５）に設定され、それ以外の画素の値は“０”に設定される。差分合成画像２０Ｅの描画処理において、キーマスク３０の値が“１”の画素は入力画像２０Ｃの画素値が使用され、キーマスク３０の値が“０”の画素は背景画像２０Ｄの画素値が使用される。これにより、背景画像２０Ｄの上（前方）に、入力画像２０Ｃの前景の被写体（人物１１）の画像が重ねられた差分合成画像２０Ｅが得られる（図４（Ｂ）、図５参照）。

【0035】

＜動作例＞
図６〜図９は、情報処理装置１００における処理例を示すフローチャートである。処理の前提として、情報処理装置１００のユーザは、情報処理装置１００（カメラ１１１）を所定の位置に固定配置し、カメラ１１１の視野に、ユーザ自身が前景の被写体として映り込むように、背景の前に位置する。Ｓ０１において、カメラ画像２０Ａのキャプチャを行う。すなわち、ユーザが操作部１０６を操作して、カメラ１１１（のイメージセンサ）をオンにする。すると、カメラ画像２０Ａのデータがカメラ１１１からカメラ入力部１０４に入力され、主記憶装置１０２のＲＡＭに展開される。また、カメラ画像２０Ａのデータに基づく映像が、映像制御部１０５によってディスプレイ１１２に表示される。

【0036】

プロセッサ１０１は、３Ａ処理、すなわち、ＡＥ、ＡＦ及びＡＷＢ処理を行う（Ｓ０２）。映像制御部１０５は、３Ａ処理が施されたカメラ画像２０Ａをディスプレイ１１２に表示する（Ｓ０３）。ユーザは、ディスプレイ１１２に表示されたカメラ画像２０Ａをプレビュー画面として視認できる。

【0037】

ユーザは、プレビュー画面を参照し、３Ａ処理によってユーザ自身の写り具合が最適ないし適正になっていると判断すると、操作部１０６、或いはリモコン１１４を操作して、ＡＥ値、ＡＦ値及びＡＷＢ値のロック（固定化）を行う。本動作例では、一例として、リモコン１１４を用いる場合について説明する。但し、リモコン１１４の使用はオプションであり、リモコン１１４を用いて行う操作及び表示は、操作部１０６及び表示部１０７を用いて行うことができる。

【0038】

図１０は、リモコン１１４の構成例を示す図である。図１０において、リモコン１１４は、ロックボタン４１と、露出の調整ボタン４２と、フォーカスの調整ボタン４３と、ホワイトバランスの調整ボタン４４とを有する。調製ボタン４２、４３、４４の夫々は値を増加させるプラスボタンと値を減少させるマイナスボタンとの組み合わせである。

【0039】

さらに、リモコン１１４は、タイマカウンタ値の表示部４６と、カウンタ値の設定ボタン４７とを含む。設定ボタン４７もプラスボタンとマイナスボタンの組み合わせである。リモコン１１４は、プロセッサと通信モジュールを内蔵しており、リモコン１１３の内蔵プロセッサは、通信モジュールを用いて上記した各ボタンの操作に応じたコマンド信号を情報処理装置１００へ送る。コマンド信号は情報処理装置１００の通信部１０９にて受信される。リモコン１１４と情報処理装置１００との通信方式には、無線や赤外線などの適宜の通信規格を適用できる。通信部１０９で受信されたコマンドは通信部１０９からプロセッサ１０１に渡され、プロセッサ１０１がコマンドに応じた処理を行う。

【0040】

図６に戻って、プロセッサ１０１は、ユーザがリモコン１１４のロックボタン４１を押下するのを待ち、押下を検知すると（Ｓ０４のＹｅｓ）、指定フレーム数の設定指示を通信部１０９からリモコン１１４に送る。リモコン１１４では、内蔵プロセッサが指定フレーム数の設定指示を受けて、表示部４６に、指定フレーム数をタイマ値として表示させるとともに、指定フレーム数のカウントダウンを行う。カウントダウンは、フレームレートに合わせてリモコン１１４が自律的に行ってもよく、プロセッサ１０１が１フレーム毎に発するデクリメント命令を情報処理装置１００から受けて行ってもよい。なお、カウンタ値は、設定ボタン４７を用いて増減できる。なお、カウンタ値は、表示部１０７にて表示されてもよく、設定ボタン４７の操作に応じて、表示部１０７に表示されるカウント値と、表示部４６に表示されるカウント値とが同期をとって変更されるようにしてもよい。ロックボタン４１の押下は、固定値の取得の指示（の入力）に相当する。

【0041】

指定フレーム数の間、すなわち、カウンタ値がカウントダウンによってカウンタ値が０になる（Ｓ０９のＹｅｓ）までの間、情報処理装置１００では、Ｓ０１からＳ０３の処理と同様の処理が繰り返される（Ｓ０６〜Ｓ０８）。Ｓ１１では、ＡＥ値、ＡＦ値及びＡＷＢ値の少なくとも一つの手動設定を行う状態となっているかをプロセッサ１０１が判定する。当該判定は、手動設定のオンオフを示すコンフィグ情報（記憶装置に予め記憶されている）の参照等によって行うことができる。

【0042】

手動設定を行わない状態（オフ）の場合、カウンタ値が０になった時点におけるＡＥ値、ＡＦ値及びＡＷＢ値を固定値としてプロセッサ１０１は取得し、記憶装置に記憶する。そして、処理をＳ１８に進める。このように、固定値の取得が指示されてから（ロックボタン４１が押下げされてから）、ＡＥ、ＡＦ、ＡＷＢの各処理が所定時間行われた時点（カウンタ値が０になった時点）の各値を固定値として取得する。これに対し、手動設定を行う状態（オン）の場合、処理がＳ１２に進む。手動設定はオプションである。

【0043】

Ｓ１２では、プロセッサ１０１が手動設定処理を開始する。Ｓ１３では、カメラ画像２０Ａのキャプチャが行われる。ユーザは、プレビュー画面を参照しながら、３Ａ−／＋ボ
タン（調整ボタン４２，４３，４４）かを操作して、ＡＥ値、ＡＦ値、ＡＷＢ値の少なくとも１つを増減することができる（Ｓ１４）。調整ボタン４２，４３，４４のいずれかが操作された場合、その押されたボタンに応じて、ＡＥ値、ＡＦ値、ＡＷＢ値のオフセット値をプロセッサ１０１は増減する（Ｓ１５）。Ｓ１６では、調整ボタン４２，４３，４４の操作に応じてＡＥ値、ＡＦ値、ＡＷＢ値が更新され、その結果がプレビュー画面のカメラ画像２０Ａに反映される（Ｓ１７）。

【0044】

Ｓ１８では、プロセッサ１０１が、リモコン１１４の学習ボタン４５が押されたか否かを判定する。学習ボタン４５が押されると、背景学習データの生成のコマンドがリモコン１１４から情報処理装置１００へ送信され、プロセッサ１０１にて取得される。この場合、この時点でのＡＥ値、ＡＦ値、ＡＷＢ値が固定値に設定され、記憶装置へ記憶されるともに、処理がＳ１９に進む。これに対し、Ｓ１８にて学習ボタンが押されたと判定されない場合には、カメラ画像２０Ａがユーザの最適と考える状態になるまで、Ｓ１３〜Ｓ１７の処理が繰り返される。

【0045】

ユーザは、プレビュー画面で表示されるカメラ画像２０Ａにおいて、前景（例えばユーザ自身）の写り具合が最適となったと判断する場合に、カメラ１１１の撮像視野から外れた位置（カメラ１１１によって撮像されない位置）へ移動し、学習ボタン４５を押す。すると、Ｓ１９にて、背景学習データの生成のコマンドを受け取ったプロセッサが、指定フレーム数をカウンタ値に設定する。指定フレーム数はリモコン１１４へ送られ、表示部４６に表示される。

【0046】

その後、ユーザ自身が視野から外れた背景画像に関して、Ｓ２０〜Ｓ２３の処理が実行される。背景画像の撮像に係る３Ａ値として、これまでの処理にて得られた固定値が使用される。但し、ユーザの操作によって、Ｓ２１において、固定値のうちのＡＥ値、ＡＦ値、及びＡＷＢの少なくとも１つを、手動（リモコン１１４の操作）で調整（プロセッサ１０１が固定値を更新）することができる。なお、Ｓ１９〜Ｓ２３の処理はオプションである。また、ユーザは３Ａ−／＋ボタンの操作をしないことで、固定値の更新を行わなくてもよい。

【0047】

Ｓ２３において、カウンタ値が０となると、背景学習データの取得に用いる３Ａ値が固定される。Ｓ２５では、プロセッサ１０１は、所定の学習フレーム数のカウンタ値に設定する。学習フレーム数はリモコン１１４へ送られ、表示部４６にて表示される。そして、学習フレーム数のカウントダウンが開始される。このカウントダウンにより計時される時間は、ユーザが被写体をカメラ１１１の撮影視野外に退避させるための時間として使用される。学習フレーム数（すなわち時間長）は、リモコン１１４の操作によって増減できる。学習フレーム数のカウントダウン（Ｓ３０）によってカウンタ値が０になるまでの間、プロセッサ１０１は、Ｓ２６においてカメラ１１１で撮像（キャプチャ）された背景画像に対する背景学習データの生成を行う（Ｓ２７）。ユーザは、背景画像をディスプレイ１１２に表示されるプレビュー画面で確認することができる。学習フレーム数のカウンタ値が０になると（Ｓ２９のＹｅｓ）、背景学習データの生成が終了し、背景学習データは記憶装置に記憶される。

【0048】

その後、Ｓ３２にて、差分キー合成処理が行われる。ユーザは、カメラ１１１の撮像視野に、ユーザ自身や他の人物が被写体として入ったり、被写体としての動植物や物を置いたりする。このときカメラ１１１で撮像される画像は、入力画像２０Ｃとしてプロセッサ１０１に供給される。プロセッサ１０１は、入力画像２０Ｃの撮像を、上述した固定値（又は固定値がＳ２１において手動で調整された３Ａ値）を用いて行う。プロセッサ１０１は、背景学習データを用いて、取得した入力画像２０Ｃから前景画像を抽出するとともに、キーマスク３０を生成し、記憶装置に記憶する処理を行う。

【0049】

一方、ユーザは、再生装置１１３を操作して、所定の背景画像２０Ｄの再生処理を行う。すると、背景画像２０Ｄのデータが映像入力部１０８に入力され、プロセッサ１０１に渡される。プロセッサ１０１は、映像制御部１０５に合成処理を行う指示を与える。すると、映像制御部１０５は、キーマスク３０を用いて、背景画像２０Ｄの前方に前景画像が表示された合成画像のデータを生成し、ディスプレイ１１２に合成画像を表示する。プロセッサ１０１は、ユーザから、終了を示すデータが入力されるまで、Ｓ３２の処理を繰り返す。なお、映像制御部１０５を設けず、映像制御部１０５が行う処理を、プロセッサ１０１が行う態様もある。

【0050】

＜実施形態の効果＞
実施形態に係る情報処理装置によれば、背景学習データの生成処理の前に、背景の前方に被写体が存する撮像画像についての露出、フォーカス、及びホワイトバランスについての適正化を行い、３Ａ値の固定値を取得（保持）する。その後、固定値、又は手動で固定値を調整した３Ａ値を用いて、背景学習データ２０Ｂの生成と、入力画像３０Ｃの取得と、差分画像（前景画像）の抽出を行う。これによって、以下のような利点が得られる。

【0051】

仮に、前景の被写体（人物、動植物、物）を有しない背景画像についての３Ａ値の固定値を得る場合を想定する。この場合、露出、フォーカス、ホワイトバランスの夫々において、前景のない状態で最適化された３Ａ値が固定値として保持される。このような固定値が、背景学習データ２０Ｂの生成や入力画像２０Ｃの取得に用いられると、以下のような問題が生じる。

【0052】

通常のＡＥ処理では、白い壁がグレーになるように露出が決定される。このため、例えば、背景が白い壁である場合に、白い壁に合わせたＡＥ値の固定、背景学習データ２０Ｂの生成、入力画像２０Ｃの取得を行うと、入力画像から抜き出される前景の被写体（人物１１）の写りが暗くなる問題が発生する。これに対し、実施形態では、前景の被写体の存在する状態で、３Ａ値を固定し、背景学習データ２０Ｂの生成、入力画像２０Ｃの取得に用いるので、上記問題は生じない。

【0053】

また、背景学習を先に行うことで、壁にピントを合わせた場合、壁と前景の被写体（抜き出し対象の人物１１）との距離が空いていると、ピントがボケてしまい、キー合成時のエッジが残るという問題が発生する。これに対し、実施形態では、前景の被写体にピントがあった状態でＡＦ値が固定されるので、上述した問題は生じない。

【0054】

さらに、背景学習を先に行うことで、壁の色を基準にホワイトバランスが決定された場合、壁の色がある色味に偏っていると、前景の人物の顔の色が補正され、顔色が悪くなるという問題が発生する。これに対し、実施形態では、前景の被写体の色味も考慮してホワイトバランスが決まるので、上述した問題は生じない。よって、実施形態によれば、不自然な感じの少ない（品質のよい）差分キー合成画像を得ることができる。実施形態にて示した構成は、目的を逸脱しない範囲で適宜組み合わせることができる。

【符号の説明】

【0055】

１００・・・情報処理装置
１０１・・・プロセッサ
１０２・・・主記憶装置
１０３・・・補助記憶装置
１１１・・・カメラ
１１４・・・リモコン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】