特許 7098601 画像処理装置、撮像装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-01

(45)【発行日】2022-07-11

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220704BHJP

   G06T 7/194 20170101ALI20220704BHJP

   G03B 15/00 20210101ALI20220704BHJP

【ＦＩ】

H04N5/232 290

G06T7/194

G03B15/00 Q

【請求項の数】 13

(21)【出願番号】P 2019509274

(86)(22)【出願日】2018-03-16

(86)【国際出願番号】 JP2018010396

(87)【国際公開番号】W WO2018180578

(87)【国際公開日】2018-10-04

【審査請求日】2021-02-02

(31)【優先権主張番号】P 2017069804

(32)【優先日】2017-03-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】中川 貴晶

(72)【発明者】

【氏名】石川 慶太

(72)【発明者】

【氏名】土井 宏真

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００４－３０４２６１（ＪＰ，Ａ）

【文献】特開２０１１－１７０８３８（ＪＰ，Ａ）

【文献】特開２０１３－０３８４６８（ＪＰ，Ａ）

【文献】特開２０１３－０４５３１６（ＪＰ，Ａ）

【文献】特開２０１３－０７７８７３（ＪＰ，Ａ）

【文献】特開２０１３－１６８０４８（ＪＰ，Ａ）

【文献】国際公開第２０１３／１７９５６０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０３Ｂ １５／００ －１５／０３５

Ｇ０３Ｂ １５／０６ －１５／１６

(57)【特許請求の範囲】

【請求項1】

任意の被写体を撮像して得られる画像から、前記画像が撮像された際に取得された前記被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択する除去領域選択部と、
前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定する補完領域特定部と、
前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する画像重畳処理部と
を備える画像処理装置。

【請求項2】

前記補完領域特定部により特定された前記補完領域を前記画像から切り出して前記補完画像を生成する補完画像生成部
をさらに備える請求項１に記載の画像処理装置。

【請求項3】

前記除去領域の周辺において前記除去対象物と略同一の距離にある物体が写されている領域に対する周波数解析を行う周波数解析部
をさらに備え、
前記補完画像生成部は、前記画像から切り出した前記補完画像に対し、前記周波数解析部による周波数解析結果に基づいたボケまたはノイズを付加する画像加工処理を施す
請求項２に記載の画像処理装置。

【請求項4】

前記画像に写されている前記被写体、および前記被写体の構図を認識する画像認識処理部をさらに備え、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて前記補完領域を特定する
請求項１に記載の画像処理装置。

【請求項5】

前記画像認識処理部は、前記距離情報に基づいて、前記画像において他の被写体よりも手前側にいる人物が大きく写される構図である場合には、その人物がメインの被写体であるという認識結果を取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、メインの被写体として認識された人物が写されている領域以外から前記補完領域を特定する
請求項４に記載の画像処理装置。

【請求項6】

前記画像認識処理部は、前記距離情報に基づいて、前記除去対象物の背後側の略同一の距離に他の物体があることを認識結果として取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、前記除去対象物と略同一の距離にある前記他の物体が写されている領域から前記補完領域を特定する
請求項４に記載の画像処理装置。

【請求項7】

前記画像認識処理部は、前記距離情報に基づいて、前記除去対象物が所定距離以上に離れた位置にあることを認識結果として取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、前記除去対象物よりも遠くの距離にある背景が写されている領域から前記補完領域を特定する
請求項４に記載の画像処理装置。

【請求項8】

前記画像認識処理部は、前記除去対象物の周辺に流れるようなブレが生じていることを認識結果として取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、前記除去対象物の周辺において流れるようなブレが生じている領域から前記補完領域を特定する
請求項４に記載の画像処理装置。

【請求項9】

前記画像認識処理部は、前記除去対象物の周囲を囲う色味を認識結果として取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、前記色味以外となっている領域を、前記補完領域を特定する領域から除外する
請求項４に記載の画像処理装置。

【請求項10】

前記画像を背景として、所望の画像を重畳させる際に、
前記除去領域選択部は、前記距離情報を参照して、前記除去領域として、前記所望の画像を重畳させることにより隠れる領域を選択し、
前記補完画像生成部は、前記所望の画像に対して、前記周波数解析部による周波数解析結果に基づいたボケまたはノイズを付加する画像加工処理を施し、
前記画像重畳処理部は、前記除去領域選択部により選択された前記領域に、前記補完画像生成部において画像加工処理が施された前記所望の画像を重畳する
請求項３に記載の画像処理装置。

【請求項11】

任意の被写体を撮像する撮像部と、
前記撮像部が撮像して得られる画像から、前記画像が撮像された際の前記被写体までの距離を表す距離情報を取得する距離情報取得部と、
前記距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択する除去領域選択部と、
前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定する補完領域特定部と、
前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する画像重畳処理部と
を備える撮像装置。

【請求項12】

任意の被写体を撮像して得られる画像から、前記画像が撮像された際に取得された前記被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択し、
前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定し、
前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する
ステップを含む画像処理方法。

【請求項13】

任意の被写体を撮像して得られる画像から、前記画像が撮像された際に取得された前記被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択し、
前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定し、
前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する
ステップを含む画像処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、撮像装置、画像処理方法、およびプログラムに関し、特に、より自然な見栄えとなるように画像を重畳することができるようにした画像処理装置、撮像装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

近年、現実空間を撮像した画像に、コンピュータグラフィックスにより生成された画像を重畳させるＡＲ（Augmented Reality：拡張現実）を用いた技術が開発されており、その技術を利用した様々なサービスが提供されている。

【0003】

例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられた撮像装置により撮像された現実空間の画像に、種々の情報や画像などを含むオブジェクトを重畳表示する技術が知られている。また、移動端末に備えられた撮像装置により取得された現実空間の画像から所定のマーカを検出し、そのマーカに対応付けられたオブジェクトを現実空間の画像に重畳して、移動端末に備えられたディスプレイに表示する技術が知られている。

【0004】

また、特許文献１には、オブジェクトを現実空間の画像に重畳する際の、オブジェクトの色調を考慮するための技術として、現実空間に配置されたマーカの色調に基づいてオブジェクトの色調を補正する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－１７４１１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上述したように、現実空間を撮像した画像に、コンピュータグラフィックにより生成された画像を重畳させる際に、自然な見栄えとなるように画像を重畳する画像処理を行うためには、非常に強力な処理能力が必要であった。そのため、例えば、処理能力が制限された移動端末などでは、自然な見栄えとなるように画像を重畳することは困難であった。

【0007】

本開示は、このような状況に鑑みてなされたものであり、より自然な見栄えとなるように画像を重畳することができるようにするものである。

【課題を解決するための手段】

【0008】

本開示の一側面の画像処理装置は、任意の被写体を撮像して得られる画像から、前記画像が撮像された際に取得された前記被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択する除去領域選択部と、前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定する補完領域特定部と、前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する画像重畳処理部とを備える。

【0009】

本開示の一側面の撮像装置は、任意の被写体を撮像する撮像部と、前記撮像部が撮像して得られる画像から、前記画像が撮像された際の前記被写体までの距離を表す距離情報を取得する距離情報取得部と、前記距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択する除去領域選択部と、前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定する補完領域特定部と、前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する画像重畳処理部とを備える。

【0010】

本開示の一側面の画像処理方法またはプログラムは、任意の被写体を撮像して得られる画像から、前記画像が撮像された際に取得された前記被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択し、前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定し、前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳するステップを含む。

【0011】

本開示の一側面においては、任意の被写体を撮像して得られる画像から、その画像が撮像された際に取得された被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域が除去領域として選択され、距離情報に基づいて、除去領域を補完するための補完領域が、画像において除去対象物の背景が写されている領域から特定され、画像において除去領域が削除された箇所に、補完領域から生成される補完画像が重畳される。

【発明の効果】

【0012】

本開示の一側面によれば、より自然な見栄えとなるように画像を重畳することができる。

【図面の簡単な説明】

【0013】

【図1】本技術を適用した情報処理端末の一実施の形態の構成例を示すブロック図である。

【図2】除去対象物の周辺に写されている背景で除去領域を補完する画像処理について説明する。

【図3】画像処理部による画像処理を説明するフローチャートである。

【図4】除去対象物と略同一の距離にある背景で除去領域を補完する画像処理の一例を説明する図である。

【図5】除去対象物よりも遠くの距離にある背景で除去領域を補完する画像処理の一例を説明する図である。

【図6】除去対象物に躍動感がある場合における画像処理の一例を説明する図である。

【図7】除去対象物が広範囲である場合における画像処理の一例を説明する図である。

【図8】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0015】

＜情報処理端末の構成例＞
図１は、本技術を適用した情報処理端末の一実施の形態の構成例を示すブロック図である。

【0016】

図１に示すように、情報処理端末１１は、操作部１２、撮像部１３、距離情報取得部１４、記憶部１５、表示部１６、および画像処理部１７を備えて構成される。例えば、情報処理端末１１は、いわゆるスマートフォンのように様々なアプリケーションをダウンロードして実行可能なデバイスであり、画像処理部１７による画像処理は、画像を撮像するアプリケーションの一機能として提供することができる。

【0017】

操作部１２は、例えば、表示部１６と一体に構成されるタッチパネルや、各種の物理的なボタンなどにより構成され、ユーザによる操作が行われると、その操作に応じた操作信号を画像処理部１７の操作内容取得部２１に供給する。

【0018】

撮像部１３は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成され、被写体を撮像した画像を取得して記憶部１５に記憶させる。また、撮像部１３によって撮像中の画像を、表示部１６にライブビュー表示させてもよい。

【0019】

距離情報取得部１４は、例えば、被写体に向かってパルス状に照射される赤外光の反射を検出するTOF（Time of Flight）センサにより構成され、被写体で反射された赤外光の検出タイミングに基づいて、画像に写されている被写体までの距離（奥行き）を表す距離情報を取得する。

【0020】

記憶部１５は、例えば、書き換え可能な不揮発性メモリにより構成され、撮像部１３により撮像された画像と、その画像が撮像されたときに距離情報取得部１４により取得された距離情報とを対応付けて記憶する。

【0021】

表示部１６は、液晶パネルや有機EL（Electro Luminescence）パネルなどの表示デバイスにより構成され、ユーザにより画像処理の対象として選択された画像や、その画像に対して画像処理部１７により画像処理が施された画像などを表示する。

【0022】

画像処理部１７は、操作内容取得部２１、データ取得部２２、除去領域選択部２３、除去処理部２４、画像認識処理部２５、補完領域特定部２６、周波数解析部２７、補完画像生成部２８、および画像重畳処理部２９を備えて構成される。

【0023】

操作内容取得部２１は、ユーザによる操作に応じて操作部１２から供給される操作信号に従って、ユーザが行った操作の内容を示す操作内容を取得して、データ取得部２２および除去領域選択部２３に対して、その操作内容に従った処理を行わせる。例えば、操作内容取得部２１は、画像処理を行う対象とする画像を選択する操作内容を取得すると、その操作内容に従って、データ取得部２２に画像および距離情報を取得させる。また、操作内容取得部２１は、処理対象の画像から除去される対象となる物体（以下適宜、除去対象物と称する）を指定する操作内容を取得すると、その操作内容に従って、除去領域選択部２３に除去対象物が写されている領域を選択させる。

【0024】

データ取得部２２は、ユーザにより選択された処理対象の画像と、その画像に対応付けられている距離情報とを記憶部１５から読み出して取得する。そして、データ取得部２２は、記憶部１５から読み出した画像および距離情報を、除去領域選択部２３、画像認識処理部２５、および補完領域特定部２６に供給する。

【0025】

除去領域選択部２３は、データ取得部２２から供給される処理対象の画像から、その画像に写されている被写体の距離情報を参照し、ユーザにより指定された除去対象物が写されている領域を除去領域として選択する。例えば、除去領域選択部２３は、画像に写されている被写体までの距離に基づいて、ユーザにより指定された箇所から所定の距離幅内（奥行き方向に向かう所定範囲内）に除去対象物が写されていると特定し、さらにその除去対象物のエッジ（急峻な色や輝度などの変化）を抽出することによって、除去領域を選択することができる。そして、除去領域選択部２３は、処理対象の画像を除去処理部２４に供給するとともに、除去領域として選択した範囲を除去処理部２４に通知する。また、除去領域選択部２３は、除去領域として選択した範囲を補完領域特定部２６にも通知する。

【0026】

除去処理部２４は、処理対処の画像から、除去領域選択部２３により除去領域として選択された範囲を削除する画像処理を行う。そして、除去処理部２４は、除去領域が削除された画像を、周波数解析部２７および画像重畳処理部２９に供給する。

【0027】

画像認識処理部２５は、データ取得部２２から供給される画像および距離情報に基づいて、その画像に写されている被写体や構図などを認識する画像認識処理を行う。例えば、画像認識処理部２５は、他の被写体よりも手前側にいる人物が大きく写される構図である場合には、その人物がメインの被写体であるという認識結果を取得することができる。そして、画像認識処理部２５は、処理対象の画像に対して画像認識処理を行った結果得られる認識結果を、補完領域特定部２６に供給する。

【0028】

補完領域特定部２６は、データ取得部２２から供給される処理対象の画像から、画像認識処理部２５による画像認識処理の認識結果、および、データ取得部２２から供給される距離情報に基づいて、除去領域選択部２３により選択された除去領域を補完するための補完領域を特定する。なお、補完領域特定部２６が補完領域を特定する処理については、後述の図２および図４乃至図７を参照して説明する。そして、補完領域特定部２６は、処理対象の画像から補完領域として特定した範囲を補完画像生成部２８に通知する。

【0029】

周波数解析部２７は、除去処理部２４により除去領域が削除された画像において、除去領域の周辺の領域に写されている物体であって、除去対象物と略同一の距離にある物体が写されている領域（以下適宜、周辺物体領域と称する）に対する周波数解析を行う。そして、周波数解析部２７は、例えば、周辺物体領域のカラー情報（Ｒ，Ｇ，Ｂデータ）に対して周波数解析を行った結果得られる周波数解析結果を補完画像生成部２８に供給する。

【0030】

補完画像生成部２８は、補完領域特定部２６により特定された補完領域を処理対象の画像から切り出して、周波数解析部２７による周辺物体領域に対する周波数解析結果に基づいたボケやノイズなどを付加するような加工を行う画像加工処理を施す。これにより、補完画像生成部２８は、除去領域の周辺と補完画像との違和感を低減させ、よりリアリティのある補完画像を生成することができる。

【0031】

画像重畳処理部２９は、除去処理部２４において処理対象の画像から除去領域が削除された箇所に、補完画像生成部２８において生成された補完画像を重畳する画像処理を行う。このとき、画像重畳処理部２９は、除去領域の周辺と補完画像との境界線をぼかすような画像処理や、除去領域の周辺の明るさに合わせて補完画像の明るさを調整する画像処理などを行うことができる。なお、画像重畳処理部２９は、あえて補完画像の輪郭を残すような画像処理を行って、その領域が補完されていることを認識させるようにしてもよい。これにより、画像重畳処理部２９は、ユーザにより指定された除去対象物が除去されて補完画像により補完された画像を、画像処理部１７による画像処理結果として取得して、記憶部１５に記憶させるとともに、表示部１６に表示させる。

【0032】

以上のように情報処理端末１１は構成されており、除去領域選択部２３により処理対象の画像から選択された除去領域が削除され、補完領域特定部２６により特定された補完領域を用いて補完画像生成部２８により生成される補完画像で補完する画像処理が行われる。これにより、情報処理端末１１は、ユーザにより指定された除去対象物が除去され、除去領域の周辺と補完画像との違和感の少ない自然な見栄えの画像を取得することができる。

【0033】

図２を参照して、画像処理部１７による画像処理の一例として、除去対象物の周辺に写されている背景で除去領域を補完する画像処理について説明する。

【0034】

例えば、図２の上から１段目に示すような画像が画像処理を行う対象として選択され、ユーザが、メインの被写体として写されている二人の人物の背後で、それらの二人の人物の間に写されている無関係な人物を、除去の対象として指定する操作を行ったとする。

【0035】

このような操作に応じて、操作内容取得部２１は、ユーザにより指定された箇所を除去領域選択部２３に通知し、除去対象領域を選択させる。従って、除去領域選択部２３は、処理対象の画像に対応付けられている距離情報を参照するとともに、処理対象の画像に写されている除去対象物のエッジを抽出することにより、除去対象領域を選択する。そして、除去処理部２４は、除去領域選択部２３により選択された除去領域を、処理対象の画像から削除する。なお、図２の上から２段目では、処理対象の画像から削除された除去領域が、格子状のハッチングで表されている。

【0036】

また、画像認識処理部２５は、処理対象の画像に対する画像認識処理を行い、画像の手前側にいる二人の人物がメインとして写された画像であることを認識結果として補完領域特定部２６に供給する。従って、補完領域特定部２６は、除去領域を補完する補完画像として、メインとなっている二人の人物が写されている領域以外を用いることを決定し、二人の人物が写されている領域を、補完領域を特定する領域から除外する。なお、図２の上から３段目では、補完領域の特定から除外された領域が、斜線のハッチングで表されている。

【0037】

そして、補完領域特定部２６は、処理対象の画像において除去対象物の周辺に写されている背景の領域であって、かつ、メインとなっている二人の人物が写されている領域以外から、補完画像の生成に用いる補完領域を特定する。例えば、図２に示す例では、除去対象物である人物の上半身により遠方の山が隠されているとともに、除去対象物である人物の下半身により足元の地面が隠されていることより、補完領域特定部２６は、上半身が山の色となり、かつ、下半身が地面の色となるような補完領域を特定する。なお、図２の上から３段目では、補完領域特定部２６により特定された補完領域が破線で囲われている。

【0038】

続いて、補完画像生成部２８は、補完領域特定部２６により特定された補完領域を処理対象の画像から切り出して、周辺物体領域に対する周波数解析結果に基づいたボケやノイズなどを付加するような加工を行う加工処理を施すことにより補完画像を生成する。さらに、画像重畳処理部２９は、除去処理部２４において処理対象の画像から除去領域が削除された箇所に、補完画像生成部２８において生成された補完画像を重畳する画像処理を行う。これにより、図２の上から４段目に示すように、ユーザにより指定された除去対象物が除去されて、その除去対象物の周辺に写されている背景で補完された画像が取得される。

【0039】

このように、画像処理部１７は、除去領域選択部２３が距離情報を参照することによって、除去領域を容易に特定することができる。例えば、情報処理端末１１が、タッチパネルにより除去領域を指定するようなスマートフォンであっても、除去領域選択部２３は、ユーザによりタッチされた箇所の距離情報を参照することによって高精度に除去領域を特定することができる。

【0040】

さらに、画像処理部１７は、メインの被写体から除去領域が補完されるような不自然な画像となることを回避して、より自然に除去対象物が除去されたような見栄えとなる画像処理を実行することができる。

【0041】

即ち、除去領域の周辺の画像を単に利用して、除去対象物が除去された画像を生成するような画像処理を行う場合には、除去領域の近傍にメインの被写体が写されているとき、メインの被写体が写されている領域から除去領域が補完されることがあった。この場合、除去対象物よりも手前にある被写体で補完されるため、例えば、その被写体の輪郭が二重になって現れるような不自然な画像となることが想定される。これに対し、画像処理部１７は、上述したように補完領域を特定することで、このような不自然な画像となることを回避することができる。

【0042】

以上のように、画像処理部１７は、除去対象物の周辺に写されている背景から補完領域を適切に特定することができ、より自然に除去対象物が除去された画像を取得することができる。

【0043】

また、画像処理部１７は、距離情報を参照して画像処理を行うことによって、例えば、画像認識のみに基づいて除去領域を特定するのと比較して、演算を軽量化することができる。これにより、例えば、情報処理端末１１が、CPU（Central Processing Unit）やGPC（Graphics Processing Cluster）などの処理能力が制限されるようなモバイル機器であったとしても、より自然な見栄えとなるような画像を取得する画像処理を実行ことができる。

【0044】

＜画像処理のフローチャート＞
図３は、画像処理部１７が実行する画像処理について説明するフローチャートである。

【0045】

例えば、ユーザが操作部１２を操作して、画像処理の対象とする画像を選択すると処理が開始され、ステップＳ１１において、操作内容取得部２１は、ユーザによる操作に応じた操作内容を取得して、処理対象として選択された画像をデータ取得部２２に通知する。これに応じて、データ取得部２２は、ユーザにより選択された処理対象の画像と、その画像に対応付けられている距離情報とを取得し、除去領域選択部２３、画像認識処理部２５、および補完領域特定部２６に供給する。このとき、ユーザにより選択された画像が、表示部１６に表示される。

【0046】

ステップＳ１２において、ユーザが、表示部１６に表示されている画像に対して、除去対象物を指定する操作を行うと、操作内容取得部２１は、ユーザによる操作に応じた操作内容を取得して除去領域選択部２３に供給する。これに応じて、除去領域選択部２３は、ステップＳ１１でデータ取得部２２から供給される処理対象の画像から、その画像に写されている被写体の距離情報を参照するとともに、処理対象の画像に写されている除去対象物のエッジを抽出することにより、ユーザにより指定された除去対象物が写されている領域を除去領域として選択する。そして、除去領域選択部２３は、処理対象の画像を除去処理部２４に供給するとともに、除去領域として選択した範囲を除去処理部２４および補完領域特定部２６に通知する。

【0047】

ステップＳ１３において、除去処理部２４は、ステップＳ１２で除去領域選択部２３から供給された処理対象の画像から除去領域を削除する画像処理を行う。そして、除去処理部２４は、除去領域が削除された画像を、周波数解析部２７および画像重畳処理部２９に供給する。

【0048】

ステップＳ１４において、画像認識処理部２５は、ステップＳ１１でデータ取得部２２から供給された画像および距離情報に基づいて、その画像に写されている被写体を認識する画像認識処理を行う。例えば、図２を参照して上述したように、画像認識処理部２５は、処理対象の画像においてメインとなる構図で写されている人物を認識し、その人物が写されている領域を、画像認識処理の認識結果として補完領域特定部２６に供給する。

【0049】

ステップＳ１５において、補完領域特定部２６は、ステップＳ１１でデータ取得部２２から供給された距離情報、および、ステップＳ１４における画像認識処理部２５による画像認識処理の認識結果に基づいて、除去領域選択部２３により選択された除去領域を補完するための補完領域を特定する。例えば、図２を参照して説明したように、補完領域特定部２６は、処理対象の画像において除去対象物の周辺に写されている背景の領域であって、かつ、メインとなっている人物が写されている領域以外から、補完画像の生成に用いる補完領域を特定する。

【0050】

ステップＳ１６において、周波数解析部２７は、ステップＳ１３で除去処理部２４から供給された除去領域が削除された画像における周辺物体領域に対する周波数解析を行って、周波数解析結果を補完画像生成部２８に供給する。

【0051】

ステップＳ１７において、補完画像生成部２８は、ステップＳ１５で補完領域特定部２６により特定された補完領域を処理対象の画像から切り出す。そして、補完画像生成部２８は、その切り出した画像に対して、周波数解析部２７による周波数解析結果に基づいてボケやノイズなどを付加するような加工を行う加工処理を施して、画像重畳処理部２９に供給する。

【0052】

ステップＳ１８において、画像重畳処理部２９は、ステップＳ１３で除去処理部２４において処理対象の画像から除去領域が削除された箇所に、ステップＳ１７で補完画像生成部２８において生成された補完画像を重畳する画像処理を行う。これにより、画像重畳処理部２９は、ユーザにより指定された除去対象物が除去されて補完画像により補完された画像を、画像処理部１７による画像処理結果として取得して、記憶部１５に記憶させるとともに、表示部１６に表示させた後、画像処理は終了される。

【0053】

以上のように、画像処理部１７は、除去対象物の周辺に写されている背景から除去領域を補完する補完画像を適切に生成することができ、より自然に除去対象物が除去されたような画像を取得する画像処理を実行することができる。

【0054】

＜各種の画像処理例＞
図４乃至図７を参照して、画像処理部１７により実行される各種の画像処理例について説明する。

【0055】

まず、図４を参照して、除去対象物と略同一の距離にある背景で除去領域を補完する画像処理について説明する。

【0056】

例えば、図４の上から１段目に示すような画像が画像処理を行う対象として選択され、ユーザが、画像に写されている複数の人物よりも奥側にある壁の付近に置かれている物体を、除去の対象として指定する操作を行ったとする。

【0057】

このような操作に応じて、操作内容取得部２１は、ユーザにより指定された箇所を除去領域選択部２３に通知し、除去対象領域を選択させる。従って、除去領域選択部２３は、処理対象の画像に対応付けられている距離情報を参照するとともに、処理対象の画像に写されている除去対象物のエッジを抽出することにより、除去対象領域を選択する。そして、除去処理部２４は、除去領域選択部２３により選択された除去領域を、処理対象の画像から削除する。なお、図４の上から２段目では、処理対象の画像から削除された除去領域が、格子状のハッチングで表されている。

【0058】

また、画像認識処理部２５は、処理対象の画像に対する画像認識処理を行い、除去対象物が壁の付近に置かれていること、即ち、除去対象物の背後側の略同一の距離に壁があることを認識結果として補完領域特定部２６に供給する。従って、補完領域特定部２６は、除去領域を補完する補完画像として壁が写されている領域を用いることを決定し、その壁以外の領域を、補完領域を特定する領域から除外する。なお、図４の上から３段目では、補完領域の特定から除外された領域が、斜線のハッチングで表されている。

【0059】

そして、補完領域特定部２６は、処理対象の画像において除去対象物の周辺に写されている背景の領域であって、かつ、除去対象物と略同一の距離にある壁が写されている領域から、補完画像の生成に用いる補完領域を特定する。例えば、図４に示す例では、補完領域特定部２６は、除去対象物に隣接する壁が写されている領域を、補完領域として特定する。なお、図４の上から３段目では、補完領域特定部２６により特定された補完領域が破線で囲われている。

【0060】

続いて、補完画像生成部２８は、補完領域特定部２６により特定された補完領域を処理対象の画像から切り出して、周辺物体領域に対する周波数解析結果に基づいたボケやノイズなどを付加するような加工を行う加工処理を施すことにより補完画像を生成する。さらに、画像重畳処理部２９が、除去処理部２４において処理対象の画像から除去領域が削除された箇所に、補完画像生成部２８において生成された補完画像を重畳する画像処理を行う。これにより、図４の上から４段目に示すように、ユーザにより指定された除去対象物が除去されて、その除去対象物と略同一の距離にある壁で補完された画像が取得される。

【0061】

以上のように、画像処理部１７は、除去対象物と略同一の距離にある背景で除去領域を補完することができ、より自然な見栄えとなるように補完画像が重畳された画像を取得することができる。

【0062】

次に、図５を参照して、除去対象物よりも遠くの距離にある背景で除去領域を補完する画像処理について説明する。

【0063】

例えば、図５の上から１段目に示すような画像が画像処理を行う対象として選択され、ユーザが、画像に写されている複数の人物よりも遠くに座っている人物を、除去の対象として指定する操作を行ったとする。

【0064】

このような操作に応じて、操作内容取得部２１は、ユーザにより指定された箇所を除去領域選択部２３に通知し、除去対象領域を選択させる。従って、除去領域選択部２３は、処理対象の画像に対応付けられている距離情報を参照するとともに、処理対象の画像に写されている除去対象物のエッジを抽出することにより、除去対象領域を選択する。そして、除去処理部２４は、除去領域選択部２３により選択された除去領域を、処理対象の画像から削除する。なお、図５の上から２段目では、処理対象の画像から削除された除去領域が、格子状のハッチングで表されている。

【0065】

また、画像認識処理部２５は、処理対象の画像に対する画像認識処理を行い、除去対象物がメインとなる被写体よりも所定距離以上に離れた位置にあり、ほぼ風景とみなしてもよい程度の遠くにあることを認識結果として補完領域特定部２６に供給する。従って、補完領域特定部２６は、除去領域を補完する補完画像として除去対象物よりも遠くの距離にある背景が写されている領域を用いることを決定し、その背景以外の領域を、補完領域を特定する領域から除外する。このとき、補完領域特定部２６は、除去対象物と同程度の距離に置かれている他の物体（図５の例では、自転車）が写されている領域も、補完領域を特定する領域から除外する。なお、図５の上から３段目では、補完領域の特定から除外された領域が、斜線のハッチングで表されている。

【0066】

そして、補完領域特定部２６は、処理対象の画像において除去対象物の周辺に写されている背景の領域であって、かつ、処理対象の画像において除去対象物よりも遠くの距離にある背景が写されている領域から、補完画像の生成に用いる補完領域を特定する。例えば、図５に示す例では、補完領域特定部２６は、除去対象物の近傍であって、除去対象物と同程度の距離に置かれている自転車を除いた領域を、補完領域として特定する。なお、図５の上から３段目では、補完領域特定部２６により特定された補完領域が破線で囲われている。

【0067】

そして、補完画像生成部２８は、補完領域特定部２６により特定された補完領域を処理対象の画像から切り出して、周辺物体領域に対する周波数解析結果に基づいたボケやノイズなどを付加するような加工を行う加工処理を施すことにより補完画像を生成する。さらに、画像重畳処理部２９が、除去処理部２４において処理対象の画像から除去領域が削除された箇所に、補完画像生成部２８において生成された補完画像を重畳する画像処理を行う。これにより、図５の上から４段目に示すように、ユーザにより指定された除去対象物が除去されて、その除去対象物よりも遠くの距離にある背景で補完された画像が取得される。

【0068】

以上のように、画像処理部１７は、除去対象物よりも遠くの距離にある背景で除去領域を補完することができ、より自然な見栄えとなるように補完画像が重畳された画像を取得することができる。

【0069】

次に、図６を参照して、除去対象物に躍動感がある場合における画像処理について説明する。

【0070】

例えば、図６の上から１段目に示すような画像が画像処理を行う対象としてユーザにより選択されたとする。ここで、処理対象の画像は、走っている人物をメインの被写体として、その被写体の動きに合わせて、いわゆる流し撮りを行うことにより撮像されたものであり、被写体の背景に写り込んでいる人物に対して、水平方向へ流れるようなブレが生じている。ところで、このような流し撮りで撮像した画像において、背景に写り込んでいる人物の顔を認識することができる場合があり、ユーザは、背景に写り込んでいる人物の顔を除去の対象として指定する操作を行う。

【0071】

このような操作に応じて、操作内容取得部２１は、ユーザにより指定された箇所を除去領域選択部２３に通知し、除去対象領域を選択させる。従って、除去領域選択部２３は、処理対象の画像に対応付けられている距離情報を参照するとともに、処理対象の画像に写されている除去対象物に対する顔認識を行うことにより、除去対象領域を選択する。そして、除去処理部２４は、除去領域選択部２３により選択された除去領域を、処理対象の画像から削除する。なお、図６の上から２段目では、処理対象の画像から削除された除去領域が、格子状のハッチングで表されている。

【0072】

また、画像認識処理部２５は、処理対象の画像に対する画像認識処理を行い、除去対象物の周辺に流れるようなブレが生じていることを認識結果として補完領域特定部２６に供給する。従って、補完領域特定部２６は、除去領域を補完する補完画像として、除去対象物の周辺において流れるようなブレが生じている領域から、補完画像の生成に用いる補完領域を特定する。例えば、図６に示す例では、除去対象領域として選択された顔の人物の胴体部分の領域が、補完領域として特定されている。なお、図６の上から３段目では、補完領域特定部２６により特定された補完領域が破線で囲われている。

【0073】

続いて、補完画像生成部２８は、補完領域特定部２６により特定された補完領域を処理対象の画像から切り出して、周辺物体領域に対する周波数解析結果に基づいたボケやノイズなどを付加するような加工を行う加工処理を施すことにより補完画像を生成する。さらに、画像重畳処理部２９は、除去処理部２４において処理対象の画像から除去領域が削除された箇所に、補完画像生成部２８において生成された補完画像を重畳する画像処理を行う。これにより、図６の上から４段目に示すように、ユーザにより指定された除去対象物が除去されて、その除去対象物の周辺と同様に流れるようなブレがあり、躍動感があるように補完された画像が取得される。

【0074】

以上のように、画像処理部１７は、除去対象物の周辺と同様に流れるようなブレが生じる除去領域を補完することができ、より自然な見栄えとなるように補完画像が重畳された画像を取得することができる。

【0075】

例えば、単に、除去領域の周辺の色で補完を行った場合には、その補完を行った領域だけ静止しているような躍動感のない画像が取得されることになり、除去対象物の周辺の流れるようなブレに対して違和感がある画像となってしまう。これに対し、画像処理部１７は、除去領域が静止しているような画像となることを回避して、除去領域においても周辺と同様に躍動感があり、このような違和感のない画像を取得することができる。

【0076】

次に、図７を参照して、除去対象物が広範囲である場合における画像処理について説明する。

【0077】

例えば、図７の上から１段目に示すような画像が画像処理を行う対象として選択され、ユーザが、画像において手前側に写されている屋根を、除去の対象として指定する操作を行ったとする。

【0078】

このような操作に応じて、操作内容取得部２１は、ユーザにより指定された箇所を除去領域選択部２３に通知し、除去対象領域を選択させる。従って、除去領域選択部２３は、処理対象の画像に対応付けられている距離情報を参照するとともに、処理対象の画像に写されている除去対象物のエッジを抽出することにより、除去対象領域を選択する。そして、除去処理部２４は、除去領域選択部２３により選択された除去領域を、処理対象の画像から削除する。なお、図７の上から２段目では、処理対象の画像から削除された除去領域が、格子状のハッチングで表されている。

【0079】

また、画像認識処理部２５は、処理対象の画像に対する画像認識処理を行い、除去対象物の周囲を囲う色味を確認して認識結果として取得し、除去対象物により隠されている背景が広範囲な海であることを画像認識処理の認識結果として補完領域特定部２６に供給する。従って、補完領域特定部２６は、除去領域を補完する補完画像として海が写されている領域を用いるものとして、その海以外の領域を、補完領域を特定する領域から除外する。なお、図７の上から３段目では、補完領域の特定から除外された領域（例えば、海を囲う岩場や空など）が、斜線のハッチングで表されている。

【0080】

そして、補完領域特定部２６は、処理対象の画像において除去対象物の周辺を囲うように写されている背景の領域から、補完画像の生成に用いる補完領域を特定する。例えば、図７に示す例では、除去対象物の周辺を囲っている海が写されている全ての領域が、補完領域として特定される。

【0081】

続いて、補完画像生成部２８は、補完領域特定部２６により特定された補完領域を処理対象の画像から切り出して、周辺物体領域に対する周波数解析結果に基づいたボケやノイズなどを付加するような加工を行う加工処理を施すことにより補完画像を生成する。さらに、画像重畳処理部２９は、除去処理部２４において処理対象の画像から除去領域が削除された箇所に、補完画像生成部２８において生成された補完画像を重畳する画像処理を行う。これにより、図７の上から４段目に示すように、ユーザにより指定された除去対象物が除去されて、その除去対象物の周辺を囲うように写されている海（その海の色味）を用いて、海以外の岩場や空などが用いられることなく補完された画像が取得される。

【0082】

以上のように、画像処理部１７は、除去対象物が広範囲であっても、除去対象物を囲うように写されている背景で除去領域を補完することができ、より自然な見栄えとなるように補完画像が重畳された画像を取得することができる。

【0083】

上述の図２および図４乃至図７を参照して説明したように、画像処理部１７は、ユーザにより指定された除去対象物を自然に除去するような各種の画像処理を行うことができる。なお、画像処理部１７により実行される画像処理は、上述したような画像処理例に限定されることはない。

【0084】

例えば、画像処理部１７は、記憶部１５に記録されている撮像済みの画像の他、情報処理端末１１による撮像を行う際に、その撮像により得られる結果の画像に対する効果として、除去対象物を自然に除去するような画像処理を行うことができる。また、画像処理部１７は、静止画像だけではなく、動画像に対しても同様の画像処理を行うことができ、例えば、認識された除去対象物を追従して除去することができる。この場合、表示部１６には、画像処理部１７により画像処理が施された画像がリアルタイムに表示される。

【0085】

また、距離情報取得部１４としては、上述したようなTOFセンサの採用に限定されることなく、距離情報を取得することが可能な様々な技術を採用することができる。例えば、撮像部１３のセンサ面に配置される画素の一部に、距離情報を取得する画素が埋め込まれるように、撮像部１３および距離情報取得部１４が一体となる構成を採用してもよい。

【0086】

なお、画像処理部１７は、撮像部１３に光を集光するレンズの収差に基づいて、画像に重畳される補完画像に、あえてレンズ収差に起因する歪を生じさせるような補正を行ってもよい。例えば、被写体までの距離に応じてレンズによる空間の歪み方が変化するため、画像処理部１７は、除去対象物の距離情報に従って補完画像に歪を生じさせることによって、よりリアリティのある画像を取得することができる。

【0087】

さらに、画像処理部１７は、画像全体の距離情報の変化に基づいて情報処理端末１１の移動速度を求めることができ、補完画像生成部２８は、移動速度を補正して補完画像を生成することができる。例えば、情報処理端末１１の移動速度が一定であっても、遠くにある物体は、近くにある物体と比較して画像上の移動量が小さくなる。具体的には、電車に乗っているユーザが車外を撮像する場合、遠くの山は画像上で移動量が小さいのに対し、電車の近くにある架線柱などは画像上に一瞬しか写らない。このように、被写体までの距離に応じた移動速度で、画像に重畳される補完画像を補正することで、より自然な画像を取得することができる。

【0088】

また、画像処理部１７は、除去対象物に対するライティングを、除去対象物の距離情報と、除去対象物の周辺の画像のカラー情報（Ｒ，Ｇ，Ｂデータ）とに基づいて推定することができ、補完画像生成部２８は、ライティングを補正して補完画像を生成することができる。従って、画像処理部１７は、除去対象物が除去されて補完画像により補完された画像のリアリティを向上させることができる。

【0089】

ところで、ここで説明したような補完画像により補完された画像のリアリティを向上させる技術は、処理対象の画像から切り出された補完画像に対して適用されるのに限られることはない。即ち、画像処理部１７による画像処理は、その他の様々な画像に対して適用することができ、例えば、ＡＲ技術において、現実空間を撮像した画像に対して重畳される、コンピュータグラフィックスにより生成された任意のＣＧ（Computer Graphics）画像に対して適用することができる。

【0090】

このとき、補完画像生成部２８は、図示しないＣＧ画像生成部から供給されるＣＧ画像に対し、そのＣＧ画像を重畳させる領域の周辺物体領域に対して周波数解析部２７により行われる周波数解析結果に基づいたボケやノイズなどを付加するような加工を行う画像加工処理を施すことができる。その他、補完画像生成部２８は、上述したようなレンズ収差に起因する歪を生じさせたり、移動速度に基づいて補正したり、ライティングを補正するような画像加工処理を行うことで、現実空間を撮像した画像に対してＣＧ画像を重畳した際のリアリティを向上させることができる。または、補完画像生成部２８は、現実空間を撮像した画像の解像度に合わせて、ＣＧ画像の解像度を調整する画像加工処理を行ってもよい。

【0091】

このような各種の画像加工処理を行うことによって、現実空間を撮像した画像にＣＧ画像を重畳した際に、例えば、ＣＧ画像だけが周辺から浮き上がって見えるようなことを回避して、ＣＧ画像を、その周辺領域に同化させることができる。これにより、現実空間を撮像した画像にＣＧ画像が馴染んで、より自然な見栄えとすることができる。

【0092】

なお、画像処理部１７による画像処理をＡＲ技術に適用する場合、除去領域選択部２３は、処理対象の画像に写されている被写体の距離情報を参照し、その画像に対する画像認識処理部２５による画像認識処理に基づいて、例えば、被写体の構図に応じてＣＧ画像を重畳させる領域を特定することができる。そして、除去領域選択部２３は、その特定した領域を、ＣＧ画像を重畳させることにより隠れる除去領域（特に除去対象物が写されてはいない領域）として選択することができる。従って、この場合、画像重畳処理部２９は、除去領域選択部２３により特定された領域に、補完画像生成部２８において画像加工処理が施されたＣＧ画像を重畳する画像処理を行うことができる。

【0093】

さらに、このような画像処理によって重畳させる画像はＣＧ画像に限定されることはなく、所望の画像を重畳させることができる。例えば、所望の被写体を撮像した任意の動画像から、その被写体が映されている領域を切り出して得られる所望の画像を、上述の現実空間を撮像した画像を背景として、重畳させてもよい。その際、所望の画像に対して上述したような画像加工処理を行うことで、違和感の生じないように合成させることができる。

【0094】

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

【0095】

また、上述した一連の処理（画像処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

【0096】

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0097】

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

【0098】

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

【0099】

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

【0100】

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

【0101】

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

【0102】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
任意の被写体を撮像して得られる画像から、前記画像が撮像された際に取得された前記被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択する除去領域選択部と、
前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定する補完領域特定部と、
前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する画像重畳処理部と
を備える画像処理装置。
（２）
前記補完領域特定部により特定された前記補完領域を前記画像から切り出して前記補完画像を生成する補完画像生成部
をさらに備える上記（１）に記載の画像処理装置。
（３）
前記除去領域の周辺において前記除去対象物と略同一の距離にある物体が写されている領域に対する周波数解析を行う周波数解析部
をさらに備え、
前記補完画像生成部は、前記画像から切り出した前記補完画像に対し、前記周波数解析部による周波数解析結果に基づいたボケまたはノイズを付加する画像加工処理を施す
上記（１）または（２）に記載の画像処理装置。
（４）
前記画像に写されている前記被写体、および前記被写体の構図を認識する画像認識処理部をさらに備え、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて前記補完領域を特定する
上記（１）から（３）までのいずれかに記載の画像処理装置。
（５）
前記画像認識処理部は、前記距離情報に基づいて、前記画像において他の被写体よりも手前側にいる人物が大きく写される構図である場合には、その人物がメインの被写体であるという認識結果を取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、メインの被写体として認識された人物が写されている領域以外から前記補完領域を特定する
上記（４）に記載の画像処理装置。
（６）
前記画像認識処理部は、前記距離情報に基づいて、前記除去対象物の背後側の略同一の距離に他の物体があることを認識結果として取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、前記除去対象物と略同一の距離にある前記他の物体が写されている領域から前記補完領域を特定する
上記（４）に記載の画像処理装置。
（７）
前記画像認識処理部は、前記距離情報に基づいて、前記除去対象物が所定距離以上に離れた位置にあることを認識結果として取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、前記除去対象物よりも遠くの距離にある背景が写されている領域から前記補完領域を特定する
上記（４）に記載の画像処理装置。
（８）
前記画像認識処理部は、前記除去対象物の周辺に流れるようなブレが生じていることを認識結果として取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、前記除去対象物の周辺において流れるようなブレが生じている領域から前記補完領域を特定する
上記（４）に記載の画像処理装置。
（９）
前記画像認識処理部は、前記除去対象物の周囲を囲う色味を認識結果として取得し、
前記補完領域特定部は、前記画像認識処理部が取得した認識結果に基づいて、前記色味以外となっている領域を、前記補完領域を特定する領域から除外する
上記（４）に記載の画像処理装置。
（１０）
前記画像を背景として、所望の画像を重畳させる際に、
前記除去領域選択部は、前記距離情報を参照して、前記除去領域として、前記所望の画像を重畳させることにより隠れる領域を選択し、
前記補完画像生成部は、前記所望の画像に対して、前記周波数解析部による周波数解析結果に基づいたボケまたはノイズを付加する画像加工処理を施し、
前記画像重畳処理部は、前記除去領域選択部により選択された前記領域に、前記補完画像生成部において画像加工処理が施された前記所望の画像を重畳する
上記（３）または（４）に記載の画像処理装置。
（１１）
任意の被写体を撮像する撮像部と、
前記画像が撮像された際の前記被写体までの距離を表す距離情報を取得する距離情報取得部と、
前記距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択する除去領域選択部と、
前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定する補完領域特定部と、
前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する画像重畳処理部と
を備える撮像装置。
（１２）
任意の被写体を撮像して得られる画像から、前記画像が撮像された際に取得された前記被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択し、
前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定し、
前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する
ステップを含む画像処理方法。
（１３）
任意の被写体を撮像して得られる画像から、前記画像が撮像された際に取得された前記被写体までの距離を表す距離情報を参照して、所望の除去対象物が写されている領域を除去領域として選択し、
前記距離情報に基づいて、前記除去領域を補完するための補完領域を、前記画像において前記除去対象物の背景が写されている領域から特定し、
前記画像において前記除去領域が削除された箇所に、前記補完領域から生成される補完画像を重畳する
ステップを含む画像処理をコンピュータに実行させるプログラム。

【0103】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【符号の説明】

【0104】

１１ 情報処理端末， １２ 操作部， １３ 撮像部， １４ 距離情報取得部， １５ 記憶部， １６ 表示部， １７ 画像処理部， ２１ 操作内容取得部， ２２ データ取得部， ２３ 除去領域選択部， ２４ 除去処理部， ２５ 画像認識処理部， ２６ 補完領域特定部， ２７ 周波数解析部， ２８ 補完画像生成部， ２９ 画像重畳処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】