特許 6441552 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6441552

(24)【登録日】2018年11月30日

(45)【発行日】2018年12月19日

(54)【発明の名称】画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20181210BHJP

   H04N 5/232 20060101ALI20181210BHJP

【ＦＩ】

   G06T5/00 710

   H04N5/232 290

【請求項の数】5

【全頁数】30

(21)【出願番号】特願2012-253181(P2012-253181)

(22)【出願日】2012年11月19日

(65)【公開番号】特開2014-102614(P2014-102614A)

(43)【公開日】2014年6月5日

【審査請求日】2015年10月1日

【審判番号】不服2017-9144(P2017-9144/J1)

【審判請求日】2017年6月22日

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100160783

【弁理士】

【氏名又は名称】堅田 裕之

(72)【発明者】

【氏名】村山 大輔

(72)【発明者】

【氏名】徳井 圭

【合議体】

【審判長】 鳥居 稔

【審判官】 小池 正彦

【審判官】 樫本 剛

(56)【参考文献】

【文献】 特開２００４−２０７９８５（ＪＰ，Ａ）

【文献】 特開２００７−１２４２８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06T 1/00- 5/50

HO4N 5/222- 5/257

(57)【特許請求の範囲】

【請求項1】

被写体を撮像する際に用いられている撮像装置の設定を表す設定情報と、撮像した画像に対応した奥行き情報とを参照して、分割された前記画像の単位領域毎に、画像処理強度を決定する画像処理強度決定部と、
前記画像処理強度に従い、前記画像の遠景を鮮明にするように前記画像の画像データに対する画像処理を行う画像処理部と、を備え、
前記画像は、連続する複数のフレームで構成される動画像の各フレームを構成し、
前記設定情報は所定のフレーム数毎に値があることを特徴とする画像処理装置。

【請求項2】

前記被写体を撮像する撮像部と、
請求項１に記載の画像処理装置と
を具備し、
前記画像は、前記撮像部が撮像した画像であり、
前記設定情報は、前記画像を前記撮像部が撮像した際の前記撮像部の設定を表す設定情報であること
を特徴とする撮像装置。

【請求項3】

請求項１に記載の画像処理装置と、
前記画像処理装置により画像処理された画像を表示する画像表示部と
を備えることを特徴とする表示装置。

【請求項4】

被写体を撮像する際に用いられている撮像装置の設定を表す設定情報と、撮像した画像に対応した奥行き情報とを参照して、分割された前記画像の単位領域毎に、画像処理強度を決定する第１の過程と、
前記画像処理強度に従い、前記画像の遠景を鮮明にするように前記画像の画像データに対する画像処理を行う第２の過程と、を有し、
前記画像は、連続する複数のフレームで構成される動画像の各フレームを構成し、
前記設定情報は所定のフレーム数毎に値があることを特徴とする画像処理方法。

【請求項5】

コンピュータを、
被写体を撮像する際に用いられている撮像装置の設定を表す設定情報と、撮像した画像に対応した奥行き情報とを参照して、分割された前記画像の単位領域毎に、画像処理強度を決定する画像処理強度決定部、
前記画像処理強度に従い、前記画像の遠景を鮮明にするように前記画像の画像データに対する画像処理を行う画像処理部
として機能させるための画像処理プログラムであって、
前記画像は、連続する複数のフレームで構成される動画像の各フレームを構成し、
前記設定情報は所定のフレーム数毎に値があることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

静止画又は動画を、ディジタルカメラやディジタルビデオカメラなどの撮像装置で撮像したりディスプレイに表示したりする際に、それら画像の先鋭感や鮮明感を高めるための、様々な画像処理技術が開発されている。該画像処理技術として、例えば、先鋭感を増加させる輪郭強調処理や、鮮明感を増加させる彩度強調処理などが挙げられる。さらに、奥行き感を調整する画像処理として奥行き情報を使用した画像処理技術が有る。例えば、特許文献１では、撮像装置と被写体の３次元的な位置関係を示す奥行きデータ（情報）と、奥行き感の調整度合いを表す奥行き程度とに基づき、奥行き感補正のゲインを制御することで自由に画像の奥行き感を調整できる画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−３３８９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の画像処理装置においては、入力画像を撮像した撮像装置の設定、例えば、焦点距離、絞りなどが変更される場合を考慮しておらず、そのような場合に処理結果画像の奥行き感が不十分となる問題がある。例えば、焦点距離を変更してズームアップした場合、被写体と撮像装置の実際の位置関係が大きく変化していなくても、画角が狭くなり被写体が拡大され、被写体に近づいたような画像となる。また、被写界深度が浅くなり、被写界深度外の位置に存在する被写体のぼけ量が大きい画像となる。つまり、焦点距離の変化に応じて入力画像の被写体や構図が変化することで、奥行き感も変化するものの、特許文献１に記載の画像処理装置はこれを考慮していないため、処理結果画像の奥行き感が不十分となってしまう。

【0005】

本発明は、このような事情に鑑みてなされたものであって、撮像装置の設定が変更された場合にも、ユーザが奥行きを感じられる画像を生成することが可能な画像処理装置、撮像装置、表示装置、画像処理方法および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）本発明は上述した課題を解決するためになされたもので、本発明の一態様は、画像を撮像した際の撮像装置の設定情報と、前記画像に対応した奥行き情報とを参照して、前記画像を分割した領域毎に、画像処理強度を決定する画像処理強度決定部と、前記画像処理強度に従い、前記画像の画像データに対する画像処理を行う画像処理部とを備えることを特徴とする画像処理装置である。

【0007】

（２）また、本発明の他の態様は、被写体を撮像する撮像部と、上述の画像処理装置とを具備し、前記画像は、前記撮像部が撮像した画像であり、前記設定情報は、前記画像を前記撮像部が撮像した際の設定情報であることを特徴とする撮像装置である。

【0008】

（３）また、本発明の他の態様は、上述の画像処理装置と、前記画像処理装置により画像処理された画像を表示する画像表示部とを備えることを特徴とする表示装置である。

【0009】

（４）また、本発明の他の態様は、画像を撮像した際の撮像装置の設定情報と、前記画像に対応した奥行き情報とを参照して、前記画像を分割した領域毎に、画像処理強度を決定する第１の過程と、前記画像処理強度に従い、前記画像の画像データに対する画像処理を行う第２の過程とを有することを特徴とする画像処理方法である。

【0010】

（５）また、本発明の他の態様は、コンピュータを、画像を撮像した際の撮像装置の設定情報と、前記画像に対応した奥行き情報とを参照して、前記画像を分割した領域毎に、画像処理強度を決定する画像処理強度決定部、前記画像処理強度に従い、前記画像の画像データに対する画像処理を行う画像処理部として機能させるための画像処理プログラムである。

【発明の効果】

【0011】

本発明によれば、入力画像を撮像した撮像装置の設定が変化しても、ユーザが奥行きを感じられる画像を生成することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態における画像処理装置１００の概略ブロック図である。

【図2】同実施形態における焦点距離と強度補正値との対応関係を示すグラフの一例である。

【図3】同実施形態における焦点距離と強度補正値との対応関係を示すグラフの他の例である。

【図4】同実施形態の第１の変形例におけるＦ値と強度補正値との対応関係を示すグラフである。

【図5】同実施形態における奥行き情報値と強度ベース値との対応関係の一例を示す図である。

【図6】同実施形態における強度補正値と、奥行き情報値が最大のときの画像処理強度との対応関係の一例を示す図である。

【図7】同実施形態における奥行き情報値と画像処理強度Ｓとの対応関係の一例を示す図である。

【図8】同実施形態における画像データＧｉが表す入力画像の例を示す図である。

【図9】図８の画像データＧｉに対応した奥行き情報Ｄの例を示す図である。

【図10】同実施形態における画像処理装置１００の処理の一例を示すフローチャートである。

【図11】本発明の第２の実施形態における画像処理装置１００ａの構成を示す概略ブロック図である。

【図12】同実施形態における奥行き情報解析部１０５の概略ブロック図である。

【図13】同実施形態における奥行き情報値の頻度分布の一例を示した図である。

【図14】同実施形態における奥行き情報値と強度ベース値との対応関係の一例を示す図である。

【図15】同実施形態における奥行き情報値と強度ベース値との対応関係の他の一例を示す図である。

【図16】同実施形態における奥行き情報値と強度ベース値との対応関係の他の一例を示す図である。

【図17】本発明の第４の実施形態における撮像装置２００の概略ブロック図である。

【図18】距離Ｚと視差ｄとの関係を示した図である。

【図19】本発明の第５の実施形態における表示装置３００の概略ブロック図である。

【発明を実施するための形態】

【0013】

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照して詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際とは異なる場合がある。図１は、第１の実施形態における画像処理装置１００の概略ブロック図である。画像処理装置１００には、入力画像の画像データＧｉと、入力画像に対応した奥行き情報Ｄと、入力画像を撮像した際の撮像装置の撮像装置設定情報Ｐとが入力される。画像処理装置１００は、奥行き情報Ｄと撮像装置設定情報Ｐとに基づき、画像データＧｉに対して画像処理を行い、処理結果を出力画像データＧｏとして出力する。

【0014】

ここで、画像データＧｉおよび出力画像データＧｏは、画像を構成する画素各々の階調値などの値からなるデータである。また、奥行き情報Ｄは、画像データＧｉが表す入力画像の各画素に対応する奥行き情報値からなる情報である。奥行き情報値は、入力画像を撮像した撮像装置から、入力画像における、該奥行き情報値に対応する画素が表す被写体までの距離を表す値である。すなわち、ある画素の奥行き情報値が大きくなるほど、撮像装置から該画素が表す被写体までの距離が大きくなる。例えば、各奥行き情報値を８ビットで表す奥行き情報の場合は、奥行き情報値０が最も近景の被写体であり、奥行き情報値２５５が最も遠景の被写体である。

【0015】

また、撮像装置設定情報Ｐは、画像データＧｉが表す入力画像を撮像した際の撮像装置の設定を表す情報であり、本実施形態では、入力画像を撮像した撮像装置のレンズの焦点距離を表す情報である。後述するように、撮像装置設定情報Ｐは、例えば、Ｆ値、ＩＳＯ感度、露光時間（シャッタースピード）、合焦点位置などを表す情報であってもよい。なお、画像データＧｉは、動画像を表すデータであってもよいし、静止画を表すデータであってもよい。画像データＧｉは、ビデオ信号などの信号で入力されてもよいし、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ファイル、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ファイルなどのデータファイルで入力されてもよい。

【0016】

画像処理装置１００は、画像処理強度決定部１０１と、画像処理部１０２とを含んで構成される。画像処理強度決定部１０１は、入力画像に対応した奥行き情報Ｄと、入力画像を撮像した際の撮像装置の撮像装置設定情報Ｐとを参照して、画像を分割した領域毎（本実施形態では、画素毎）に、画像処理強度Ｓを決定する。画像処理部１０２は、画像処理強度Ｓに従い、入力画像の画像データＧｉに対して画像処理を行う。
画像処理強度決定部１０１は、強度補正値決定部１０３と、画像処理強度算出部１０４とを含んで構成される。

【0017】

強度補正値決定部１０３は、入力された撮像装置設定情報Ｐに基づいて、予め決められた規則によって強度補正値を決定し、画像処理強度算出部１０４に出力する。ここで、強度補正値は、後段の画像処理強度算出部１０４で画像処理強度を算出する際の補正度合いを表す値である。強度補正値決定部１０３の処理の詳細は後述する。

【0018】

画像処理強度算出部１０４は、強度補正値決定部１０３が決定した強度補正値と、画像処理装置１００の外部から入力された奥行き情報Ｄとに基づいて、画像データＧｉの各画素における画像処理強度Ｓを算出する。画像処理強度算出部１０４は、算出した画像処理強度Ｓを画像処理部１０２へ出力する。画像処理強度算出部１０４の処理の詳細は後述する。

【0019】

画像処理部１０２は、画像処理強度算出部１０４の出力情報である画像処理強度Ｓにしたがって、画像データＧｉに対して画像処理を行う。画像処理部１０２が行う画像処理は、輪郭強調処理、コントラスト強調処理、彩度強調処理、ぼかし処理、ノイズ除去処理などのいずれであってもよい。画像処理部１０２は、画像処理を行うことにより生成した画像を出力画像データＧｏとして画像処理装置１００の外部へ出力する。画像処理部１０２の処理の詳細は後述する。

【0020】

＜強度補正値決定部１０３の処理の詳細＞
続いて、強度補正値決定部１０３の処理の詳細について説明する。強度補正値決定部１０３は、画像処理装置１００の外部から入力された設定情報Ｐに基づいて強度補正値を算出し、画像処理強度算出部１０４へ出力する。

【0021】

（焦点距離に基づく強度補正値の算出方法）
図２は、本実施形態における撮像装置設定情報Ｐ（レンズの焦点距離）と強度補正値との対応関係を示すグラフの一例である。同図を用いて、強度補正値決定部１０３がレンズの焦点距離に基づいて強度補正値を決定する方法について説明する。

【0022】

同図において、横軸が焦点距離、縦軸が強度補正値である。また、同図において、最小焦点距離ｆｍｉｎと、最大焦点距離ｆｍａｘと、強度補正値決定部１０３に入力された撮像装置設定情報Ｐが示す焦点距離の一例として焦点距離ｆｐとが示されている。また、最小焦点距離ｆｍｉｎに対応する強度補正値は、最小強度補正値Ｃｆｍｉｎであり、最大焦点距離ｆｍａｘに対応する強度補正値は、最大強度補正値Ｃｆｍａｘである。また、焦点距離ｆｐに対応する強度補正値は、強度補正値Ｃｆ１である。

【0023】

強度補正値決定部１０３は、図２に示すグラフに対応したＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を予め記憶しており、入力された撮像装置設定情報Ｐが示す焦点距離に対応付けて、該ＬＵＴが記憶している値を読み出し、該値を強度補正値とする。すなわち、入力された撮像装置設定情報Ｐが示す焦点距離がｆｐであれば、強度補正値をＣｆ１とし、入力された撮像装置設定情報Ｐが示す焦点距離がｆｍｉｎであれば、強度補正値をＣｆｍｉｎとし、入力された撮像装置設定情報Ｐが示す焦点距離がｆｍａｘであれば、強度補正値をＣｆｍａｘとする。なお、強度補正値決定部１０３は、ＬＵＴではなく、図２のグラフを表す演算式を記憶しておき、該演算式を用いて、強度補正値を算出するようにしてもよい。

【0024】

なお、入力画像を撮像した撮像装置の最小焦点距離及び最大焦点距離は、最小焦点距離ｆｍｉｎ及び最大焦点距離ｆｍａｘが示す範囲内であることが望ましい。つまり、入力画像を撮像した撮像装置は、最小焦点距離ｆｍｉｎから最大焦点距離ｆｍａｘまでの範囲かより狭い範囲で、焦点距離を変更可能な光学系を備えていることが望ましい。

【0025】

図２に示す例では、焦点距離が大きくなるにしたがって、線形に強度補正値が大きくなる特性が示されている。光学系のズームによる焦点距離の変化が線形であることを考慮すると、このような対応関係が最も好適である。ただし、これに限られるものではなく、例えば図３に示すように、焦点距離が大きくなるほど、より大幅に強度補正値が大きくなるような非線形の特性としてもよい。同図では、焦点距離ｆｍｉｎ、ｆｍａｘのときは、強度補正値は図２と変わらず、焦点距離ｆｐのときは、強度補正値Ｃｆ１より小さな強度補正値Ｃｆ２となることが示されている。

【0026】

上記のように、焦点距離と強度補正値の関係を単調増加とすると、焦点距離の変化と画像処理結果が対応するため好適となる。ここで、本実施形態での単調増加は傾きが０である場合も含む広義の単調増加であり、例えば、焦点距離が十分に大きい場合、又は、小さい場合において、過度強調とならないように強度補正値を飽和させてもよい。

【0027】

以上の方法により、強度補正値決定部１０３は、撮像装置設定情報Ｐ、すなわちレンズの焦点距離に基づいて強度補正値を算出し、画像処理強度算出部１０４に出力する。
一般に、焦点距離が大きくなると被写界深度が浅くなり、焦点の合っていない位置の被写体がぼけてぼけ領域が増加する。ぼけ領域では、被写体の輪郭がより曖昧になり、コントラストや彩度は低下する。そこで上記のように、焦点距離が大きくなるにしたがって、強度補正値を大きくすることで、後述する画像処理強度算出部１０４で設定される画像処理強度を大きくする。これにより、ズームアップ（焦点距離を大きく）して被写界深度が浅くなり、被写界深度外のぼけ量が大きくなった場合に、画像処理部１０２における輪郭強調処理、コントラスト強調や彩度補正処理などの画像処理強度をより大きくし、焦点距離の変化によるぼけ量の変化を抑えることができる。

【0028】

なお、後述するように、後述する画像処理強度算出部１０４は、奥行き情報値が大きいほど画像処理強度を大きくするので、強度補正値決定部１０３は、奥行き情報値の大小変化に対する画像処理強度の大小変化の関係と、焦点距離の大小変化に対する画像処理強度の大小変化の関係とが同じになるように、強度補正値を決定している。

【0029】

（Ｆ値に基づく強度補正値の算出方法（第１の変形例））
また、撮像装置設定情報Ｐは、絞りを表すＦ値であってもよい。以下、本実施形態の第１の変形例として、撮像装置設定情報ＰがＦ値であり、強度補正値決定部１０３が、Ｆ値に基づいて強度補正値を算出する場合を説明する。図４は、本実施形態の第１の変形例におけるＦ値と強度補正値との対応関係を示すグラフである。同図において、横軸はＦ値、縦軸は強度補正値である。また、同図において、最小Ｆ値Ｆｍｉｎと、最大Ｆ値Ｆｍａｘと、強度補正値決定部１０３に入力された撮像装置設定情報Ｐが示すＦ値の一例としてＦ値Ｆｐとが示されている。また、最小Ｆ値Ｆｍｉｎに対応する強度補正値は、最大強度補正値ＣＦｍａｘであり、最大Ｆ値Ｆｍａｘに対応する強度補正値は、最小強度補正値ＣＦｍｉｎである。また、Ｆ値Ｆｐに対応する強度補正値は、強度補正値ＣＦ１である。

【0030】

本変形例における強度補正値決定部１０３は、図４に示すグラフに対応したＬＵＴを予め記憶しており、入力された撮像装置設定情報Ｐが示すＦ値に対応付けて、該ＬＵＴが記憶している値を読み出し、該値を強度補正値とする。
なお、入力画像を撮像した撮像装置の最小Ｆ値及び最大Ｆ値は、最小Ｆ値Ｆｍｉｎ及び最大Ｆ値Ｆｍａｘが示す範囲内であることが望ましい。つまり、入力画像を撮像した撮像装置は、最小Ｆ値Ｆｍｉｎから最大Ｆ値Ｆｍａｘまでの範囲かより狭い範囲で、絞りが可変な光学系を備えることが望ましい。

【0031】

図４に示す例では、Ｆ値が大きくなるにしたがって、非線形に強度補正値が小さくなる特性が示されている。同じ焦点距離であれば、Ｆ値が大きくなる（レンズの絞りを絞る）にしたがって被写界深度が深くなる関係があるため、Ｆ値が大きいほど強度補正値を小さくしている。このとき、レンズの開口面積が半分（明るさが半分）になるときＦ値が√２倍となる関係を考慮すると、図４に示したような非線形の対応関係が最も好適である。ただし、これに限られるものではなく、例えばＦ値が大きくなるにしたがって、線形に強度補正値が小さくなる特性としてもよい。

【0032】

このように、Ｆ値と強度補正値の関係を単調減少とすると、Ｆ値の変化と画像処理結果が対応するため好適となる。ここで、本実施形態での単調減少は傾きが０である場合も含む広義の単調減少であり、例えば、Ｆ値が十分に大きい、又は、小さい値において、画像処理強度パラメータを過度強調とならないように飽和させてもよい。

【0033】

一般に、Ｆ値が小さいほど被写界深度が浅くなり、焦点が合っていない被写体がぼけてしまう領域が増加する。反対に、Ｆ値が大きいほど被写界深度が深くなり、焦点が合っている被写体の領域が増加する。そこで上記のように、Ｆ値が大きくなるにしたがって、強度補正値を小さくすることで、後段の画像処理強度算出部１０４で設定される画像処理強度が弱くなる。したがって、レンズの絞りを開放（Ｆ値を小さくする）して被写界深度が浅くなり、被写界深度外のぼけ量が大きくなった場合に、輪郭強調処理、コントラスト強調や彩度補正処理などの画像処理強度をより強くし、絞り（Ｆ値）の変更によるぼけ量の変化の影響を抑えることができる。

【0034】

なお、後述するように、後述する画像処理強度算出部１０４は、奥行き情報値が大きいほど画像処理強度を大きくするので、強度補正値決定部１０３は、奥行き情報値の大小変化に対する画像処理強度の大小変化の関係と、Ｆ値の大小変化に対する画像処理強度の大小変化の関係とが逆になるように、強度補正値を決定している。

【0035】

（ＩＳＯ感度に基づく強度補正値の算出方法（第２の変形例））
また、撮像装置設定情報Ｐは、ＩＳＯ感度であってもよい。以下、本実施形態の第２の変形例として、撮像装置設定情報ＰがＩＳＯ感度であり、強度補正値決定部１０３が、ＩＳＯ感度に基づいて強度補正値を算出する場合を説明する。
一般に、撮像装置では、ＩＳＯ感度の値を変更すると、撮像素子に照射された光を光電変換する際の、電気信号の増幅度合いが調整される。そのため、例えば、撮像素子への入射光量が少ない場合には、ＩＳＯ感度の値を大きくすると、電気信号を増幅する際の増幅度が大きくなり、明るい画像を撮像することが可能となる。

【0036】

本変形例では、強度補正値決定部１０３は、ＩＳＯ感度の値が大きくなるにしたがって、線形に強度補正値が大きくなるように、強度補正値を決定する。強度補正値決定部１０３は、例えば、図２に示した焦点距離と強度補正値との対応関係と同様な、線形の特性を用いる。ＩＳＯ感度の値の変化が線形であることを考慮すると、このような線形の特性が最も好適である。

【0037】

一般に、電気信号を増幅する際にはノイズ信号も同時に増幅されてしまうため、ＩＳＯ感度の値が大きくなるにしたがってノイズ信号も増幅され、画質劣化が目立つようになる。そこで上記のように、ＩＳＯ感度の値が大きくなるにしたがって、強度補正値を大きくすることで、後段の画像処理強度算出部１０４で設定される画像処理強度を強くする。これにより、ＩＳＯ感度の値を大きくすることでノイズ信号が増幅され、画像が劣化した場合に、ぼかし処理やノイズ除去処理などの画像処理の画像処理強度をより強くし、ＩＳＯ感度の増加による画像の劣化を抑えることができる。

【0038】

なお、後述するように、後述する画像処理強度算出部１０４は、奥行き情報値が大きいほど画像処理強度を大きくするので、強度補正値決定部１０３は、奥行き情報値の大小変化に対する画像処理強度の大小変化の関係と、ＩＳＯ感度の大小変化に対する画像処理強度の大小変化の関係とが同じになるように、強度補正値を決定している。

【0039】

また、後述する画像処理部１０２における画像処理の種類が複数あってもよい。その場合、各々の画像処理に対して別々の強度補正値および画像処理強度を算出してもよい。例えば、画像処理部１０２においてノイズ除去処理と輪郭強調処理とを行う場合を説明する。前述のように、ＩＳＯ感度の値が大きくなるとノイズ信号も増幅されるため、画像処理強度を大きくして、ノイズ除去処理によりノイズ量を低減する。しかし、輪郭強調処理はノイズを目立たせてしまうため、ノイズ除去処理と同様に画像処理強度を大きくすることは望ましくない。そこで、強度補正値決定部１０３は、ノイズ除去処理に対する第１強度補正値については、図３のような関係から算出し、輪郭強調処理に対する第２強度補正値については、図４のような関係から算出する。このように、複数の強度補正値と画像処理強度を算出することで、画像処理の内容に対して適切な画像処理強度が算出できるようになるため好適である。

【0040】

（シャッタースピードに基づく強度補正値の算出方法（第３の変形例））
また、撮像装置設定情報Ｐは、シャッタースピード（露光時間）であってもよい。以下、本実施形態の第３の変形例として、撮像装置設定情報Ｐがシャッタースピードであり、強度補正値決定部１０３が、シャッタースピードに基づいて強度補正値を算出する場合を説明する。
一般に、撮像装置では、シャッタースピードの値を変更することで、撮像素子への露光時間を調整することが可能であり、シャッタースピードの値を半分にすれば、露光時間を半分にすることができる。例えば、動被写体を静止画で撮像する場合、露光時間が長いことで動被写体がぶれてしまうことがあるが、シャッタースピードの値を小さくし露光時間を短くすることで、動被写体のぶれを防ぐことが可能となる。

【0041】

本変形例では、強度補正値決定部１０３は、シャッタースピードの値が大きくなるにしたがって、非線形に強度補正値が小さくなるように、強度補正値を決定する。強度補正値決定部１０３は、例えば、図４に示したＦ値と強度補正値との対応関係のような非線形の特性を用いる。シャッタースピードの値を非線形で変化させることを考慮すると、このような非線形の対応関係が最も好適である。

【0042】

一般に、シャッタースピードの値を小さく（露光時間を短く）した場合には、入射光量が減少するため撮像される画像が暗くなってしまう。そこで、適切な明るさの画像を撮像するために、上記したＩＳＯ感度などによって電気信号の増幅を行ったり、あるいは、撮像後の画像の各画素値にゲインをかけて明るくしたりする。このような処理を行った場合、ノイズ信号も同時に増幅してしまう、あるいは、ノイズがのった画素値を明るくしてしまうため、画質劣化が目立つようになる。そこで上記のように、シャッタースピードの値が大きくなるにしたがって、強度補正値が小さくなるようにすると、後段の画像処理強度算出部１０４で設定される画像処理強度が弱くなる。したがって、シャッタースピードの値が小さくノイズが目立つ場合にはより強い画像処理強度とし、シャッタースピードの値が大きい場合には画像処理強度を弱くすることができる。

【0043】

なお、上記ではシャッタースピードの値に基づいて強度補正値を算出したが、露光時間の情報を撮像装置設定情報Ｐとして用いてもよい。上記したように、シャッタースピードと露光時間との対応関係は線形であるため、シャッタースピードと強度補正値との非線形の対応関係と同様に、露光時間が長く（値が大きく）なるにしたがって、強度補正値が非線形に小さくなるような対応関係とすればよい。

【0044】

また、後述するように、後述する画像処理強度算出部１０４は、奥行き情報値が大きいほど画像処理強度を大きくするので、強度補正値決定部１０３は、奥行き情報値の大小変化に対する画像処理強度の大小変化の関係と、シャッタースピード又は露光時間の大小変化に対する画像処理強度の大小変化の関係とが逆になるように、強度補正値を決定している。

【0045】

（合焦点位置に基づく強度補正値の算出方法（第４の変形例））
さらに、撮像装置設定情報Ｐは、合焦点位置の情報であってもよい。以下、本実施形態の第４の変形例として、撮像装置設定情報Ｐが合焦点位置の情報であり、強度補正値決定部１０３が、合焦点位置情報に基づいて強度補正値を算出する場合を説明する。
ここで、合焦点位置情報とは、合焦位置の被写体が存在する入力画像上の２次元位置情報と、撮像装置から該被写体までの距離情報を表す奥行き情報値のことを言う。なお、該奥行き情報値は、奥行き情報Ｄを強度補正値決定部１０３に入力する構成として取得してもよいし、撮像装置の光学系、すなわちレンズの動作情報から凡その値を算出するようにしてもよい。

【0046】

合焦点位置情報に基づいて強度補正値を算出する場合、例えば、近景に人物被写体が存在し、遠景に山などの風景が写っている入力画像のとき、合焦点の２次元位置が遠景側の被写体上であれば、焦点は遠景に合わされている。したがって、近景の人物被写体のぼけ量は大きくなっている。このとき、奥行き情報値の大きい遠景側の強度補正値は小さく、奥行き情報値の小さい近景側の強度補正値は大きくなるように算出することで、ぼけ量の大きい近景の人物被写体においてより大きい画像処理強度とし、合焦した遠景の被写体において画像処理強度を弱くすることができる。ここで、被写体の奥行き情報値と強度補正値の対応関係をグラフで表した場合、縦軸を強度補正値、横軸を奥行き情報値とすると、合焦点位置の奥行き情報値で強度補正値が最小となるＶ字型の特性で表すことができる。

【0047】

なお、第１の実施形態およびその第１から第３の変形例では、強度補正値決定部１０３は、強度補正値を入力画像毎（動画の場合はフレーム毎）に決定しているが、本変形例では、強度補正値を入力画像の画素毎に決定する。

【0048】

以上では、焦点距離、Ｆ値、ＩＳＯ感度、シャッタースピード又は合焦点位置の情報に基づいて強度補正値を算出する方法を説明したが、これに限られるものではない。例えば、複数の撮像装置設定情報Ｐが強度補正値決定部１０３に入力されることも考えられるため、複数の撮像装置設定情報Ｐに基づいて強度補正値を算出してもよい。
例えば、焦点距離とＦ値の両方の情報に基づいて算出するようにしてもよい。この場合、図２で示した焦点距離ｆｐに基づいて算出した強度補正値Ｃｆ１と、図４で示したＦ値Ｆｐに基づいて算出した強度補正値ＣＦ１とを加算した値を最終的な強度補正値とすることができる。また、強度補正値Ｃｆ１と強度補正値ＣＦ１の平均値又は乗算値などを用いてもよいし、強度補正値Ｃｆ１と強度補正値ＣＦ１の重みを変化させて加算した値を用いてもよい。

【0049】

また、例えば、上記撮像装置設定情報Ｐのうち焦点距離、Ｆ値、ＩＳＯ感度、シャッタースピードの４つに基づいて算出してもよい。この場合、上記例のように、それぞれの撮像装置設定情報Ｐに基づいて算出した４つの強度補正値の、加算値、平均値又は乗算値などを最終的な強度補正値としてもよい。また、それぞれの重みを変化させて加算した値を用いてもよい。
以上のように、複数の撮像装置設定情報Ｐを自由に組み合わせて強度補正値を算出することができる。

【0050】

さらに、撮像装置設定情報Ｐとして、被写界深度情報を用いるようにしてもよい。例えば、焦点距離、Ｆ値、許容錯乱円の直径などの複数の撮像装置設定情報と、奥行き情報Ｄとを強度補正値決定部１０３へ入力することで、それらの入力情報に基づいて被写界深度を算出することができる。この場合、被写界深度が浅くなるほど被写界深度外の位置に存在する被写体のぼけ量が大きくなることを考慮して、被写界深度が深く（値が大きく）なるにしたがって、強度補正値が小さくなるような、線形又は非線形の特性を持つ対応関係とすることができる。上記のように、被写界深度の値が大きくなるにしたがって、強度補正値が小さくなるようにすることで、後段の画像処理強度算出部１０４で設定される画像処理強度が弱くなる。したがって、被写界深度の値が小さくぼけ量が大きい場合にはより強い画像処理強度とし、被写界深度の値が大きい場合には画像処理強度を弱くすることができる。

【0051】

＜画像処理強度算出部１０４の処理の詳細＞
画像処理強度算出部１０４は、まず、奥行き情報Ｄに基づいて初期の画像処理強度（強度ベース値）を、入力画像の画素毎に決定する。画像処理強度算出部１０４は、続いて、強度ベース値を、強度補正値決定部１０３が決定した強度補正値に基づいて補正し、画像処理強度Ｓを決定する。図５を用い、奥行き情報Ｄに基づいて強度ベース値を決定する方法について以下に説明する。

【0052】

図５は、奥行き情報値と強度ベース値との対応関係の一例を示した図である。同図において、横軸が奥行き情報Ｄである奥行き情報値で、縦軸が強度ベース値である。同図において、奥行き情報値が大きくなるにしたがって、線形に強度ベース値が大きくなる特性が示されている。画像処理強度算出部１０４は、まず、この特性に基づいて強度ベース値を決定する。被写体の連続性を考慮すると、強度ベース値は奥行き情報値に対して単調増加の関係が好適である。

【0053】

また、同図において、奥行き情報値が、取り得る範囲の最大値（例えば２５５）にあるときに、強度ベース値は最大のβ２となり、奥行き情報値が、取り得る範囲の最小値（例えば０）にあるときに、強度ベース値は最小のβ１となることが示されている。
次に、図５に示した特性に基づいて決定した強度ベース値を、強度補正値決定部１０３の出力情報である強度補正値に基づいて補正し、画像処理強度Ｓを決定する方法について説明する。

【0054】

以下では、例として、図２で示した特性に基づいて強度補正値を算出した場合について、図６を用いて説明する。
図６は、強度補正値と、奥行き情報値が最大のときの画像処理強度との対応関係の一例を示す図である。同図において、横軸は強度補正値であり、縦軸は奥行き情報値が最大のときの画像処理強度である。なお、同図の横軸は、図２に示した特性に基づいて算出した強度補正値と等しく、同じ記号で示されている。また、同図の縦軸は、図５に示した奥行き情報の最大値において、新たに設定される画像処理強度であり、強度補正値決定部１０３の出力情報である強度補正値に応じて決定される。

【0055】

図６において、画像処理強度算出部１０４に入力された強度補正値が０のとき、奥行き情報の最大値における画像処理強度は、図５に示した強度ベース値β２のままであることが示されている。また、強度補正値がＣｆｍａｘのとき、奥行き情報の最大値における画像処理強度はβｍａｘとなり、さらに、強度補正値がＣｆ１のとき、奥行き情報の最大値における画像処理強度はβｆ１となることが示されている。

【0056】

図６に示す例では、強度補正値が大きくなるにしたがって、奥行き情報の最大値における画像処理強度が線形に大きくなる特性が示されている。ただし、これに限られるものではなく、強度補正値が大きくなるにしたがって、奥行き情報の最大値における画像処理強度が急に大きくなるような、非線形の特性としてもよい。
また、強度補正値が小さくなる場合には、強度補正値が大きくなる場合と反対に、奥行き情報の最大値における画像処理強度が線形に小さくなる特性により決定する。さらに、強度補正値が小さくなるにしたがって、奥行き情報の最大値における画像処理強度が急に小さくなるような、非線形の特性としてもよい。

【0057】

画像処理強度算出部１０４に強度補正値Ｃｆ１が入力されたとき、図６の特性に基づいて奥行き情報の最大値における画像処理強度はβｆ１となる。このとき、図５に示した奥行き情報値と強度ベース値との対応関係は、図７に示す奥行き情報値と画像処理強度Ｓとの対応関係に更新される。図７において、横軸が奥行き情報値であり、縦軸が画像処理強度Ｓである。同図において、奥行き情報の最大値における画像処理強度はβｆ１であり、図５においてβ２であった強度ベース値が、図７においてβｆ１である画像処理強度Ｓに更新されたことを示している。このように、強度補正値に基づいて強度ベース値を補正し、奥行き情報値と画像処理強度Ｓの対応関係を設定する。画像処理強度算出部１０４は、設定した奥行き情報値と画像処理強度Ｓの対応関係に、入力された奥行き情報Ｄを適用することにより、各画素における画像処理強度Ｓを算出する。

【0058】

一態様としては、画像処理強度算出部１０４は、図５に示すような奥行き情報値と強度ベース値との対応関係が、図５の例のようになっているＬＵＴを予め記憶しており、奥行き情報が示す各画素における奥行き情報値に対応する強度ベース値を、該ＬＵＴから読み出す。画像処理強度算出部１０４は、読み出した強度ベース値に、強度補正値決定部１０３から入力された強度補正値を加算して、各画素の画像処理強度Ｓを算出する。また、他の態様としては、画像処理強度算出部１０４は、強度補正値毎に、奥行き情報値と画像処理強度Ｓとの対応関係を表すＬＵＴを予め記憶しており、入力された強度補正値に応じて、ＬＵＴを選択し、入力された奥行き情報値に対応付けられた画像処理強度Ｓを、該選択したＬＵＴから読み出す。

【0059】

以上の方法により、画像処理強度算出部１０４は、奥行き情報の最大値において画像処理強度Ｓが最も大きくなり、奥行き情報の最小値において画像処理強度Ｓが最も小さくなるように画像処理強度Ｓを算出する。さらに、奥行き情報の最小値と最大値の間で奥行き情報値が大きくなるほど、強度ベース値が大きくなるように設定し、強度ベース値が大きいほどより大きい値となるように画像処理強度Ｓを算出する。さらに、強度補正値が大きいほどより大きい値となるように画像処理強度Ｓを算出する。

【0060】

＜画像処理部１０２の処理の詳細＞
図８と図９を用いて、画像処理装置１００に入力される画像データＧｉと奥行き情報Ｄを説明する。図８は、画像処理装置１００に入力される画像データＧｉが表す入力画像の例を示す図である。同図において、近景に存在する人物被写体の画像領域８ｂと、遠景に存在する背景被写体の画像領域８ａとが示されている。

【0061】

図９は、図８の画像データＧｉに対応した奥行き情報Ｄの例を示す図である。同図の各画素において、奥行き情報が白から黒までのグレースケールで表されており、白色になるほど奥行き情報が小さい。同図において、遠景に存在する背景被写体の画像領域８ａに相当する奥行き情報９ａと、近景に存在する人物被写体の画像領域８ｂに相当する奥行き情報９ｂとが示されている。人物被写体の奥行き情報９ｂは背景被写体の奥行き情報９ａよりも小さく、人物被写体が近景に存在することを示している。

【0062】

図８のようなシーンが画像データＧｉとして入力され、対応する奥行き情報が図９として入力される場合、主要な被写体は近景に配置される人物被写体であり、それ以外の領域は背景被写体である。遠景に位置する背景被写体は光の散乱などにより輪郭が不鮮明になり、反対に、近景に位置する人物被写体は鮮明に撮像されている。近景の人物被写体の領域はユーザが最も注視する領域であり、ノイズ感がより一層目立つため画質劣化として認識され易い。

【0063】

そこで、画像処理部１０２における処理は、被写体までの距離（奥行き情報）が大きくなるほど輪郭強調処理の強度を大きくすることで、近景被写体のノイズ感が強調されることを防ぎながら、遠景被写体の不鮮明な輪郭を強調することができる。
例えば、画像処理部１０２は、画像処理強度算出部１０４が決定した画像処理強度Ｓの値が大きいほど、画像データＧｉが表す入力画像の輪郭を強調するように輪郭強調処理を行う。輪郭強調処理とは、例えば、隣接する画素との明るさ値の差が、より大きくなるように明るさ値を変換する処理である。このとき、明るさ値の差が大きいほど輪郭が強調される。これらは、４近傍や８近傍の周辺画素を考慮した空間フィルタにより実現することができる。例えば、対象画素の画素値がＰ０、周辺画素の画素値がＰ１、Ｐ２、Ｐ３、Ｐ４である４近傍を考慮する場合、画像処理後の画素値Ｐは、Ｐ＝Ｐ０＋（Ｐ０×４−Ｐ１−Ｐ２‐Ｐ３‐Ｐ４）×Ｓとして算出することができる。ここで、Ｓは画像処理強度算出部１０４により算出される対象画素の画像処理強度Ｓである。

【0064】

これにより、画像処理部１０２は、画像処理強度Ｓが大きくなるほど、入力画像の輪郭をより強調し、鮮明な画像を生成することができる。その結果、画像処理装置１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景と遠景との距離感を感じやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、ユーザに奥行きを感じさせることができる。
このとき、例えば、焦点距離が大きくなった場合には、強度補正値が大きくなり画像処理強度Ｓも大きくなる。したがって、画像処理部１０２は、焦点距離が大きくなって被写界深度外のぼけ量が大きくなった場合により強い輪郭強調を行うため、被写体がぼけて輪郭が曖昧になることを抑えることができる。

【0065】

さらに、遠景では光の散乱などによりコントラストも低下してしまう。そこで、画像処理部１０２における処理は、トーンカーブなどによりコントラストを強調するコントラスト補正をしてもよい。ただし、近景である人物被写体は十分なコントラストで十分な階調により撮像されており、過度のコントラスト補正を行うと階調数の減少が発生して画質が劣化してしまう。

【0066】

そこで、画像処理部１０２は、画像処理強度Ｓが大きいほど、画像データＧｉのコントラストが強くなるようにコントラスト補正処理を行ってもよい。ここで、コントラスト補正処理とは、例えば、明るさ値が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対する補正した値を定義したＬＵＴにより実現することができる。

【0067】

これにより、画像処理部１０２は、コントラスト感が向上した画像を生成することができる。その結果、画像処理装置１００は、画像の遠景を鮮明にすることにより、近景と遠景との距離感を感じやすくさせることができるので、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、その画像を見たユーザに対し奥行きを感じさせることができる。このように、画像処理部１０２においてコントラスト強調を行う場合も、輪郭強調の場合と同様に、焦点距離に応じてぼけ量が大きくなり、コントラストが低下することを抑えることができる。

【0068】

また、記憶色や鮮やかさにより画像の彩度は高い方が好まれ、実物のように感じる。しかしながら、人物の肌などは肌色である必要があり、過度の彩度強調を行うと違和感が発生して画質劣化となってしまう。そこで、画像処理部１０２は、画像処理強度算出部１０４が決定した画像処理強度Ｓに基づいて、画像データＧｉに対して彩度補正を行ってもよい。ここで、彩度補正処理は、色相、彩度、明度の三成分からなるＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｖａｌｕｅ）空間において、彩度を乗算又は加算したり、入力される画素値を行列による線形変換したりすることにより実現することができる。これにより、画像処理部１０２は、奥行き情報Ｄに基づいて彩度を変化させることができる。その結果、画像処理部１０２は、画像の遠景の彩度を強調することで、違和感無く彩度が高められた画像を生成することができる。

【0069】

これにより、画像処理装置１００は、画像の遠景の彩度を高くして、遠景を鮮明にすることにより、近景と遠景との距離感を感じやすくさせることができるので、画像の奥行き感を向上させることができる。その結果、画像処理装置１００は、その画像を見たユーザに対し奥行きを感じさせることができる。このように、画像処理部１０２において彩度補正処理を行う場合も、輪郭強調のときと同様に、焦点距離に応じてぼけ量が大きくなり、彩度が低下することを抑えることができる。

【0070】

なお、上述の第１の変形例でも、画像処理部１０２において、輪郭強調処理、コントラスト強調や彩度補正処理を行う場合、絞り（Ｆ値）の変更によるぼけ量の変化の影響を抑えることができる。
また、上述の第２の変形例では、画像処理部１０２において、ぼかし処理やノイズ除去処理を行う場合、ＩＳＯ感度の変更による画像劣化の影響を抑えることができる。また、上述の第３の変形例では、画像処理部１０２において、ぼかし処理やノイズ除去処理を行う場合、シャッタースピードの変更による画像劣化の影響を抑えることができる。

【0071】

（第１の実施形態の処理手順）
以下に、本実施形態における処理手順を、図１０のフローチャートを用いて説明する。図１０は、本実施形態における画像処理装置１００の処理の一例を示すフローチャートである。まず、強度補正値決定部１０３は、撮像装置設定情報Ｐから強度補正値を算出する（ステップＳ１０１）。次に、画像処理強度算出部１０４は、奥行き情報Ｄと強度補正値とに基づいて、画像処理強度Ｓを決定し、奥行き情報Ｄと画像処理強度Ｓとの対応関係を設定する（ステップＳ１０２）。次に、画像処理強度算出部１０４は、設定した対応関係に、各画素における奥行き情報Ｄを適用することにより、各画素における画像処理強度Ｓを算出する（ステップＳ１０３）。最後に、画像処理部１０２は、画像処理強度算出部１０４が決定した各画素における画像処理強度Ｓに基づいて、その画素の画像データＧｉに対して画像処理を行う（ステップＳ１０４）。以上で、本フローチャートの処理を終了する。

【0072】

なお、画像データＧｉが表す画像が動画像のときは、図１０に示す処理を、該動画像の各フレームに対して行う。また、撮像装置設定情報Ｐは、フレーム毎に値があってもよいし、所定のフレーム数毎に値があってもよい。
以上に説明したように、本実施形態の画像処理装置１００は、撮像装置設定情報Ｐに基づいて強度補正値を算出する。画像処理装置１００は、奥行き情報Ｄと強度補正値とに応じて、画像処理強度Ｓを決定し、各画素における画像処理強度Ｓを決定する。そして、画像処理装置１００は、画素毎に決定した画像処理強度Ｓで、当該画素に対して予め決められた画像処理を行う。

【0073】

これにより、画像処理装置１００は、奥行き情報Ｄの範囲で、撮像装置設定情報Ｐに応じて画像処理強度Ｓを変化させることで、撮像装置設定情報など撮像装置の設定が変化する場合においても、該設定の変化による影響を抑えて、遠景の画像領域を鮮明にすることができる。その結果、その画像を見たユーザが感じる近景と遠景との距離に対する、撮像装置の設定の変化による影響を抑えることができる。つまり、画像処理装置１００は、ユーザが奥行きを感じることができる画像を生成することができる。

【0074】

＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して詳細に説明する。第１の実施形態では、図１の画像処理装置１００において、奥行き情報Ｄと撮像装置設定情報Ｐとに基づいて画像処理強度Ｓを決定し、画像処理を行う方法について説明した。本実施形態における画像処理装置１００ａは、図１１に示すように奥行き情報解析部１０５を有し、画像処理強度算出部１０４ａは、強度補正値と奥行き情報Ｄとに加えて、奥行き情報解析部１０５の解析結果を用いて画像処理強度Ｓを決定する。

【0075】

図１１は、本実施形態における画像処理装置１００ａの構成を示す概略ブロック図である。画像処理装置１００ａは、画像処理装置１００における画像処理強度決定部１０１に奥行き情報解析部１０５が追加され、さらに、画像処理強度算出部１０４が画像処理強度算出部１０４ａに変更された画像処理強度決定部１０１ａを備える構成となっている。なお、図１と共通する要素には同一の符号（１０２、１０３）を付し、その具体的な説明を省略する。

【0076】

画像処理装置１００ａは、奥行き情報Ｄを奥行き情報解析部１０５に入力し、奥行き情報解析部１０５の解析結果を画像処理強度算出部１０４ａに入力する。
奥行き情報解析部１０５は、画像データＧｉに対応する奥行き情報Ｄに基づいて、該奥行き情報Ｄの頻度分布に関する情報を抽出する。具体的には、例えば、奥行き情報解析部１０５は、入力される一つの画像データに対応する奥行き情報Ｄの頻度分布に基づいて、予め決められた規則によって複数の奥行き情報値を抽出する。ここで、複数の奥行き情報値は、それぞれ異なる奥行き情報Ｄである。そして、奥行き情報解析部１０５は、抽出した奥行き情報Ｄの頻度分布に関する情報、例えば、複数の奥行き情報値を画像処理強度算出部１０４ａに出力する。奥行き情報解析部１０５の処理の詳細は後述する。

【0077】

画像処理強度算出部１０４ａは、奥行き情報解析部１０５の出力情報と、強度補正値決定部１０３の出力情報と、奥行き情報Ｄとに基づいて、画像データＧｉの各画素における画像処理強度Ｓを決定する。画像処理強度算出部１０４ａは、決定した画像処理強度Ｓを画像処理部１０２に出力する。

【0078】

＜奥行き情報解析部１０５の処理の詳細＞
以下に、奥行き情報解析部１０５の処理の詳細について説明する。
図１２は、本実施形態における奥行き情報解析部１０５の概略ブロック図である。奥行き情報解析部１０５は、頻度分布算出部１１１と奥行き情報抽出部１１２とを含んで構成される。頻度分布算出部１１１は、画像処理装置１００ａの外部から入力された奥行き情報Ｄの奥行き情報の頻度分布を算出し、算出した頻度分布を奥行き情報抽出部１１２に出力する。奥行き情報抽出部１１２は、頻度分布算出部１１１から入力された頻度分布において、頻度が閾値α以上の範囲で奥行き情報Ｄから複数の奥行き情報値を抽出する。そして、奥行き情報抽出部１１２は、抽出した複数の奥行き情報値を画像処理強度算出部１０４ａに出力する。

【0079】

以下の説明では、奥行き情報抽出部１１２が、複数の奥行き情報値として、第一の奥行き情報値及び第二の奥行き情報値の二つの奥行き情報値を抽出する場合を例にあげて説明する。ここで、第一の奥行き情報値と第二の奥行き情報値について、図１３を用いて説明する。図１３は、奥行き情報値の頻度分布の一例を示した図である。同図において、横軸が奥行き情報値、縦軸が頻度である。同図において、頻度が最大となる奥行き情報Ｄｏｂｊが示されている。また、同図において、閾値α以上の頻度を取る範囲における奥行き情報Ｄの最小値（以下、範囲最小値という）Ｄｍｉｎと、閾値α以上の頻度を取る範囲における奥行き情報Ｄの最大値（以下、範囲最大値という）Ｄｍａｘとが示されている。このとき、奥行き情報抽出部１１２は、範囲最小値Ｄｍｉｎを第一の奥行き情報値とし、また、範囲最大値Ｄｍａｘを第二の奥行き情報値とする。

【0080】

続いて、図１３を用いて奥行き情報解析部１０５の処理について説明する。例えば、奥行き情報解析部１０５は、図１３に示した奥行き情報Ｄの頻度分布を利用して、第一の奥行き情報と第二の奥行き情報とを抽出する。ここで、通常の方式で最大値及び最小値を抽出すると、頻度が予め決められた閾値αより小さい場合であっても最大値及び最小値として抽出されてしまい、奥行き情報にノイズが存在する場合などは誤抽出が発生する可能性がある。

【0081】

本実施形態において、奥行き情報解析部１０５は、一つの奥行き情報の頻度分布において、範囲最小値Ｄｍｉｎを第一の奥行き情報として抽出する。また、奥行き情報解析部１０５は、一つの奥行き情報の分布において、範囲最大値Ｄｍａｘを第二の奥行き情報として抽出する。奥行き情報解析部１０５は、抽出した第一の奥行き情報と第二の奥行き情報とを画像処理強度算出部１０４ａに出力する。

【0082】

これにより、奥行き情報解析部１０５は、安定して第一の奥行き情報及び第二の奥行き情報を抽出することができる。
また、奥行き情報解析部１０５は、主要被写体の位置を推定し、主要被写体の奥行き情報を抽出するようにしてもよい。例えば、奥行き情報の極大値のうち、最も頻度の値が大きい奥行き情報（最頻値）Ｄｏｂｊには主要な被写体が存在すると推定し、奥行き情報を抽出することが可能である。

【0083】

さらに、奥行き情報解析部１０５は、画像データＧｉを任意の領域（例えば、縦４分割、横４分割で合計１６分割の領域）に分割して領域ごとに奥行き情報の頻度分布を算出して、被写体の位置を推定してもよい。その場合、例えば、特定領域に偏って存在する被写体の場合、その被写体は奥行き情報全体の頻度分布では極大値として表れないが、その被写体は分割された領域の頻度分布では極大値として表れる場合がある。これにより、奥行き情報解析部１０５は、画像データＧｉ内の各被写体の奥行き情報を推定することができる。同時に、各被写体が画像データＧｉを分割した領域のうちどの領域に属すかによって、各被写体の大まかな画像座標上の位置を推定することができる。

【0084】

奥行き情報解析部１０５は、このようにして抽出された複数の奥行き情報を、画像処理強度算出部１０４ａに出力する。また、奥行き情報解析部１０５は、各被写体の画像座標上の位置情報を、画像処理強度算出部１０４ａに出力することができる。

【0085】

＜画像処理強度算出部１０４ａの処理の詳細＞
実際に奥行き情報Ｄとして入力される奥行き情報値は、図１３に示したように奥行き情報の階調値の取り得る範囲のうち、一部の範囲に分布している。そのため、画像処理による効果が十分に得られない可能性がある。そこで、画像処理強度算出部１０４ａは、奥行き情報解析部１０５が算出した複数の奥行き情報を利用して強度ベース値を決定する。

【0086】

以下では、複数の奥行き情報値として、第一の奥行き情報値及び第二の奥行き情報値の二つの奥行き情報値を利用する例について説明する。画像処理強度算出部１０４ａは、第一の奥行き情報値と第二の奥行き情報値との間の所望の範囲で、強度ベース値を変化させる。ここで、本実施形態の例では、範囲最小値Ｄｍｉｎを第一の奥行き情報値とし、範囲最大値Ｄｍａｘを第二の奥行き情報値とする。

【0087】

図１４は、奥行き情報値と強度ベース値との対応関係の一例を示す図である。同図において、横軸が奥行き情報値で、縦軸が強度ベース値である。同図において、範囲最小値Ｄｍｉｎで強度ベース値がβ１であり、範囲最大値Ｄｍａｘで強度ベース値がβ２であることが示されている。また、同図において、範囲最小値Ｄｍｉｎから範囲最大値Ｄｍａｘまでの範囲で、奥行き情報値が大きくなるにしたがって、線形に強度ベース値が大きくなる特性が示されている。なお、奥行き情報値がＤｍｉｎ以下では、強度ベース値はβ１で一定とし、奥行き情報値がＤｍａｘ以上では、強度ベース値はβ２で一定とする。

【0088】

画像処理強度算出部１０４ａは、例えば、図１４に示すような特性により強度ベース値を決定する。具体的には、画像処理強度算出部１０４ａは、強度ベース値をβ１からβ２で変化させる場合、範囲最小値Ｄｍｉｎでβ１となり範囲最大値Ｄｍａｘでβ２となるように設定し、その間の奥行き情報値における強度ベース値を連続的に設定する。これにより、画像処理強度算出部１０４ａは、奥行き情報値と強度ベース値の対応関係を設定する。以上の方法により強度ベース値が決定した後、画像処理強度算出部１０４の処理の詳細で述べた方法と同様にして、強度補正値に基づいて強度ベース値を補正し、画像処理強度Ｓを決定する。

【0089】

（動画の場合）
なお、上述の画像処理装置１００ａは、１枚の静止画に相当する画像データＧｉの画像処理について説明したが動画に適用することも可能であり、同様の効果を得ることができる。動画での処理においては、画像処理強度算出部１０４ａは、奥行き情報解析部１０５の抽出結果を、解析対象フレームに対して時間的に前のフレームの結果も考慮する。

【0090】

例えば、奥行き情報解析部１０５が、ある対象フレームで奥行き情報Ｄを解析した結果、範囲最大値がＤｍａｘ１で、範囲最小値がＤｍｉｎ１で、主要被写体の奥行き情報がＤｏｂj１であった場合で、更に次の場合について説明する。次の場合とは、奥行き情報解析部１０５がその対象フレームの直前のフレームで奥行き情報Ｄを解析した結果、範囲最大値がＤｍａｘ０で、範囲最小値がＤｍｉｎ０で、主要被写体の奥行き情報がＤｏｂj０であった場合である。

【0091】

その場合、奥行き情報解析部１０５は、最終的に出力する範囲最大値として（Ｄｍａｘ１＋Ｄｍａｘ０）／２を、最終的に出力する範囲最小値として（Ｄｍｉｎ１＋Ｄｍｉｎ０）／２を、最終的に出力する主要被写体の奥行き情報として（Ｄｏｂj１＋Ｄｏｂj０）／２を算出する。そして、奥行き情報解析部１０５は、算出した上記各パラメータを画像処理強度算出部１０４ａに出力する。

【0092】

これにより、画像処理強度算出部１０４ａは、奥行き情報Ｄに含まれるノイズによる各パラメータのフレーム間の変動を低減することができ、出力画像データＧｏが示す画像のちらつきを低減することができる。
なお、上記奥行き情報解析部１０５が算出する各パラメータは平均値に限られず、中央値でもよいし、各パラメータで別々の算出方式で算出してもよい。具体的には、例えば、奥行き情報解析部１０５は、最終的に出力する範囲最小値を直前フレームと対象フレームにおける範囲最小値の平均値で算出し、最終的に出力する主要被写体の奥行き情報は直前フレームと対象フレームにおける主要被写体の奥行き情報の中央値で算出してもよい。

【0093】

また、対象フレームの各パラメータと平均をとるフレームは直前フレームに限らず、複数フレームだけ前のフレームでもよいし、対象フレームより後のフレームでもよく、対象フレームとは異なるフレームであればよい。また、奥行き情報解析部１０５は、二つのフレームで平均をとったが、これに限らず、三つ以上のフレームで平均をとってもよい。さらに、フレーム間で画像のシーンが大きく変わらない場合は、直前までの数フレームを、対象フレームの解析結果とすることで、画像処理の遅延を低減することができる。

【0094】

すなわち、奥行き情報解析部１０５は、対象フレームにおける奥行き情報の頻度分布に関する情報と、該対象フレームより前のフレームにおける少なくとも一つ以上の奥行き情報の頻度分布に関する情報を算出する。ここで、頻度分布に関する情報とは、頻度分布から算出される情報であり、例えば、範囲最小値、範囲最大値、主要被写体の奥行き情報又は中間奥行き情報である。そして、奥行き情報解析部１０５が算出した複数の奥行き情報を画像処理強度算出部１０４ａへ出力すればよい。

【0095】

なお、奥行き情報解析部１０５は、画像データの平均輝度、輪郭強度又は色彩分布などが大きく変化した場合には、シーンが変化したと判定してもよい。その場合、奥行き情報解析部１０５は、前のフレームの計算結果を用いずに、対象フレームの計算結果だけを利用して各パラメータを算出してもよい。これにより、画像処理装置１００は、シーンが変化した際には、前のフレームのパラメータを参照しないので、前のシーンのパラメータによる影響を受けずに、現在のシーンの奥行き情報Ｄに応じた画像処理強度Ｓで画像処理を行うことができる。

【0096】

（主要被写体の奥行値を利用する場合）
また、上記では、奥行き情報Ｄに基づいて抽出した複数の奥行き情報値（例えば、範囲最小値Ｄｍｉn、範囲最大値Ｄｍａx）と、強度補正値とに基づいて画像処理強度Ｓを決定する方法を説明したが、奥行き情報解析部１０５で近景の主要被写体の奥行き情報値を抽出し、その値を利用して画像処理強度算出部１０４ａで画像処理強度Ｓを決定してもよい。ここで、画像データＧｉは主要被写体を中心とした画像であり、主要被写体からの奥行き情報Ｄの違いに対して画像処理をすることにより、主要被写体が強調される画像処理を行うことができる。

【0097】

図１５は、主要被写体よりも奥に位置する被写体に対して、より大きい強度の画像処理を行う場合における、奥行き情報値と強度ベース値との対応関係の一例を示す図である。同図において、横軸が奥行き情報値で、縦軸が強度ベース値である。また、同図において、主要被写体の奥行き情報Ｄｏｂｊで強度ベース値がβ１であり、範囲最大値Ｄｍａｘで強度ベース値がβ２であることが示されている。また、同図において、主要被写体の奥行き情報Ｄｏｂｊから範囲最大値Ｄｍａｘまでの範囲で、奥行き情報の値が大きくなるにしたがって、線形に強度ベース値が大きくなる特性が示されている。

【0098】

奥行き情報解析部１０５の処理の説明で上述したように、奥行き情報Ｄの頻度分布から主要被写体の奥行き情報Ｄｏｂｊと範囲最大値Ｄｍａｘを抽出し、抽出した主要被写体の奥行き情報Ｄｏｂｊと範囲最大値Ｄｍａｘを画像処理強度算出部１０４ａに出力する。
画像処理強度算出部１０４ａは、強度ベース値をβ１からβ２で変化させる場合、強度ベース値は、奥行き情報Ｄが主要被写体の奥行き情報Ｄｏｂｊでβ１となり範囲最大値Ｄｍａｘでβ２となるように設定し、その間の奥行き情報Ｄに対応する強度ベース値を連続的に設定する。

【0099】

すなわち、この場合には、奥行き情報解析部１０５で抽出した主要被写体の奥行き情報Ｄｏｂｊが第一の奥行き情報値であり、範囲最大値Ｄｍａxが第二の奥行き情報値である。そして、画像処理強度算出部１０４ａは、第二の奥行き情報値において強度ベース値が最も大きくなり、第一の奥行き情報において強度ベース値が最も小さくなり、奥行き情報が大きくなるにしたがって、強度ベース値が大きくなるように決定される。
このように決定した強度ベース値を、上述した処理と同様の方法により、強度補正値に基づいて補正を行い、最終的な画像処理強度Ｓが決定される。

【0100】

これにより、画像処理強度算出部１０４ａは、画像データの主要被写体の奥行き情報Ｄｏｂｊに応じた画像処理強度を設定する。
ここで、奥行き情報解析部１０５は、主要被写体が人物である場合には、顔認識技術を組み合わせることにより、主要被写体の奥行き情報Ｄｏｂｊを取得するようにしてもよい。例えば、顔認識により顔を検出したときに、検出した顔の領域に対応した奥行き情報Ｄを主要被写体の奥行き情報Ｄｏｂｊとする。このとき、奥行き情報解析部１０５は、検出した顔の領域に対応した奥行き情報Ｄを所定の領域の平均値とする。これにより、奥行き情報解析部１０５は、平均値を取ることより、奥行き情報Ｄに含まれるノイズなどの影響を低減することができる。

【0101】

さらに、画像処理強度算出部１０４ａは、主要被写体の奥行き情報Ｄｏｂｊと範囲最大値Ｄｍａｘの間の奥行き情報値を起点として範囲最大値Ｄｍａｘに向かって画像処理強度Ｓを大きくしてもよい。ここで、人物や動物などの主要被写体は厚みを持っている。そのため、奥行き情報解析部１０５で算出された主要被写体の奥行き情報Ｄｏｂｊは、主要被写体の画像領域に含まれる各画素に対応する奥行き情報Ｄのうちのいずれかの奥行き情報である。

【0102】

したがって、主要被写体より奥に位置する被写体から画像処理を開始するためには、画像処理強度算出部１０４ａは、算出された主要被写体の奥行き情報Ｄｏｂｊより予め決められた値だけ大きい奥行き情報値を起点として範囲最大値Ｄｍａｘに向かって強度ベース値を大きくしてもよい。その際、例えば、画像処理強度算出部１０４ａは、図１６のような奥行き情報値と強度ベース値の対応関係を使用して、強度ベース値を設定してもよい。この場合にも、設定した強度ベース値について、上述した処理と同様の方法により、強度補正値に基づいて補正を行い、最終的な画像処理強度Ｓが決定される。

【0103】

図１６は、主要被写体より奥に位置する被写体に対して、より大きい強度の画像処理を行う場合における、奥行き情報値と強度ベース値との対応関係の一例を示す図である。同図において、横軸が奥行き情報値で、縦軸が強度ベース値である。また、同図において、Ｄ０は主要被写体の奥行き情報Ｄｏｂｊと範囲最大値Ｄｍａｘの間に位置する奥行き情報（以下、中間奥行き情報と称する）である。同図において、中間奥行き情報Ｄ０で強度ベース値がβ１であり、範囲最大値Ｄｍａｘで強度ベース値がβ２であることが示されている。また、同図において、中間奥行き情報Ｄ０から範囲最大値Ｄｍａｘまでの範囲で、奥行き情報値が大きくなるにしたがって、線形に強度ベース値が大きくなる特性が示されている。

【0104】

奥行き情報解析部１０５は、範囲最大値Ｄｍａｘと中間奥行き情報Ｄ０とを算出する。例えば、奥行き情報解析部１０５は、主要被写体の奥行き情報Ｄｏｂjに所定値だけ加算することにより中間奥行き情報Ｄ０を算出する。また、範囲最大値Ｄｍａｘは前記奥行き情報解析部１０５の処理の詳細で述べた方法により抽出される。そして、奥行き情報解析部１０５は、範囲最大値Ｄｍａｘと中間奥行き情報Ｄ０とを画像処理強度算出部１０４ａに出力する。

【0105】

なお、奥行き情報解析部１０５は、主要被写体の奥行き情報Ｄｏｂjに所定値だけ乗算すること、主要被写体の奥行き情報Ｄｏｂjと範囲最大値Ｄｍａｘの平均値とすること、又は主要被写体の奥行き情報Ｄｏｂjと範囲最大値Ｄｍａｘと予め決められた割合で混合した値とすること等により、中間奥行き情報Ｄ０を算出してもよい。

【0106】

画像処理強度算出部１０４ａは、強度ベース値をβ１からβ２で変化させる場合、中間奥行き情報Ｄ０でβ１となり範囲最大値Ｄｍａｘでβ２となるように設定し、その間の奥行き情報値に対する強度ベース値を連続的に設定する。
すなわち、この場合には、奥行き情報解析部１０５で算出した中間奥行き情報Ｄ０が第一の奥行き情報であり、範囲最大値Ｄｍａｘが第二の奥行き情報である。そして、画像処理強度算出部１０４ａは、第二の奥行き情報において強度ベース値が最も大きくなり、第一の奥行き情報において強度ベース値が最も小さくなり、第一の奥行き情報と第二の奥行き情報の範囲で奥行き情報値が大きくなるにしたがって、線形に強度ベース値が大きくなるように決定される。
このように決定した強度ベース値を、上述した処理と同様の方法により、強度補正値に基づいて補正を行うことで、最終的な画像処理強度Ｓが決定される。

【0107】

なお、画像処理強度算出部１０４ａは、上述した図５の特性、図１４の特性、図１５の特性及び図１６の特性をシーンによって選択するようにしてもよい。例えば、画像処理強度算出部１０４ａは、近景の被写体が存在しない場合又は被写体として人物が存在しない場合などは、図５の特性を利用して画像処理強度Ｓを決定する。また、画像処理強度算出部１０４ａは、近景の被写体や人物が被写体として存在する場合には、図１６の特性を利用する。さらに、画像処理強度算出部１０４ａは、視差範囲が一部に偏っている場合、例えば、近景のみの画像や遠景のみの画像などの場合、画像処理強度Ｓを奥行き情報Ｄによらず一律に予め決められた値にしてもよい。これにより、画像処理装置１００は、シーンに応じて画像処理強度Ｓの決定方式を切り替えるので、シーンに応じた適切な画像処理を行うことができる。

【0108】

以上の方法により決定した画像処理強度Ｓに基づいて、画像処理部１０２は画像データＧｉに対して画像処理を行うことで、画像処理強度算出部１０４ａは、主要被写体よりも奥に位置する被写体の画像領域に対して、又は、主要被写体より所定値だけ奥の位置からさらに奥に位置する被写体の画像領域に対して、奥行き情報Ｄと撮像装置設定情報Ｐに応じた画像処理強度Ｓを決定することができる。このとき、画像処理部１０２は、主要被写体からの奥行き情報Ｄの違いに応じた画像処理強度Ｓで画像処理を行うので、主要被写体が強調され、その画像を見たユーザに対し主要被写体と背景との距離感を感じやすくさせることができる。つまり、画像処理装置１００ａは、ユーザに奥行きを感じさせることができる画像を生成することができる。

【0109】

なお、本実施形態では、説明のために例として奥行き情報解析部１０５と画像処理強度算出部１０４ａを備える画像処理装置１００ａを用いる方法を示したが、これに限られるものではない。図１の画像処理装置１００を用いても実現可能であり、その場合、画像処理強度算出部１０４において奥行き情報Ｄに基づいて、本実施形態の処理を行うようにすることができる。

【0110】

［第３の実施形態］
以下、本発明の第３の実施形態について、詳細に説明する。上述した各実施形態では、画像処理装置１００又は画像処理装置１００ａは、奥行き情報値が大きくなるほど（遠景ほど）画像処理強度を大きくし、さらに、焦点距離などの撮像装置設定情報Ｐに応じて強度補正値を変更することで画像処理強度を補正した。さらに、補正した画像処理強度に応じて画像データＧｉの各画素に輪郭強調処理、コントラスト補正及び彩度補正等を行うことで、ユーザに奥行きを感じさせることができる画像生成が可能であることを示した。

【0111】

本実施形態では、画像処理装置１００又は画像処理装置１００ａにおける、例えば、画像処理強度算出部１０４又は画像処理強度算出部１０４ａの画像処理強度Ｓの決定方法を変更する、又は、画像処理部１０２の画像処理内容を変更する、又はその両方を変更する。これにより、画像データＧｉに対して、奥行き情報Ｄと撮像装置設定情報Ｐに応じた画像演出を行うことが可能となる。

【0112】

以下では、例として、図１１に示した画像処理装置１００ａを用いて、ぼかし処理により画像演出する方法を説明する。
ここで、ぼかし処理とは、入力画像上の注目画素とその周辺画素とに対し、平均値フィルタやガウシアンフィルタを用いたフィルタ処理を行い、画像をぼかす処理のことである。
まず、例えば、第２の実施形態で述べた方法と同様にして画像処理強度Ｓを決定する。

【0113】

つまり、奥行き情報解析部１０５において第一の奥行き情報値と第二の奥行き情報値とを抽出し、第二の奥行き情報値において画像処理強度が最も大きくなり、第一の奥行き情報値において画像処理強度が最も小さくなり、第一の奥行き情報値と第二の奥行き情報値の間で奥行き情報値が大きくなるほど強度ベース値が大きくなるように設定する。さらに、強度補正値決定部１０３において強度補正値を算出し、強度補正値が大きいほど、画像処理強度が大きくなるように強度ベース値を補正して、画像処理強度Ｓを決定する。

【0114】

そして、画像処理装置１００ａの外部から入力された奥行き情報Ｄに基づいて、画像データＧｉの各画素における画像処理強度Ｓを決定する。画像処理強度算出部１０４ａは、決定した画像処理強度Ｓを画像処理部１０２に出力する。次に、画像処理部１０２は、入力された画像処理強度Ｓに応じた強度により、画像データＧｉに対してぼかし処理を行う。つまり、画像処理強度Ｓが大きいほど、ぼかし処理の強度が大きくなるようにぼかし処理を行う。したがって、第一の奥行き情報から第二の奥行き情報にかけて徐々にぼかし処理の強度が大きくなり、遠景ほどぼけた画像を生成することができる。そして、画像処理部１０２は、ぼかし処理を行った画像データを出力画像データＧｏとして、画像処理装置１００ａの外部へ出力する。

【0115】

これにより、本実施形態における画像処理装置１００ａは、奥行き情報Ｄと撮像装置設定情報Ｐに基づいて画像処理強度Ｓを決定し、画像処理強度Ｓに応じて画像処理を行うことで、奥行き情報と撮像装置設定情報に応じてぼかし効果を演出した画像生成が可能となる。例えば、焦点距離が大きくなった場合に、ぼかし処理をすることによって被写界深度が浅くなった効果を与えることができ、より焦点距離が大きくなるような印象を与えることが可能となる。

【0116】

以上の説明では、奥行き情報値が大きいほど、つまり、遠景ほど画像処理強度が大きくなるように強度ベース値を決定し、さらに、強度補正値が大きいほど、画像処理強度が大きくなるように画像処理強度Ｓを決定した。しかし、画像処理強度Ｓの決定方法はこれに限られるものではない。すなわち、第１の実施形態、第１の実施形態の第１の変形例、第４の変形例の場合における、撮像装置設定情報Ｐの大小と強度補正値の大小との関係と逆にしてもよい。

【0117】

また、以上の説明では、画像処理の一例としてぼかし処理について述べたが、これに限られるものではない。例えば、上述した輪郭強調処理、コントラスト補正又は彩度補正を画像処理として行ってもよいし、明るさ（輝度）を変化させる処理や輪郭強調処理、画像をカラーからグレースケールに変換する処理などを用いてもよい。

【0118】

具体的には、例えば、奥行き情報値が大きい、つまり遠景ほど彩度が低下するように設定することで、近景被写体はカラーで、遠景被写体ほど白黒となる画像が得られ、近景被写体の誘目性を高める画像演出が可能となる。また、合焦点位置の情報に基づいて、合焦点位置の奥行き情報値と、奥行き情報値の差が大きい被写体ほど彩度を低下させる設定とすることで、合焦点位置（ズームアップ位置）の被写体の誘目性を高める画像演出が可能となる。

【0119】

また、輪郭抽出処理とグレースケール変換処理などを組み合わせることで、被写体の輪郭部分のみを残した線画と呼ばれる画像を得ることができる。これを用い、例えば、被写界深度情報に基づいて画像処理強度を変更し、被写界深度外の被写体を線画とすることで、被写界深度内の被写体のみを強調する画像演出が可能となる。
以上のような画像処理の他にも、モノクロ化、セピア化など様々な画像処理を適用することが可能であり、上記のような処理によって、奥行き情報Ｄと撮像装置設定情報Ｐに応じた画像演出が可能となる。

【0120】

これにより、本実施形態で述べた画像処理装置１００ａは、奥行き情報Ｄと撮像装置設定情報Ｐに基づいて画像処理強度Ｓを決定し、画像処理強度Ｓに応じて画像処理を行うことで、奥行き情報Ｄと撮像装置設定情報Ｐに応じて演出効果を付与した画像の生成が可能となる。

【0121】

なお、本実施形態では、説明のために例として奥行き情報解析部１０５と画像処理強度算出部１０４ａを備える画像処理装置１００ａを用いる方法を示したが、これに限られるものではない。図１の画像処理装置１００を用いても実現可能であり、その場合には、画像処理強度算出部１０４において、奥行き情報Ｄに基づいて本実施形態の処理を行うようにしてもよい。

【0122】

なお、以上の本実施形態で述べた画像処理強度算出部１０４、画像処理強度算出部１０４ａ、画像処理部１０２、強度補正値決定部１０３及び奥行き情報解析部１０５の各ブロックは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェア、又は画像処理装置１００もしくは画像処理装置１００ａに内在するマイコン（図示せず）などにより処理されるソフトウェアにより構成してもよい。

【0123】

［第４の実施形態］
以下、本発明の第４の実施形態について、図面を参照して詳細に説明する。図１７は、第４の実施形態における撮像装置２００の概略ブロック図である。なお、図１と共通する要素には同一の符号（１０１〜１０４）を付し、その具体的な説明を省略する。撮像装置２００は、撮像部制御部２０１と、撮像部２０２と、撮像部２０３と、画像処理装置１００ｂと、画像表示部２０５と、画像記憶部２０６とを備える。また、図１７の画像処理装置１００ｂの構成は、図１の第１の実施形態の画像処理装置１００の構成に対して、視差算出部２０４が追加されたものになっている。

【0124】

撮像部制御部２０１は、撮像部２０２及び２０３を制御するための制御信号を出力する。ここで、制御信号は、焦点距離、Ｆ値、ＩＳＯ感度、シャッタースピードなどの撮像装置設定情報Ｐであり、撮像部２０２と撮像部２０３と強度補正値決定部１０３とに出力される。
撮像部２０２及び２０３の２つの撮像装置は、光軸が略平行となるように横並び又は縦並びに配置されている。撮像部２０２及び２０３はレンズモジュールなどの光学系と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサなどで構成される。また、撮像部２０２及び２０３は、撮像部制御部２０１から出力される撮像装置設定情報Ｐに応じて、レンズの焦点距離、絞り、イメージセンサのＩＳＯ感度、シャッタースピード、焦点を合わせる被写体などを変更する。

【0125】

撮像部２０２は被写体を撮像し、撮像することにより得られた第１画像データＧ１を視差算出部２０４と画像処理部１０２とに出力する。同様に、撮像部２０３は被写体を撮像し、撮像することにより得られた第２画像データＧ２を視差算出部２０４に出力する。
視差算出部２０４は、入力基準画像と、入力基準画像と視点の異なる入力参照画像に基づき、入力基準画像の各画素に対応する視差を算出し、算出した視差に基づいて奥行き情報Ｄを決定する。ここで、視差は２つの画像間の被写体のずれ量である。具体的には、例えば、視差算出部２０４は、撮像部２０２から入力された第１画像データＧ１と撮像部２０３から入力された第２画像データＧ２とを用いて、ブロックマッチングにより、第１画像データＧ１の各画素に対応する視差値を算出する。

【0126】

ここで、ブロックマッチングは、次のような処理を行う。一方の画像データのある画素について、他方の画像データ上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算し、ＳＡＤの値が最小となるブロックを決定することで、一方の撮像画像の注目画素に対応する他方の撮像画像上の画素を求める。ＳＡＤによる計算手法以外に、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｉｎｔｅｎｓｉｔｙ Ｄｉｆｆｅｒｅｎｃｅ）によるブロックマッチング、グラフカット、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチングといった計算手法もある。対応画素が求まることでその画素の視差値が算出可能となる。

【0127】

ここで、撮像された被写体までの距離Ｚと視差ｄとの関係はｄ＝ｆ×Ｂ／Ｚで表される。ｆは撮像部２０２及び２０３の焦点距離であり、Ｂは撮像部２０２と撮像部２０３との間の距離である基線長である。上述の距離Ｚと視差ｄの関係式から、距離Ｚと視差ｄとには相関がある。本実施形態において、画像処理装置１００ｂの視差算出部２０４は、視差ｄに基づいて奥行き情報Ｄを算出する。

【0128】

図１８は、距離Ｚと視差ｄとの関係を示した図である。同図に示すように、距離Ｚと視差ｄとは反比例の関係にあり、線形的な関係ではない。そこで、視差算出部２０４は、距離との関係が線形となるように視差ｄを変換し、変換後の値を奥行き情報Ｄとして利用する。具体的には、例えば、視差算出部２０４は、算出した視差ｄの逆数（１／ｄ）を算出し、算出した視差ｄの逆数を奥行き情報Ｄとする。そして、視差算出部２０４は、算出した奥行き情報Ｄを、画像処理強度算出部１０４に出力する。
なお、視差の変換は、距離と完全に線形の関係にする必要はなく、それに近い変換であればよい。

【0129】

また、視差算出部２０４は、算出した視差ｄをそのまま奥行き情報Ｄとしてもよい。その場合、奥行き情報Ｄは被写体までの距離が遠いほど小さく、距離が近いほど大きくなる。そのため、画像処理強度算出部１０４は、奥行き情報Ｄの値が小さくなるほど画像処理強度Ｓを大きくすればよい。これにより、画像処理強度算出部１０４は、奥行き情報Ｄが奥を示すほど画像処理強度Ｓを大きくすることができる。

【0130】

画像処理強度算出部１０４は、視差算出部２０４から入力された奥行き情報Ｄと、強度補正値決定部１０３から入力された強度補正値とに基づいて、画像処理強度Ｓを決定する。画像処理部１０２は、画像処理強度算出部１０４が決定した画像処理強度Ｓに応じて、撮像部２０２から入力された第１画像データＧ１に対して画像処理を行う。画像処理部１０２は画像処理により得られた出力画像データＧｏを、画像表示部２０５に表示させたり、画像記憶部２０６に記憶させたりする。

【0131】

以上に説明したように、本実施形態の撮像装置２００は、２つの画像データから奥行き情報Ｄを算出する。また、撮像装置設定情報Ｐに基づいて強度補正値を算出する。撮像装置２００は、奥行き情報Ｄと強度補正値とに基づいて画像処理強度Ｓを決定し、第１画像データＧ１の各画素における画像処理強度Ｓを決定する。そして、撮像装置２００は、画素毎に決定した画像処理強度Ｓで、当該画素に対して予め決められた画像処理を行うことより、撮像装置設定情報が変化する場合においても、遠景の画像領域を鮮明にすることができる。その結果、その画像を見たユーザに対し近景と遠景との距離感を感じやすくさせることができ、撮像装置２００は、ユーザが奥行きを感じることができる画像を生成することができる。

【0132】

なお、本実施形態では、撮像部を２つ備えた撮像装置２００について説明したが、複数の画像から視差情報を算出する方式でも同様の効果が得られ、例えば、１回目の撮像位置から左右方向へ移動して２回目の撮像を行うことで実現できる。また、視差算出部２０４に代えて後述する奥行き情報算出部を備えるようにしてもよい。

【0133】

なお、撮像装置２００は、奥行き情報解析部１０５と画像処理強度算出部１０４ａを備える構成としてもよく、上記第２の実施形態で述べた画像処理方法を適用することが可能である。これにより、撮像装置２００により動画を撮像する場合に、奥行き情報Ｄに含まれるノイズによる各パラメータのフレーム間の変動を低減することができ、出力画像データＧｏが示す画像のちらつきを低減することができる。さらに、主要被写体からの奥行き情報Ｄの違いに応じた画像処理強度で画像処理を行うことで、主要被写体を強調し、ユーザに対し主要被写体と背景との距離感を感じやすくさせることが可能な画像の生成ができる。
また、撮像装置２００は、上記第３の実施形態で述べた画像処理方法を適用することが可能である。これにより、奥行き情報と撮像装置設定情報に応じて演出効果を付与した画像の生成が可能となる。

【0134】

［第５の実施形態］
以下、本発明の第５の実施形態について、図面を参照して詳細に説明する。図１９は、第５の実施形態における表示装置３００の概略ブロック図である。なお、図１又は図１７と共通する要素には同一の符号（１０１〜１０４、２０５）を付し、その具体的な説明を省略する。表示装置３００は、画像処理装置１００ｃと、画像表示部２０５とを備える。図１９の画像処理装置１００ｃの構成は、図１の第１の実施形態の画像処理装置１００の構成に対して、奥行き情報算出部３０１が追加された構成となっている。

【0135】

奥行き情報算出部３０１は、自装置の外部から入力される画像データＧｉから奥行き情報Ｄを算出する。ここで、奥行き情報Ｄの算出には、従来のいずれの推定方式を用いるようにしてもよい。例えば、奥行き情報算出部３０１は、色情報、消失点解析、領域分割、オブジェクト抽出などにより２次元画像から３次元画像を生成することにより、奥行き情報Ｄを生成する。奥行き情報算出部３０１は、算出した奥行き情報Ｄを画像処理強度算出部１０４に出力する。

【0136】

なお、撮像装置設定情報Ｐは、画像データＧｉに含まれていてもよい。例えば、ＪＰＥＧフォーマットの画像にはＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）データとして焦点距離、Ｆ値、ＩＳＯ感度、シャッタ速度などが格納されている。このように画像データに付加された情報を撮像装置設定情報Ｐとして使用することができる。
画像処理部１０２は、第１の実施形態の画像処理部１０２と同様の機能を有するが、以下の点が異なる。画像処理部１０２は、画像処理により得られた出力画像を画像表示部２０５に表示させる。

【0137】

これにより、表示装置３００は、画像データＧｉに基づいて奥行き情報Ｄを算出する。また、撮像装置設定情報Ｐに基づいて強度補正値を算出する。表示装置３００は、奥行き情報Ｄと強度補正値とに基づいて画像処理強度Ｓを決定し、画像データＧｉの各画素における画像処理強度Ｓを決定する。そして、表示装置３００は、画素毎に決定した画像処理強度Ｓで、当該画素に対して予め決められた画像処理を行うことより、撮像装置設定情報が変化する場合においても、遠景の画像領域を鮮明にすることができる。その結果、その画像を見たユーザに対し近景と遠景との距離感を感じやすくさせることができ、表示装置３００は、ユーザが奥行きを感じることができる画像を表示することができる。

【0138】

なお、本実施形態では、奥行き情報算出部３０１を備えた表示装置３００について説明したが、立体映像などの情報をもった画像データが入力された場合には、立体映像から視差を算出し、視差に基づいて奥行き情報Ｄを算出し、算出した奥行き情報Ｄに基づいて画像処理強度Ｓを決定してもよい。その場合にも表示装置３００は、上記と同様の効果が得られる。また、表示装置３００に画像データとともに奥行き情報Ｄが入力される場合には、表示装置３００は、奥行き情報Ｄを直接、画像処理強度算出部１０４へ入力するようにしてもよい。

【0139】

なお、表示装置３００は、奥行き情報解析部１０５と画像処理強度算出部１０４ａを備える構成としてもよく、上記第２の実施形態で述べた画像処理方法を適用することが可能である。これにより、動画を画像データとして入力した場合に、奥行き情報Ｄに含まれるノイズによる各パラメータのフレーム間の変動を低減することができ、出力画像データＧｏが示す画像のちらつきを低減することができる。さらに、主要被写体からの奥行き情報Ｄの違いに応じた画像処理強度で画像処理を行うことで、主要被写体を強調し、ユーザに対し主要被写体と背景との距離感を感じやすくさせることが可能な画像を表示することができる。
また、表示装置３００は、上記第３の実施形態で述べた画像処理方法を適用することが可能である。これにより、奥行き情報と撮像装置設定情報に応じて演出効果を付与した画像の表示が可能となる。

【0140】

また、上述の各実施形態では、画像処理強度決定部１０１、１０１ａは、画像処理強度Ｓを決定する際に、撮像装置設定情報Ｐから強度補正値を算出し、該強度補正値と奥行き情報Ｄとを参照して画像処理強度Ｓを決定しているが、撮像装置設定情報Ｐと奥行き情報Ｄとから直接画像処理強度Ｓを決定するようにしてもよい。例えば、撮像装置設定情報Ｐと奥行き情報値との組み合わせに画像処理強度Ｓを対応付けているＬＵＴを用いて、撮像装置設定情報Ｐと奥行き情報Ｄとから直接画像処理強度Ｓを決定するようにしてもよい。
また、上述の各実施形態では、画像処理強度決定部１０１、１０１ａは、画素毎に画像処理強度Ｓを決定しているが、所定の大きさのブロック毎や、輪郭線で囲まれた被写体毎などに画像処理強度Ｓを決定するようにしてもよい。

【0141】

また、複数の装置を備えるシステムが、各実施形態の画像処理装置（１００、１００ａ、１００ｂ又は１００ｃ）、撮像装置２００あるいは表示装置３００の各処理を、それらの複数の装置で分散して処理してもよい。
また、各実施形態の画像処理装置（１００、１００ａ、１００ｂ又は１００ｃ）、撮像装置２００あるいは表示装置３００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置（１００、１００ａ、１００ｂ又は１００ｃ）、撮像装置２００あるいは表示装置３００に係る上述した種々の処理を行ってもよい。

【0142】

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0143】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0144】

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0145】

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、画像を撮像した際の撮像装置の設定情報と、前記画像に対応した奥行き情報とを参照して、前記画像を分割した領域毎に、画像処理強度を決定する画像処理強度決定部（１０１、１０１ａ）と、前記画像処理強度に従い、前記画像の画像データに対する画像処理を行う画像処理部（１０２）とを備えることを特徴とする画像処理装置（１００、１００ａ、１００ｂ、１００ｃ）である。

【0146】

これにより、入力画像を撮像した撮像装置の設定が変更された場合にも、ユーザが奥行きを感じられる画像を生成することができる。

【0147】

（２）また、本発明の他の態様は、（１）に記載の画像処理装置であって、前記設定情報は、焦点距離を示す情報であり、前記画像処理強度決定部は、前記焦点距離を示す情報の値が大きくなるにしたがって、前記画像処理強度の値が大きくなるように決定することを特徴とする。

【0148】

これにより、入力される画像を撮像した撮像装置の焦点距離が変化しても、ユーザが奥行きを感じられる画像を生成することができる。

【0149】

（３）また、本発明の他の態様は、（１）に記載の画像処理装置であって、前記設定情報は、Ｆ値を示す情報であり、前記画像処理強度決定部は、前記Ｆ値を示す情報の値が大きくなるにしたがって、前記画像処理強度の値が小さくなるように決定することを特徴とする。

【0150】

これにより、入力される画像を撮像した撮像装置のＦ値が変化しても、ユーザが奥行きを感じられる画像を生成することができる。

【0151】

（４）また、本発明の他の態様は、（１）に記載の画像処理装置であって、前記設定情報は、感度を示す情報であり、前記画像処理強度決定部は、前記感度を示す情報の値が大きくなるにしたがって、前記画像処理強度の値が大きくなるように決定することを特徴とする。

【0152】

これにより、入力画像を撮像した撮像装置の感度が変化しても、ユーザが奥行きを感じられる画像を生成することができる。

【0153】

（５）また、本発明の他の態様は、（１）に記載の画像処理装置であって、前記設定情報は、露光時間を示す情報であり、前記画像処理強度決定部は、前記露光時間を示す情報の値が大きくなるにしたがって、前記画像処理強度の値が小さくなるように決定することを特徴とする。

【0154】

これにより、入力画像を撮像した撮像装置の露光時間が変化しても、ユーザが奥行きを感じられる画像を生成することができる。

【0155】

（６）また、本発明の他の態様は、（１）に記載の画像処理装置であって、前記設定情報は、前記画像における合焦点位置を示す情報であり、前記画像処理強度決定部は、前記合焦点位置について前記奥行き情報が表す奥行きと、前記画像内を分割した領域について前記奥行き情報が表す奥行きとの差異に応じた補正値を決定し、該補正値と前記奥行き情報とを参照して、前記画像処理強度を決定することを特徴とする。

【0156】

これにより、入力画像を撮像した撮像装置の合焦点の位置が変化しても、ユーザが奥行きを感じられる画像を生成することができる。

【0157】

（７）また、本発明の他の態様は、被写体を撮像する撮像部と、（１）から（６）のいずれかの項に記載の画像処理装置とを具備し、前記画像は、前記撮像部が撮像した画像であり、前記設定情報は、前記画像を前記撮像部が撮像した際の設定情報であることを特徴とする撮像装置である。

【0158】

（８）また、本発明の他の態様は、（１）から（６）のいずれかの項に記載の画像処理装置と、前記画像処理装置により画像処理された画像を表示する画像表示部とを備えることを特徴とする表示装置である。

【0159】

（９）また、本発明の他の態様は、画像を撮像した際の撮像装置の設定情報と、前記画像に対応した奥行き情報とを参照して、前記画像を分割した領域毎に、画像処理強度を決定する第１の過程と、前記画像処理強度に従い、前記画像の画像データに対する画像処理を行う第２の過程とを有することを特徴とする画像処理方法である。

【0160】

（１０）また、本発明の他の態様は、コンピュータを、画像を撮像した際の撮像装置の設定情報と、前記画像に対応した奥行き情報とを参照して、前記画像を分割した領域毎に、画像処理強度を決定する画像処理強度決定部、前記画像処理強度に従い、前記画像の画像データに対する画像処理を行う画像処理部として機能させるための画像処理プログラムである。

【符号の説明】

【0161】

１００、１００ａ、１００ｂ、１００ｃ…画像処理装置 １０１、１０１ａ…画像処理強度決定部 １０２…画像処理部 １０３…強度補正値決定部 １０４、１０４ａ…画像処理強度算出部 １０５…奥行き情報解析部 １１１…頻度分布算出部 １１２…奥行き情報抽出部 ２００…撮像装置 ２０１…撮像部制御部 ２０２、２０３…撮像部 ２０４…視差算出部 ２０５…画像表示部 ２０６…画像記憶部 ３００…表示装置 ３０１…奥行き情報算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】