特許 7403594 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-14

(45)【発行日】2023-12-22

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20231215BHJP

   G06T 7/00 20170101ALI20231215BHJP

【ＦＩ】

G06T5/00 700

G06T7/00 Z

【請求項の数】 15

(21)【出願番号】P 2022120710

(22)【出願日】2022-07-28

(62)【分割の表示】P 2018125281の分割

【原出願日】2018-06-29

(65)【公開番号】P2022136272

(43)【公開日】2022-09-15

【審査請求日】2022-08-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】小川 修平

(72)【発明者】

【氏名】宮▲崎▼ 真一

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１７－０８３４２７（ＪＰ，Ａ）

【文献】特開２０１５－０３５６５８（ＪＰ，Ａ）

【文献】特開２０１７－０９２９８３（ＪＰ，Ａ）

【文献】国際公開第２０１３／１４５５５４（ＷＯ，Ａ１）

【文献】特開２０１２－０６３９８７（ＪＰ，Ａ）

【文献】特開２００６－０９０８９６（ＪＰ，Ａ）

【文献】特開２００８－０９７６５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

入力画像と、前記入力画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報と、を取得する取得手段と、
前記入力画像の画素値を用いて、前記距離情報の確度を示す評価値を導出する導出手段と、
前記評価値の空間分布に基づき、前記入力画像を複数の領域に分割する分割手段と、
前記評価値に基づき、前記分割した領域ごとに前記距離情報を変更する変更手段と、
前記変更手段により変更された距離情報と、画像処理条件とを用いて、出力装置から出力される画像の鮮鋭度を制御する制御手段と、
を有し、
前記画像処理条件は、前記距離情報に応じて変動する前記出力装置の出力特性と、前記出力装置が記録を行う記録媒体の特性とに基づいて定められることを特徴とする画像処理装置。

【請求項2】

前記距離情報は、デフォーカス情報、像ずれ量、もしくは、前記合焦面から物体までの距離を示す情報のいずれかであることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記分割手段は、前記空間分布が示す値が高いほど細かく分割し、前記空間分布が示す値が低いほどおおまかに分割することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記変更手段は、評価値が高い距離情報の値がより重みが高くなるように重み付けを行うことで、前記距離情報を変更することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記制御手段は、コントラスト処理もしくはシャープネス処理を行うことにより、前記出力装置から出力される画像の鮮鋭度を制御することを特徴とする請求項１に記載の画像処理装置。

【請求項6】

入力画像と、前記入力画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報と、を取得する取得工程と、
前記入力画像の画素値を用いて、前記距離情報の確度を示す評価値を導出する導出工程と、
前記評価値の空間分布に基づき、前記入力画像を複数の領域に分割する分割工程と、
前記評価値に基づき、前記分割した領域ごとに前記距離情報を変更する変更工程と、
前記変更工程において変更された距離情報と、画像処理条件とを用いて、出力装置から出力される画像の鮮鋭度を制御する制御工程と、
を有し、
前記画像処理条件は、前記距離情報に応じて変動する前記出力装置の出力特性と、前記出力装置が記録を行う記録媒体の特性とに基づいて定められることを特徴とする画像処理方法。

【請求項7】

前記距離情報は、デフォーカス情報、像ずれ量、もしくは、前記合焦面から物体までの距離を示す情報のいずれかであることを特徴とする請求項６に記載の画像処理方法。

【請求項8】

前記分割工程では、前記空間分布が示す値が高いほど細かく分割し、前記空間分布が示す値が低いほどおおまかに分割することを特徴とする請求項６に記載の画像処理方法。

【請求項9】

前記変更工程では、評価値が高い距離情報の値がより重みが高くなるように重み付けを行うことで、前記距離情報を変更することを特徴とする請求項６に記載の画像処理方法。

【請求項10】

前記制御工程において、コントラスト処理もしくはシャープネス処理を行うことにより、前記出力装置から出力される画像の鮮鋭度を制御することを特徴とする請求項６に記載の画像処理方法。

【請求項11】

入力画像と、前記入力画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報と、を取得する取得工程と、
前記入力画像の画素値を用いて、前記距離情報の確度を示す評価値を導出する導出工程と、
前記評価値の空間分布に基づき、前記入力画像を複数の領域に分割する分割工程と、
前記評価値に基づき、前記分割した領域ごとに前記距離情報を変更する変更工程と、
前記変更工程において変更された距離情報と、画像処理条件とを用いて、出力装置から出力される画像の鮮鋭度を制御する制御工程と、
をコンピュータに実行させるためのプログラムであって、
前記画像処理条件は、前記距離情報に応じて変動する前記出力装置の出力特性と、前記出力装置が記録を行う記録媒体の特性とに基づいて定められることを特徴とするプログラム。

【請求項12】

前記距離情報は、デフォーカス情報、像ずれ量、もしくは、前記合焦面から物体までの距離を示す情報のいずれかであることを特徴とする請求項１１に記載のプログラム。

【請求項13】

前記分割工程では、前記空間分布が示す値が高いほど細かく分割し、前記空間分布が示す値が低いほどおおまかに分割することを特徴とする請求項１１に記載のプログラム。

【請求項14】

前記変更工程では、評価値が高い距離情報の値がより重みが高くなるように重み付けを行うことで、前記距離情報を変更することを特徴とする請求項１１に記載のプログラム。

【請求項15】

前記制御工程において、コントラスト処理もしくはシャープネス処理を行うことにより、前記出力装置から出力される画像の鮮鋭度を制御することを特徴とする請求項１１に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

人間は目で見たものを立体的に知覚しており、これは脳が両眼の手掛かりと単眼の手掛かり、また運動視差等をもとに知覚していると考えられている。両眼の手掛かりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手掛かりとしては、線遠近法や物体の大きさ、肌理の勾配、大気遠近やボケの効果等が挙げられる。これらの一つ以上の手掛かりを利用して、人間は立体感つまり「もの」の奥行や厚みや深さ、「もの」の前後関係を知覚している。

【0003】

撮像装置により撮影され、表示、投影、あるいは印刷された２次元画像を人間が見る際には、ピントが合っている部分と、奥行に応じてボケている部分のボケ方の差から画像の立体感が認識される。つまり、画像の合焦している（ピントが合っている）部分と、合焦していない（ボケている）部分の再現が立体感にとって重要となる。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６１４３７４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、撮像装置の視差情報等から得られる、合焦面からの距離に相当する情報（深度値やデフォーカス量など）には、欠損やノイズが含まれる。例えば、２台の撮像装置の視差情報から、深度値を計測するステレオ法においては、取得可能な深度の精度が、２台の撮像装置間の距離に依存している。このような場合、撮像装置間の距離が短くなればなるほど、深度の精度が悪くなる。そのため、物理的に２台の撮像装置間の距離を十分に離すことができないような状況においては、立体感の制御に必要なだけの深度やデフォーカスの精度を確保することが難しい。また、深度値やデフォーカス量の精度は撮影した画像にも依存する。特に上記ステレオ法によって撮影された場合、画像のエッジ部分は、コントラストが高く、深度値が一意に決まりやすい。その一方、画像の平坦な部分はコントラストが低く、深度値が一意に決まり難いため、深度値の確からしさ（確度）が低くなってしまう。

【0006】

カメラから得られた深度の精度を向上させる技術として、例えば、特許文献１では、注目画素の深度値と、周辺画素値の深度値から、深度値の方向導関数を求めることにより、深度値にノイズがある画素を特定している。しかしながら、特許文献１では、ノイズがある画素を特定するために深度値のみを用いているため、上述した画像の平坦部分などにおいては、確からしさ（確度）の低い深度値の影響を受けやすいといった課題がある。

【0007】

上記課題を鑑み、本発明では、撮影画像に関する、合焦面からの距離に相当する情報の精度を向上させることを目的とする。

【課題を解決するための手段】

【0008】

本発明は、上記の課題を解決するために、以下の構成を有する。すなわち、画像処理装置であって、入力画像と、前記入力画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報と、を取得する取得手段と、前記入力画像の画素値を用いて、前記距離情報の確度を示す評価値を導出する導出手段と、前記評価値の空間分布に基づき、前記入力画像を複数の領域に分割する分割手段と、前記評価値に基づき、前記分割した領域ごとに前記距離情報を変更する変更手段と、前記変更手段により変更された距離情報と、画像処理条件とを用いて、出力装置から出力される画像の鮮鋭度を制御する制御手段と、を有し、前記画像処理条件は、前記距離情報に応じて変動する前記出力装置の出力特性と、前記出力装置が記録を行う記録媒体の特性とに基づいて定められる。

【発明の効果】

【0009】

本発明により、撮影画像に関する、合焦面からの距離に相当する情報の精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明に係るＰＣと出力装置の構成例を示す図。

【図2】レンズと像ずれ量デフォーカス量、合焦面の関係を示す図。

【図3】合焦像距離、物体距離、合焦物体距離の関係を示す図。

【図4】第１の実施形態に係るソフトウェア構成の例を示す図。

【図5】本発明に係る画像処理のフローチャートを示す図。

【図6】デフォーカス量と各領域を説明するための図。

【図7】本発明に係るコントラストと空間周波数の関係を説明するための図。

【図8】本発明に係る立体感制御量とデフォーカス量の関係を説明するための図。

【図9】本発明に係る印刷に応じた立体感制御量の変動を説明するための図。

【図10】本発明に係る画像処理条件を生成する際に用いるパターンの例を示す図。

【図11】本発明に係る画像処理条件の生成処理のフローチャート。

【図12】本発明に係る画像の周波数特性を説明するための図。

【図13】第２の実施形態に係るデフォーカスマップ修正処理のフローチャート。

【図14】第３の実施形態に係るデフォーカスマップ修正処理のフローチャート。

【発明を実施するための形態】

【0011】

本発明の実施形態に係る画像処理装置を、図面を参照しながら説明する。なお、図面間で符号の同じものは同じ動作をするとして、重複する説明を省く。また、以下に示す実施形態にて提示されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

【0012】

以下に説明する各実施形態においては、出力装置としてインクジェットプリンタを例に挙げ、修正したデフォーカス量（デフォーカス情報）に基づいて、立体感制御を行う画像処理を説明する。また、以下の説明において、２次元の画像形成を行う際の立体感の再現に係る制御を立体感制御と記載する。

【0013】

［システム構成］
図１は、本発明の一実施形態に係る画像処理装置を適用したプリントシステムの全体構成の例を示す。情報処理装置（以下、「ＰＣ」ともいう）１０１と出力装置１０２を含んで構成される。ＰＣ１０１と出力装置１０２とが、ネットワークやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）またはローカルバスなどのインタフェースにより、通信可能に接続されている。ここでの接続方式は、特に限定するものではなく、有線／無線も問わない。ＰＣ１０１は、出力装置１０２への印刷制御指示、必要な情報及びデータの転送などを実施する。したがって、図１には不図示であるが、ＰＣ１０１と出力装置１０２はそれぞれ、外部装置との通信部を備える。

【0014】

ＰＣ１０１は、ＣＰＵ１０３、記憶装置１０４、ＵＩ１０５、作業メモリ１０６、およびデータ入力装置１０７を含んで構成される。記憶装置１０４は、不揮発性の記憶領域であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本実施形態のシステムプログラムや各種アプリケーションソフトおよび各種処理に必要なパラメータデータを記憶している。記憶装置１０４は、ＨＤＤやフラッシュＲＯＭに代表される手段で構成可能である。ＣＰＵ１０３は、記憶装置１０４に格納された各種ソフトウェアを実行する際に、作業メモリ１０６を用いて処理を実行する。ＵＩ１０５は、ユーザインタフェースとなる操作部であり、各種処理の実行に関して、キーボードやマウス等の入力機器やディスプレイ等の表示機器を含む。作業メモリ１０６は、揮発性の記憶領域であり、例えば、ＣＰＵ１０３による各種処理を実行する際に利用される。データ入力装置１０７は、ＳＤカード等の外部記録媒体とのデータの入出力を行う。また、ＰＣ１０１は、カメラ等の撮像装置（不図示）をデータ入力装置１０７へ接続し、外部記録媒体を介さずにデータの受け渡しを直接行ってもよい。

【0015】

出力装置１０２は、データ転送部１０８、画像処理部１０９、印刷部１１０、およびプリンタ制御部１１１を含んで構成される。上述したように、本実施形態では、出力装置１０２は、インクジェット方式で印刷動作が実行可能なプリンタを想定して説明するが、他の機能を有する複合機（ＭＦＰ：Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）などであってもよい。出力装置１０２には、ＰＣ１０１から印刷処理に用いられる印刷データが適時送信される。本実施形態における印刷データは、以下のデータを含んで構成される。なお、ここで示すデータは一例であり、他のデータを含んでもよい。
（１）カメラ等の撮像装置で撮像された入力画像データ
（２）入力画像データに対応した撮影時の合焦面からの距離に相当する情報
（３）画像処理パラメータとプリンタ制御データ
（４）ユーザがＵＩ上で選択した印刷品位や記録媒体等の印刷情報データ。

【0016】

記録媒体とは、出力装置１０２において画像形成が行われる媒体であり、例えば、紙メディア等を指す。撮影時の合焦面からの距離に相当する情報（以下、「距離情報」とも称する）とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離の情報などが相当する。入力画像データや、距離情報は、撮像装置（不図示）内で生成されてもよいし、撮像装置（不図示）に接続されたＰＣ１０１または出力装置１０２において生成されてもよい。また、距離情報を生成するための情報を撮像装置（不図示）から取得し、撮像装置に接続されたＰＣ１０１や出力装置１０２内で距離情報を生成してもよい。ここで、距離情報を生成するための情報とは、例えば、撮像装置が備える撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などが挙げられる。

【0017】

データ転送部１０８は、ＰＣ１０１から送られてきた印刷データから、入力画像データ、距離情報、及び画像処理パラメータを取り出して画像処理部１０９に送る。また、データ転送部１０８は、プリンタ制御データや印刷情報データをプリンタ制御部１１１に送る。

【0018】

画像処理パラメータやプリンタ制御データは、ＰＣ１０１内の記憶装置１０４や、出力装置１０２内の記憶装置（ＨＤＤやＲＯＭ等：不図示）に記憶されている。これらが、印刷データ内の印刷情報データに基づいて選択され、画像処理部１０９やプリンタ制御部１１１に送られる構成でもよい。プリンタ制御部１１１は、プリンタ制御データに従って印刷部１１０の動作を制御する。本例では、印刷部１１０における印刷に関しては、インクジェット記録方式により印刷を行う。

【0019】

図２は、本実施形態に係る、撮影時の合焦面、像ずれ量、及びデフォーカス量の関係を説明するための図である。図２において、合焦面２０１は、撮像装置（不図示）において像面（撮像面）２０３と並行でピントの合う平面のことである。また、デフォーカス量２０５（ｄｅｆ）は、像面２０３とデフォーカスした撮像面位置２０４との差（予定結像面と実際の結像面との差）であり、ボケ量に比例している。本例では、予定結像面は、像面２０３に対応し、実際の結像面は、撮像面位置２０４に対応する。デフォーカス量２０５を検出する方法としては、従来、瞳分割型位相差検出方式や、ボケの異なる複数の画像を用いてデフォーカス量を検出する方法が知られている。

【0020】

例えば、特開２００８－１５７５４号公報では、図２に示す画像の像ずれ量（視差量）２０６からデフォーカス量２０５を算出する方法が開示されている。この方法では、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量２０６が視差量となる。さらに算出した像ずれ量２０６に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量２０５を算出する。

【0021】

また、特開２０１３－２５３９６４号公報では、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式によってデフォーカス量を算出する方法が開示されている。ＤＦＤ方式は、撮像光学系の撮影パラメータを制御することにより、ボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量２０５を算出する。

【0022】

次に、図３を用いて合焦面２０１と物体との距離を算出する方法を説明する。図３において、３０１は合焦物体距離ＯＢＪ（０）を示し、合焦面２０１からレンズ２０２までの距離である。３０２は合焦像物体に対する撮像面距離Ｓ（０）を示し、レンズ２０２から像面２０３（予定結像面）までの距離である。３０３は物体距離ＯＢＪ（ｄｅｆ）を示し、レンズ２０２から物体（不図示）までの距離である。３０４は合焦面２０１から物体（不図示）までの距離である。変数ｄｅｆは、デフォーカス量２０５を示している。また、変数ｄｅｆ＝０の場合とは、像面２０３とデフォーカスした撮像面位置２０４との差が０であることを示す。レンズの公式により、下記の式（１）、式（２）が成立するため、物体距離ＯＢＪ（ｄｅｆ）は下記の式（３）によって算出することが可能である。

式（３）によって算出した物体距離ＯＢＪ（ｄｅｆ）を合焦物体距離ＯＢＪ（０）から引くことにより、合焦面２０１から物体（不図示）までの距離３０４を算出することができる。

【0023】

上述した合焦面２０１からの距離に相当する情報（距離情報）とは、合焦面２０１からの距離に比例した情報である。そのため、合焦面２０１からの距離に相当する情報（距離情報）としては、上述した像ずれ量２０６、デフォーカス量２０５、合焦面２０１から物体（不図示）までの距離３０４のいずれでもよい。

【0024】

次にデフォーカスマップについて説明する。上述のデフォーカス量２０５を入力画像データ上の複数個所でマップ化したものがデフォーカスマップであり、入力画像データの各画素に対応するデフォーカス量の情報を保持している。したがって、入力画像データの画素数に応じて、保持されるデフォーカス量の情報の数は異なる。

【0025】

図６は、デフォーカス量と本実施形態で使用する各領域を説明するための図である。図６において、横軸はデフォーカス量［ｍｍ］を示しており、中央の値を０とし、左右に離れるほどデフォーカス量が増加している。図６において、デフォーカス量＝“０”が撮影時の合焦面２０１に相当するデフォーカス量であり、合焦面画像領域（以下、合焦領域５０３）と呼ぶ。合焦領域５０３以外の領域を本実施形態では、デフォーカスマップ上で合焦面２０１に対応しない領域として非合焦領域５０４とする。また、ピントが合っているものとして許容する領域を許容合焦領域５０５とする。許容合焦領域５０５は、被写界深度としてその範囲を定義してもよいし、被験者実験によって任意に定義してもよい。許容合焦領域５０５以外の領域を、本実施形態では非許容合焦領域５０６とする。図６では、横軸をデフォーカス量としたが、これに限定するものではない。例えば、距離情報の例として挙げた、上述の像ずれ量２０６や、合焦面２０１から物体までの距離３０４の情報などの他の情報を用いてもよい。

【0026】

＜第１の実施形態＞
本願発明の第１の実施形態に係る画像処理部１０９の構成例を図４に示す。画像処理部１０９は、例えば、専用の回路等によって実行されてもよい。もしくは、ＣＰＵや記憶領域を設け、ＣＰＵが記憶領域に記憶されたプログラムを読み出して実行することにより実現されてもよい。なお、本実施形態では、画像処理部１０９は、出力装置１０２が備える構成としているが、これに限定するものではない。例えば、画像処理部１０９に対応する機能がＰＣ１０１や撮像装置（不図示）にて提供され、それらが出力装置１０２と連携もしくは出力装置１０２の情報を取得することで実行されるような構成であってもよい。

【0027】

画像処理部１０９は、画像取得部４０１、情報生成部４００、立体感制御部４０５、および条件保持部４０６を含んで構成される。情報生成部４００は、上述した合焦面２０１からの距離に相当する情報（距離情報）を生成する部位であり、デフォーカスマップ取得部４０２、デフォーカスマップスコア算出部４０３、およびデフォーカスマップ修正部４０４を含んで構成される。

【0028】

本実施形態に係る画像処理部１０９における画像処理を図５のフローチャートを用いて説明する。

【0029】

Ｓ１０１にて、画像取得部４０１は、撮像された入力画像を取得する。入力画像は、撮像された画像の色情報を示す。ここでは、上記にて（１）にて示した入力画像データに相当する。

【0030】

Ｓ１０２にて、デフォーカスマップ取得部４０２は、撮像された画像に対応するデフォーカスマップを取得する。デフォーカスマップは、入力画像の一つ以上の画素ごとに合焦面２０１からの距離を記録したマップである。なお、デフォーカスマップは入力画像と対応づけて予め与えられてもよいし、上述の方法により、像ずれ量２０６からデフォーカスマップが生成されてもよい。

【0031】

Ｓ１０３にて、デフォーカスマップスコア算出部４０３は、画像取得部４０１およびデフォーカスマップ取得部４０２において取得された入力画像の色情報を用いて、デフォーカスマップのスコアを画素ごとに算出する。ここでの色情報とは、例えば、画素のＲＧＢ値などが挙げられる。

【0032】

本実施形態において、デフォーカスマップのスコアとは、デフォーカスマップが持つ値の確からしさ（確度）を画素ごとに示した評価値である。上述したように、像ずれ量２０６等を用いて、デフォーカス量２０５などの距離情報（合焦面２０１からの距離に相当する情報）を算出する場合、画像のエッジ部分など、コントラストの高い領域は、像ずれ量が一意に決まりやすい。これは、コントラストの高い領域であれば、ある像ずれ量において高い相関値を示すことがはっきりと特定することができるためである。一方、画像の平坦な部分（コントラストが低い領域）は、いずれの像ずれ量においても相関値に変化が乏しく、像ずれ量を一意に決め難い。このことから、入力画像中のコントラストが高い領域で得られたデフォーカス量は、相対的に確からしさが高く、コントラストが低い領域で得られたデフォーカス量は相対的に確からしさが低いことがわかる。言い換えると、高い相関が特定できる場合とは、その画素における距離情報の確度が高いことを意味する。

【0033】

本実施形態では、画像中の領域ごとに算出されたコントラストをデフォーカスマップのスコアに反映させる。画像からコントラストを得る手法の代表例として、画像に対してフィルタ処理を施す手法がある。この場合、下式に代表されるようなフィルタを用いて得られた値を用いることでコントラストの高い画素を得ることが可能である。なお、フィルタはコントラストの高い画素を得られるものであればよく、下式に限定するものではない。

Ｉは、入力画像の色情報から輝度成分を抽出した画像を示す。ｇ_ｘ、ｇ_ｙはそれぞれ、画像におけるｘ、ｙ方向のフィルタを示す。画像におけるｘ、ｙ方向は予め規定されているものとする。ｉ、ｊはそれぞれ、ｘ、ｙ方向に沿ったフィルタ中心からの距離を示す。σは、フィルタパラメータを示す。＊は、畳み込み演算を示す。Ｓｃｏｒｅは、得られたデフォーカスマップのスコアを示す。

【0034】

デフォーカスマップのスコアを算出した後、Ｓ１０４にて、デフォーカスマップスコア算出部４０３は、デフォーカスマップを修正する。本処理では、Ｓ１０３にて算出したスコアの値に応じて、デフォーカスマップの値を重み付けする。これにより、相対的にスコアの低いデフォーカスマップの値を、相対的にスコアの高いデフォーカスマップの値によって修正する。具体的には、周辺領域ウィンドウサイズＷを定義し、注目画素と、周辺領域ウィンドウサイズＷによって決められる周囲領域のデフォーカスマップの値を、スコアの値によって下式のように重み付けする。

ｉ_ｋ、ｊ_ｋは、注目画素に対する周囲画素の相対的な位置を示す。Ｎは、周辺領域ウィンドウサイズによって決められる周囲領域の画素数を示す。ｄｅｆ（ｘ，ｙ）は、座標位置（ｘ，ｙ）の注目画素に対する修正前のデフォーカスマップの値を示す。ｄｅｆ’（ｘ，ｙ）は、座標位置（ｘ，ｙ）の注目画素に対する修正後のデフォーカスマップの値を示す。

【0035】

［出力装置における立体感］
ここで、出力装置１０２の鮮鋭性に影響する出力特性と立体感の制御について説明する。上述したように、人間がカメラなどの撮像装置で撮影された２次元画像を見る際、合焦している（ピントが合っている）合焦領域を含む許容合焦領域と、合焦していない（ボケている）非許容合焦領域の鮮鋭感の差から画像の奥行き感や立体感を認識している。

【0036】

一方、本実施形態で述べているプリンタなどの出力装置を通して画像を出力すると、例えば、記録媒体やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理により、画像の鮮鋭性が低下する。ディスプレイやプロジェクタなどの他の出力装置でも同様に出力画像においては画像の鮮鋭性が低下する。

【0037】

このような出力装置の出力特性による入力画像の鮮鋭性の変化は、入力データとして鮮鋭性の高い（ピントが合っている）許容合焦領域では大きく変化し、入力データとして鮮鋭性の低い（ボケている）非許容合焦領域では殆ど変化しない。つまり、各領域で鮮鋭性の変化量が異なる。そのため、入力画像に立体感に影響していた許容合焦領域と非許容合焦領域の鮮鋭性の関係が、出力画像でそのまま維持されないこととなる。

【0038】

図７のグラフを用いてさらに詳しく説明する。図７において、説明の簡略化のため、合焦領域の画像の空間周波数特性と、非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性とが同じ周波数にピークを持つ画像として扱う。また、本実施形態では、記録媒体サイズに変倍するために画像に対する拡大処理を行ってからプリンタで出力した際の特性を出力特性とする。本実施形態では、解像度変換処理として拡大処理を例に挙げて許容合焦領域と非許容合焦領域の鮮鋭性の関係を説明しているが、解像度変換処理が等倍処理・縮小処理であってもよい。

【0039】

図７は、画像のコントラストと空間周波数特性との関係を示し、縦軸をコントラスト、横軸を空間周波数［ｃｙｃｌｅ／ｄｅｇｒｅｅ］とする。実線は図６に示したデフォーカス量ｄ０における変化を示し、破線は図６に示したデフォーカス量ｄｘにおける変化を示す。ボケによる立体感がある入力画像データでは、特定の空間周波数において、入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２が図７（ａ）に示す関係となる。この入力画像を拡大すると、図７（ｂ）に示すようにコントラスト値Ｃ１とＣ２は、Ｃ１’とＣ２’に変化する。ここでは、上述したように、入力画像データを記録媒体サイズに変倍するように拡大処理を行うものとする。

【0040】

図７（ａ）と図７（ｂ）から明らかなように、出力装置の出力特性によって入力画像データの鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。そのため、立体感に影響する鮮鋭性の差（コントラスト値Ｃ１’とＣ２’の関係７０２）が、入力画像データにおける鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係７０１）より小さくなり、適切な立体感が得られない出力画像となる。つまり、入力画像と同様の立体感のある出力画像を得るためには、前述のデフォーカス量に相当する画像のボケの状態と出力装置の鮮鋭性に影響する出力特性に基づいて適切に鮮鋭性を制御する必要がある。言い換えると、出力特性に応じて、鮮鋭性の差（コントラスト間の関係性）が入力画像の状態に維持もしくは近づくように制御する必要がある。

【0041】

本実施形態において、画像出力条件に設定される出力装置の出力特性に基づいたデフォーカス量と立体感制御量の関係を用いて画像の鮮鋭性を適切に制御する。この制御により得られる出力画像では、合焦領域と非合焦領域のコントラスト値の関係は、図７（ｃ）となる。図７（ｃ）で示すＣ１”は合焦領域のコントラスト値、Ｃ２”は非合焦領域のコントラスト値である。図７（ｃ）に示すように、本実施形態に係る画像出力条件に基づいて立体感制御処理を実施した出力画像では、処理をしない場合の鮮鋭性の差（関係７０２）に対して、画像の立体感に影響する鮮鋭性の差（関係７０３）が大きくなる。これにより入力画像における鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係７０１）に近くなっているため、本実施形態では、入力画像に近い、適切な立体感を出力画像でも得ることができる。

【0042】

なお、図７では、説明の簡略化のため、合焦領域の画像の空間周波数と、非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数の２点に対するコントラストを比較した。しかし、合焦領域と非許容合焦領域の別のデフォーカス量に対応する画像についても前述の関係は成立する。また、許容合焦領域に含まれる特定のデフォーカス量に対応する画像と、非許容合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数の２点においても前述の関係は成立する。

【0043】

また、画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できることは自明である。

【0044】

次に、画像処理部１０９が有する立体感制御部４０５に関する説明を行う。立体感制御部４０５では、条件保持部４０６に設定されている鮮鋭性の制御パラメータにより、入力画像データの鮮鋭性を制御する。条件保持部４０６には各デフォーカス量に対する立体感制御量に関する情報が設定されている。

【0045】

図８は、条件保持部４０６に設定されているデフォーカス量と立体感制御量の関係を示している。図８において、縦軸は立体感制御量を示し、横軸はデフォーカス量を示す。図８におけるデフォーカス量は、図６に対応するものとする。画像処理条件の作成方法については後述する。以下、図８に示す関係を用いて、具体的に処理フローを説明する。

【0046】

図５のフローに戻る。Ｓ１０５にて、立体感制御部４０５は、条件保持部４０６に保持されている画像処理条件を取得する。

【0047】

Ｓ１０６にて、立体感制御部４０５は、入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップ（図６）のデフォーカス量を参照しながら、画像処理条件（図８）に設定された立体感制御量を適用して鮮鋭化処理を行う。鮮鋭化処理では、例えば、下式に示すようなＬａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタが用いられる。

σ、βは立体感制御量に関するフィルタパラメータを示し、それぞれ、デフォーカス量に応じた値が設定される。σ、βはＬＵＴ（Ｌｏｏｋ－Ｕｐ Ｔａｂｌｅ）方式でパラメータを予め設定してもよいし、デフォーカス量に対する関係式を用いて計算してもよい。そのほかの変数は、上述した式と同様である。

【0048】

上記Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタを用いた鮮鋭化処理は下式のように記述される。

Ｉは入力画像を示し、Ｏｕｔは鮮鋭化処理後の画像を示す。＊は畳み込み演算を表す。

【0049】

図８において、β＝β１は、入力画像の合焦領域に対する制御量を示す。図８において、β１は最大の立体感制御量を示す。また、デフォーカス量ｄ１は、図６に示す許容合焦領域５０５と非許容合焦領域５０６の境界の値である。さらに、デフォーカス量ｄ２は、デフォーカスマップ（図６）に含まれる最大のデフォーカス量を示す。したがって、デフォーカス量は、ｄ０（＝０）からｄ２までの範囲の値をとる。また、立体感制御量は、β１から０までの範囲の値をとる。

【0050】

出力画像において、出力装置の出力特性を考慮した適切な立体感を得るためには、図８（ａ）～（ｃ）に示すように、入力画像内の合焦領域５０３の画素に対する立体感制御量が最も大きくなるように画像処理条件を設定する。つまり、デフォーカス量ｄ０に対する立体感制御量β１が最大となるように設定する。さらに、非合焦領域５０４の制御量は、デフォーカス量が大きくなるほど（ｄ２に近づくほど）制御量が小さくなるように、つまり単調減少となるように設定するとよい。合焦面２０１からの距離に相当する情報としてのデフォーカス量ｄｅｆが画像のボケ量に対応する値である場合は、図８（ａ）のように、デフォーカス量と立体感制御量は非線形な関係をもつ。図８（ａ）に示す線は、β＝ｆ（ｄ）＝α・ｄ^２にて示される。ここでのαは、変換係数を示す。この曲線の式は一例であり、他の式を用いてもよい。デフォーカス量が像ずれ量２０６に対応する場合は、図８（ｂ）のように、線形な関係をもつ。

【0051】

また、図８（ｃ）のように、非許容合焦領域５０６（ｄ１～ｄ２の範囲）に対しては立体感制御量βを“０”としてもよい。この場合でも、前述のように許容合焦領域５０５と非許容合焦領域５０６の鮮鋭性の差は、入力画像における許容合焦領域５０５と非許容合焦領域５０６の鮮鋭性の差に近づき、出力画像の立体感を得ることが可能である。上記の立体感制御量は記録媒体の特性や、インク（記録剤）の特性、記録媒体サイズなどによって異なる。これは、記録媒体やインク特性ごとに、インクの滲み等による画像の鮮鋭性の低下の度合いが異なるとともに、記録媒体サイズによって解像度変換処理の変倍率が異なるためである。

【0052】

図９は、上述したような記録媒体の特性等に応じて、立体感制御量を変化させる例を示す図である。図９の実線は、図８（ａ）と異なる条件で出力した際のデフォーカス量に対する立体感制御量を示している。図９の破線は、図８（ａ）の実線に対応する。例えば、図９（ａ）は、図８（ａ）と比べてインクの滲みが大きい、もしくは変倍率が大きいために立体感制御量が大きい場合を示している。逆に、図９（ｂ）は、図８（ａ）と比べてインクの滲みが小さい、もしくは変倍率が小さいために立体感制御量が小さい場合を示している。

【0053】

なお、シャープネス処理に使用するフィルタは、上述したＬａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎフィルタだけでなく、特定フィルタの強度を鮮鋭性制御量で調整する方法もある。特定フィルタとは、例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタである。

【0054】

また、上記では鮮鋭性を制御する処理として鮮鋭化処理を例に説明したが、これはコントラスト処理でもよい。具体的には、図８（ｄ）に示すように、合焦領域５０３を含む許容合焦領域５０５（ｄ０～ｄ１の範囲）の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については立体感制御量を係数とする変換式を用いる方法や、上述したような入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、もちろんこれに限らない。

【0055】

シャープネス処理とコントラスト処理のどちらも処理も出力画像の鮮鋭性を制御することができるため、画像出力装置の特性に応じて、どちらかの処理を選択する、あるいは二つの処理を組み合わせて使用してもよい。

【0056】

［画像処理条件］
ここで、条件保持部４０６で保持される画像処理条件の作成方法について説明する。ここでの画像処理条件とは、図８に示すような変換方法に相当し、出力装置の出力特性に基づき設定される。画像処理条件に設定するパラメータは、例えば、図１０に示すような計測用画像をプリンタやディスプレイ、プロジェクタ等の出力装置１０２で出力し、測定装置（不図示）を用いて取得した出力装置１０２による出力画像の周波数特性（ＭＴＦ特性）から算出する。なお、出力画像生成における各画像処理をＰＣ１０１上でシミュレートして得られた画像から出力装置１０２のＭＴＦ特性を算出方法が用いられてもよい。つまり、本実施形態では、出力装置の出力特性および距離情報の値に応じて、立体感制御量βは変動する。

【0057】

図１０に示す画像は、ピントが合っている合焦面２０１に対応する画像群１０００、あるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群１００１を含んで構成されている。より詳細には、図１０に示す画像は、周波数の異なる複数の矩形パターン、あるいは、正弦波パターン、均一パターンといった、複数のパターン１００２、１００３を含むチャートである。なお、図１０に示す画像は、周波数の異なる複数の正弦波パターンである。均一パターンは、夫々正弦波パターン上の最大画素値と最小値の画素値で構成される。

【0058】

画像処理条件の作成方法を図１１のフローチャートを用いて説明する。処理フローは、出力装置１０２やＰＣ１０１等の情報処理装置などが連携することにより実行される。なお、画像処理条件の作成を行うタイミングは、特に限定するものではなく、出力装置１０２の出荷前に予め実行され、その生成情報が出力装置１０２の条件保持部４０６に保持されていてもよいし、適時更新されるような構成であってもよい。また、本処理を実行するにあたり、出力装置１０２の出力結果を計測するための計測装置（不図示）が用いられるものとする。

【0059】

Ｓ２０１にて、出力装置１０２は、図１０に示すような計測画像を出力する。

【0060】

Ｓ２０２にて、測定装置（不図示）は、出力装置１０２で出力した計測用画像を測定し、ＭＴＦ特性算出に必要な情報を取得する。ここでの必要な情報は、ＭＴＦ特性の算出方法に応じて異なるものとする。

【0061】

Ｓ２０３にて、情報処理装置（不図示）は、測定装置（不図示）にて取得された情報を用いてＭＴＦ特性の算出を行う。例えば、計測画像が正弦波パターンである場合、ＭＴＦ特性は、以下に示す式（１２）～（１４）、あるいは式（１５）で算出することができる。下式に示すＭＴＦの値は、光学伝達関数の絶対値を意味する。出力画像の平均明度が変化する場合は式（１５）の使用が好ましい。

ｕは正弦波の周波数を示す。Ｍａｘ（ｕ）は周波数で変化する正弦波パターンの最大反射率を示す。Ｍｉｎ（ｕ）は周波数で変化する正弦波パターンの最小反射率を示す。Ｒ_１およびＲ_２は、均一パターンの反射率（Ｒ_１＞Ｒ_２）を示す。

【0062】

上記の式（１２）や式（１５）において、反射率Ｒ１、Ｒ２を用いているが、代わりに輝度や濃度やデバイスＲＧＢ値を用いてもよい。計測装置（不図示）としては、出力装置１０２がプリンタである場合は、例えばスキャナやデジタルカメラ、顕微鏡を用いることができる。出力装置１０２がディスプレイやプロジェクタの場合は、デジタルカメラを用いることができる。

【0063】

また、計測画像が矩形波パターンである場合、出力装置１０２のＭＴＦ特性は、式（１２）または式（１５）を適用することで得られるコントラスト伝達関数（ＣＴＦ）で表現される。あるいは、ＣＴＦ値をコルトマン補正式で変換したＭＴＦ値が用いられてもよい。

【0064】

前述の方法により、計測画像に含まれる合焦面２０１に対応する画像群１０００、および任意のデフォーカス量に対応する画像群１００１の夫々の画像の周波数特性（ＭＴＦ特性）が取得される。図１２は、周波数特性の例を示す。図１２において、縦軸はＭＴＦ特性を示し、横軸は空間周波数［ｃｙｃｌｅ／ｄｅｇｒｅｅ］を示す。また、図１２において、実線（Ｄ０）は、合焦面２０１に対応する画像群１０００の周波数特性を示す。点線（Ｄ１）は、許容合焦領域５０５に含まれるデフォーカス量ｄ１に対応する画像群１００１の周波数特性を示す。破線（Ｄ２）は、非許容合焦領域５０６に含まれるデフォーカス量ｄ２に対応する画像群１００１の周波数特性を示している。

【0065】

これにより、デフォーカス量ごとに、ＭＴＦ特性が取得できる。つまり、デフォーカス量ごとの出力装置１０２の鮮鋭性に関する出力特性が得られる。

【0066】

Ｓ２０４にて、情報処理装置（不図示）は、出力画像の合焦領域の鮮鋭性あるいは周波数特性を、入力画像の鮮鋭性あるいは周波数特性に鮮鋭化処理によって復元するように、立体感制御量を算出する。

【0067】

出力画像において、入力画像と同様の適切な立体感を得るためには、立体感制御処理を適用しない場合と比較して、処理を適用した際の出力画像の許容合焦領域と非許容合焦領域の鮮鋭性の差が、入力画像におけるその鮮鋭性の差に近づける必要がある。つまり、出力画像において許容合焦領域と非許容合焦領域の鮮鋭性の差を適切に制御するためには、デフォーカス量ごとの出力装置１０２の鮮鋭性に影響する出力特性に応じて立体感制御量を設定すればよい。そこで、本実施形態では、特定の周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を、入力画像の鮮鋭性あるいは周波数特性に鮮鋭化処理によって復元するように立体感制御量を設定する。同様に、本実施形態では、非合焦領域に対しても、デフォーカス量ごとに得られるＭＴＦ特性から復元量を算出し、立体感制御量とする。これにより、図８に示すようなデフォーカス量に対する立体感制御量が算出される。

【0068】

デフォーカス量と鮮鋭度の関係は、図８に示したデフォーカス量を入力として立体感制御量を出力とする関係式として設定する方法、ＬＵＴ方式でパラメータを選択して設定する方法等がある。なお、これらの方法に限定するものではなく、デフォーカス量に対する立体感制御量を算出できるのであれば、どのような方法でもよい。

【0069】

また、立体感制御量は、ＭＴＦ特性を復元する値に限らない。出力装置１０２の出力特性に基づいたデフォーカス量と鮮鋭化の制御量に応じた鮮鋭化処理をしない場合の鮮鋭性の差に対して、処理を行った場合の鮮鋭性の差が大きくなることを満足すると、出力画像で適切な立体感を得られる。

【0070】

更には、図８に示す合焦面２０１における制御量β１は、画像のＭＴＦ特性を特定の値（例えば、０．８から１．２）に復元するように設定すると、出力画像における合焦面２０１の鮮鋭性が好ましい画像が得られる。

【0071】

本実施形態では、画像処理条件としてデフォーカス量と立体感制御量の関係を例に説明した。しかしこれに限定するものではなく、合焦面２０１からの距離に相当する情報（距離情報）として挙げた像ずれ量２０６もしくは合焦面と物体との距離３０４と、立体感制御量の関係を画像処理条件としてもよい。

【0072】

そして、Ｓ２０５にて、情報処理装置（不図示）は、Ｓ２０４にて算出した立体感制御量に基づき、デフォーカス量に応じた出力装置の鮮鋭性に関する出力特性から導出される画像処理条件を条件保持部４０６に設定し、保持させる。そして、本処理フローを終了する。この画像処理条件を用いて、入力画像データを処理することで、出力画像の立体感を制御することが可能になる。

【0073】

（第１の実施形態の効果）
入力画像から求められるデフォーカスマップのスコア（値の確からしさ）を用いて、デフォーカスマップの値を修正することにより、相対的にスコアの低いデフォーカスマップの値が修正される。これにより、デフォーカスマップの精度が向上し、合焦面からの距離に相当する情報の精度を向上させることができる。その結果、画像に対して所望の立体感制御を施しやすくなる。

【0074】

＜第２の実施形態＞
本発明に係る第２の実施形態について説明する。第２の実施形態は、図５にて示したＳ１０４のデフォーカスマップ修正処理が第１の実施形態と異なる。

【0075】

［デフォーカスマップ修正処理］
図１３は、本実施形態に係るデフォーカスマップ修正処理のフローを示す。

【0076】

Ｓ３０１にて、デフォーカスマップスコア算出部４０３は、デフォーカスマップスコアの空間分布を算出する。デフォーカスマップスコアの空間分布とは、スコアの高い画素が集中している度合を、一つ以上の画素に対して示したものである。スコアの空間分布を求める代表例として、単位面積当たりのスコアの平均により求めることが可能である。

Ｎは周辺領域の要素数を示す。なお、スコアの空間分布の求め方は上記の式（１６）に限定するものではない。例えば、スコアの閾値を設定し、閾値よりも高いスコアが単位面積あたりに存在する数を計算することで、空間分布を求めてもよい。

【0077】

Ｓ３０２にて、デフォーカスマップスコア算出部４０３は、デフォーカスマップ修正のための周辺領域ウィンドウサイズを決定する。周辺領域ウィンドウサイズは、例えば、式（９）において用いたデフォーカスマップを修正する際のウィンドウサイズＷと同じであってよい。

【0078】

スコアの空間分布が高い値を示すほど、確度の高いデフォーカス量が密集していることを示している。この時、ウィンドウサイズが大きければ大きいほど、修正によるオリジナルのデフォーカス量からの変化が大きくなる。したがって、このような場合は、周辺領域ウィンドウサイズＷを狭くすることにより、オリジナルのデフォーカス量を変化させないようにする。一方、スコアの空間分布が低い値を示すほど、確度の高いデフォーカス量が少ないことを示している。この場合は、周辺領域ウィンドウサイズＷを広くすることにより、確度がより高いデフォーカス量を用いて、デフォーカス量の修正を行うことが可能となる。すなわち、スコアの空間分布が高くなればなるほど、周辺領域ウィンドウサイズＷを小さくすればよい。

【0079】

Ｓ３０３にて、デフォーカスマップスコア算出部４０３は、Ｓ３０２で一つ以上の画素ごとに決定された周辺領域ウィンドウサイズＷを用いて、デフォーカスマップを修正する。デフォーカスマップの修正は上記の式（９）によって行う。なお、デフォーカスマップの修正に用いる式は、別の式を用いてもよい。

【0080】

（第２の実施形態の効果）
周辺領域ウィンドウサイズＷの値をデフォーカスマップの空間分布に基づいて決定することにより、確度の高いデフォーカス量が密集している領域は、オリジナルの確度の高いデフォーカス量を採用しやすくなる。一方、確度が高いデフォーカス量が周囲に少ない場合は、ウィンドウサイズを広げることにより、確度がより高いデフォーカス量を用いて注目画素のデフォーカス量を修正しやすくなる。その結果、本実施形態により、修正したデフォーカス量の精度が向上する。

【0081】

＜第３の実施形態＞
本発明に係る第３の実施形態について説明する。第３の実施形態は、図５に示したＳ１０４のデフォーカスマップ修正処理の内容が第１の実施形態と異なる。

【0082】

図１４は、本実施形態に係るデフォーカスマップ修正処理のフローを示す。

【0083】

Ｓ４０１にて、デフォーカスマップスコア算出部４０３は、デフォーカスマップスコアの空間分布を算出する。本処理の詳細は、第２の実施形態にて述べた図１３のＳ３０１と同様である。

【0084】

Ｓ４０２にて、デフォーカスマップスコア算出部４０３は、デフォーカスマップを領域分割するための、領域分割の初期点の位置を計算する。この処理は、Ｓ４０１にて求められたデフォーカスマップの空間分布に基づき、初期点の位置が決定される。つまり、デフォーカスマップの空間分布が高い値を示すほど、領域をより細かく分割するために初期点を多く配置し、デフォーカスマップの空間分布が低い値を示すほど、領域を大まかに分割するために初期点を少なく配置する。初期点の数および配置方法については、例えば、空間分布に対応して予め規定されていてもよいし、決定するための算出式が用いられてもよい。

【0085】

Ｓ４０３にて、デフォーカスマップスコア算出部４０３は、Ｓ４０２にて決定された領域分割初期点に基づいて、領域分割を行う。領域分割の手法には、Ａｃｈａｎｔａ，ｅｔａｌ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２０１２，“ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ Ｃｏｍｐａｒｅｄ ｔｏ Ｓｔａｔｅ―ｏｆ―ｔｈｅ―Ａｒｔ Ｓｕｐｅｒｐｉｘｅｌ Ｍｅｔｈｏｄｓ”．に示される方法などがある。また、単純に矩形形状に分割してもよい。領域分割の手法は、上記に限定するものでは無く、他の手法が用いられてもよい。

【0086】

Ｓ４０４にて、デフォーカスマップスコア算出部４０３は、領域ごとに、領域を代表するデフォーカス量を算出する。領域を代表するデフォーカス量は、領域内デフォーカス量の中央値により求める。ただし、以下の場合は、領域ごとのデフォーカス量を「エラー」とする
・領域内デフォーカス量の分散が、予め定められた所定の閾値を超える場合
・領域内デフォーカス量のうち、所定の閾値を超えるスコアを持つデフォーカス量の割合が、予め定められた所定の閾値を超えない場合
上記の所定の閾値については、記憶領域にて保持されているものとする。

【0087】

Ｓ４０５にて、デフォーカスマップスコア算出部４０３は、領域間の類似度を求める。領域間の類似度は、例えば、隣接する領域間のヒストグラムインターセクションによって、下式を用いて算出することができる。

ｌ、ｍはそれぞれ領域のインデックスを表し、領域ｍと領域ｌは隣接している。ｈｉｓｔ_ｌは領域ｌのヒストグラムを示す。ｈｉｓｔ_ｍは領域ｍのヒストグラムを示す。Ｎ_Ｂはヒストグラムのビン数である。ヒストグラムは、入力画像と領域分割結果から予め作成されているものとする。また、デフォーカス量が「エラー」とされた領域とその他の領域との類似度は“０”とする。

【0088】

Ｓ４０６にて、デフォーカスマップスコア算出部４０３は、領域ごとに算出されたデフォーカスの値を、領域間類似度に基づいて伝播させる。

Ｎ_ｓは、類似度の数を示す。ｄｅｆ_ｍは、領域ｍにおけるデフォーカス量を示す。

【0089】

なお、上記類似度の算出は、隣接した領域間で計算したが、必ずしも隣接した領域でなくともよく、類似度を領域間の距離や色に応じた値に基づいて計算してもよい。また、同じ領域に対するデフォーカス量の伝播は一回でなく、複数回繰り返してもよい。複数回繰り返すことにより、Ｓ４０４において「エラー」とされた領域ごとのデフォーカス量を推定しやすくなる。

【0090】

Ｓ４０７にて、デフォーカスマップスコア算出部４０３は、エッジ整形を行う。エッジ整形は、Ｓ４０６において得られたデフォーカスマップ中のエッジを、入力画像のエッジと一致させる処理である。具体的には、Ｍｉｎ，ｅｔａｌ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．２３，ｉｓｓｕｅ１２，ｐｐ．５６３８－５６５３ ２０１４，“Ｆａｓｔ Ｇｌｏｂａｌ Ｓｍｏｏｔｈｉｎｇ Ｂａｓｅｄ ｏｎ Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ”．や、Ｋｏｐｆ ｅｔａｌ， ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ，“Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｕｐｓａｍｐｌｉｎｇ”．などのエッジ保存型フィルタを用いて行えばよい。デフォーカスマップ中のエッジを入力画像のエッジと一致させようとする処理であれば、上記手法以外の手法が用いられてよい。本処理を行うことで、入力画像と出力画像のエッジの関係性が一致し、整合性がとれる。なお、エッジ整形を行う理由として、これまでの変換処理（伝播処理等）により、エッジの位置などが変化することを考慮しているためである。

【0091】

（第３の実施形態の効果）
本実施形態では、デフォーカスマップを領域ごとに計算し、かつデフォーカスの値の確からしさ（確度）が低い領域はエラーとして扱うため、ノイズに対して頑健になる。また、領域分割の細かさをデフォーカスのスコアの空間分布に応じて変化させるため、スコアの高い領域のデフォーカス量の精度をより高く、スコアの低い領域のデフォーカス量をできるだけスコアの高い領域のデフォーカス量を用いて修正することが可能となる。

【0092】

また、本実施形態では、領域ごとに算出されたデフォーカス量を、領域間の類似度に基づいて伝播する。さらに、エッジ整形を行うことにより、デフォーカスマップのエッジの位置を、入力画像のエッジの位置と一致させることが可能となる。その結果、エッジの位置がずれたことに起因する鮮鋭化後の疑似輪郭といったアーティファクト（エラーやゆがみ）を抑制することができる。

【0093】

＜その他の実施形態＞
本発明のその他の実施形態にとして、本発明に係る距離情報（合焦面からの距離に相当する情報）を、立体感制御だけでなく、その他の処理にも応用する例について示す。

【0094】

本発明に係る距離情報を、画像中の被写体認識に用いるように構成してよい。被写体の深度を用いて認識を行う例としては、特開２０１４－１７９０７号公報などが詳しい。本発明に係る距離情報（合焦面からの距離に相当する情報）を被写体認識に用いることにより、より正確な深度情報を得ることが可能となる。このため、被写体認識の精度が向上する。

【0095】

また、本発明に係る距離情報を、３次元ポリゴンモデルの生成に用いるように構成してもよい。深度を利用して３次元ポリゴンモデルを生成する例としては、特開２０１７－１５７２０８号公報などが詳しい。本発明に係る距離情報（合焦面からの距離に相当する情報）を用いることにより、より正確な深度情報を得ることが可能となる。このため、３次元ポリゴンモデルの精度が向上する。

【0096】

また、本発明に係る距離情報を、被写体抽出に用いるように構成してもよい。深度を利用して、画像から被写体を抽出する例としては、特開２０１５－１６２７３０号公報などが詳しい。本発明に係る距離情報（合焦面からの距離に相当する情報）を被写体認識に用いることにより、より正確な深度情報を得ることが可能となる。このため、被写体抽出の精度が向上する。

【0097】

また、本発明に係る距離情報を、画像のエフェクト処理に用いるように構成してもよい。深度を利用して、画像にエフェクトを施す例としては、特開２０１３－１１８４６８号公報などが詳しい。本発明に係る距離情報（合焦面からの距離に相当する情報）を被写体認識に用いることにより、より正確な深度情報を得ることが可能となる。このため、深度情報の不正確さによって発生するエフェクト処理時の疑似輪郭などのアーティファクトの軽減につながる。

【0098】

なお、本発明に係る距離情報を適用する処理は上記に限定するものでは無く、他の処理に適用してもよい。

【0099】

本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0100】

１０１…ＰＣ、１０２…出力装置、１０８…データ転送部、１０９…画像処理部、１１０…印刷部、１１１…プリンタ制御部、４００…情報生成部、４０１…画像取得部、４０２…デフォーカスマップ取得部、４０３…デフォーカスマップスコア算出部、４０４…デフォーカスマップ修正部、４０５…立体感制御部、４０６…条件保持部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】