特許 5962810 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5962810

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160721BHJP

   G03B 17/24 20060101ALI20160721BHJP

   G03B 15/00 20060101ALI20160721BHJP

   G06T 1/00 20060101ALI20160721BHJP

【ＦＩ】

   H04N5/232 Z

   G03B17/24

   G03B15/00 G

   G03B15/00 Q

   G06T1/00 510

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2015-83977(P2015-83977)

(22)【出願日】2015年4月16日

(62)【分割の表示】特願2014-116692(P2014-116692)の分割

【原出願日】2010年8月10日

(65)【公開番号】特開2015-173457(P2015-173457A)

(43)【公開日】2015年10月1日

【審査請求日】2015年4月16日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】井上 英也

(72)【発明者】

【氏名】太平 博久

(72)【発明者】

【氏名】山垣 浩司

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開平１０−０５１８１１（ＪＰ，Ａ）

【文献】 特開２００９−０５３７４８（ＪＰ，Ａ）

【文献】 特開２００９−２５１１４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／２４

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

撮像画像の撮像時においてカメラにより測定された各領域における被写体距離を表す距離情報を取得する距離情報取得部と、
前記撮像画像に含まれる前記距離情報を用いずに、前記撮像画像の各領域における被写体距離を検出する検出部と、
前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する画像処理部と、
を備え、
前記画像処理部は、前記距離情報取得部が取得した距離が予め定められた距離より遠いとされた領域については前記検出部により検出された被写体距離に応じて当該領域における画像の距離感を変更し、
前記距離情報取得部が取得した距離が予め定められた距離より遠いとされていない領域については前記距離情報取得部により取得された距離に応じて当該領域の画像の距離感を変更する
画像処理装置。

【請求項2】

前記画像処理部は、検出した被写体距離が基準値より大きい領域に含まれる青成分の割合を大きくする
請求項１に記載の画像処理装置。

【請求項3】

前記画像処理部は、検出した被写体距離が基準値より大きい領域の画像をぼかす
請求項１に記載の画像処理装置。

【請求項4】

前記検出部は、前記撮像画像における各領域の青成分の割合に応じて当該領域における被写体距離を算出する
請求項１から３の何れか１項に記載の画像処理装置。

【請求項5】

前記検出部は、
前記撮像画像における各領域の被写体の種類を判別する判別部と、
前記撮像画像における各領域の青成分の割合を検出する青成分検出部と、
被写体の種類毎に画像に含まれるべき青成分の割合を記憶する青成分記憶部と、
前記撮像画像における各領域について、前記青成分記憶部に記憶された被写体毎の青成分の割合のうち前記判別部により判別された種類の被写体の青成分の割合と、前記青成分検出部により検出された青成分の割合との差に基づき、当該領域における被写体距離を算出する算出部と、
を有する
請求項４に記載の画像処理装置。

【請求項6】

前記検出部は、前記撮像画像に表示された被写体の輪郭の空間周波数に応じて、当該被写体の被写体距離を算出する
請求項１から３の何れか１項に記載の画像処理装置。

【請求項7】

前記撮像画像の撮像日時に基づき前記撮像画像の撮像時における気象条件を取得する気象条件取得部
を更に備え、
前記検出部は、取得された気象条件、及び、前記被写体の輪郭の空間周波数の変化に応じて前記撮像画像の各領域における被写体距離を検出する
請求項６に記載の画像処理装置。

【請求項8】

前記撮像画像を撮像した位置を表わす位置情報を取得する位置情報取得部を
更に備え、
前記検出部は、取得された前記位置情報、及び、前記被写体の輪郭の空間周波数の変化に応じて前記撮像画像の各領域における被写体距離を検出する
請求項６に記載の画像処理装置。

【請求項9】

前記撮像画像の前記位置情報に基づき前記撮像画像の撮像時における気象条件を取得する気象条件取得部を
更に備え、
前記検出部は、取得された前記気象条件、及び、前記被写体の輪郭の空間周波数の変化に応じて前記撮像画像の各領域における被写体距離を検出する
請求項８に記載の画像処理装置。

【請求項10】

前記検出部は、ピント距離の異なる設定により撮像された複数の撮像画像に基づき、前記複数の撮像画像の各領域における被写体距離を検出する
請求項１から９の何れか１項に記載の画像処理装置。

【請求項11】

前記検出部は、絞りの異なる設定により撮像された複数の撮像画像に基づき、前記複数の撮像画像の各領域における被写体距離を検出する
請求項１から９の何れか１項に記載の画像処理装置。

【請求項12】

撮像画像の撮像時においてカメラにより測定された各領域における被写体距離を表す距離情報を取得する段階と、
前記撮像画像に含まれる前記距離情報を用いずに、前記撮像画像の各領域における被写体距離を検出する段階と、
前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する段階と、
を備え、
前記距離感を変更する段階では、前記距離情報を取得する段階で取得した距離が予め定められた距離より遠いとされた領域については前記被写体距離を検出する段階で検出された被写体距離に応じて当該領域における画像の距離感を変更し、
前記距離情報を取得する段階で取得した距離が予め定められた距離より遠いとされていない領域については前記距離情報を取得する段階で取得された距離に応じて当該領域の画像の距離感を変更する
画像処理方法。

【請求項13】

コンピュータを請求項１から１１の何れか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

立体画像表示装置では、観視者の左右の眼に視差のある画像を与えることにより、遠近感のある画像を観視者に見せている。

【0003】

特許文献１ 特開平６−３２４６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、立体画像表示装置において、外部から入力した画像に対して更に遠近感を強調したり弱めたりする処理を行ってから画像を表示することは行われていなかった。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明の第１の態様においては、撮像画像の撮像時においてカメラにより測定された各領域における被写体距離を表す距離情報を取得する距離情報取得部と、撮像画像に含まれる距離情報を用いずに、撮像画像の各領域における被写体距離を検出する検出部と、撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する画像処理部と、を備え、画像処理部は、距離情報取得部が取得した距離が予め定められた距離より遠いとされた領域については検出部により検出された被写体距離に応じて当該領域における画像の距離感を変更し、距離情報取得部が取得した距離が予め定められた距離より遠いとされていない領域については距離情報取得部により取得された距離に応じて当該領域の画像の距離感を変更する画像処理装置、並びに、画像処理方法およびプログラムを提供する。

【0006】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0007】

【図1】本実施形態に係る画像処理装置１０の構成を示す。

【図2】本実施形態に係る画像処理装置１０により画像処理がされる前の元の撮像画像の一例を示す。

【図3】本実施形態に係る画像処理装置１０により画像処理がされた後の撮像画像の一例を示す。

【図4】本実施形態に係る検出部１４の構成の一例を示す。

【図5】本実施形態の変形例に係る画像処理装置１０の構成を示す。

【図6】本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

【発明を実施するための形態】

【0008】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0009】

図１は、本実施形態に係る画像処理装置１０の構成を示す。画像処理装置１０は、カメラにより撮像された撮像画像に対して画像処理を施す。画像処理装置１０は、一例として、表示装置の画像入力段に備えられる。また、画像処理装置１０は、カメラの画像出力段に設けられてもよい。

【0010】

画像処理装置１０は、入力部１２と、検出部１４と、距離情報取得部１６と、画像処理部１８と、出力部２０とを備える。入力部１２は、カメラにより撮像された撮像画像を入力する。入力部１２は、一例として、記録媒体に格納された撮像画像を読み出してもよいし、放送局等から送信された撮像画像を復調してもよい。

【0011】

検出部１４は、撮像画像の各領域における被写体距離を検出する。被写体距離とは、撮像時におけるカメラから被写体までの距離を示す。

【0012】

検出部１４は、一例として、撮像画像における各領域の青成分の割合に応じて当該領域における被写体距離を算出する。例えば風景を撮像した場合における被写体距離が遠い被写体は、カメラから当該被写体までの間の空気の層の影響により、本来の被写体の色よりも青成分の割合が多くなって映る。従って、検出部１４は、撮像画像内の各領域に含まれている青成分の割合に応じて当該領域における被写体距離を推定することができる。

【0013】

検出部１４は、一例として、撮像画像における各領域のそれぞれの平均色を算出し、算出した平均色の色彩を解析して当該平均色が含んでいる青成分の割合を算出する。そして、検出部１４は、一例として、それぞれの領域について、青成分の割合が多いほど被写体距離が遠いと判断して、当該領域の被写体距離を推定する処理を行う。

【0014】

また、検出部１４は、撮像画像に表示された被写体の輪郭の空間周波数に応じて、当該被写体の被写体距離を算出してもよい。例えば風景を撮像した場合における被写体距離が遠い被写体は、カメラから当該被写体までの間の空気の層の影響により、ボケが大きくなる。従って、検出部１４は、撮像画像内の各領域に含まれている被写体の輪郭の空間周波数に応じて当該領域における被写体距離を推定することができる。

【0015】

検出部１４は、一例として、撮像画像における各領域のそれぞれの被写体のエッジ部分を抽出し、抽出したエッジの空間周波数を算出する。そして、検出部１４は、一例として、それぞれの領域について、空間周波数が低いほど被写体距離が遠いと判断して、当該領域の被写体距離を推定する処理を行う。

【0016】

距離情報取得部１６は、撮像画像の撮像時においてカメラにより測定された各領域における被写体距離を表す距離情報を取得する。距離情報取得部１６は、一例として、デプスマップと呼ばれる、カメラから画面内の被写体の表面までの距離を表す２次元情報を取得する。

【0017】

画像処理部１８は、撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する。

【0018】

画像処理部１８は、一例として、検出部１４が撮像画像の各領域に対して検出した被写体距離に応じて各領域の青成分の割合を変更することにより、当該領域の画像の距離感を変更する。例えば、画像処理部１８は、撮像画像の各領域について、検出した被写体距離に応じた量の青成分を増加させる。

【0019】

より具体的には、画像処理部１８は、被写体距離の基準値を予め設定しておき、検出した被写体距離が基準値より大きい領域に含まれる青成分の割合を大きくしてもよい。例えば、画像処理部１８は、１ｋｍ、１０ｋｍという２つの基準値を設定する。そして、画像処理部１８は、被写体距離が１ｋｍから１０ｋｍまでの領域について青成分の割合を２０％増加し、１０ｋｍ以上の領域について青成分の割合を４０％増加する、といったように青成分の割合を増加する。

【0020】

また、画像処理部１８は、一例として、検出部１４が撮像画像の各領域に対して検出した被写体距離に応じて各領域をぼかすことにより、当該領域の画像の距離感を変更する。例えば、画像処理部１８は、撮像画像の各領域について、検出した被写体距離に応じたぼけ量で画像をぼかす。

【0021】

より具体的には、画像処理部１８は、被写体距離の基準値を予め設定しておき、検出した被写体距離が基準値より大きい領域の画像をぼかしてもよい。例えば、画像処理部１８は、１ｋｍ、１０ｋｍという２つの基準値を設定する。そして、画像処理部１８は、被写体距離が１ｋｍから１０ｋｍまでの領域について、第１のぼかし度合いで画像をぼかし、１０ｋｍ以上の領域について、第１のぼかし度合いより大きな第２のぼかし度合いで画像をぼかす、といったように画像をぼかす。

【0022】

このような処理を行うことにより、画像処理部１８は、被写体距離が短い領域と被写体距離が遠い領域との距離感の差を大きくすることができる。これにより、画像処理部１８は、撮像画像の遠近感を強調することができる。

【0023】

また、さらに、画像処理部１８は、距離情報取得部１６により取得された距離情報を更に用いて、撮像画像の各領域の画像の距離感を変更してもよい。例えば、画像処理部１８は、距離情報取得部１６が取得した距離が予め定められた距離より遠いとされた領域については、検出部１４により検出された被写体距離に応じて当該領域における画像の距離感を変更する。例えば、画像処理部１８は、距離情報取得部１６が無限遠と検出した領域については、検出部１４により検出された被写体距離に応じて当該領域における画像の距離感を変更する。

【0024】

そして、画像処理部１８は、距離情報取得部１６が取得した被写体距離が予め定められた距離より遠いとされていない領域については、距離情報取得部１６により取得された被写体距離に応じて当該領域の画像の距離感を変更する。例えば、画像処理部１８は、距離情報取得部１６が無限遠ではない距離を検出している領域については、距離情報取得部１６により検出された被写体距離に応じて当該領域における画像の距離感を変更する。これにより、画像処理部１８は、より広い範囲の被写体距離に基づいて画像の距離感を変更して、遠近感をより強調することができる。

【0025】

出力部２０は、画像処理部１８により画像処理がされた撮像画像を外部へと出力する。出力部２０は、例えば当該画像処理装置１０が表示装置に備えられている場合であれば、遠近感を強調した撮像画像をモニタに出力する。また、出力部２０は、例えば画像処理装置１０がカメラに備えられている場合であれば、遠近感を強調した撮像画像を記憶媒体に記憶させる。

【0026】

図２は、本実施形態に係る画像処理装置１０により画像処理がされる前の元の撮像画像の一例を示す。図３は、本実施形態に係る画像処理装置１０により画像処理がされた後の撮像画像の一例を示す。

【0027】

図２および図３に示される撮像画像には、例えば、人物（近景）、家（中景）、山（遠景）および空（超遠景）が含まれている。また、図３において、×印は青成分の割合を増加させた領域を示す。

【0028】

画像処理装置１０は、一例として、図２に示した画像に含まれる、例えば山（遠景）および空（超遠景）に対して、青成分の割合を増加させる。さらに、画像処理装置１０は、山（遠景）の領域よりも、被写体距離が遠い空（超遠景）の領域に対して、より大きく青成分の割合を増加させる。

【0029】

また、画像処理装置１０は、青成分の割合を増加させることに加えてまたはに代えて、山（遠景）および空（超遠景）をボケさせてもよい。この場合も、画像処理装置１０は、山（遠景）の領域よりも、被写体距離が遠い空（超遠景）の領域に対して、より大きなボケ量で画像をボケさせる。

【0030】

このような、画像処理装置１０は、撮像画像における被写体距離が近い領域と遠い領域との距離差をより大きく感じさせることができる。これにより、画像処理装置１０によれば、カメラにより撮像された撮像画像内の被写体の輪郭および構図を変化させずに、撮像画像における遠近感を強調することができる。

【0031】

図４は、本実施形態に係る検出部１４の構成の一例を示す。検出部１４は、一例として、図４に示されるように、判別部２２と、青成分検出部２４と、青成分記憶部２６と、算出部２８とを有する。

【0032】

判別部２２は、撮像画像における各領域の被写体の種類を判別する。判別部２２は、一例として、予め登録された画像パターンと撮像画像に含まれている被写体とを比較して、撮像画像に含まれている被写体の種類が何であるかを判別する。

【0033】

青成分検出部２４は、撮像画像における各領域の青成分の割合を検出する。青成分検出部２４は、一例として、それぞれの領域について、当該領域の平均色を算出し、算出した平均色の色彩を解析して当該平均色が含んでいる青成分の割合を算出する。

【0034】

青成分記憶部２６は、被写体の種類毎に画像に含まれるべき青成分の割合を記憶する。青成分記憶部２６は、一例として、判別部２２が検出できる被写体の種類のそれぞれについて、当該種類の被写体の表面の色が本来含んでいる青成分の割合を記憶する。青成分記憶部２６は、一例として、ユーザ等により予め登録された値を記憶する。

【0035】

算出部２８は、撮像画像における各領域について、判別部２２により判別された種類の被写体の青成分の割合を、青成分記憶部２６から読み出す。続いて、算出部２８は、青成分記憶部２６に記憶された被写体毎の青成分の割合のうち判別部２２により判別された種類の被写体の青成分の割合と、青成分検出部２４により検出された青成分の割合との差を算出する。そして、算出部２８は、算出した差に基づき、当該領域における被写体距離を算出する。

【0036】

例えば、算出部２８は、青成分検出部２４により検出された青成分の割合から、青成分記憶部２６に記憶された被写体毎の青成分の割合を減じた差が、基準値以上であるか否かを算出する。そして、算出部２８は、差が基準値より小さい場合、被写体距離が基準距離以下であると判断する。また、算出部２８は、算出した差が基準値以上の場合、被写体距離が基準距離以上であると判断する。

【0037】

このような検出部１４によれば、予め登録された種類の被写体が撮像画像に含まれる場合、正確に被写体距離を検出することができる。

【0038】

図５は、本実施形態の変形例に係る画像処理装置１０の構成を示す。本変形例に係る画像処理装置１０は、図１に示された画像処理装置１０と略同一の構成および機能を採るので、図１に示した部材と略同一の構成および機能の部材に同一の符号を付け、以下相違点を除き説明を省略する。

【0039】

本変形例に係る画像処理装置１０は、位置情報取得部３２と、気象条件取得部３４とを更に備える。位置情報取得部３２は、撮像画像を撮像した位置を表わす位置情報を取得する。例えばＧＰＳ（Global Positioning System）受信機を備えるカメラは、撮像位置を示す位置情報を付加した撮像画像を出力することができる。位置情報取得部３２は、このようなカメラから出力された撮像画像に含まれる位置情報を取得する。

【0040】

気象条件取得部３４は、撮像画像の撮像日時および位置情報取得部３２により取得された位置情報に基づき、撮像画像の撮像時における気象条件を取得する。例えばカメラは、撮像日時を付加した撮像画像を出力することができる。位置情報取得部３２は、このようなカメラから出力された撮像画像に含まれる撮像日時を取得する。そして、気象条件取得部３４は、取得した撮像日時における、位置情報取得部３２により取得された位置情報に示された土地の気象条件を、例えばネットワークを介して取得する。

【0041】

本変形例に係る検出部１４は、気象条件取得部３４により取得された気象条件に応じて撮像画像の各領域における被写体距離を検出する。例えば、撮像画像の撮像時における気象条件が"晴れ"の場合、空気が澄んでいるので、被写体距離が遠い被写体の輪郭が鮮明に撮像される。反対に、撮像画像の撮像時における気象条件が"雨"等の場合、空気が淀んでいるので、被写体距離が遠い被写体の輪郭は不鮮明に撮像される。そこで、検出部１４は、一例として、被写体の輪郭の空間周波数に基づく被写体距離の推定処理において、同一の空間周波数であっても、気象条件が"晴れ"の場合には気象条件が"雨"等の場合よりも、被写体距離を短く推定する。

【0042】

また、本変形例に係る検出部１４は、取得された気象条件に加えてまたは気象条件に代えて、位置情報取得部３２により取得された位置情報に応じて撮像画像の各領域における被写体距離を検出してもよい。例えば、撮像画像の撮像場所によって空気が澄んでいる場所と淀んでいる場所がある。空気が澄んでいる場所（例えば都会以外）では被写体距離が遠い被写体の輪郭が鮮明に撮像される。反対に、空気が淀んでいる場所（例えば都会）、被写体距離が遠い被写体の輪郭は不鮮明に撮像される。そこで、検出部１４は、一例として、被写体の輪郭の空間周波数に基づく被写体距離の推定処理において、同一の空間周波数であっても、空気が澄んでいる撮影場所（例えば都会以外）の場合には、空気が淀んでいる撮影場所（例えば都会）の場合よりも、被写体距離を短く推定する。

【0043】

以上のより、本変形例に係る画像処理装置１０は、より正確に被写体距離を検出して、撮像画像における遠近感を正確に強調することができる。

【0044】

また、本変形例に係る検出部１４は、同一被写体に対してピント距離の異なる設定により撮像された複数の撮像画像に基づき、複数の撮像画像の各領域における被写体距離を検出してもよい。この場合、検出部１４は、一例として、複数の撮像画像のそれぞれについて、画面内においてピントが合っている領域を検出する。そして、検出部１４は、複数の撮像画像のそれぞれのピント距離から、画面内においてピントがあっている領域の被写体距離を推定する。これにより、検出部１４は、例えば、撮像画像に距離情報が含まれていないような場合であっても、デプスマップと同様の距離情報を生成することができる。

【0045】

また、本変形例に係る検出部１４は、絞りの異なる設定により撮像された複数の撮像画像に基づき、複数の撮像画像の各領域における被写体距離を検出してもよい。この場合、複数の撮像画像における画面内におけるピントが合っている範囲は、絞りを開けている状態から絞りを絞った状態に遷移するに従って、順次に広がっていく。そこで、検出部１４は、一例として、複数の撮像画像のそれぞれについて、画面内においてピントが合っている範囲を比較して、画面内における各領域の被写体距離を推定する。これにより、検出部１４は、例えば、撮像画像に距離情報が含まれていないような場合であっても、デプスマップと同様の距離情報を生成することができる。

【0046】

図６は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

【0047】

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

【0048】

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

【0049】

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

【0050】

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

【0051】

コンピュータ１９００にインストールされ、コンピュータ１９００を画像処理装置１０として機能させるプログラムは、入力モジュールと、検出モジュールと、距離情報取得モジュールと、画像処理モジュールと、出力モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、入力部１２、検出部１４、距離情報取得部１６、画像処理部１８および出力部２０としてそれぞれ機能させる。

【0052】

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である入力部１２、検出部１４、距離情報取得部１６、画像処理部１８および出力部２０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置１０が構築される。

【0053】

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

【0054】

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

【0055】

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

【0056】

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

【0057】

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

【0058】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0059】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
本明細書等によれば、以下の各項目に記載の態様もまた開示される。
［項目１−１］検出部は、撮像画像における各領域の青成分の割合に応じて当該領域における被写体距離を算出してもよい。
［項目１−２］項目１−１において、検出部は、撮像画像における各領域の被写体の種類を判別する判別部と、撮像画像における各領域の青成分の割合を検出する青成分検出部と、被写体の種類毎に画像に含まれるべき青成分の割合を記憶する青成分記憶部と、撮像画像における各領域について、青成分記憶部に記憶された被写体毎の青成分の割合のうち判別部により判別された種類の被写体の青成分の割合と、青成分検出部により検出された青成分の割合との差に基づき、当該領域における被写体距離を算出する算出部と、を有してもよい。
［項目２−１］
撮像画像の各領域における被写体距離を検出する検出部と、
前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する画像処理部と、
前記撮像画像の撮像日時に基づき前記撮像画像の撮像時における気象条件を取得する気象条件取得部と、
を備え、
前記検出部は、取得された気象条件、及び、前記被写体の輪郭の空間周波数の変化に応じて前記撮像画像の各領域における被写体距離を検出する
画像処理装置。
［項目２−２］
撮像画像の各領域における被写体距離を検出する検出部と、
前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する画像処理部と、
前記撮像画像を撮像した位置を表わす位置情報を取得する位置情報取得部と、
を備え、
前記検出部は、取得された前記位置情報、及び、前記被写体の輪郭の空間周波数の変化に応じて前記撮像画像の各領域における被写体距離を検出する
画像処理装置。
［項目２−３］
前記撮像画像の前記位置情報に基づき前記撮像画像の撮像時における気象条件を取得する気象条件取得部を
更に備え、
前記検出部は、取得された前記気象条件、及び、前記被写体の輪郭の空間周波数の変化に応じて前記撮像画像の各領域における被写体距離を検出する
項目２−２に記載の画像処理装置。
［項目２−４］
撮像画像の各領域における被写体距離を検出する検出部と、
前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する画像処理部と、
前記撮像画像の撮像時においてカメラにより測定された各領域における被写体距離を表す距離情報を取得する距離情報取得部と、
を備え、
前記検出部は、前記撮像画像に表示された被写体の輪郭の空間周波数に応じて、当該被写体の被写体距離を算出して、
前記画像処理部は、前記距離情報取得部が取得した距離が予め定められた距離より遠いとされた領域については前記検出部により検出された被写体距離に応じて当該領域における画像の距離感を変更し、
前記距離情報取得部が取得した距離が予め定められた距離より遠いとされていない領域については前記距離情報取得部により取得された距離に応じて当該領域の画像の距離感を変更する
画像処理装置。
［項目２−５］
前記検出部は、ピント距離の異なる設定により撮像された複数の撮像画像に基づき、前記複数の撮像画像の各領域における被写体距離を検出する
項目２−４に記載の画像処理装置。
［項目２−６］
前記検出部は、絞りの異なる設定により撮像された複数の撮像画像に基づき、前記複数の撮像画像の各領域における被写体距離を検出する
項目２−４に記載の画像処理装置。
［項目２−７］
前記画像処理部は、検出した被写体距離が基準値より大きい領域に含まれる青成分の割合を大きくする
項目２−１から６の何れか１項に記載の画像処理装置。
［項目２−８］
前記画像処理部は、検出した被写体距離が基準値より大きい領域の画像をぼかす
項目２−１から６の何れか１項に記載の画像処理装置。
［項目２−９］
前記検出部は、前記撮像画像に表示された被写体の輪郭の空間周波数に応じて、当該被写体の被写体距離を算出する
項目２−１から８の何れか１項に記載の画像処理装置。
［項目２−１０］
撮像画像の各領域における被写体距離を検出する段階と、
前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する段階と、
前記撮像画像の撮像日時に基づき前記撮像画像の撮像時における気象条件を取得する段階と、
を備え、
前記検出する段階は、取得された気象条件、及び、前記被写体の輪郭の空間周波数の変化に応じて前記撮像画像の各領域における被写体距離を検出する
画像処理方法。
［項目２−１１］
撮像画像の各領域における被写体距離を検出する段階と、
前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する段階と
前記撮像画像を撮像した位置を表わす位置情報を取得する段階と、
を備え、
前記検出する段階は、取得された前記位置情報、及び、前記被写体の輪郭の空間周波数の変化に応じて前記撮像画像の各領域における被写体距離を検出する
画像処理方法。
［項目２−１２］
撮像画像の各領域における被写体距離を検出する段階と、
前記撮像画像の各領域に対して検出した被写体距離に応じて、当該領域の画像の距離感を変更する段階と
前記撮像画像の撮像時においてカメラにより測定された各領域における被写体距離を表す距離情報を取得する段階と、
を備え、
前記検出する段階は、前記撮像画像に表示された被写体の輪郭の空間周波数に応じて、当該被写体の被写体距離を算出して、
前記距離感を変更する段階は、前記距離情報を取得する段階で取得した距離が予め定められた距離より遠いとされた領域については前記検出する段階により検出された被写体距離に応じて当該領域における画像の距離感を変更し、
前記距離情報を取得する段階で取得した距離が予め定められた距離より遠いとされていない領域については前記距離情報を取得する段階により取得された距離に応じて当該領域の画像の距離感を変更する
画像処理方法。
［項目２−１３］
コンピュータを項目２−１から９の何れか１項に記載の画像処理装置として機能させるためのプログラム。

【符号の説明】

【0060】

１０ 画像処理装置、１２ 入力部、１４ 検出部、１６ 距離情報取得部、１８ 画像処理部、２０ 出力部、２２ 判別部、２４ 青成分検出部、２６ 青成分記憶部、２８ 算出部、３２ 位置情報取得部、３４ 気象条件取得部、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】