特許第5832433号(P5832433)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック株式会社の特許一覧
特許5832433画像復元装置、撮像装置及び画像復元方法
<>
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000006
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000007
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000008
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000009
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000010
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000011
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000012
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000013
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000014
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000015
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000016
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000017
  • 特許5832433-画像復元装置、撮像装置及び画像復元方法 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5832433
(24)【登録日】2015年11月6日
(45)【発行日】2015年12月16日
(54)【発明の名称】画像復元装置、撮像装置及び画像復元方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20151126BHJP
   H04N 5/225 20060101ALI20151126BHJP
【FI】
   H04N5/232 A
   H04N5/232 Z
   H04N5/225 Z
【請求項の数】9
【全頁数】20
(21)【出願番号】特願2012-527551(P2012-527551)
(86)(22)【出願日】2012年1月30日
(86)【国際出願番号】JP2012000582
(87)【国際公開番号】WO2012105222
(87)【国際公開日】20120809
【審査請求日】2014年9月30日
(31)【優先権主張番号】特願2011-18949(P2011-18949)
(32)【優先日】2011年1月31日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000005821
【氏名又は名称】パナソニック株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】河村 岳
【審査官】 村山 絢子
(56)【参考文献】
【文献】 米国特許出願公開第2008/0013941(US,A1)
【文献】 特開2007−121896(JP,A)
【文献】 特開2012−005063(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/225−5/257
G06T 3/00
(57)【特許請求の範囲】
【請求項1】
撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置であって、
(1)前記スイープ範囲が第1範囲である場合の前記スイープ画像である第1スイープ画像に対して復元処理を施すための第1PSF(Point Spread Function)と、(2)前記スイープ範囲が、前記第1範囲を含まない第2範囲である場合の前記スイープ画像である第2スイープ画像に対して復元処理を施すための第2PSFと、(3)前記スイープ範囲が、前記第1範囲と前記第2範囲とを合わせた範囲である第3範囲である場合の前記スイープ画像である第3スイープ画像に対して復元処理を施すための第3PSFとのうち、いずれか2つのPSFを記憶するPSF記憶部と、
前記2つのPSFを加算又は減算することにより、前記第1PSF、前記第2PSF及び前記第3PSFのうち残りの一つを算出するPSF算出部と、
前記第1PSFを用いて、前記第1スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第2PSFを用いて、前記第2スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第3PSFを用いて、前記第3スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える
画像復元装置。
【請求項2】
前記PSF算出部は、前記第1PSFと前記第2PSFとを加算することにより、前記第3PSFを算出する
請求項1記載の画像復元装置。
【請求項3】
請求項1又は2記載の画像復元装置と、
前記撮像素子と、
前記レンズと、
前記第1範囲、前記第2範囲及び前記第3範囲のいずれかを、前記スイープ範囲に決定するスイープ範囲決定部と、
前記スイープ範囲に対応する前記像面側合焦点を求め、露光中に前記像面側合焦点間をフォーカススイープさせた画像が得られるよう前記レンズ又は前記撮像素子を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させるスイープ撮像部とを備える
撮像装置。
【請求項4】
前記スイープ範囲決定部は、ユーザにより指定された指定範囲に基づき、前記第1範囲、前記第2範囲及び前記第3範囲のいずれかを、前記スイープ範囲に決定する
請求項3記載の撮像装置。
【請求項5】
前記スイープ範囲決定部は、前記指定範囲が、前記第1範囲、前記第2範囲及び前記第3範囲のいずれにも一致しない場合、前記第1範囲、前記第2範囲及び前記第3範囲のうち、前記指定範囲を全て含み、かつ最も狭い範囲を前記スイープ範囲に決定する
請求項4記載の撮像装置。
【請求項6】
前記スイープ撮像部は、前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、前記撮像素子の被写体側の焦点位置を変位させ、
前記被写体側の焦点位置を前記第1範囲でスイープさせるための前記像面側距離の変位量は、前記被写体側の焦点位置を前記第2範囲でスイープさせるための前記像面側距離の変位量と等しい
請求項3記載の撮像装置。
【請求項7】
撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元方法であって、
(1)前記スイープ範囲が第1範囲である場合の前記スイープ画像である第1スイープ画像に対して復元処理を施すための第1PSF(Point Spread Function)と、(2)前記スイープ範囲が、前記第1範囲を含まない第2範囲である場合の前記スイープ画像である第2スイープ画像に対して復元処理を施すための第2PSFと、(3)前記スイープ範囲が、前記第1範囲と前記第2範囲とを合わせた範囲である第3範囲である場合の前記スイープ画像である第3スイープ画像に対して復元処理を施すための第3PSFとのうち、いずれか2つのPSFを加算又は減算することにより、前記第1PSF、前記第2PSF及び前記第3PSFのうち残りの一つを算出するPSF算出ステップと、
前記第1PSFを用いて、前記第1スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第2PSFを用いて、前記第2スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第3PSFを用いて、前記第3スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元ステップとを含む
画像復元方法。
【請求項8】
請求項7記載の画像復元方法をコンピュータに実行させるための
プログラム。
【請求項9】
撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する集積回路であって、
(1)前記スイープ範囲が第1範囲である場合の前記スイープ画像である第1スイープ画像に対して復元処理を施すための第1PSF(Point Spread Function)と、(2)前記スイープ範囲が、前記第1範囲を含まない第2範囲である場合の前記スイープ画像である第2スイープ画像に対して復元処理を施すための第2PSFと、(3)前記スイープ範囲が、前記第1範囲と前記第2範囲とを合わせた範囲である第3範囲である場合の前記スイープ画像である第3スイープ画像に対して復元処理を施すための第3PSFとのうち、いずれか2つのPSFを記憶するPSF記憶部と、
前記2つのPSFを加算又は減算することにより、前記第1PSF、前記第2PSF及び前記第3PSFのうち残りの一つを算出するPSF算出部と、
前記第1PSFを用いて、前記第1スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第2PSFを用いて、前記第2スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第3PSFを用いて、前記第3スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復元装置、撮像装置及び画像復元方法に関し、特に、撮像素子又は当該撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置に関する。
【背景技術】
【0002】
一般的に被写界深度拡張(以下、EDOFと称する)を実現する方式としては、主に以下の3つの方式が挙げられる。1つ目の方式は、位相板と呼ばれる光学素子を光学系に挿入することで深度方向のボケを均一化する。そして、当該方式は、得られた画像に対して、予め測定されたボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Wavefront Coding(以下、WFCと称する)と称されている。
【0003】
2つ目の方式は、絞り形状を工夫することで画像の部分範囲ごとに高精度な距離測定を行う。そして、当該方式は、各部分範囲に対して、予め測定しておいたそれぞれの距離に応じたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Coded Aperture(以下、CAと称する)と称されている。
【0004】
3つ目の方式は、露光時間中にフォーカスレンズ又は撮像素子を動かすことで、深度方向に一律に合焦した画像を畳み込む(つまり各深度でボケを均一化することと同義)。そして、当該方式は、得られた画像に対して、予め測定されたボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、EDOF画像を生成する。この方式は、Flexible DOF(以下、F−DOFと称する)と称されている(例えば、特許文献1参照)。
【0005】
これらの3方式のうち3つ目のF−DOFは、この中で最も良好な画質が得られる方式であり、EDOF効果も高い。また、軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし光学的な条件として、露光中に合焦位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、像側テレセントリックレンズを用いる必要がある。
【0006】
上記EDOF技術の応用先として、最も古い歴史があるのは顕微鏡用途である。
【0007】
また、EDOF技術のその他の応用先として、近年、携帯電話などに搭載されるカメラが挙げられる。EDOF技術を当該カメラに用いることで、当該カメラの小型化を実現できる。すなわちEDOF効果により、オートフォーカス機構を持つことなく、全焦点画像(全ての被写体に焦点が合っている画像)を得ることができるからである。
【0008】
さらにもう1つの応用先としては、通常のデジタルスチルカメラ、及びデジタルビデオカメラが考えられる。これらデジタルスチルカメラ及びデジタルビデオカメラの近年のトレンドとして、より簡単にかつ失敗の少ない撮影が求められている。EDOF技術は全焦点画像、すなわち合焦ミスからの開放という効果が期待できる。本応用先の観点からは、高画質であること、EDOF効果の大きさ、合焦範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと(特別な光学系を用意しなくてすむこと)、及びEDOF撮影と通常撮影との切り替えが容易なこと、などから、上記方式のうち最も優れているのはF−DOFである。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】米国特許出願公開第2008/0013941号明細書
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、複数の合焦範囲をスイープ可能なF−DOF機能を有する撮像装置(カメラ)を実現するためには、複数の合焦範囲の各々で撮像された画像に対して復元処理を施すためのPSF(Point Spread Function)データが必要である。
【0011】
よって、この合焦範囲のパターンが増加することにより、必要となるPSFデータの数が増加する。これにより、PSFデータを格納するためのメモリの容量が増加してしまうという課題が生じる。
【0012】
本発明は、上記従来の課題を解決するもので、PSFデータを格納するためのメモリの容量を低減できる画像復元装置、撮像装置及び画像復元方法を提供することを目的とする。
【課題を解決するための手段】
【0013】
上記目的を達成するために、本発明の一形態に係る画像復元装置は、撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置であって、(1)前記スイープ範囲が第1範囲である場合の前記スイープ画像である第1スイープ画像に対して復元処理を施すための第1PSF(Point Spread Function)と、(2)前記スイープ範囲が、前記第1範囲を含まない第2範囲である場合の前記スイープ画像である第2スイープ画像に対して復元処理を施すための第2PSFと、(3)前記スイープ範囲が、前記第1範囲と前記第2範囲とを合わせた範囲である第3範囲である場合の前記スイープ画像である第3スイープ画像に対して復元処理を施すための第3PSFとのうち、いずれか2つのPSFを記憶するPSF記憶部と、前記2つのPSFを加算又は減算することにより、前記第1PSF、前記第2PSF及び前記第3PSFのうち残りの一つを算出するPSF算出部と、前記第1PSFを用いて、前記第1スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第2PSFを用いて、前記第2スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第3PSFを用いて、前記第3スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える。
【0014】
この構成によれば、本発明の一形態に係る画像復元装置は、第1PSF、第2PSF及び第3PSFのうちの2つのPSFから残りのPSFを算出できるので、当該残りのPSFをPSF記憶部に記憶しておく必要がない。これにより、本発明の一形態に係る画像復元装置は、PSF記憶部に記憶しておくPSFデータの容量を削減できる。
【0015】
また、前記PSF算出部は、前記第1PSFと前記第2PSFとを加算することにより、前記第3PSFを算出してもよい。
【0016】
この構成によれば、本発明の一形態に係る画像復元装置は、第1PSFと第2PSFとから第3PSFを算出できるので、第3PSFをPSF記憶部に記憶しておく必要がない。これにより、本発明の一形態に係る画像復元装置は、PSF記憶部に記憶しておくPSFデータの容量を削減できる。
【0017】
また、本発明の一形態に係る撮像装置は、前記画像復元装置と、前記撮像素子と、前記レンズと、前記第1範囲、前記第2範囲及び前記第3範囲のいずれかを、前記スイープ範囲に決定するスイープ範囲決定部と、前記スイープ範囲に対応する前記像面側合焦点を求め、露光中に前記像面側合焦点間をフォーカススイープさせた画像が得られるよう前記レンズ又は前記撮像素子を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させるスイープ撮像部とを備える。
【0018】
この構成によれば、本発明の一形態に係る撮像装置は、PSF記憶部に記憶しておくPSFデータの容量を削減できる。
【0019】
また、前記スイープ範囲決定部は、ユーザにより指定された指定範囲に基づき、前記第1範囲、前記第2範囲及び前記第3範囲のいずれかを、前記スイープ範囲に決定してもよい。
【0020】
この構成によれば、本発明の一形態に係る撮像装置は、ユーザにより指定された合焦範囲をスイープ可能な撮像装置を実現できる。
【0021】
また、前記スイープ範囲決定部は、前記指定範囲が、前記第1範囲、前記第2範囲及び前記第3範囲のいずれにも一致しない場合、前記第1範囲、前記第2範囲及び前記第3範囲のうち、前記指定範囲を全て含み、かつ最も狭い範囲を前記スイープ範囲に決定してもよい。
【0022】
この構成によれば、本発明の一形態に係る撮像装置は、PSF記憶部に記憶しておくPSFデータの容量を削減できる。
【0023】
また、前記スイープ撮像部は、前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、前記撮像素子の前記被写体側の焦点位置を変位させ、前記被写体側の焦点位置を前記第1範囲でスイープさせるための前記像面側距離の変位量は、前記被写体側の焦点位置を前記第2範囲でスイープさせるための前記像面側距離の変位量と等しくてもよい。
【0024】
この構成によれば、第1範囲と第2範囲とにおけるスイープ距離が同じになるため、第1PSFと第2PSFとの類似度を上げることができる。すなわち、許容できる範囲内で類似性が認められれば、2種類のPSFではなく、1種類のPSFを記憶するだけでよいので、PSFデータの容量を削減できる。
【0025】
なお、本発明は、このような画像復元装置及び撮像装置として実現できるだけでなく、画像復元装置又は撮像装置に含まれる特徴的な手段をステップとする画像復元方法又は撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【0026】
さらに、本発明は、このような画像復元装置又は撮像装置の機能の一部又は全てを実現する半導体集積回路(LSI)として実現できる。
【発明の効果】
【0027】
以上より、本発明は、PSFデータを格納するためのメモリの容量を低減できる画像復元装置、撮像装置及び画像復元方法を提供できる。
【図面の簡単な説明】
【0028】
図1図1は、本発明の実施の形態1に係る撮像装置のブロック図である。
図2図2は、本発明の実施の形態1に係る撮像装置による処理のフローチャートである。
図3図3は、本発明の実施の形態1に係るPSF算出処理のフローチャートである。
図4図4は、本発明の実施の形態1に係るPSF算出処理の一例を示す図である。
図5図5は、本発明の実施の形態1に係る被写体距離と像面側距離とを示す図である。
図6図6は、本発明の実施の形態1に係るPSFのモデルを示す図である。
図7図7は、本発明の実施の形態1に係る像面側距離の変位パターンの一例を示す図である。
図8図8は、本発明の実施の形態1に係る被写体距離と像面側距離との関係を示すグラフである。
図9図9は、本発明の実施の形態1に係る像面側距離の変位量を示す図である。
図10図10は、本発明の実施の形態1に係る画像復元装置のブロック図である。
図11図11は、本発明の実施の形態1に係る画像復元装置による処理のフローチャートである。
図12図12は、本発明の実施の形態2に係るスイープ範囲決定処理のフローチャートである。
図13図13は、本発明の実施の形態2に係るスイープ範囲決定処理の一例を示す図である。
【発明を実施するための形態】
【0029】
以下、本発明に係る撮像装置の実施の形態について、図面を参照しながら詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【0030】
(実施の形態1)
本発明の実施の形態1に係る撮像装置は、第1範囲のPSFと第2範囲のPSFとを加算することにより、第3範囲のPSFを算出する。これにより、当該撮像装置は、第3範囲のPSFをメモリに記憶しておく必要がないのでメモリに記憶しておくPSFデータの容量を削減できる。
【0031】
まず、本発明の実施の形態1に係る撮像装置の構成を説明する。
【0032】
図1は、本発明の実施の形態1に係る撮像装置100のブロック図である。
【0033】
撮像装置100は、例えば、デジタルスチルカメラ又はデジタルビデオカメラである。この撮像装置100は、任意の合焦範囲をスイープ可能なF−DOF機能を有する。具体的には、撮像装置100は、ユーザにより指定された合焦範囲である指定範囲130で合焦位置をスイープしたスイープ画像131を生成する。そして、撮像装置100は、PSFを用いて、生成したスイープ画像131に対して復元処理を施すことにより、指定範囲130の全てにおいてピントがあった復元画像132を生成する。
【0034】
この撮像装置100は、撮像素子101と、レンズ102と、スイープ範囲決定部103と、スイープ撮像部104と、画像復元装置110とを備える。
【0035】
撮像素子101は、入射光を光電変換することにより画像データ(スイープ画像131)を生成する。レンズ102は、撮像素子101に光を集光する。
【0036】
スイープ範囲決定部103は、ユーザにより指定された指定範囲130に基づき、スイープ範囲133を決定する。ここでスイープ範囲とは、像面側ではなく、被写体側での範囲概念を示している。例えば、スイープ範囲決定部103は、予め定められた複数の範囲のうち、指定範囲130で示される範囲をスイープ範囲133として決定する。
【0037】
スイープ撮像部104は、撮像素子101の焦点位置をスイープ範囲133でスイープさせながら、撮像素子101にスイープ画像131を撮像させる。具体的には、スイープ撮像部104は、スイープ範囲133に対応する像面側合焦点位置の2点を求め、露光中に当該像面側合焦点位置の2点間をフォーカススイープされた画像が得られるよう、レンズ102又は撮像素子102を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させる。つまり、スイープ画像131は、撮像素子101の被写体側の焦点位置がスイープ範囲133をスイープしている期間において当該撮像素子101により撮像された画像である。言い換えると、スイープ画像131は、撮像素子101又はレンズ102が駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた画像である。なおここでは、レンズ102全体を動かすものであってもよいし、レンズの一部を構成するフォーカスレンズを駆動させるものであってもよい。
【0038】
画像復元装置110は、スイープ画像131に対して復元処理を施すことにより、被写界深度が拡張された復元画像132を生成する。具体的には、画像復元装置110は、スイープ範囲133に対応するPSFを用いてスイープ画像131に対して復元処理を施す。ここで、復元画像132は、スイープ範囲133の全てにおいてピントがあった画像である。
【0039】
この画像復元装置110は、PSF記憶部111と、PSF算出部112と、画像復元部113とを備える。
【0040】
PSF記憶部111は、複数のスイープ範囲133に対応する複数のPSFデータを記憶する。なお、ここでは、PSF記憶部111が4つのPSFデータ(第1範囲PSF121、第2範囲PSF122、第3範囲PSF123及び第4範囲PSF124)を記憶している例を述べる。また、ユーザが指定可能なスイープ範囲は、PSF記憶部111に記憶されるPSFデータの数より多い。
【0041】
PSF算出部112は、PSF記憶部111に記憶されている複数のPSFデータのうち2以上を加算及び正規化することにより、スイープ範囲133に対応する新たなPSFデータを算出する。
【0042】
画像復元部113は、PSF記憶部111に記憶されている複数のPSFデータのいずれか、又は、PSF算出部112により算出されたPSFデータを用いて、スイープ画像131に対して復元処理を施すことにより、復元画像132を生成する。
【0043】
次に、撮像装置100の動作を説明する。
【0044】
図2は、撮像装置100による撮像処理のフローチャートである。
【0045】
まず、スイープ範囲決定部103は、ユーザにより指定された指定範囲130に基づき、スイープ範囲133に決定する(S101)。例えば、ユーザは、予め定められた複数のスイープ範囲のうちいずれかを選択する。スイープ範囲決定部103は、ユーザに指定された範囲をスイープ範囲133として決定する。
【0046】
次に、撮像素子101の焦点位置をスイープ範囲133でスイープさせながら、撮像素子101にスイープ画像131を撮像させる(S102)。
【0047】
次に、PSF算出部112は、スイープ範囲133に対応するPSFデータを算出する(S103)。
【0048】
以下、このステップS103の処理を詳細に説明する。
【0049】
図3は、PSF算出部112によるPSF算出処理のフローチャートである。また、図4は、PSF算出部112によるPSF算出処理の一例を示す図である。
【0050】
図3に示すように、まず、PSF算出部112は、スイープ範囲決定部103により決定された、スイープ画像131のスイープ範囲133を取得する(S111)。
【0051】
ここで、図4に示すように、スイープ範囲133は、1m、3m、5m及び10mのいずれかを一端として、3m、5m、10m及び無限遠(∞)のいずれか他端とする10種類の範囲である。また、PSF記憶部111に記憶されている第1範囲PSF121は、1mから3mのスイープ範囲に対応し、第2範囲PSF122は3mから5mのスイープ範囲に対応し、第3範囲PSF123は5mから10mのスイープ範囲に対応し、第4範囲PSF124は10mから無限遠のスイープ範囲に対応する。
【0052】
このように、本発明の実施の形態1に係る撮像装置100では、PSF記憶部111は、スイープ可能範囲(ここでは1mから無限遠)を複数に分割した各々の部分範囲に対応するPSFデータのみを記憶する。また、ユーザが指定可能なスイープ範囲は、これら複数の部分範囲と、当該複数の部分範囲のうち連続した2以上部分範囲を合わせた複数種類の範囲とである。
【0053】
次に、PSF算出部112は、ステップS111で取得したスイープ範囲133に対応するPSFデータがPSF記憶部111に記憶されているか否かを判定する(S112)。上記例では、PSF算出部112は、スイープ範囲133が、1mから3m、3mから5m、5mから10m、及び、10mから無限遠のいずれかの場合、スイープ範囲133に対応するPSFデータがPSF記憶部111に記憶されていると判定する(S112でYes)。また、PSF算出部112は、スイープ範囲133がこれら以外(例えば、1mから10m等)の場合、スイープ範囲133に対応するPSFデータがPSF記憶部111に記憶されていないと判定する(S112でNo)。
【0054】
スイープ範囲133に対応するPSFデータがPSF記憶部111に記憶されている場合(S112でYes)、PSF算出部112は、当該スイープ範囲133に対応するPSFデータをPSF記憶部111から取得する(S113)。そして、PSF算出部112は、取得したPSFデータを画像復元部113へ受け渡す。
【0055】
一方、スイープ範囲133に対応するPSFデータがPSF記憶部111に記憶されていない場合(S112でNo)、PSF算出部112は、スイープ範囲133に含まれる複数の部分範囲に対応するPSFデータをPSF記憶部111から取得する(S114)。
【0056】
次に、PSF算出部112は、取得した複数の部分範囲に対応するPSFデータを加算及び正規化することにより、スイープ範囲133に対応するPSFデータを算出する(S115及びS116)。そして、PSF算出部112は、算出したPSFデータを画像復元部113へ受け渡す。
【0057】
例えば、図4に示すように、スイープ範囲133が1mから5mの場合、PSF算出部112は、第1範囲PSF121と第2範囲PSF122とを加算及び正規化することにより、1mから5mに対応するPSFデータを算出する。また、スイープ範囲133が1mから10mの場合、PSF算出部112は、第1範囲PSF121と第2範囲PSF122と第3範囲PSF123とを加算及び正規化することにより、1mから10mに対応するPSFデータを算出する。
【0058】
再び、図2に示すフローチャートを用いて説明する。
【0059】
PSF算出処理(S103)の後、画像復元部113は、PSF算出部112から渡された、スイープ範囲133に対応するPSFデータを用いてスイープ画像131に対して復元処理を施すことにより、復元画像132を生成する(S104)。そして、画像復元部113は、生成した復元画像132を、撮像装置100の外部へ出力したり、撮像装置100が備える記憶部(図示せず)に記憶したりする。
【0060】
以上のように、本発明の実施の形態1に係る撮像装置100は、PSF記憶部111が記憶している複数のPSFデータから新たな範囲に対応するPSFデータを算出できる。これにより、PSF記憶部111は、当該新たな範囲に対応するPSFデータを記憶しておく必要がない。これにより、本発明の実施の形態1に係る撮像装置100は、PSF記憶部111に記憶しておくPSFデータの容量を削減できる。
【0061】
また、図2に示すステップS102〜S104の処理は、静止画撮影の場合には1枚の静止画の撮影ごとに、動画撮影の場合には1フレームごとに行われる。また、静止画撮影の場合、ステップS101の処理は、1枚の静止画の撮影ごとに行なわれてもよいし、予めステップS101の処理が行われ、その後、ステップS101で設定されたスイープ範囲133を用いて複数枚の静止画が撮影されてもよい。また、動画撮影の場合、典型的には、ステップS101の処理は、1回又は複数回の動画撮影ごとに行なわれる。
【0062】
また、上記説明では、スイープ範囲決定部103は、ユーザにより指定された指定範囲130に基づきスイープ範囲133を決定するとしたが、スイープ範囲決定部103は、撮像装置100が備えるセンサの検出結果に応じて、スイープ範囲133を自動的に決定してもよい。例えば、スイープ範囲決定部103は、オートフォーカス機能等で用いられる被写体までの距離、又は、被写界の状態(例えば明るさ)に応じて、スイープ範囲133を決定してもよい。また、このような被写体までの距離及び被写界の状態は、撮影した画像から算出してもよい。さらに、スイープ範囲決定部103は、これらの情報と指定範囲130とに基づいてスイープ範囲133を決定してもよし、これらの情報に応じてスイープ範囲133を調整してもよい。
【0063】
さらに、動画撮影時に、このように自動的にスイープ範囲133を決定又は調整する場合には、スイープ範囲133の決定又は調整処理は、1又は複数フレームごとに行われる。
【0064】
また、上記説明では、PSF記憶部111が4つのPSFデータを記憶する例を述べたが、PSF記憶部111が記憶するPSFデータの数は2以上であれば任意の数でよい。言い換えると、スイープ可能範囲(上記例では1mから無限遠)を分割した複数の部分範囲の数は2以上であればよい。つまり、撮像装置100は、スイープ範囲133として、少なくとも第1範囲と、当該第1範囲に連続する第2範囲と、当該第1範囲と当該第2範囲とを合わせた範囲である第3範囲とを選択可能であればよい。また、この場合、PSF記憶部111には、第1範囲及び第2範囲に対応するPSFデータが記憶されていればよい。また、上記第2範囲は、第1範囲を含まない範囲であってもよい。
【0065】
なお、各種処理の効率化の観点から、部分範囲の数は、2のn乗(nは1以上の整数)であることが好ましい。例えば、当該部分範囲の数は、4、8、16、32又は64である。
【0066】
以下、複数の連続する部分範囲のPSFデータを加算することで、当該複数の部分範囲を合わせた範囲のPSFデータを算出できる原理を説明する。
【0067】
図5は、被写体、レンズ102及び撮像素子101の関係を示す図である。
【0068】
図5に示すように、被写体Mとレンズ102との間の距離を被写体距離uとし、レンズ102と撮像素子101との間の距離を像面側距離vとする。この場合、被写体距離uと像面側距離vと焦点距離fとにおいて、一般的にレンズの公式より、下記(式1)の関係が成り立つ。
【0069】
【数1】
【0070】
ここで、図5に示すように、撮像素子101が像面側距離vの位置から像面側距離pの位置へ変位した場合、ボケの直径bは、下記(式2)で表される。
【0071】
【数2】
【0072】
ここで、aは、開口の大きさである。
【0073】
また、例えば、Pillboxなどのレンズモデルでは、PSFであるPは下記(式3)で表される。
【0074】
【数3】
【0075】
ここで、rはボケサークルの中心からの距離である。また、Π(x)はRectangle関数であり、|x|<1/2のときに1、それ以外のときに0となる関数である。
【0076】
図6は、このPillboxのレンズモデルでのPSFを示す図である。
【0077】
ここで、スイープ画像に用いるPSFをIPSFと呼ぶことにする。時刻0から時刻Tの間で焦点位置をスイープした場合のIPSFは、下記(式4)で表される。
【0078】
【数4】
【0079】
(式4)に示すように、IPSFは積分で表現される。すなわち、時刻T1から時刻T2までのIPSFと、時刻T2から時刻T3までのIPSFとの和が、時刻T1から時刻T3までのIPSFとなる。
【0080】
また、積分項の関数自身は、スイープ動作p(t)が一定速度というルールのもとでは不変である。よって、時刻T1から時刻T3のIPSFは、積分の開始時刻及び終了時刻を時刻T1及び時刻T3にすることと等価である。
【0081】
以上のように、複数の連続する部分範囲のPSFデータを加算することで、当該複数の部分範囲を合わせた範囲のPSFデータを算出できる。
【0082】
次に、スイープ動作の具体例を説明する。
【0083】
図7は、露光中の像面側距離vの変位の様子と、露光量とを示す図である。図7に示すように、例えば、スイープ撮像部104は、像面側距離vを等速で変位させることにより、撮像素子101の被写体側の焦点位置である被写体距離uを変位させる。なお、スイープ撮像部104は、レンズ102の位置を変位させることで、像面側距離vを変位させてもよいし、撮像素子101の位置を変位させることで、像面側距離vを変位させてもよいし、レンズ102及び撮像素子101の両方を変位させることで、像面側距離vを変位させてもよい。
【0084】
図8は、焦点距離fが18[mm]のときの像面側距離vと被写体距離uとの関係を示すグラフである。図8に示すように、像面側距離vが等速度で変位しても、被写体距離uは等速度で変位しない。
【0085】
図4に示したように、本発明の実施の形態1に係る撮像装置100では、部分範囲、つまり被写体距離uの範囲は等間隔ではない。
【0086】
一方で、当該撮像装置100では、複数の部分範囲に対応する像面側距離vの変位量が一定になるように、複数の部分範囲を決定している。
【0087】
図9は、本発明の実施の形態1に係る像面側距離vの変位量を示す図である。
【0088】
図9に示すように、各部分範囲をスイープさせるための像面側距離vの変位量dvは一定である。なお、図9に示す像面側距離v0からv1の範囲は10mから無限遠のスイープ範囲に対応し、像面側距離v1からv2の範囲は5mから10mのスイープ範囲に対応し、像面側距離v2からv3の範囲は3mから5mのスイープ範囲に対応し、像面側距離v3からv4の範囲は1mから3mのスイープ範囲に対応する。
【0089】
このように、像面側距離vの変位量dvを一定にすることで、各部分範囲におけるS/N比を同程度にできる。よって、各部分範囲に対応するPSFの類似度を上げることができる。これにより、各部分範囲に対する処理量等を同程度にできるので、各種制御を効率的に行なえる。
【0090】
なお、上記説明では、本発明を撮像装置に適用する例を述べたが、本発明は、上述した画像復元装置110として実現することもできる。図10は、本発明の実施の形態1に係る画像復元装置110のブロック図である。この画像復元装置110は、例えば、上述した撮像装置100に用いられる半導体集積回路として実現できる。また、撮像装置で撮像されたスイープ画像131に対して復元処理を施す、撮像装置とは独立した装置として実現することも可能である。また、この画像復元装置110は、パーソナルコンピュータ等の装置に搭載されてもよい。
【0091】
また、図11は、この画像復元装置110による撮像処理のフローチャートである。なお、図11に示すステップS103及びS104の処理は、図2に示すステップS103及びS104の処理と同様である。
【0092】
以上より、本発明の実施の形態1に係る撮像装置100及び画像復元装置110は、あるスイープ範囲133のPSFデータを、当該スイープ範囲133を構成する複数の部分範囲のPSFデータから算出する。これにより、本発明の実施の形態1に係る撮像装置100及び画像復元装置110は、PSF記憶部111に記憶しておくPSFデータの容量を削減できる。
【0093】
さらに、本発明を、デジタルスチルカメラ、デジタルビデオカメラ、及び携帯電話用カメラ等の携帯型カメラに適用することにより、メモリ容量に制限がある携帯型カメラのメモリ容量を削減できるので、より有効である。
【0094】
(実施の形態2)
本発明の実施の形態2では、上述した実施の形態1に係る撮像装置100の変形例について説明する。なお、以下では、実施の形態1との相違点を主に説明し、重複する説明は省略する。
【0095】
上述した実施の形態1では、ユーザは予め定められた複数のスイープ範囲からいずれかを選択するとしたが、実施の形態2では、ユーザは任意のスイープ範囲を指定できる。
【0096】
また、本発明の実施の形態2に係る撮像装置100は、スイープ範囲決定部103の機能が実施の形態1と異なる。
【0097】
図12は、実施の形態2に係るスイープ範囲決定部103によるスイープ範囲決定処理(図2のステップS101)のフローチャートである。また、図13は、当該スイープ範囲決定処理の一例を示す図である。
【0098】
図12に示すように、まず、スイープ範囲決定部103は、ユーザからの指定範囲130を取得する(S121)。ここで、指定範囲130は、例えば、ユーザが指定した任意のスイープ範囲である。
【0099】
次に、スイープ範囲決定部103は、指定範囲130が、予め登録されている複数の範囲(以下、登録範囲)のいずれかと一致するか否かを判定する(S122)。ここで、複数の登録範囲とは、例えば、実施の形態1で説明した、図4に示す10種類の範囲である。
【0100】
指定範囲130が複数の登録範囲のいずれかと一致する場合(S122でYes)、スイープ範囲決定部103は、指定範囲130をスイープ範囲133に決定する(S123)。
【0101】
一方、指定範囲130が複数の登録範囲のいずれとも一致しない場合(S122でNo)、スイープ範囲決定部103は、指定範囲130の全てがスイープ可能範囲(例えば1mから無限遠)内に含まれるか否かを判定する(S124)。
【0102】
指定範囲130の全てがスイープ可能範囲内に含まれる場合(S124でYes)、スイープ範囲決定部103は、複数の登録範囲のうち、指定範囲130を全て含み、かつ最も狭い範囲をスイープ範囲133に決定する(S125)。
【0103】
例えば、図13に示すように、指定範囲130が4mから無限遠の場合、スイープ範囲決定部103は、3mから無限遠をスイープ範囲133に決定する。
【0104】
一方、指定範囲130がスイープ可能範囲を超える場合(S124でNo)、スイープ範囲決定部103は、複数の登録範囲のうち、指定範囲130に一番近い範囲をスイープ範囲133に決定する(S126)。
【0105】
例えば、指定範囲130が0.5mから3mの場合、スイープ範囲決定部103は、1mから3mをスイープ範囲133に決定する。
【0106】
言い換えると、スイープ範囲決定部103は、指定範囲130の最近端(撮像装置100に近い側の端部)がスイープ可能範囲の最近端より近い場合、スイープ範囲133の最近端をスイープ可能範囲の最近端に設定する。同様に、スイープ範囲決定部103は、指定範囲130の最遠端(撮像装置100に遠い側の端部)がスイープ可能範囲の最遠端より遠い場合、スイープ範囲133の最遠端をスイープ可能範囲の最遠端に設定する。なお、図13の例ではスイープ可能範囲の最遠端は無限遠であるので、指定範囲130の最遠端がスイープ可能範囲の最遠端より遠くはならないが、例えば、スイープ可能範囲の最遠端が有限の場合には、このようなケースが発生する。
【0107】
なお、ステップS125において、スイープ範囲決定部103は、複数の登録範囲のうち、指定範囲130に一番近い範囲をスイープ範囲133に決定してもよい。
【0108】
また、スイープ範囲決定部103は、各部分範囲内に閾値を定めておき、指定範囲130の最近端が当該閾値未満の場合は、当該部分範囲の最近端をスイープ範囲133の最近端とし、指定範囲130の最近端が当該閾値以上の場合は、当該部分範囲の最遠端をスイープ範囲133の最近端としてもよい。同様に、スイープ範囲決定部103は、指定範囲130の最遠端が当該閾値未満の場合は、当該部分範囲の最近端をスイープ範囲133の最遠端とし、指定範囲130の最遠端が当該閾値以上の場合は、当該部分範囲の最遠端をスイープ範囲133の最近端としてもよい。例えば、3mから5mの部分範囲に対して閾値として4.5mを設定する。この場合、図13に示すように、指定範囲130が4mから無限遠の場合、指定範囲130の最近端(4m)が閾値(4.5m)未満なので、スイープ範囲決定部103は、当該部分範囲の最近端(3m)をスイープ範囲133の最近端に決定する。
【0109】
なお、図13に示すように、指定範囲130よりも広い範囲をスイープ範囲133に決定する方法は、少なくともユーザが指定した範囲に対してピントがあった復元画像132を生成できるという利点がある。
【0110】
以上より、本発明の実施の形態2に係る撮像装置100は、複数の登録範囲のうち、指定範囲130を全て含み、かつ最も狭い範囲をスイープ範囲133に決定する。これにより、当該撮像装置100は、実際にスイープ撮像するスイープ範囲の種類を減らすことができるので、必要となるPSFデータの種類を減らすことができる。これにより、当該撮像装置100は、PSF記憶部111に記憶しておくPSFデータの容量を削減できる。
【0111】
また、当該撮像装置100は、指定範囲130よりも広い範囲をスイープ範囲133に決定することで、少なくともユーザが指定した範囲に対してピントがあった復元画像132を生成できる。このように、当該撮像装置100は、ユーザの要求にあった画像を撮像できるとともに、PSF記憶部111に記憶しておくPSFデータの容量を削減できる。
【0112】
以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【0113】
例えば、上記説明では、2つのPSFデータを加算及び正規化することにより、新たなPSFデータを生成する例を述べたが、2つのPSFデータを減算及び正規化することにより、新たなPSFデータを生成してもよい。例えば、撮像装置100は、1mから3mの範囲のPSFデータと、1mから5mの範囲のPSFデータを記憶しており、1mから5mの範囲のPSFデータから1mから3mの範囲のPSFデータを減算及び正規化することにより、3mから5mのPSFデータを生成してもよい。
【0114】
つまり、撮像装置100は、第1範囲のPSFデータと、第1範囲を含まない第2範囲のPSFデータと、第1範囲と第2範囲とを合わせた範囲である第3範囲のPSFデータとのうち、いずれか2つのPSFデータを記憶し、この2つのPSFデータを加算又は減算することにより、上記の3つのPSFデータのうち残りの一つを算出すればよい。
【0115】
また、上記実施の形態に係る撮像装置及び画像復元装置に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
【0116】
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0117】
また、本発明の実施の形態に係る、撮像装置又は画像復元装置の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
【0118】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【0119】
また、上記実施の形態1〜2に係る、撮像装置、画像復元装置及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【0120】
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
【0121】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【0122】
本発明は、デジタルスチルカメラ及びデジタルビデオカメラ等の撮像装置に適用できる。
【符号の説明】
【0123】
100 撮像装置
101 撮像素子
102 レンズ
103 スイープ範囲決定部
104 スイープ撮像部
110 画像復元装置
111 PSF記憶部
112 PSF算出部
113 画像復元部
121 第1範囲PSF
122 第2範囲PSF
123 第3範囲PSF
124 第4範囲PSF
130 指定範囲
131 スイープ画像
132 復元画像
133 スイープ範囲
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13