特許第5832424号(P5832424)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5832424
(24)【登録日】2015年11月6日
(45)【発行日】2015年12月16日
(54)【発明の名称】撮像装置及び距離計測方法
(51)【国際特許分類】
   G01C 3/06 20060101AFI20151126BHJP
【FI】
   G01C3/06 120P
   G01C3/06 140
【請求項の数】8
【全頁数】19
(21)【出願番号】特願2012-512728(P2012-512728)
(86)(22)【出願日】2011年11月16日
(86)【国際出願番号】JP2011006373
(87)【国際公開番号】WO2012066774
(87)【国際公開日】20120524
【審査請求日】2014年9月19日
(31)【優先権主張番号】特願2010-257227(P2010-257227)
(32)【優先日】2010年11月17日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000005821
【氏名又は名称】パナソニック株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】磯貝 邦昭
(72)【発明者】
【氏名】河村 岳
(72)【発明者】
【氏名】木村 雅之
【審査官】 眞岩 久恵
(56)【参考文献】
【文献】 米国特許出願公開第2007/0019883(US,A1)
【文献】 特開2001−074422(JP,A)
【文献】 特開平05−060528(JP,A)
【文献】 特表2007−533977(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 3/00− 3/32
G01B 11/00−11/30
G02B 7/28− 7/40
G03B 15/00
G03B 17/17
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
撮像素子と、前記撮像素子に光を集光するレンズとを備え、被写体を撮像することにより画像を生成する撮像部と、
前記撮像部の合焦位置を変化させながら、前記撮像部に、それぞれ異なる合焦範囲を有するn枚(nは2以上の整数)の画像を撮影させ、前記撮像部が前記n枚の画像の撮像を開始してから、終了するまでの期間において、前記撮像素子と前記レンズとの距離を等速で変化させる合焦範囲制御部と、
前記n枚の画像を用いて、ぼけの基準となる参照画像を生成する参照画像生成部と、
前記n枚の画像と、前記参照画像とのぼけの度合いの差から前記被写体までの距離を計測する距離計測部とを備え、
前記n枚の画像のそれぞれが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている
撮像装置。
【請求項2】
前記n枚の画像の露光時間は同じである
請求項に記載の撮像装置。
【請求項3】
前記撮像部は、
前記撮像素子を含み、前記レンズからの光路長がそれぞれ異なるように配置されたn個の撮像素子と、
前記レンズからの光を前記n個の撮像素子のそれぞれに分割するビームスプリッタとを備え、
前記合焦範囲制御部は、同一の期間において前記n個の撮像素子の合焦位置を同時に変化させながら、前記n個の撮像素子に前記n枚の画像を同時に撮像させる
請求項1に記載の撮像装置。
【請求項4】
前記撮像部は、
前記撮像素子を含むn個の撮像素子と、
前記レンズからの光を前記n個の撮像素子のいずれか1つへ選択的に入射させる選択部とを備え、
前記合焦範囲制御部は、前記n個の撮像素子を順次選択し、選択した撮像素子に、前記選択部により選択的に光を入射させることで、前記n個の撮像素子の各々に、前記n枚の画像の各々を撮像させる
請求項1に記載の撮像装置。
【請求項5】
前記参照画像生成部は、前記n枚の画像の平均画像を生成し、当該平均画像を用いて前記参照画像を生成する
請求項1〜のいずれか一項に記載の撮像装置。
【請求項6】
前記参照画像生成部は、前記平均画像に1種類の点広がり関数による逆畳み込み演算を行うことにより、前記参照画像を生成する
請求項に記載の撮像装置。
【請求項7】
撮像素子と、前記撮像素子に光を集光するレンズとを備え、被写体を撮像することにより画像を生成する撮像部を備える撮像装置における距離計測方法であって、
前記撮像部の合焦位置を変化させながら、前記撮像部に、それぞれ異なる合焦範囲を有するn枚(nは2以上の整数)の画像を撮影させ、前記撮像部が前記n枚の画像の撮像を開始してから、終了するまでの期間において、前記撮像素子と前記レンズとの距離を等速で変化させる撮影ステップと、
前記n枚の画像を用いて、ぼけの基準となる参照画像を生成する参照画像生成ステップ部と、
前記n枚の画像と、前記参照画像とのぼけの度合いの差から前記被写体までの距離を計測する距離計測ステップとを含み、
前記n枚の画像のそれぞれが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている
距離計測方法。
【請求項8】
請求項に記載の距離計測方法をコンピュータに実行させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及び距離計測方法に関し、特に、撮影された複数枚の画像を用いて、被写体の距離を計測する撮像装置及び距離計測方法に関するものである。
【背景技術】
【0002】
ある3次元シーンの奥行き、すなわち各被写体までの距離を非接触で計測するためのさまざまな方法が提案されている。それらを大別すると、赤外線、超音波、又はレーザーなどを被写体に照射し、反射波が戻ってくるまでの時間又は反射波の角度などを基に距離を算出する能動的手法と、被写体の像に基づいて距離を算出する受動的手法とがある。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
【0003】
受動的手法にも多くの手法が提案されているが、その一つとしてフォーカス(合焦位置)の変化によって生じるぼけに基づいて距離を計測するDepth from Defocus(以下、「DFD」と表記する。)と呼ばれる手法がある。このDFDは、複数のカメラを必要とせず、また、少数の画像から距離計測が可能である、などの利点がある。
【0004】
DFDは画像のぼけを利用して距離を計測する手法である。しかし、撮影された画像に存在するぼけがレンズのフォーカスの変化によって生じたものなのか、あるいはレンズによるぼけがない状態を表す原画像が元々ぼけたテクスチャを有しているのかを撮影された画像自身から判別することは非常に困難である、という課題が存在する。
【0005】
これに対し、特許文献1に記載の手法では複数の撮影画像間の空間周波数スペクトルの比と、シーンの奥行きに対応するぼけの空間周波数スペクトルの比とを比較することで、原画像のスペクトル成分に依存しない計測を行っている。
【0006】
一方、特許文献2に記載の手法ではフォーカスを変えながら多数の画像を撮影し、それらの合焦部分のみを取り出すことで原画像に相当する参照画像を得ている。この参照画像に対して種々のぼけを畳み込んだ尺度空間(Scale Space)を構成し、参照画像と撮影画像とを比較することで距離計測を行っている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平11−337313号公報
【特許文献2】米国特許出願公開第2007/0019883号明細書
【非特許文献】
【0008】
【非特許文献1】“Flexible Depth of Field Photography”、H.Nagahara、S.Kuthirummal、C.Zhou、S.K.Nayer、European Conference on Computer Vision(ECCV)、Oct、2008
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、特許文献1に記載の手法では、計測を容易にするために開口部に特殊な構造のマスクを挿入している。これにより、当該手法は、ぼけの空間周波数スペクトルに周期的に零点が出現するなどの構造化を行っている。しかし、当該手法は、このマスクによって入射光量が減少するという問題がある。これを補うためには撮像素子の感度を高くするか露光時間を長くするかのいずれかが必要になる。しかし前者は撮影画像のノイズの増大を、後者は被写体ぶれを招く。これらによって被写体のスペクトル成分が乱れることで、距離計測の精度が低下する。
【0010】
一方、特許文献2に記載の手法では、絞りを大きく絞らない限り画像の被写界深度の幅が距離計測を行う範囲より格段に狭いため、参照画像を得るためには多数の画像を撮影する必要がある。これは少数の画像で距離計測が可能であるというDFDのメリットを相殺している。加えて絞りを大きく絞ることで少ない枚数の画像から参照画像を得ることができるが、入射光量が低下するため、当該手法は特許文献1に記載の手法と同じ問題を抱えることになってしまう。
【0011】
本発明は上述の問題に鑑みてなされたものであって、少ない枚数の撮影画像から安定な距離計測を実現できる撮像装置及び距離計測方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、本発明の一形態に係る撮像装置は、被写体を撮像することにより画像を生成する撮像部と、前記撮像部の合焦位置を変化させながら、前記撮像部に、それぞれ異なる合焦範囲を有するn枚(nは2以上の整数)の画像を撮影させる合焦範囲制御部と、前記n枚の画像を用いて、ぼけの基準となる参照画像を生成する参照画像生成部と、前記n枚の画像と、前記参照画像とのぼけの度合いの差から前記被写体までの距離を計測する距離計測部とを備え、前記n枚の画像のそれぞれが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている。
【0013】
このような構成によると、本発明の一形態に係る撮像装置は、合焦位置を変化させながら画像を撮像することで、絞りを絞ることなく通常より合焦範囲の広い画像を得ることができる。これにより、本発明の一形態に係る撮像装置は、少ない枚数の画像から参照画像を得ることが可能となる。加えて、各画像が有する合焦範囲が互いに独立であることから、複数の画像を用いて被写体距離に対してほぼ均一なぼけを有する画像を生成できる。従って、本発明の一形態に係る撮像装置は、簡単な方法で精度の高い参照画像を得ることが可能となる。このように、本発明の一形態に係る撮像装置は、少ない枚数の撮影画像から安定な距離計測を実現できる。
【0014】
また、前記撮像部は、撮像素子と、前記撮像素子に光を集光するレンズとを備え、前記合焦範囲制御部は、前記撮像素子と前記レンズとの距離を等速で変化させることで前記合焦位置を変化させてもよい。
【0015】
このような構成によると、撮像素子とレンズとの距離を変化させた分だけ被写界深度が拡張されるので、少ない枚数で広い範囲の距離計測を行うことができる。
【0016】
また、前記n枚の画像の露光時間は同じであってもよい。
【0017】
このような構成によると、合焦範囲の異なるn枚の画像に含まれるノイズを同程度にできるので、距離算出の精度を向上できる。
【0018】
また、前記合焦範囲制御部は、前記撮像部が前記n枚の画像の撮像を開始してから、終了するまでの期間において、前記撮像素子と前記レンズとの距離を等速で変化させてもよい。
【0019】
このような構成によると、合焦位置を変更する制御を容易に行うことができる。
【0020】
また、前記撮像部は、レンズと、前記レンズからの光路長がそれぞれ異なるように配置されたn個の撮像素子と、前記レンズからの光を前記n個の撮像素子のそれぞれに分割するビームスプリッタとを備え、前記合焦範囲制御部は、同一の期間において前記n個の撮像素子の合焦位置を同時に変化させながら、前記n個の撮像素子に前記n枚の画像を同時に撮像させてもよい。
【0021】
このような構成によると、合焦範囲が互いに異なるn枚の画像を同時に撮影することができるので、処理全体にかかる時間を短縮することができる。かつ、各画像は被写界深度が連続的に拡張されているため、少ない枚数で広い範囲の距離計測を行うことができる。
【0022】
また、前記撮像部は、レンズと、n個の撮像素子と、前記レンズからの光を前記n個の撮像素子のいずれか1つへ選択的に入射させる選択部とを備え、前記合焦範囲制御部は、前記n個の撮像素子を順次選択し、選択した撮像素子に、前記選択部により選択的に光を入射させることで、前記n個の撮像素子の各々に、前記n枚の画像の各々を撮像させてもよい。
【0023】
このような構成によると、合焦範囲が互いに異なるn枚の画像を同時に撮影することができるので、処理全体にかかる時間を短縮することができる。かつ、各画像は不連続な合焦範囲を有するため、DFDアルゴリズムでより距離計測をしやすいぼけの形状を持たせることが可能となる。
【0024】
また、前記参照画像生成部は、前記n枚の画像の平均画像を生成し、当該平均画像を用いて前記参照画像を生成してもよい。
【0025】
このような構成によると、各画像が有する合焦範囲が互いに独立であることから、各画像を平均した画像は被写体距離に対してほぼ均一なぼけを有する。従って、簡単な方法で精度の高い参照画像を得ることが可能となる。
【0026】
また、前記参照画像生成部は、前記平均画像に1種類の点広がり関数による逆畳み込み演算を行うことにより、前記参照画像を生成してもよい。
【0027】
なお、本発明は、このような撮像装置として実現できるだけでなく、撮像装置に含まれる特徴的な手段をステップとする距離計測方法、又は、撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【0028】
さらに、本発明は、このような撮像装置の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したりできる。
【発明の効果】
【0029】
以上より、本発明は、少ない枚数の撮影画像から安定な距離計測を実現できる撮像装置及び距離計測方法を提供できる。
【図面の簡単な説明】
【0030】
図1図1は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。
図2図2は、本発明の実施の形態に係る合焦位置を変化させた際の集光の様子を模式的に示す図である。
図3図3は、本発明の実施の形態に係る撮像装置の動作の流れを示すフローチャートである。
図4図4は、本発明の実施の形態に係る、合焦位置の変化を示す図である。
図5図5は、本発明の実施の形態に第1画像及び第2画像のぼけ量を示す図である。
図6A図6Aは、本発明の実施の形態に係る、シーンのテクスチャを示す図である。
図6B図6Bは、本発明の実施の形態に係る、シーンの被写体距離を示す図である。
図7A図7Aは、本発明の実施の形態に係る、接合する合焦範囲を持つ2枚の画像から距離計測を行った結果を示す図である。
図7B図7Bは、本発明の実施の形態に係る、間隔を空けた合焦範囲を持つ2枚の画像から距離計測を行った結果を示す図である。
図8A図8Aは、本発明の実施の形態に係る、合焦範囲の間隔と、距離計測結果のRMSとの関係を示す表である。
図8B図8Bは、本発明の実施の形態に係る、合焦範囲の間隔と、距離計測結果のRMSとの関係を示すグラフである。
図9A図9Aは、本発明の実施の形態の変形例1に係る撮像部の構成を示す図である。
図9B図9Bは、本発明の実施の形態の変形例1に係る、合焦位置の変化を示す図である。
図10図10は、本発明の実施の形態の変形例2に係る撮像部の構成を示す図である。
図11A図11Aは、本発明の実施の形態の変形例2に係る撮像部の動作を示す図である。
図11B図11Bは、本発明の実施の形態の変形例2に係る撮像部の動作を示す図である。
図11C図11Cは、本発明の実施の形態の変形例2に係る撮像部の動作を示す図である。
図12図12は、本発明の実施の形態の変形例2に係る合焦位置の変化を示す図である。
【発明を実施するための形態】
【0031】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【0032】
本発明の実施の形態に係る撮像装置は、独立した合焦範囲を有する複数の画像を撮影する。さらに、複数の画像の複数の合焦範囲間に間隔を設ける。これにより、当該撮像装置は、これらの複数の画像を用いて、被写体距離に対してほぼ均一なぼけを有する画像を生成できる。このように、本発明の実施の形態に係る撮像装置は、少ない枚数の撮影画像から安定な距離計測を実現できる。
【0033】
図1は、本発明の実施の形態に係る撮像装置10の構成を示す図である。図1に示す撮像装置10は、画像を撮影するとともに、当該画像を用いて、撮像装置10と、当該画像に含まれる被写体との距離を計測する。この撮像装置10は、撮像部11、合焦範囲制御部12、参照画像生成部13、及び距離計測部14を有する。
【0034】
撮像部11は、光線を集めるレンズ21が組み込まれたレンズユニットと、CCD又はCMOSなどの撮像素子22とを備える。この撮像部11は、被写体の像を撮像することにより画像を生成する機能を有する。
【0035】
合焦範囲制御部12は、撮像部11が有するレンズユニットを制御し、合焦位置及び被写界深度を制御する機能を有する。具体的には、合焦範囲制御部12は、レンズ21と、撮像素子22との距離を変化させることにより、合焦位置を変化させる。より具体的には、合焦範囲制御部12は、レンズ21及び撮像素子22の一方、又は両方を移動することにより、レンズ21と撮像素子22との距離を変化させる。例えば、合焦範囲制御部12は、レンズユニットに組み込まれたオートフォーカス機構を特定のパターンで動作させる、又は特定の光学素子を切り替える。なお、レンズユニットには複数のレンズが含まれてもよい。この場合、合焦範囲制御部12は、当該複数のレンズのうち1以上を移動させればよい。また、レンズと撮像素子との距離とは、例えば、移動させるレンズ、又は、複数のレンズのレンズ主点位置と、撮像素子との距離である。
【0036】
また、合焦範囲制御部12は、撮像部11の合焦位置を変化させながら、撮像部11に、それぞれ異なる合焦範囲及び被写界深度を有する複数枚の画像(第1画像31a及び第2画像31b)を撮影させる。ここで、複数枚の画像のそれぞれが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている。
【0037】
なお、以下では、合焦範囲及び被写界深度の異なる2枚の画像を用いる例を述べるが、3枚以上の画像を用いてもよい。
【0038】
参照画像生成部13は、合焦範囲制御部12の作用によって生成された、異なる合焦位置及び被写界深度を有する第1画像31a及び第2画像31bを用いて、ぼけの基準となる参照画像32を生成する。具体的には、参照画像32は、レンズ21によるぼけがない状態を推定した画像である。
【0039】
距離計測部14は、第1画像31a及び第2画像31bと、参照画像32とを用いて、DFDの手法に基づいて距離計測を行う。つまり、距離計測部14は、第1画像31a及び第2画像31bと、参照画像32とのぼけの度合いの差から被写体までの距離を計測する。
【0040】
次に、撮影される画像の被写界深度を拡張する手法について説明する。一般的な被写界深度の幅は以下のように定義される。まず、過焦点距離(Hyperfocal Distance)について説明する。過焦点距離は、その距離に合焦位置(フォーカス)を合わせた場合、その距離から後側に無限遠までが合焦していると判断される距離のことである。レンズの焦点距離をf、レンズのFナンバーをF、検知可能な最小のぼけを表す許容錯乱円の大きさをcとした時、過焦点距離hは以下の(式1)で近似される。
【0041】
【数1】
【0042】
距離sに合焦位置を合わせた際の被写界深度は、sより前側の被写界深度をDN、後側の被写界深度をDfとした時、以下の(式2)及び(式3)で表される。
【0043】
【数2】
【0044】
以上の式より、焦点距離を固定した場合、被写界深度の幅は絞りによってのみ変更可能である。
【0045】
これに対して、絞りを絞ることなく被写界深度の幅を広げる種々の手法が提案されている。これらは、被写界深度拡張(Extended Depth of Field:以下、「EDOF」と表記する。)と称される。以下、EDOFの具体的な手法について説明する。
【0046】
最も単純なEDOF手法は、合焦位置を少しずつずらしながら複数の画像を撮影し、それらの画像から合焦している部分を抜き出して合成する手法である。この手法は、特許文献2においても用いられている。
【0047】
これに対して、露光中に合焦位置を変化させることで、多数の画像を合成するのと同様の効果を実現する手法が、非特許文献1に開示されている。
【0048】
図2は、合焦位置を変化させた際の集光の様子を模式的に示す図である。図2のように、被写体位置a1に合焦する場合の撮像素子22の位置(像面位置)をb1とし、被写体位置a2に合焦する場合の撮像素子22の位置をb2とする。レンズの公式よりa1とa2との間の任意の被写体位置に合焦させる場合の撮像素子22の位置は必ずb1とb2との間にある。従って、露光中に撮像素子22がb1からb2まで移動すると、a1に対しては始め合焦していた状態から段々とぼけが大きくなり、画像にはこれらのぼけが積分されて重なって写る。一方、a2に対しては逆にぼけが大きい状態から段々と合焦していき、やはり画像にはこれらのぼけが重なって写る。
【0049】
このことを、数式を用いてさらに詳しく説明する。光学系のぼけの状態を表す点広がり関数(Point Spread Function:以下、「PSF」と表記する。)が、以下の(式4)及び(式5)で表す形状であるとする。
【0050】
【数3】
【0051】
ただし、fは光学系の焦点距離、aは光学系の開口部の直径、uは被写体距離、vはレンズの公式1/f=1/u+1/vで定まる像面位置、Δvはvからの像面位置の移動量、Rはぼけの中心からの距離、gは定数をそれぞれ表す。ここで、像面位置とはレンズを基準とした撮像素子の位置である。言い換えると、像面位置はレンズと撮像素子との間の距離に相当する。
【0052】
(式4)及び(式5)は像面位置の移動量Δvの関数なので、Δvがある関数V(t)に従って時刻0からTにわたって変化する場合、最終的に得られるPSFは以下の(式6)のように定義できる。
【0053】
【数4】
【0054】
ここで、V(t)が等速運動、即ちV(t)=V(0)+stで表されるとすると、式6は以下の式7のように解ける。
【0055】
【数5】
【0056】
ここで、erfc(x)は相補誤差関数(Complementary Error Function)である。また、b(t)は、時刻tにおけるぼけの直径である。(式7)から得られえるPSFは、距離V(0)〜V(T)の間で、距離によらずほぼ普遍なぼけ形状となることが、非特許文献1にて示されている。すなわち、像面位置の始点v+V(0)、及び終点v+V(T)を変化させることで、ぼけが一定となる被写体距離の範囲を変化させることができる。
【0057】
次に、参照画像を用いたDFDの手法について説明する。参照画像Rと撮影画像Iの間には、以下の(式8)で示す関係が成立する。
【0058】
【数6】
【0059】
ここで、hは位置(x、y)におけるPSFを表し、d(x、y)は位置(x、y)における被写体距離を表す。また、式中の*は畳み込み演算を表す。例えば(式4)及び(式5)のように、PSFは被写体距離によって異なるため、複数の被写体が異なる距離に存在する場合、画像の位置ごとに異なるPSFが畳み込まれた画像が撮影画像として得られる。
【0060】
ここで、被写体距離d1、d2、…、dnに対応するPSFをh(x、y、d1)、h(x、y、d2)、…、h(x、y、dn)とする。例えば参照画像R(x、y)に存在する被写体が距離d1にある場合、撮影画像I(x、y)はR(x、y)にH(x、y、d1)を畳み込んだ画像に等しい。また、R(x、y)に他の被写体距離に対応するPSFを畳み込んだ画像と、撮影画像I(x、y)とには差が生じる。よって、R(x、y)に各PSFを畳み込んだ複数の画像と、撮影画像との差を順に比較し、その差が最小となるPSFに対応する距離を調べることで、d(x、y)を求めることができる。具体的には以下の(式9)によってd(x、y)は求められる。
【0061】
【数7】
【0062】
実際には撮影画像Iに含まれるノイズの影響を低減するため、画像をブロックに区切ってブロック内での誤差の総和を求め、誤差が最小となる距離をそのブロック全体の距離とするなどの処理を行うことで、より安定に距離計測を行うことができる。
【0063】
次に、本発明の実施の形態に係る撮像装置10によって、被写界深度を拡張した2枚の画像から距離計測を行う処理の流れについて図3図4及び図5に基づいて説明する。なお、以下では被写界深度を拡張する手法として、露光期間中に合焦位置を変化させる方法を用いるものとして説明を行う。
【0064】
まず、撮像部11は、それぞれ異なる合焦範囲を有する第1画像31a及び第2画像31bを撮影する。具体的には、第1画像31a及び第2画像31bのそれぞれの露光中に、合焦範囲制御部12は、像面位置を図4で示すように等速で移動させる。このとき、合焦範囲制御部12は、まず、像面位置をv1からv3まで等速で移動させながら、撮像部11に第1画像31aを撮影させる(S101)。次に、合焦範囲制御部12は、合焦位置を所定の距離だけ移動させる(S102)。具体的には、合焦範囲制御部12は、非露光期間の間、撮像位置をv3からv4に等速で移動させる。その後、合焦範囲制御部12は、像面位置をv4からv2まで等速で移動させながら、撮像部11に第2画像31bを撮影させる(S103)。このようにして撮影された第1画像31aは図5に示すように、像面位置v1からv3までの第1画像31aの合焦範囲内で均一なぼけを有し、像面位置v1からv3以外の位置では、第1画像31aの合焦範囲からの距離に応じたぼけを有する。同様に、第2画像31bは像面位置v4からv2までの第2画像31bの合焦範囲内で均一なぼけを有し、像面位置v4からv2以外の位置では、第2画像31bの合焦範囲からの距離に応じたぼけを有する。被写体距離に対して均一なぼけは参照画像32の生成に用いられ、被写体距離に応じたぼけはDFDによる距離計測に用いられる。
【0065】
なお、v3及びv4はv1とv2の間の任意の位置にすることができるが、第1画像31aと第2画像31bとの露光時間を同一にするため、v1とv3及びv4とv2の距離は等しくなるように設定することが望ましい。第1画像31aと第2画像31bとの露光時間を同一にすることで、第1画像と第2画像とに含まれるノイズを同程度にできるので、距離算出の精度を向上できる。
【0066】
また、図4に示すように、合焦範囲制御部12は、第1画像31aの露光期間、非露光期間及び第2画像31bの露光期間を含む期間の間、合焦位置を等速で移動させる。言い換えると、合焦範囲制御部12は、撮像部11が第1画像31a及び第2画像31bの撮像を開始してから、終了するまでの期間において、像面位置を等速で変化させる。これにより、合焦位置を変更する制御を容易に行うことができる。
【0067】
なお、第1画像31aの露光期間における合焦位置の移動速度と第2画像31bの露光期間における合焦位置の移動速度とは異なってもよい。
【0068】
次に、参照画像生成部13は、第1画像31a及び第2画像31bを用いて参照画像32を生成する(S104)。ここで、(式8)より参照画像32は撮影画像に対してPSFを逆畳み込みすることで求められる。本来参照画像32を正しく求めるためには被写体距離d(x、y)が既知である必要があるが、第1画像31a及び第2画像31bは被写界深度が拡張されているため、拡張された範囲の被写体距離に対してPSFは一定である。
【0069】
ここでは、参照画像生成部13は、第1画像31aと第2画像31bの平均を取ることで、平均画像を生成する。平均画像は図4からも分かるようにv3からv4の区間を除いて、v1からv2の範囲にわたり被写界深度がほぼ等しくなる。つまり、平均画像は、v1からv2の全ての範囲にわたり均一なぼけを有する画像とほぼ等価である。従って、参照画像生成部13は、この平均画像に対して、均一なぼけに対応する1種類のPSFによる逆畳み込み演算を行うことにより、v1からv2の範囲全てに合焦した参照画像32を生成する。
【0070】
なお、第1画像31a及び第2画像31bの露光時間又は合焦位置の移動速度が異なる場合は、被写体距離に対する重みが一定となるよう重み付け平均を取ることで上記と同様に扱うことができる。
【0071】
また、逆畳み込みのアルゴリズムにはウィーナーフィルタ(Wiener Filter)のような既知の手法を用いることができる。
【0072】
最後に、距離計測部14は、撮影された第1画像31a及び第2画像31bと、ステップS104で生成された参照画像32とを用いて、(式9)に従って距離マップd(x、y)を算出する(S105)。具体的には、距離計測部14は、(式9)に従って、第1画像31aを用いた距離マップと、第2画像31bを用いた距離マップとを算出する。次に、距離計測部14は、これらを統合することで一つの距離マップを算出する(S106)。この統合には各画像から算出される距離マップの単純平均を取る手法などを用いることができる。
【0073】
なお、(式8)及び(式9)をフーリエ変換し、周波数領域上での比較を行うことで距離計測を行ってもよい。周波数領域では(式8)及び(式9)における畳み込み演算が乗算に変換されるので、より高速に距離計測を行うことができる。
【0074】
以上に示すように、本実施の形態に係る撮像装置10は、第1画像31a及び第2画像31bのみを用いて参照画像32を生成できる。このように、撮像装置10は、少数の画像で高精度に距離計測を行うことができる。さらに、露光中の合焦位置の変化は標準的なオートフォーカス機構を流用することで実現可能なため、特殊な機構を必要とすることもない。
【0075】
なお、上記説明では2枚の画像を用いる例を述べたが、撮影する画像は3枚以上であってもよい。この場合、各画像の合焦範囲間にそれぞれ非合焦範囲を設ける。そして、各合焦範囲の長さを均等とすることで、2枚の場合と同じように扱うことが可能となる。この際、参照画像も撮影した全ての画像の平均画像から算出する。
【0076】
また、上記説明では、複数の画像の平均画像を用いる場合を例に説明したが、複数の画像を加算した加算画像を用いても同様の処理を行うことができる。
【0077】
また、上記説明では、平均画像にPSFによる逆畳み込み演算を行うことにより生成した画像を参照画像32として用いているが、v1からv2の全ての範囲でほぼ均一なぼけを有する画像であれば参照画像32として用いることができる。例えば、上記平均画像又は加算画像を参照画像32として用いてもよい。
【0078】
(シミュレーション評価結果)
以下、合焦範囲の間に間隔を設ける利点について述べる。位置(x、y)における正しい距離の値をD、正しくない距離の値をD’とする。(式9)より参照画像Rにh(x、y、d)とh(x、y、D’)とをそれぞれ畳み込んだ結果が大きく異なるほど、正しい距離であるか否かの判定が容易になる。以下ではシミュレーションで検証する。
【0079】
図6Aに示すテクスチャを持ち、被写体距離が図6Bのような20段の階段状のシーンを考える。被写体距離は図中暗いほど遠いものとする。
【0080】
また、シミュレーションで想定するレンズの性能は、焦点距離9mm、Fナンバー1.4とする。
【0081】
次に、合焦範囲の記法について説明する。20段の被写体距離の各段に合焦位置が合っているか否かを20桁の数字で表現するものとする。例えば、[1、0、1、1、1、0、0、0、0、1、0、0、0、0、0、0、0、0、0、0]であれば遠い方から1、3、4、5、10段目に合焦していることを表す。
【0082】
まず、合焦範囲が連続する(間隔を設けていない)2枚の画像から、DFDによって距離計測を行った結果を図7Aに示す。具体的には、この2枚の画像は、合焦範囲が[1、1、1、1、1、1、1、1、1、1、0、0、0、0、0、0、0、0、0、0](1〜10段目)の画像と、合焦範囲が[0、0、0、0、0、0、0、0、0、0、1、1、1、1、1、1、1、1、1、1](11〜20段目)の画像とである、このとき、被写体距離は以下の(式10)及び(式11)で示す形で求められる。
【0083】
【数8】
【0084】
ただし、F1及びF2は1枚目及び2枚目の画像の周波数成分を表し、H1及びH2は1枚目及び2枚目の合焦範囲に対応するPSFの周波数成分を表し、H1*及びH2*はH1及びH2の複素共役を表し、εは零除算を防ぐための微小な値を表し、f−1は逆フーリエ変換を表す。
【0085】
これに対し、合焦範囲に間隔を設けた2枚の画像から、同じように距離計測を行った結果を図7Bに示す。具体的には、この2枚の画像は、合焦範囲が[1、1、1、1、1、1、1、1、1、1、0、0、0、0、0、0、0、0、0、0](1〜10段目)の画像と、合焦範囲が[0、0、0、0、0、0、0、0、0、0、0、1、1、1、1、1、1、1、1、1](12〜20段目)の画像とである。つまり、11段目が非合焦範囲である。
【0086】
ここで、計測結果が図6Bに近いほど精度が高いことを意味する。図7Aでは特にテクスチャが少ない右側の中央部分で計測結果が図6Bから離れている。一方、図7Bでは計測結果が図7Aに比べて改善されている。
【0087】
図8A及び図8Bは、合焦範囲の間隔に対する、計測結果と正解データとの差を示す図である。ここで、計測結果と正解データとの差は、RMS(Root Mean Square)を用いる。RMSの値が0に近いほど、計測精度が高いことを示す。図8Aは、合焦範囲の間隔に対する、距離計測結果のRMSを示す表である。図8Bは、RMSを棒グラフとして表示した図である。
【0088】
図8A及び図8Bに示すように、最もRMSの小さい組み合わせは、10〜12段目の3段分に合焦しない場合であった。また、合焦範囲に間隔を設けない場合よりも、間隔を設けた場合の方が、計測精度が高くなる。ただし、間隔が広すぎる場合は、計測精度が低下する。つまり、間隔は4段以下が好ましい。また、間隔は2〜4段であることがより好ましい。
【0089】
ここで、1段は像面位置の約50μmに相当する。つまり、間隔に対応する像面位置は200μm以下(4段に相当)であることが好ましく、100μm以上(2段に相当)かつ200μm以下(4段に相当)であることがより好ましい。
【0090】
ただし、ぼけの性質はレンズにより異なるため、全ての場合においてこの間隔が最適であるとは限らない。
【0091】
なお、上記説明ではDFDに用いる画像を1枚ずつ撮影しているが、これを2枚同時に撮影することが出来れば撮影にかかる時間は半分になる。以下、本実施の形態の変形例を説明する。
【0092】
<変形例1>
図9Aは、変形例1に係る撮像部11の構成を示す図である。また、図9Bは、変形例1における、合焦位置の変化を示す図である。
【0093】
図9Aに示すように撮像部11は、レンズ21と、2つの撮像素子22a及び22bと、光線を分割するためのビームスプリッタ23と、光路を曲げるためのミラー24とを備える。2つの撮像素子22a及び22bはレンズ21からの光路長が異なるように配置されている。図9Aでは、撮像素子22aに対してΔvだけ撮像素子22bの光路長が長い。ビームスプリッタ23は、レンズ21からの光を2つの撮像素子22a及び22b分割する。
【0094】
また、合焦範囲制御部12は、同一の期間において2個の撮像素子22a及び22bの合焦位置を同時に変化させながら、撮像素子22aに第1画像31aを、撮像素子22bに第2画像31bを同時に撮像させる。具体的には、このような光学系において、露光中に合焦位置を等速で変化させながら2つの撮像素子22a及び22bで同時に画像を撮影すると、図9Bに示すように撮像素子22a及び撮像素子22bで常にΔvだけ合焦位置がずれた画像が得られる。この際、Δvをv1からv4までの距離に等しく設定することで、v3からv4までの距離を合焦しない2枚の画像を同時に撮影ができる。
【0095】
なお、光路を曲げるための手段として、ミラーの代わりにプリズムを用いてもよい。または、後述する図10に示す構成のように、ミラー及びプリズムを持たない構成でもよい。
【0096】
<変形例2>
図10は、変形例2に係る撮像部11の構成を示す図である。図11A図11Bは、撮像部11の動作を示す図である。図12は、変形例2における、合焦位置の変化を示す図である。
【0097】
図10に示す撮像部11は、レンズ21と、2つの撮像素子22a及び22bと、絞り25と、可動ミラー26とを備える。可動ミラー26は、レンズ21と2つの撮像素子22a及び22bとの光路の途中に配置されており、レンズ21からの光の光軸方向を変化させる光軸変化手段である。また、可動ミラー26は、レンズ21からの光を2つの撮像素子22a及び22bのいずれか1つへ選択的に入射させる選択部として機能する。
【0098】
また、レンズ21から2つの撮像素子22a及び22bへの光路長は等しい。
【0099】
可動ミラー26は、例えば、ガルバノミラー又はMEMSミラーである。この可動ミラー26は、図11A及び図11Cで示すように2つの撮像素子22a及び22bのいずれか一方に光線を導く機能を有する。
【0100】
絞り25は、図11Bで示すように、可動ミラー26が光線の到達する撮像素子を切り替える動作中に光線を遮断する。
【0101】
合焦範囲制御部12は、2個の撮像素子22a及び22bを順次選択し、選択した撮像素子に、可動ミラー26により選択的に光を入射させることで、2個の撮像素子の各々に、2枚の画像の各々を撮像させる。具体的には、このような光学系において、露光中に合焦位置を等速で変化させると同時に、可動ミラー26によって光線を撮像素子22aと22bとに振り分ける。合焦位置がv1からv3の区間において光線は撮像素子22aに到達し、区間v4からv2においては撮像素子22bに到達する。よって、図12に示すように、第1画像31aと第2画像31bとは不連続な合焦範囲の画像となる。
【0102】
ここで、1個の撮像素子を用いて第1画像31a及び第2画像31bを撮像する構成では、第1画像31aを撮像してから、第2画像31bの撮像を開始するまでに、データの読み出し期間等が必要となる。一方、変形例2の構成では、このような期間が必要ないので、非露光期間を短くすることできる。
【0103】
なお、変形例2における光路は図10に示す構成に限らず、複数の撮像素子の光路長が一定である限り、任意の光路を用いることができる。
【0104】
(その他変形例)
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【0105】
(1)上記の撮像装置の機能の一部は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムであってもよい。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、撮像装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0106】
(2)上記の撮像装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
【0107】
(3)上記の撮像装置を構成する構成要素の一部または全部は、撮像装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0108】
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0109】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【0110】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0111】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【0112】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【0113】
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【0114】
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【0115】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0116】
また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
【0117】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【0118】
本発明はレンズ系を有する撮像装置、特に単眼の撮像装置に適用可能である。
【符号の説明】
【0119】
10 撮像装置
11 撮像部
12 合焦範囲制御部
13 参照画像生成部
14 距離計測部
21 レンズ
22、22a、22b 撮像素子
23 ビームスプリッタ
24 ミラー
25 絞り
26 可動ミラー
31a 第1画像
31b 第2画像
32 参照画像
図1
図2
図3
図4
図5
図6A
図6B
図7A
図7B
図8A
図8B
図9A
図9B
図10
図11A
図11B
図11C
図12