特許 5906934 撮像装置および撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5906934

(24)【登録日】2016年4月1日

(45)【発行日】2016年4月20日

(54)【発明の名称】撮像装置および撮像方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20160407BHJP

   G03B 7/00 20140101ALI20160407BHJP

   G03B 15/00 20060101ALI20160407BHJP

   G06T 5/50 20060101ALI20160407BHJP

   H04N 5/232 20060101ALI20160407BHJP

【ＦＩ】

   H04N5/225 F

   G03B7/00

   G03B15/00 H

   G06T5/50

   H04N5/232 Z

【請求項の数】10

【全頁数】15

(21)【出願番号】特願2012-108921(P2012-108921)

(22)【出願日】2012年5月10日

(65)【公開番号】特開2013-236343(P2013-236343A)

(43)【公開日】2013年11月21日

【審査請求日】2015年5月11日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】村田 司

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００１−０１６６１２（ＪＰ，Ａ）

【文献】 特開２００３−００４４４１（ＪＰ，Ａ）

【文献】 特開２００９−２５０６８５（ＪＰ，Ａ）

【文献】 特開２００４−０４０７４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ ７／００

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ５／５０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

外部から入射する光を撮像素子へと導く光学系と、
前記光学系の入射面における互いに異なる複数の領域のそれぞれを通過する光を撮像した複数の画像を出力する撮像部と、
前記複数の領域のそれぞれに対応してフォーカス位置を調整する調整部と、
前記複数の領域のそれぞれに応じてフォーカス位置を調整して撮像した前記複数の画像を合成して出力画像を生成する画像生成部と、
を備える撮像装置。

【請求項2】

前記光学系の光軸と垂直方向における開口位置が可変である開口を有する可変開口部と、
前記開口の開口位置を前記複数の領域のそれぞれからの光を通過させる位置に切り換える開口制御部と
をさらに備え、
前記調整部は、前記開口位置に応じてフォーカスを調整し、
前記画像生成部は、それぞれの開口位置に応じてフォーカスを調整して撮像した複数の画像から出力画像を生成する
請求項１に記載の撮像装置。

【請求項3】

前記開口制御部は、前記開口の中心位置を互いに異なる予め定められた複数の位置に切り換える請求項２に記載の撮像装置。

【請求項4】

前記開口制御部は、互いに隣接する少なくとも２つの開口の一部が重なるように前記開口位置を切り換える請求項２または３に記載の撮像装置。

【請求項5】

前記可変開口部は、前記開口の開口位置および開口面積を可変とし、
前記開口制御部は、前記開口の開口位置および開口面積を切り換える
請求項２から４のいずれか一項に記載の撮像装置。

【請求項6】

前記開口制御部は、前記光学系の光軸に近い開口の開口面積を、前記光学系の光軸から遠い開口の開口面積より大きくする請求項５に記載の撮像装置。

【請求項7】

前記可変開口部は、複数の前記開口を、前記光学系の光軸を中心として回転対称な形状にする請求項５または６に記載の撮像装置。

【請求項8】

前記開口制御部は、マクロ撮影モードにおいて、当該マクロ撮影モードでない場合と比べて、前記開口の開口面積を小さくして、前記開口の数を増やす請求項５から７のいずれか一項に記載の撮像装置。

【請求項9】

前記開口制御部は、高速撮影モードにおいて、当該高速撮影モードでない場合と比べて、前記開口の開口面積を大きくして、前記開口の数を減らす請求項５から７のいずれか一項に記載の撮像装置。

【請求項10】

外部から入射する光を撮像素子へと光学系で導く光学段階と、
前記光学系の入射面における互いに異なる複数の領域のそれぞれを通過する光を個別に撮像して複数の画像を出力する撮像段階と、
前記複数の領域のそれぞれに対応してフォーカス位置を調整する調整段階と、
前記複数の領域のそれぞれに応じてフォーカス位置を調整して撮像した前記複数の画像を合成して出力画像を生成する画像生成段階と、
を備える撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置および撮像方法に関する。

【背景技術】

【0002】

従来、カメラ等の撮像装置は、開口の位置を左右に動かして撮像することで、複数の視差のある画像を取得していた。また、左右の経路で異なる波長を透過させる複数の波長透過フィルタを備えることで、１回の撮像により視差のある複数の画像を取得する撮像装置が知られていた（例えば、特許文献１参照）。
特許文献１ 特開２００９−２７６２９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、レンズ等を含む光学系は光の経路に応じた収差を有するので、このような撮像装置において、異なる経路を通過する光は、それぞれ異なる収差の影響を発生させてしまう。したがって、複数の視差のある画像を画像処理等によって合成すると、このような収差の影響によって合成画像にゆがみ、歪み、および／または誤差等が生じてしまう。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、外部から入射する光を撮像素子へと導く光学系と、光学系の入射面における互いに異なる複数の領域のそれぞれを通過する光を撮像した複数の画像を出力する撮像部と、複数の領域のそれぞれに対応してフォーカス位置を調整する調整部と、複数の領域のそれぞれに応じてフォーカス位置を調整して撮像した複数の画像を合成して出力画像を生成する画像生成部と、を備える撮像装置および撮像方法を提供する。

【0005】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0006】

【図1】本実施形態に係る撮像装置１００の構成例を示す。

【図2】レンズの合焦位置のずれ量と像高の関係の一例を示す。

【図3】本実施形態に係る可変開口部１２０が形成する複数の開口の構成例を示す。

【図4】本実施形態に係る可変開口部１２０が形成する複数の開口の変形例を示す。

【図5】本実施形態に係る撮像装置１００の動作フローを示す。

【図6】本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

【発明を実施するための形態】

【0007】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0008】

図１は、本実施形態に係る撮像装置１００の構成例を示す。撮像装置１００は、異なる経路を通過する光を撮像する毎に、当該開口の位置に応じてフォーカス位置を調整することで、光学系の収差の影響を低減させた複数の視差画像を得る。撮像装置１００は、光学系１１０と、可変開口部１２０と、開口制御部１３０と、撮像部１４０と、調整部１５０と、駆動部１５２と、画像生成部１６０とを備える。

【0009】

光学系１１０は、外部から入射する光を撮像素子へと導く。光学系１１０は、光軸Ｏ−Ｏに垂直に備わる複数のレンズ１１２、１１４等を有し、被写体の像を撮像部１４０内にフォーカスさせる。一例として、光学系１１０は、焦点距離を予め定められた範囲で可変にするズームレンズである。光学系１１０は、１以上の凸レンズまたは凹レンズを含んでよく、これに代えて、１以上の凸レンズおよび凹レンズの組み合わせであってもよい。また、光学系１１０は、１以上の非球面レンズを含んでもよい。また、光学系１１０は、１以上の凹面鏡または凸面鏡等のミラーを含んでもよい。

【0010】

可変開口部１２０は、光学系１１０の光軸と垂直方向における開口位置が可変である開口を有する。可変開口部１２０は、開口の開口面積も可変としてよい。一例として、可変開口部１２０は、開口制御部１３０から受け取る制御信号に応じて、開口形状、開口位置、開口面積、および／または開口の数等を切り換える。図中において、可変開口部１２０は、２つの開口ｈ_１およびｈ_２を形成させ、光学系１１０の光の入射面における２つの領域ｐ_１およびｐ_２からの光をそれぞれ通過させる例を示す。

【0011】

可変開口部１２０は、例えば、予め定められた開口を有する開口部を有し、当該開口部を光軸に対して垂直な面内で移動させて開口位置を可変にする。これに加えて、可変開口部１２０は、予め定められた異なる開口を有する複数の開口部を有し、当該複数の開口部を交換して、開口形状、開口位置、開口面積、および／または開口の数等を切り換えてもよい。これに代えて、可変開口部１２０は、電界の印加の有無によって印加された領域の光の通過および遮断を切り換える液晶シャッタ等を有し、当該液晶シャッタに印加する電界を切り換えることより、開口形状、開口位置、開口面積、および／または開口の数等を切り換えてもよい。

【0012】

開口制御部１３０は、開口の開口位置を複数の領域のそれぞれからの光を通過させる位置に切り換える。即ち、開口制御部１３０は、光学系１１０の入射面における互いに異なる複数の領域にそれぞれ対応して設けられた複数の開口のそれぞれを、異なるタイミングで順番に開き、残りの開口を閉じることによって切り替えていき、当該複数の領域のそれぞれを通過する光を光学系１１０内部へとそれぞれ通過させる。

【0013】

例えば、開口制御部１３０は、可変開口部１２０の開口ｈ_１を開けてｈ_２を閉じた状態から、開口ｈ_１を閉じてｈ_２を開ける状態に切り換えて、入射面における領域ｐ_１およびｐ_２からの光を光学系１１０の内部へと、それぞれ順に通過させる。これに代えて、開口制御部１３０は、複数の開口を開けて、複数の領域のそれぞれを通過する光を光学系１１０内部へと通過させてもよい。

【0014】

例えば、開口制御部１３０は、可変開口部１２０の開口ｈ_１およびｈ_２を開け、入射面における領域ｐ_１およびｐ_２からの光を光学系１１０の内部へと通過させる。この場合、光学系１１０は、レンズ１１２とレンズ１１４の間に開口を通過した光に対応してプリズム等を設け、撮像部１４０に入力させる光の光路を変えてよい。これによって、光学系１１０は、異なる開口を通過した被写体からの複数の光を、撮像部１４０の内部に設けられた撮像素子の異なる領域にそれぞれフォーカスさせて同時にそれぞれの光を撮像することができる。

【0015】

開口制御部１３０は、開口の開口位置を切り換える制御信号を可変開口部１２０に送信する。また、開口制御部１３０は、開口形状、開口位置、開口面積および／または開口の数等を切り換える制御信号を可変開口部１２０に送信してもよい。一例として、開口制御部１３０は、予め定められた異なる開口位置の複数の開口が予め定められた順序で切り替わるように、制御信号を可変開口部１２０に送信する。

【0016】

撮像部１４０は、光学系１１０の入射面における互いに異なる複数の領域のそれぞれを通過する光を撮像した複数の画像を出力する。撮像部１４０は、撮像素子１４２を有し、複数の領域のそれぞれを通過する光を撮像して、複数の画像をそれぞれ出力する。また撮像部１４０は、画像処理部１４４および記憶部１４６を有し、撮像した複数の画像を記憶する。

【0017】

撮像素子１４２は、光学系１１０が被写体を結像させる撮像面に平行に受光面が設けられ、当該被写体の像を撮像する。撮像素子１４２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型半導体光検出器等である。図中において、撮像素子１４２は、入射面における２つの領域ｐ_１およびｐ_２をそれぞれ通過する被写体からの光を受光して撮像する例を示す。

【0018】

画像処理部１４４は、撮像素子１４２に接続され、撮像素子１４２からの画像信号から撮像画像を生成して記憶部１４６に格納する。画像処理部１４４は、使用者の指示に応じたタイミングで撮像画像を生成してよく、これに代えて、予め定められた複数のタイミングで予め定められた複数の撮像画像を生成してもよい。また、画像処理部１４４は、調整部１５０の指示に応じたタイミングで撮像画像を生成してもよい。

【0019】

記憶部１４６は、画像処理部１４４に接続され、撮像素子１４２が撮像した複数の画像を記録および保持する。記憶部１４６は、一例として、フラッシュメモリ等の半導体メモリである。

【0020】

調整部１５０は、複数の領域のそれぞれに対応してフォーカス位置を調整する。調整部１５０は、開口制御部１３０が切り換える開口の開口位置に応じて、フォーカス位置を調整してよい。調整部１５０は、一例として、複数の開口位置のそれぞれに対応付けて、フォーカス位置の調整量を予め記憶してよい。調整部１５０は、フォーカス位置の調整量に応じた制御信号を駆動部１５２に送信してフォーカス位置を調整する。調整部１５０は、フォーカス位置を調整した後に、撮像部１４０の画像処理部１４４に撮像の指示を送信する。

【0021】

駆動部１５２は、光学系１１０の光学配置の少なくとも一部を変更して、光学系１１０が被写体を結像する結像面の位置を変更する。例えば、駆動部１５２は、モータまたはアクチュエータ等を有し、１以上のレンズの光軸方向における位置を変更する。

【0022】

図中において、駆動部１５２は、レンズ１１４を移動してフォーカス位置を変更する例を示す。これに代えて、駆動部１５２は、レンズ１１２およびレンズ１１４をそれぞれ移動してよく、また、光学系１１０は更に複数のレンズを設け、駆動部１５２は、２以上のレンズを移動してもよい。ここで、駆動部１５２は、画像のコントラスト情報、位相差情報、または被写体に赤外線等を照射して反射波が戻るまでの時間情報等に応じて、被写体のフォーカス位置を調節するオートフォーカス機能を構成する部品の一部であってよい。

【0023】

画像生成部１６０は、複数の領域のそれぞれに応じてフォーカス位置を調整して撮像した複数の画像を合成して出力画像を生成する。例えば、画像生成部１６０は、開口制御部１３０が切り換えるそれぞれの開口位置に応じてフォーカスを調整して撮像した複数の画像から出力画像を生成する。

【0024】

画像生成部１６０は、例えば、異なる開口の配置から視差を算出し、被写体までの距離を測定する。これによって、画像生成部１６０は、複数の画像に基づき、被写体との距離情報を有する画像を合成することができる。これに代えて、画像生成部１６０は、三次元測距データを生成してよい。これに代えて、画像生成部１６０は、ボケ画像を含む画像を生成してよい。これに代えて、画像生成部１６０は、３Ｄ画像を生成してよい。

【0025】

図２は、レンズの合焦位置のずれ量と像高の関係の一例を示す。本例は、球面収差といった収差のあるレンズを通過した光の合焦位置と、収差のないレンズを通過した理想的な合焦位置とを比べて、像高に対する合焦位置のずれ量を計算した結果である。

【0026】

図中の横軸は、光軸上における合焦位置の理想的な合焦点からのずれ量を示す。図中の縦軸は、結像面における光軸位置からの距離である像高を示す。例えば、像高がゼロの場合はレンズの中央近辺を通過する光が光軸上に合焦し、像高が大きくなるに従い、レンズの中央から離れた領域の光が徐々に加わって合焦する。即ち、像高は、光学系の絞りのＦ値に対応し、絞りの開口面積が小さい大きなＦ値には小さい像高が対応し、大きなＦ値には高い像高が対応する。

【0027】

図中には、赤、緑、および青の３つの波長に対するレンズの合焦位置のずれ量と像高の関係の一例を示す。ここで、像高がゼロの場合に、緑の波長の光のずれ量がゼロとなるように、それぞれの波長の特性を示した。図中の例より、絞りを開けて開口面積を大きくするにしたがい、絞りを開ける前に比べて合焦位置が移動し、ずれ量の変化の度合いは徐々に大きくなる。

【0028】

このように、レンズの端部を通過する光は、レンズの中央部を通過する光に比べて異なる位置に結像し、レンズを通過する光が当該レンズの中央から離れるにしたがい、結像位置のずれが大きくなってしまう。通常のレンズ絞りにおいて、絞りの中心位置は光軸中心と一致する為、合焦位置は絞りを絞ると理想位置に近づく。しかし、絞りの中心位置が光軸中心と一致しない場合は、通常のレンズ絞りの場合に比べて、合焦する光がレンズの中心からより離れた領域を通過することになり、絞りの中心がレンズ中心より離れるに従って、理想像面からのずれ量の変化の度合いはより大きくなってしまう。

【0029】

これより、光学系の光軸中心とは異なる開口位置の開口を複数用いて撮像する場合、開口位置に応じて焦点位置が異なってしまうことがわかる。そこで、本実施例の撮像装置１００は、複数の開口を時間的に順次切り換え、開口位置に応じたフォーカス位置の補正をしつつ、開口毎に画像を撮像する。

【0030】

図３は、本実施形態に係る可変開口部１２０が形成する複数の開口の構成例を示す。図３は、光学系１１０の光軸に対して垂直な面を示す。図中の点Ｏは、光軸を示す。図中の点線の円は、光学系１１０の最大開口２００を示す。また、図中の実線の円は、可変開口部１２０が形成する開口２１０、２２０、２３０を示す。

【0031】

開口制御部１３０は、このような複数の開口２１０、２２０、２３０を切り換える。例えば、開口制御部１３０は、開口の中心位置を互いに異なる予め定められた複数の位置に切り換える。開口制御部１３０は、一例として複数の開口２２０のそれぞれを、開口の中心位置を光軸Ｏを中心とした開口２１０の周囲の同心円状に切り換える。

【0032】

また、可変開口部１２０は、複数の開口を、光学系の光軸Ｏを中心として回転対称な形状にしてよい。開口制御部１３０は、このような開口を形成する可変開口部１２０を回転させることで、複数の開口を切り換えることができる。

【0033】

また、一例として、開口制御部１３０は、互いに隣接する少なくとも２つの開口の一部が重なるように開口位置を切り換える。これによって、撮像部１４０は、合成すべき複数の画像のうち少なくとも２つの画像の一部として、異なる開口を通過した同じ領域の光を撮像する。したがって、画像生成部１６０は、当該領域の情報を比較することで複数の画像を矛盾無く合成することができる。例えば、画像生成部１６０は、距離情報を含む画像を生成する場合、当該領域の距離を同一距離にして、複数の画像を矛盾無く合成する。

【0034】

開口制御部１３０は、複数の開口２１０、２２０、２３０を重ねた領域が、予め定められた面積の光を通過させるように開口位置および開口面積を制御する。例えば、開口制御部１３０は、複数の開口を重ねた領域内に、最大開口２００が含まれるように開口の開口位置および開口面積を制御する。これによって、画像生成部１６０は、複数の開口２１０、２２０、２３０を通過した光を撮像した複数の画像を合成することで、最大開口２００といった予め定められた面積を通過する光によって結像される被写体の画像を生成することができる。

【0035】

ここで、光学系１１０は、図２で説明したように収差を有し、例えば、円形のレンズの収差は、中心から離れた外縁を通過する光に対して、中心を通過する光と比べて焦点位置大きく変化させる傾向を示す。このようなレンズを含む光学系１１０で被写体を撮像すると、光軸Ｏの近辺を通過する光の結像位置と、光軸Ｏから離れた位置を通過する光の結像位置に差異が発生し、結像にゆがみ等を生じさせる。即ち、異なる開口位置の開口を通過するそれぞれの光は、光学系１１０の異なる領域をそれぞれ通過するので、通過する領域に応じて焦点位置が変化してしまう。

【0036】

このような収差の影響を受けて撮像された複数の画像から、合成画像を生成すると、例えば正確な距離情報が得られない三次元測距データ、ボカすべき領域が異なってしまうボケ画像を含む画像、または立体感が不自然な３Ｄ画像等が生成されてしまう。これに対して、本実施形態に係る撮像装置１００は、開口制御部１３０が切り換えるそれぞれの開口位置に応じて開口毎にフォーカスを調整しつつ撮像する。

【0037】

したがって、画像生成部１６０は、収差の影響を低減させて複数の画像を合成することができる。これによって、画像生成部１６０は、より正確な距離情報が得られる三次元測距データ、ボカすべき領域をボカしたボケ画像を含む画像、または自然な立体感が得られる３Ｄ画像等を生成することができる。

【0038】

以上のように、本実施形態に係る撮像装置１００は、光学系１１０の入射面を複数の領域に分割して、当該複数の領域に対応する複数の開口を時間的に順次切り換え、フォーカス位置を調整しつつ複数の開口毎に複数の画像を撮像する。ここで、開口制御部１３０は、一例として、光学系１１０の光軸Ｏに近い開口の開口面積を、光学系１１０の光軸Ｏから遠い開口の開口面積より大きくする。

【0039】

光学系１１０の光軸Ｏに近い開口を通過する光は、光学系１１０に含まれるレンズの中央部を通過するので、レンズの外縁部に比べてより小さな収差を発生させ、また、発生させる収差の変化の度合いは、レンズの中央部においてはほとんど一定となる。一方、光学系１１０の光軸Ｏから離れた位置の開口を通過する光は、光学系１１０に含まれるレンズの外縁部を通過するので、レンズの中央部に比べて大きな収差を発生させ、また、収差の変化の度合いもレンズの外縁部に近づくほど大きく変化する。

【0040】

そこで、開口制御部１３０は、光軸Ｏに近い領域から遠くなるにつれて、開口面積を徐々に小さくする。これによって、開口制御部１３０は、収差の変化の度合いが大きくなるレンズの外縁部を通過する光を、より小さい開口面積の開口を通過させて、当該開口面積内の収差の変化の度合いを低下させることができる。

【0041】

図中において、開口制御部１３０は、光軸Ｏに近い開口２１０から、開口２２０、２３０と、光軸Ｏからの距離に応じて開口面積を小さくする例を示す。開口制御部１３０は、一例として、開口２１０、開口２１０の周りの複数の開口２２０、および開口２２０の周りの複数の開口２３０を、予め定められた順に順次切り換える。

【0042】

ここで、開口制御部１３０は、一例として、可変開口部１２０が形成する複数の開口のうち、発生する収差がほぼ同じとなる光を通過させる複数の開口を、同時に形成させてよい。例えば、光学系１１０が、光軸Ｏを中心として同心円状に収差が変化する収差の分布を発生させる場合、開口制御部１３０は、同心円状に形成される複数の開口を開ける。図中の例において、開口制御部１３０は、複数の開口２２０のうち２以上の開口２２０を開き、当該２以上の開口２２０を通過する光を撮像部１４０が撮像する。

【0043】

また、開口制御部１３０は、複数の開口２３０のうち２以上の開口２３０を開き、当該２以上の開口２３０を通過する光を撮像部１４０が撮像してもよい。これによって、撮像装置１００は、一の出力画像を合成するのに用いる画像の数を低減させて、撮像時間を短縮させることができる。撮像装置１００は、動きのある被写体を撮像する場合に、このような複数の開口を形成して高速撮影モードとしてもよい。

【0044】

これに代えて、またはこれに加えて、開口制御部１３０は、高速撮影モードにおいて、当該高速撮影モードでない場合と比べて、開口の開口面積を大きくして、開口の数を減らしてもよい。撮像装置１００は、切り換える開口の数を減らすことによって、撮像時間を短縮させることができる。開口制御部１３０は、ユーザの撮像時間の指定に応じて、撮像時間に対応する開口の数、開口面積、開口形状、および／または開口位置等を定めてよい。開口制御部１３０は、撮像時間に対応する開口の数、開口面積、開口形状、および／または開口位置等を予め定めて記憶し、ユーザの指定に応じて読み出してよい。

【0045】

また、開口制御部１３０は、静止している被写体を撮影する場合、高速撮影モードに比べて開口面積を小さくして、開口の数を増やしてよい。撮像装置１００は、開口の数を増やすことで開口毎にフォーカス位置を調整して、光学系１１０の収差の分布の影響を低減させることができる。

【0046】

また、開口制御部１３０は、マクロ撮影モードにおいて、当該マクロ撮影モードでない場合、例えば、通常撮影モード、風景撮影モード、ポートレート撮影モード、スポーツ撮影モード等の接写を目的としない撮影モード等と比べて、開口の開口面積を小さくして、開口の数を増やしてよい。撮像装置１００は、開口の数を増やすことで光学系１１０の収差の分布の影響を低減させることができる。また、このように開口制御部１３０が開口面積を小さくすることで、撮像装置１００は、光学系１１０の色収差の影響を低減させることができる。

【0047】

光学系１１０が有するレンズ等は、通過させる光の波長によって屈折率が異なるので、図２に示すように、当該通過させる光の波長に応じて異なる距離に焦点を結ぶ。例えば、このようなレンズを有する光学系１１０は、波長の短い青色の光に比べて、波長の長い赤色の光の焦点距離をより長くしてしまう。これによって、光学系１１０は、当該光学系１１０を通過する波長によって光軸方向における被写体の結像位置がずれてしまう軸上色収差を生じさせてしまう。

【0048】

このような光学系１１０は、レンズの外縁側に近づくにつれて結像位置のずれ量を大きくしてしまい、結果としてレンズの中心部分と比較し色収差の発生量を大きくさせてしまう。そこで、開口制御部１３０は、複数の開口の開口面積を小さくすることによって、当該色収差の影響を低減させる。

【0049】

ここで、無収差系のレンズでは、Ｆ値が小さいほど解像度を高くする事が可能である。しかし、一般に、Ｆ値が小さい明るいレンズは、絞り開放付近では収差の影響が大きくなり、レンズの解像度が開放付近では低下する傾向を有する。例えば、レンズの解像度の指標として、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が知られており、一例として、開放Ｆ値が２．０のレンズの開放付近のＭＴＦよりも、当該レンズのＦ値を４．０に絞った場合の方が、ＭＴＦが高い場合がある。このような、開放付近の収差の影響が大きいレンズでは、収差の影響を取り除いてやると、非常に解像度の高い画像を撮像することができる。

【0050】

高いＦ値に相当するように開口面積を小さくして開口位置を複数個所に変えることにより複数の開口によって低いＦ値に相当する開口範囲をカバーして複数の画像を撮像し、撮像した複数の画像を合成すると、理論的にはフォーカスが合っている領域は解像度が高く、かつ、被写界深度の浅い画像を得ることができる。

【0051】

収差を有するレンズは、開口位置に応じたフォーカス位置のずれを生じさせるので、合成した画像の解像度は低下し、高いＦ値に相当する開口を用いても低いＦ値に相当する開口で撮像した画像と同等程度の画像を生成させてしまう。これに対して、本実施形態に係る撮像装置１００は、開口制御部１３０が切り換えるそれぞれの開口位置に応じてフォーカスを調整するので、開口毎に収差の影響を補正しつつ撮像することができる。

【0052】

具体的には、開口制御部１３０は、例えばＦ値２．０のレンズに相当する開口面積の領域を占めるように、Ｆ値４．０に相当する開口面積の開口位置を変え、調整部１５０は、開口位置に応じてフォーカス位置を調整し、撮像部１４０が複数の画像を撮像する。これによって、画像生成部１６０は、Ｆ値４．０相当の収差量で、かつ、Ｆ値２．０相当の浅い被写界深度の画像を得ることができる。

【0053】

以上の本実施例の開口制御部１３０は、可変開口部１２０の開口面積および開口位置を変えることを説明した。これに代えて、開口制御部１３０は、略同一の面積および形状の開口の開口位置を変えてもよい。図４は、本実施形態に係る可変開口部１２０が形成する複数の開口の変形例を示す。

【0054】

本例において、開口制御部１３０は、可変開口部１２０に、予め定められた面積の開口２１０を形成させ、当該開口２１０の開口位置を変える。開口制御部１３０は、複数の開口２１０を重ねた領域内に、最大開口２００が含まれるように開口位置を制御して切り換える。一例として、開口制御部１３０は、開口２１０の開口位置を図面の縦方向または横方向に一定のピッチで移動させて開口を切り換える。これによって、開口制御部１３０および可変開口部１２０は、より簡単な構成および簡単な制御で、光学系１１０の入射面における複数の領域のそれぞれを通過する光をそれぞれ撮像部１４０に撮像させることができる。

【0055】

以上の本実施形態の開口制御部１３０は、可変開口部１２０に、円形の開口部を形成させることを説明した。これに代えて、開口制御部１３０は、開口制御部１３０は、光軸Ｏを中心とした円形の開口と、光軸Ｏを中心とした同心円で形成されるリング状の開口とを組み合わせて形成してもよい。この場合、開口制御部１３０は、例えば、リング状の開口の半径方向の幅を、光軸Ｏから離れて外側の開口になるにしたがい、小さくして形成させる。また、この場合、開口制御部１３０は、円形の開口の半径に比べて、リング状の開口の半径方向の幅を狭く形成させてもよい。

【0056】

これに代えて、開口制御部１３０は、楕円または多角形等の形状を形成させてもよい。これに代えて、開口制御部１３０は、円、楕円、リング、および多角形等のうち２以上の形状を組み合わせた複数の開口を形成させてもよい。

【0057】

図５は、本実施形態に係る撮像装置１００の動作フローを示す。まず、撮像装置１００は、撮像すべき被写体にフォーカスを合わせる（Ｓ３００）。ここで、フォーカス合わせは、オートフォーカスでよく、これに代えて、ユーザによるマニュアルフォーカスであってもよい。

【0058】

次に、開口制御部１３０は、可変開口部１２０に開口を形成させる（Ｓ３１０）。一例として、開口制御部１３０は、予め定められた開口の形状、開口位置、および個数を、予め定められた順で形成させる。

【0059】

次に、調整部１５０は、開口制御部１３０が形成した開口に応じて、フォーカス位置を調整する（Ｓ３２０）。撮像装置１００は、撮影モード、開口の形状、開口面積、開口位置、および／または開口の数といった情報に対応するフォーカス位置の調整量を、予め記憶してよい。これによって、開口制御部１３０は、ユーザの指定による撮影モード等に応じた開口を形成し、調整部１５０は、当該開口に応じたフォーカス位置を調整することが直ちにできる。

【0060】

次に、撮像部１４０は、開口を通過する光を撮像する（Ｓ３３０）。撮像装置１００は、開口制御部１３０が形成する開口毎にフォーカスを調整して撮像するステップＳ３１０からステップＳ３３０までの工程を、開口制御部１３０が形成する複数の開口を予め定められた順序で形成し終えるまで繰り返す（Ｓ３４０）。

【0061】

次に、画像生成部１６０は、撮像された複数の画像を合成して出力画像を生成する（Ｓ３５０）。このようにして、本実施形態の撮像装置１００は、開口制御部１３０が切り換えるそれぞれの開口に応じてフォーカスを調整して、光学系１１０の収差の影響を当該開口毎に補正しつつ撮像して、光学系１１０の収差の影響を低減させた画像を出力することができる。

【0062】

撮像装置１００は、以上の撮像を繰り返すことで、動画を出力してもよい。この場合、撮像装置１００は、画像生成部１６０による画像の合成を、撮像と同期して実行しなくてもよい。例えば、撮像装置１００は、ステップＳ３００からステップＳ３４０までの工程を先に実行して複数の画像を撮像して撮像を終了してから、画像の合成を実行して動画像を生成する。

【0063】

図６は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。コンピュータ１９００は、ソフトウェアおよびハードウェアの協働により、調整部１５０および画像生成部１６０として機能する。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、および表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０および入出力チップ２０７０を有するレガシー入出力部と、を備える。

【0064】

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００およびグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０およびＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

【0065】

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０および記憶部１４６を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。一例として、記憶部１４６は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラムおよびデータを格納する。

【0066】

また、入出力コントローラ２０８４には、ＲＯＭ２０１０および入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、および／または、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。入出力チップ２０７０は、開口制御部１３０、画像処理部１４４、および駆動部１５２を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

【0067】

プログラムは、コンピュータ１９００にインストールされ、コンピュータ１９００を調整部１５０および画像生成部１６０として機能させる。

【0068】

プログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である調整部１５０および画像生成部１６０として機能する。そして、この具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算または加工を実現することにより、使用目的に応じた特有の調整部１５０および画像生成部１６０が構築される。

【0069】

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、記憶部１４６等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置または通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０または記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

【0070】

また、ＣＰＵ２０００は、記憶部１４６等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、および／または記憶装置に含まれるものとする。

【0071】

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（または不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

【0072】

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

【0073】

以上に示したプログラムまたはモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク、ＤＶＤ−ＲＯＭ、ＤＶＤまたはＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークまたはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

【0074】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0075】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0076】

１００ 撮像装置、１１０ 光学系、１１２ レンズ、１１４ レンズ、１２０ 可変開口部、１３０ 開口制御部、１４０ 撮像部、１４２ 撮像素子、１４４ 画像処理部、１４６ 記憶部、１５０ 調整部、１５２ 駆動部、１６０ 画像生成部、２００ 最大開口、２１０ 開口、２２０ 開口、２３０ 開口、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】