(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-14
(45)【発行日】2022-10-24
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 5/232 20060101AFI20221017BHJP
G03B 5/00 20210101ALI20221017BHJP
G03B 15/00 20210101ALI20221017BHJP
H04N 5/225 20060101ALI20221017BHJP
【ＦＩ】
H04N5/232
G03B5/00 J
G03B15/00 H
H04N5/225 900
H04N5/232 480
【請求項の数】
7
(21)【出願番号】P 2021562248
(86)(22)【出願日】2019-12-04
(86)【国際出願番号】 JP2019047376
(87)【国際公開番号】W WO2021111542
(87)【国際公開日】2021-06-10
【審査請求日】2022-03-11
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】福冨 武史
(72)【発明者】
【氏名】梶村 康祐
(72)【発明者】
【氏名】古川 英治
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開平０８－２６５６２６（ＪＰ，Ａ）
【文献】特開２０１８－０５０３４３（ＪＰ，Ａ）
【文献】特開２０１７－０４４８７８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｇ０３Ｂ ５／００
Ｇ０３Ｂ １５／００
Ｈ０４Ｎ ５／２２５
(57)【特許請求の範囲】
【請求項1】
時系列の複数の画像を合成し該複数の画像の各々よりも高解像度の合成画像を生成する撮像装置であって、
被写体からの光を集光させ被写体像を形成する光学系と、
前記被写体像が形成される撮像面を有し、前記複数の画像を取得する撮像素子と、
該撮像素子および前記光学系を前記撮像面に平行な方向に相対的にシフトさせるシフト機構と、
前記撮像面上での前記被写体像の動き量を算出する動き量算出部と、
前記被写体像の前記動き量に基づいて前記撮像素子および前記光学系の相対的なシフト量を算出し、該シフト量は前記被写体像の前記動き量が小さい程大きくなる、シフト量算出部と、
前記シフト機構を制御することによって、前記シフト量算出部によって算出された前記シフト量だけ前記複数の画像の取得間において前記撮像素子および前記光学系を相対的にシフトさせるシフト制御部と、を備え、
前記撮像素子が、前記複数の画像の取得前に複数のプリ画像を取得し、
前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記複数のプリ画像間の前記被写体の動き量から算出する撮像装置。
【請求項2】
時系列の複数の画像を合成し該複数の画像の各々よりも高解像度の合成画像を生成する撮像装置であって、
被写体からの光を集光させ被写体像を形成する光学系と、
前記被写体像が形成される撮像面を有し、前記複数の画像を取得する撮像素子と、
該撮像素子および前記光学系を前記撮像面に平行な方向に相対的にシフトさせるシフト機構と、
前記撮像面上での前記被写体像の動き量を算出する動き量算出部と、
前記被写体像の前記動き量に基づいて前記撮像素子および前記光学系の相対的なシフト量を算出し、該シフト量は前記被写体像の前記動き量が小さい程大きくなる、シフト量算出部と、
前記シフト機構を制御することによって、前記シフト量算出部によって算出された前記シフト量だけ前記複数の画像の取得間において前記撮像素子および前記光学系を相対的にシフトさせるシフト制御部と、を備え、
前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記複数の画像のフレームレートから算出する撮像装置。
【請求項3】
時系列の複数の画像を合成し該複数の画像の各々よりも高解像度の合成画像を生成する撮像装置であって、
被写体からの光を集光させ被写体像を形成する光学系と、
前記被写体像が形成される撮像面を有し、前記複数の画像を取得する撮像素子と、
該撮像素子および前記光学系を前記撮像面に平行な方向に相対的にシフトさせるシフト機構と、
前記撮像面上での前記被写体像の動き量を算出する動き量算出部と、
前記被写体像の前記動き量に基づいて前記撮像素子および前記光学系の相対的なシフト量を算出し、該シフト量は前記被写体像の前記動き量が小さい程大きくなる、シフト量算出部と、
前記シフト機構を制御することによって、前記シフト量算出部によって算出された前記シフト量だけ前記複数の画像の取得間において前記撮像素子および前記光学系を相対的にシフトさせるシフト制御部と、
前記光学系に対して固定された加速度センサと、を備え、
前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記加速度センサによって検出された加速度から算出する撮像装置。
【請求項4】
時系列の複数の画像を合成し該複数の画像の各々よりも高解像度の合成画像を生成する撮像装置であって、
被写体からの光を集光させ被写体像を形成する光学系と、
前記被写体像が形成される撮像面を有し、前記複数の画像を取得する撮像素子と、
該撮像素子および前記光学系を前記撮像面に平行な方向に相対的にシフトさせるシフト機構と、
前記撮像面上での前記被写体像の動き量を算出する動き量算出部と、
前記被写体像の前記動き量に基づいて前記撮像素子および前記光学系の相対的なシフト量を算出し、該シフト量は前記被写体像の前記動き量が小さい程大きくなる、シフト量算出部と、
前記シフト機構を制御することによって、前記シフト量算出部によって算出された前記シフト量だけ前記複数の画像の取得間において前記撮像素子および前記光学系を相対的にシフトさせるシフト制御部と、を備え、
前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記光学系から前記被写体までの被写体距離から算出する撮像装置。
【請求項5】
前記シフト機構が、前記撮像素子に設けられ、該撮像素子を前記光学系に対して前記撮像面に平行な方向にシフトさせるアクチュエータである請求項１から請求項４のいずれかに記載の撮像装置。
【請求項6】
前記シフト機構が、前記光学系に設けられ、該光学系を前記撮像素子に対して前記撮像面に平行な方向にシフトさせるアクチュエータである請求項１から請求項４のいずれかに記載の撮像装置。
【請求項7】
時系列の複数の画像を合成し該複数の画像の各々よりも高解像度の合成画像を生成する撮像装置であって、被写体からの光を集光させる光学系により被写体像が形成される撮像面を有し、前記複数の画像を取得する撮像素子と、
該撮像素子を前記光学系に対して前記撮像面に平行な方向にシフトさせるシフト機構と、
前記撮像面上での前記被写体像の動き量を算出する動き量算出部と、
前記被写体像の前記動き量に基づいて前記撮像素子のシフト量を算出し、該シフト量は前記被写体像の前記動き量が小さい程大きくなる、シフト量算出部と、
前記シフト機構を制御することによって、前記シフト量算出部によって算出された前記シフト量だけ前記複数の画像の取得間において前記撮像素子をシフトさせるシフト制御部と、を備え、
前記撮像素子が、前記複数の画像の取得前に複数のプリ画像を取得し、
前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記複数のプリ画像間の前記被写体の動き量から算出する撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関し、特に、複数の画像の合成によって高解像度画像を生成する撮像装置に関するものである。
【背景技術】
【0002】
従来、複数の画像を合成することによって、撮像素子の画素数よりも多い画素数を有する高解像度画像を生成する技術が知られている（例えば、特許文献１参照。）。特許文献１には、画像の高解像度化と同時にぶれ補正を行うデジタルスチルカメラが開示されている。特許文献１では、撮像素子の露光中にぶれ補正のために撮像素子を移動させ、露光終了後に高解像度化のために撮像素子を１画素分だけ移動させる画素ずらしを行っている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平１１－２２５２８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、高解像度化のための撮像素子の画素ずらし量は、１画素に固定されている。一般に、露光中の撮像素子のぶれをぶれ補正によって完全に補正することは難しく、補正結果には誤差が生じる。ぶれ量に応じてぶれ補正の精度は異なり、ぶれ量が大きい場合、ぶれ補正の誤差も顕著になる。したがって、画素ずらし量が固定されている場合、ぶれ補正の精度が高い場合と低い場合とで、画素ずらし後の撮像面上での被写体像の動き量に差が生じる。
【0005】
具体的には、ぶれ量が小さく少ない誤差でぶれ補正が行われた場合、撮像素子を１画素だけずらしたときに、画素ずらしによる撮像面上での被写体像の動きが誤差によって相殺されてしまうことがある。一方、ぶれ量が大きく大きな誤差でぶれ補正が行われた場合、画素ずらしによって撮像面上での被写体像の動きがさらに大きくなり、ぶれ量が小さい場合と比較して撮像面上での被写体の動き量が大きくなる。高解像度化効果は、複数の画像間の被写体の位置ずれ量に依存する。画素ずらし量が固定されている場合、ぶれ量の差に応じて高解像度化効果に差が生じ、高精細な高解像度画像を安定的に得ることが難しい問題がある。
【0006】
本発明は、上述した事情に鑑みてなされたものであって、撮像装置の動きの大きさに関わらず安定した高解像度化効果を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、時系列の複数の画像を合成し該複数の画像の各々よりも高解像度の合成画像を生成する撮像装置であって、被写体からの光を集光させ被写体像を形成する光学系と、前記被写体像が形成される撮像面を有し、前記複数の画像を取得する撮像素子と、該撮像素子および前記光学系を前記撮像面に平行な方向に相対的にシフトさせるシフト機構と、前記撮像面上での前記被写体像の動き量を算出する動き量算出部と、前記被写体像の前記動き量に基づいて前記撮像素子および前記光学系の相対的なシフト量を算出し、該シフト量は前記被写体像の前記動き量が小さい程大きくなる、シフト量算出部と、前記シフト機構を制御することによって、前記シフト量算出部によって算出された前記シフト量だけ前記複数の画像の取得間において前記撮像素子および前記光学系を相対的にシフトさせるシフト制御部と、備える撮像装置である。
本発明の一態様は、時系列の複数の画像を合成し該複数の画像の各々よりも高解像度の合成画像を生成する撮像装置であって、被写体からの光を集光させ被写体像を形成する光学系と、前記被写体像が形成される撮像面を有し、前記複数の画像を取得する撮像素子と、該撮像素子および前記光学系を前記撮像面に平行な方向に相対的にシフトさせるシフト機構と、前記撮像面上での前記被写体像の動き量を算出する動き量算出部と、前記被写体像の前記動き量に基づいて前記撮像素子および前記光学系の相対的なシフト量を算出し、該シフト量は前記被写体像の前記動き量が小さい程大きくなる、シフト量算出部と、前記シフト機構を制御することによって、前記シフト量算出部によって算出された前記シフト量だけ前記複数の画像の取得間において前記撮像素子および前記光学系を相対的にシフトさせるシフト制御部と、備える撮像装置である。
【0008】
本態様によれば、撮像面上に光学系によって形成された被写体像を撮像素子が複数回撮像することによって、被写体の複数の画像が取得される。複数の画像を取得する際、画像の取得間で撮像素子および光学系がシフト機構によって相対的にシフトさせられる。これにより、複数の画像間には、撮像装置の動きに基づく被写体の位置ずれに加えて、撮像素子および光学系の相対的なシフトに基づく被写体の位置ずれが生じる。このように、被写体の位置ずれを有する複数の画像から、より高解像度の合成画像を生成することができる。
【0009】
この場合に、シフト機構による撮像素子および光学系の相対的なシフト量は、撮像面上での被写体像の動き量に応じて変更される。すなわち、撮像面上での被写体像の動き量が動き量算出部によって算出され、被写体像の動き量が小さい程大きくなるシフト量がシフト量算出部によって算出される。そして、シフト機構によるシフト量は、算出されたシフト量にシフト制御部によって制御される。これにより、撮像装置の動きの大きさに関わらず、複数の画像間の被写体の位置ずれ量を安定させ、安定した高解像度化効果を得ることができる。
【0010】
上記態様において、前記シフト機構が、前記撮像素子に設けられ、該撮像素子を前記光学系に対して前記撮像面に平行な方向にシフトさせるアクチュエータであってもよい。あるいは、前記シフト機構が、前記光学系に設けられ、該光学系を前記撮像素子に対して前記撮像面に平行な方向にシフトさせるアクチュエータであってもよい。
【0011】
上記態様において、前記撮像素子が、前記複数の画像の取得前に複数のプリ画像を取得し、前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記複数のプリ画像間の前記被写体の動き量から算出してもよい。
プリ画像間の被写体の動き量は、プリ画像を取得する際の撮像装置の動きを表し、プリ画像間の被写体の動き量が小さい程、複数の画像を取得する際の撮像装置の動きが小さくなることが予測される。したがって、プリ画像間の被写体の動き量に基づいて、複数の画像を取得する際の撮像面上の被写体像の動き量を精度よく算出することができる。
プリ画像間の被写体の動き量は、プリ画像を取得する際の撮像装置の動きを表し、プリ画像間の被写体の動き量が小さい程、複数の画像を取得する際の撮像装置の動きが小さくなることが予測される。したがって、プリ画像間の被写体の動き量に基づいて、複数の画像を取得する際の撮像面上の被写体像の動き量を精度よく算出することができる。
【0012】
上記態様において、前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記光学系の焦点距離から算出してもよい。
光学系の焦点距離が短い程、撮像装置の動きに基づく撮像面上での被写体像の動き量は小さくなる。したがって、光学系の焦点距離に基づいて、撮像面上での被写体像の動き量を精度良く算出することができる。
光学系の焦点距離が短い程、撮像装置の動きに基づく撮像面上での被写体像の動き量は小さくなる。したがって、光学系の焦点距離に基づいて、撮像面上での被写体像の動き量を精度良く算出することができる。
【0013】
上記態様において、前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記複数の画像のフレームレートから算出してもよい。
複数の画像のフレームレートが速い程、撮像装置の動きに基づく画像取得間での撮像面上での被写体像の動き量は小さくなる。したがって、フレームレートに基づいて、撮像面上での被写体像の動き量を精度良く算出することができる。
複数の画像のフレームレートが速い程、撮像装置の動きに基づく画像取得間での撮像面上での被写体像の動き量は小さくなる。したがって、フレームレートに基づいて、撮像面上での被写体像の動き量を精度良く算出することができる。
【0014】
上記態様において、前記光学系に対して固定された加速度センサを備え、前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記加速度センサによって検出された加速度から算出してもよい。
加速度センサによって検出された加速度から撮像装置の動きが得られる。したがって、加速度センサによって検出された加速度に基づいて、撮像面上での被写体像の動き量を精度良く算出することができる。
加速度センサによって検出された加速度から撮像装置の動きが得られる。したがって、加速度センサによって検出された加速度に基づいて、撮像面上での被写体像の動き量を精度良く算出することができる。
【0015】
上記態様において、前記動き量算出部が、前記撮像面上での前記被写体像の前記動き量を前記光学系から前記被写体までの被写体距離から算出してもよい。
被写体距離が長い程、撮像装置の動きに基づく撮像面上での被写体像の動き量は小さくなる。したがって、被写体距離に基づいて、撮像面上での被写体像の動き量を精度良く算出することができる。
被写体距離が長い程、撮像装置の動きに基づく撮像面上での被写体像の動き量は小さくなる。したがって、被写体距離に基づいて、撮像面上での被写体像の動き量を精度良く算出することができる。
【0016】
本発明の他の態様は、時系列の複数の画像を合成し該複数の画像の各々よりも高解像度の合成画像を生成する撮像装置であって、被写体からの光を集光させる光学系により被写体像が形成される撮像面を有し、前記複数の画像を取得する撮像素子と、該撮像素子を前記光学系に対して前記撮像面に平行な方向にシフトさせるシフト機構と、前記撮像面上での前記被写体像の動き量を算出する動き量算出部と、前記被写体像の前記動き量に基づいて前記撮像素子のシフト量を算出し、該シフト量は前記被写体像の前記動き量が小さい程大きくなる、シフト量算出部と、前記シフト機構を制御することによって、前記シフト量算出部によって算出された前記シフト量だけ前記複数の画像の取得間において前記撮像素子をシフトさせるシフト制御部と、備える撮像装置である。
【発明の効果】
【0017】
本発明によれば、撮像装置の動きの大きさに関わらず安定した高解像度化効果を得ることができるという効果を奏する。
【図面の簡単な説明】
【0018】
【図1】本発明の第１の実施形態に係る撮像装置の構成図である。
【図2A】プリ撮影中の撮像装置の動きが小さい場合の撮像面上での被写体像の動き量を説明する図である。
【図2B】プリ撮影中の撮像装置の動きが大きい場合の撮像面上での被写体像の動き量を説明する図である。
【図3】撮像面上での被写体像の動き量と撮像素子のシフト量との特性関係の一例を示すグラフである。
【図4A】撮像素子のシフトによる撮像面上の被写体像のシフトの一例を説明する図である。
【図4B】撮像素子のシフトによる撮像面上の被写体像のシフトの他の例を説明する図である。
【図6】本発明の第２の実施形態に係る撮像装置の構成図である。
【図7A】焦点距離が短い場合の撮像面上での被写体像の動き量を説明する図である。
【図7B】焦点距離が長い場合の撮像面上での被写体像の動き量を説明する図である。
【図8】本発明の第３の実施形態に係る撮像装置の構成図である。
【図9A】フレームレートが高い場合の撮像面上での被写体像の動き量を説明する図である。
【図9B】フレームレートが低い場合の撮像面上での被写体像の動き量を説明する図である。
【図10】本発明の第４の実施形態に係る撮像装置の構成図である。
【図11A】撮像装置の動きが小さい場合の撮像面上での被写体像の動き量を説明する図である。
【図11B】撮像装置の動きが大きい場合の撮像面上での被写体像の動き量を説明する図である。
【図12】本発明の第５の実施形態に係る撮像装置の構成図である。
【図13A】被写体距離が長い場合の撮像面上での被写体像の動き量を説明する図である。
【図13B】被写体距離が短い場合の撮像面上での被写体像の動き量を説明する図である。
【図13C】被写体距離が相互に異なる複数の被写体像の撮像面上での動き量を説明する図である。
【図14】本発明の第６の実施形態に係る撮像装置の構成図である。
【発明を実施するための形態】
【0019】
（第１の実施形態）
本発明の第１の実施形態に係る撮像装置１００について図面を参照して説明する。
撮像装置１００は、時系列の複数の画像を合成し、複数の画像の各々よりも高解像度の合成画像を生成する機能を有する。撮像装置１００は、例えば、手持ち式のデジタルカメラであり、手振れ等の撮像装置１００の動きに因る複数の画像間での被写体の位置ずれを利用して、高解像度の合成画像を生成する。
本発明の第１の実施形態に係る撮像装置１００について図面を参照して説明する。
撮像装置１００は、時系列の複数の画像を合成し、複数の画像の各々よりも高解像度の合成画像を生成する機能を有する。撮像装置１００は、例えば、手持ち式のデジタルカメラであり、手振れ等の撮像装置１００の動きに因る複数の画像間での被写体の位置ずれを利用して、高解像度の合成画像を生成する。
【0020】
撮像装置１００は、図１に示されるように、光学系１と、撮像素子２と、フレームメモリ３と、シフト機構４と、動き情報取得部５と、被写体像動き量算出部（動き量算出部）６と、シフト量算出部７と、シフト制御部８と、合成処理部９とを備える。
撮像装置１００は、プロセッサと、画像処理プログラムを格納する記憶装置とを有する。動き情報取得部５、被写体像動き量算出部６、シフト量算出部７、シフト制御部８および合成処理部９は、プロセッサおよび記憶装置によって実現される。すなわち、各部５，６，７，８，９の後述の機能は、画像処理プログラムに従ってプロセッサが処理を実行することによって実現される。あるいは、各部５，６，７，８，９の後述の機能は、各機能専用の回路によって実現されてもよい。
撮像装置１００は、プロセッサと、画像処理プログラムを格納する記憶装置とを有する。動き情報取得部５、被写体像動き量算出部６、シフト量算出部７、シフト制御部８および合成処理部９は、プロセッサおよび記憶装置によって実現される。すなわち、各部５，６，７，８，９の後述の機能は、画像処理プログラムに従ってプロセッサが処理を実行することによって実現される。あるいは、各部５，６，７，８，９の後述の機能は、各機能専用の回路によって実現されてもよい。
【0021】
光学系１は、少なくとも１つのレンズからなる撮像レンズを含む。光学系１は、撮像レンズによって被写体からの光を集光させ、被写体の光学像である被写体像を形成する。
撮像素子２は、例えば、ＣＣＤまたはＣＭＯＳイメージセンサである。撮像素子２は、光学系１の焦点位置に配置され光学系１の光軸に直交する撮像面２ａを有し、撮像面２ａ上に光学系１によって被写体像が形成される。
撮像素子２は、例えば、ＣＣＤまたはＣＭＯＳイメージセンサである。撮像素子２は、光学系１の焦点位置に配置され光学系１の光軸に直交する撮像面２ａを有し、撮像面２ａ上に光学系１によって被写体像が形成される。
【0022】
撮像素子２は、本撮影を実行することによって時系列の複数の画像を取得する。また、撮像素子２は、本撮影前に、例えば本撮影直前に、プリ撮影を実行することによって時系列の複数のプリ画像を取得する。撮像素子２の動作は、撮像装置１００の全体の動作を制御する主制御部（図示略）によって制御される。例えば、撮像素子２は、電子シャッタの制御による連写によって、複数の画像および複数のプリ画像を取得する。本撮影中の手振れ等の撮像装置１００の動きに因り、複数の画像間には被写体の位置ずれが生じ得る。同様に、プリ撮影中の手振れ等の撮像装置１００の動きに因り、複数のプリ画像間には被写体の位置ずれが生じ得る。
【0023】
複数の画像および複数のプリ画像は、撮像素子２からフレームメモリ３に入力され、フレームメモリ３に記憶される。画像に補正処理等の前処理を施すプリプロセス部１０が、撮像素子２とフレームメモリ３との間に設けられていてもよい。
【0024】
シフト機構４は、光学系１に対して撮像素子２を撮像面２ａに平行な方向にシフトさせる。撮像素子２のシフトによって、撮像面２ａに対して被写体像が移動する。例えば、シフト機構４は、撮像素子２を撮像面２ａの縦方向に移動させるアクチュエータと、撮像素子２を撮像面２ａの横方向に移動させるアクチュエータとを有する。各アクチュエータは、例えば、撮像素子２の移動量をサブピクセル単位で制御することができる圧電アクチュエータである。
【0025】
動き情報取得部５は、フレームメモリ３に格納された複数のプリ画像から、複数のプリ画像間での被写体の動き量を含む動き情報を取得し、動き情報を被写体像動き量算出部６に出力する。例えば、動き情報取得部５は、２つのプリ画像間の動きベクトルを動き情報として検出する。
また、動き情報取得部５は、フレームメモリ３に格納された複数の画像から、複数の画像間での被写体の動き情報を取得し、動き情報を合成処理部９に出力する。例えば、動き情報取得部５は、複数の画像のうち１つを基準画像に決定し、基準画像とその他の各画像との間での動きベクトルを動き情報として検出する。
また、動き情報取得部５は、フレームメモリ３に格納された複数の画像から、複数の画像間での被写体の動き情報を取得し、動き情報を合成処理部９に出力する。例えば、動き情報取得部５は、複数の画像のうち１つを基準画像に決定し、基準画像とその他の各画像との間での動きベクトルを動き情報として検出する。
【0026】
被写体像動き量算出部６は、複数のプリ画像間の動き情報を動き情報取得部５から取得し、動き情報に基づいて撮像面２ａ上での被写体像の動き量を算出する。算出される撮像面２ａ上での被写体像の動き量は、プリ画像間の被写体の動き量が小さい程、小さくなる。例えば、被写体像動き量算出部６は、２つのプリ画像間の動きベクトルの大きさを、撮像面２ａ上での被写体の動き量に変換する。算出された動き量は、シフト量算出部７へ出力される。
【0027】
図２Ａおよび図２Ｂは、撮像面２ａ上での被写体像Ａの動き量の例を示している。ハッチングの被写体像Ａは、１枚目のプリ画像の取得時の被写体像であり、白塗りの被写体像Ａは、２枚目のプリ画像の取得時の被写体像である。矢印Ｂは、被写体像Ａの動き量を表し、動き情報取得部５によって算出されたプリ画像間の動きベクトルに相当する。図２Ａは、撮像面２ａ上での被写体像Ａの動きが小さく、動きベクトルＢの長さが短い場合を示している。図２Ｂは、撮像面２ａ上での被写体像Ａの動きが大きく、動きベクトルＢの長さが長い場合を示している。
【0028】
シフト量算出部７は、被写体像動き量算出部６から入力された動き量に基づいて撮像素子２のシフト量を算出し、シフト量をシフト制御部８へ出力する。例えば、シフト量算出部７は、図３に示されるように、撮像面２ａ上での被写体像の動き量と撮像素子２のシフト量との間の所定の特性関係に従って、被写体像の動き量を撮像素子２のシフト量に変換する。図３に示される特性関係は一例に過ぎず、被写体像の動き量が小さい程、撮像素子２のシフト量が大きくなるという条件を満たす限りにおいて、特性関係は変更可能である。
【0029】
シフト制御部８は、撮像素子２の本撮影時に、シフト量算出部７から入力されたシフト量に基づいてシフト機構４を制御し、複数の画像の取得間において、算出されたシフト量だけ撮像素子２をシフトさせる。したがって、複数の画像間には、手振れ等の撮像装置１００の動きに加えて撮像素子２のシフトに因る被写体像の位置ずれが生じる。
ここで、シフト制御部８は、複数の画像の取得時に撮像面２ａ上での被写体像の位置が相互に同一にならないように、シフト機構４を制御する。図４Ａは、撮像素子２のシフトの前後で撮像面２ａ上での被写体像Ａ１，Ａ２の位置が相互に同一である場合を示し、図４Ｂは、撮像素子２のシフトの前後で撮像面２ａ上での被写体像Ａ１，Ａ２の位置が相互に異なる場合を示す。
ここで、シフト制御部８は、複数の画像の取得時に撮像面２ａ上での被写体像の位置が相互に同一にならないように、シフト機構４を制御する。図４Ａは、撮像素子２のシフトの前後で撮像面２ａ上での被写体像Ａ１，Ａ２の位置が相互に同一である場合を示し、図４Ｂは、撮像素子２のシフトの前後で撮像面２ａ上での被写体像Ａ１，Ａ２の位置が相互に異なる場合を示す。
【0030】
合成処理部９は、本撮影の複数の画像をフレームメモリ３から読み出し、本撮影の複数の画像から得られた動き情報を動き情報取得部５から取得する。次に、合成処理部９は、複数の画像を動き情報に基づいて相互に位置合わせしながら複数の画像を高解像度画像空間上に配置する。高解像度画像空間は、複数の画像の各々の画素数よりも多い画素数を有し、複数の画像の各々の解像度よりも高い解像度を有する。次に、合成処理部９は、位置合わせされた複数の画像を合成することによって、合成画像を生成する。このようにして生成された合成画像は、個々の画像よりも高い解像度を有する超解像度画像である。
【0031】
例えば、合成処理部９は、基準画像の画素を高解像度画像空間上に配置し、次に、他の画像の画素を、基準画像の画素から動き情報に応じた距離だけずれた画素に配置する。全ての画像の画素を高解像度画像空間上に配置した後にいずれの画像の画素も配置されていない空白の画素が高解像度画像空間に存在する場合、合成処理部９は、例えば、空白の画素の周囲の画素の情報を用いて、空白の画素の情報を補間して埋めてもよい。
合成画像は、合成処理部９から画像処理部（図示略）に出力される。画像処理部は、色処理および階調変換処理等の画像処理を合成画像に施すことによって出力画像を生成する。
合成画像は、合成処理部９から画像処理部（図示略）に出力される。画像処理部は、色処理および階調変換処理等の画像処理を合成画像に施すことによって出力画像を生成する。
【0032】
次に、撮像装置１００の作用について図５を参照して説明する。
本撮影に先立ち、撮像面２ａ上での被写体像の動き量が算出される（ステップＳ１）。具体的には、撮像素子２によってプリ撮影が実行され、複数のプリ画像が取得される。取得された複数のプリ画像がフレームメモリ３に記憶されると、続いて、動き情報取得部５によってプリ画像間の被写体の動き情報が取得され、被写体像動き量算出部６によって撮像面２ａ上での被写体像の動き量が動き情報から算出される。次に、シフト量算出部７によってシフト量が被写体像の動き量から算出される（ステップＳ２）。シフト量は、被写体像の動き量が小さい程、大きくなる。
本撮影に先立ち、撮像面２ａ上での被写体像の動き量が算出される（ステップＳ１）。具体的には、撮像素子２によってプリ撮影が実行され、複数のプリ画像が取得される。取得された複数のプリ画像がフレームメモリ３に記憶されると、続いて、動き情報取得部５によってプリ画像間の被写体の動き情報が取得され、被写体像動き量算出部６によって撮像面２ａ上での被写体像の動き量が動き情報から算出される。次に、シフト量算出部７によってシフト量が被写体像の動き量から算出される（ステップＳ２）。シフト量は、被写体像の動き量が小さい程、大きくなる。
【0033】
次に、撮像素子２によって本撮影が実行され、複数の画像が取得される（ステップＳ３，Ｓ４）。本撮影中、シフト機構４がシフト制御部８によって制御され、画像の取得間で撮像素子２がシフトさせられる（ステップＳ５）。すなわち、１つの画像の取得後（ステップＳ３）、撮像素子２がシフトさせられ（ステップＳ５）、その後に次の画像が取得される（ステップＳ３）。このときの撮像素子２のシフト量は、プリ撮影中の撮像装置１００の動き、例えば手振れが小さい程、大きくなる。高解像度の合成画像の生成に必要な所定数（例えば、８枚）の画像が取得されるまで（ステップＳ４のＹＥＳ）、画像の取得および撮像素子２のシフトは交互に繰り返される。
【0034】
本撮影後、取得された複数の画像がフレームメモリ３に記憶されると、続いて、動き情報取得部５によって複数の画像間の被写体の動き情報が取得される（ステップＳ６）。次に、合成処理部９によって複数の画像が動き情報に基づいて位置合わせされ合成されることによって、高解像度の合成画像が生成される（ステップＳ７）。
【0035】
複数の画像の合成による高解像度化効果を安定的に得るためには、複数の画像間で被写体の位置に一定量のずれが存在する必要がある。しかし、本撮影中の撮像装置１００の動きだけでは、高い高解像度化効果を得るために必要な複数の画像間の被写体の位置のずれ量を得られないことがある。例えば、本撮影中の手振れが小さい場合、被写体の位置ずれがほとんどない複数の画像が取得される。
【0036】
本実施形態によれば、本撮影に先立ち、撮像装置１００の動きに基づく撮像面２ａ上での被写体像の動き量がプリ画像から算出される。そして、被写体像の動き量に応じて画像取得間での撮像素子２のシフト量が変更され、被写体像の動き量が小さい程、シフト量は大きくなる。これにより、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像が確実に取得されるとともに、撮像装置１００の動きの大きさの差に基づく複数の画像間の被写体の位置ずれ量の差が抑制される。このような複数の画像から、各画像よりも高精細な超解像度の合成画像を生成することができ、撮像装置１００の動きの大きさに関わらず安定した高解像度化効果を得ることができる。
【0037】
具体的には、プリ撮影中の撮像面２ａ上での被写体像の動き量が小さい場合、本撮影中も撮像面２ａ上での被写体像の動き量が小さいことが予測される。この場合、本撮影での画像の取得間において、より大きなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置１００の動きが小さい場合に、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を確実に取得することができる。
一方、プリ撮影中の撮像面２ａ上での被写体像の動き量が大きい場合、本撮影中も撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、本撮影での画像取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置１００の動きが大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
一方、プリ撮影中の撮像面２ａ上での被写体像の動き量が大きい場合、本撮影中も撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、本撮影での画像取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置１００の動きが大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
【0038】
本実施形態において、プリ撮影は、本撮影の前に１度だけ行われてもよく、本撮影の前および最中に複数回行われてもよい。言い換えると、複数の画像の取得前に複数のプリ画像が１度だけ取得されてもよく、複数の画像の各々の取得前に複数のプリ画像が取得されてもよい。
本撮影の前に１度だけプリ撮影が行われる場合、プリ画像の数および各部５，６，７による計算量が少なくて済む。
本撮影の前および最中に複数回プリ撮影を行う場合、撮像面２ａ上の被写体像の動き量をより正確に算出することができる。これは、本撮影での画像の取得毎に被写体像の動きが異なる場合、例えば、動く被写体の場合に、有利である。
本撮影の前に１度だけプリ撮影が行われる場合、プリ画像の数および各部５，６，７による計算量が少なくて済む。
本撮影の前および最中に複数回プリ撮影を行う場合、撮像面２ａ上の被写体像の動き量をより正確に算出することができる。これは、本撮影での画像の取得毎に被写体像の動きが異なる場合、例えば、動く被写体の場合に、有利である。
【0039】
（第１の実施形態の変形例）
第１の実施形態では、プリ撮影中の撮像面２ａ上での動き量から撮像素子２のシフト量を算出し、算出されたシフト量だけ本撮影での画像取得間において撮像素子２をシフトさせることによって、高解像度効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得していた。
被写体の位置ずれ量を変化させる方法として、第１の実施形態のように撮像素子２をシフトさせる方法の他に、撮像素子２に対して光学系１をシフトさせる方法がある。
第１の実施形態では、プリ撮影中の撮像面２ａ上での動き量から撮像素子２のシフト量を算出し、算出されたシフト量だけ本撮影での画像取得間において撮像素子２をシフトさせることによって、高解像度効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得していた。
被写体の位置ずれ量を変化させる方法として、第１の実施形態のように撮像素子２をシフトさせる方法の他に、撮像素子２に対して光学系１をシフトさせる方法がある。
【0040】
本変形例において、シフト機構４に代えて、光学系１側に設けられた超音波アクチュエータ等のシフト機構が設けられ、撮像素子２の撮像面２ａに対して平行に光学系１がシフトさせられる。
本変形例の作用は、図５に示されるフローチャートのステップＳ５において光学系１をシフトさせる点で、撮像素子２をシフトさせる場合と異なり、本変形例のその他の作用は、撮像素子２をシフトさせる場合と同一である。
後述する他の実施形態においても、シフト機構４に代えて、光学系１をシフトさせるシフト機構を採用してもい。
本変形例の作用は、図５に示されるフローチャートのステップＳ５において光学系１をシフトさせる点で、撮像素子２をシフトさせる場合と異なり、本変形例のその他の作用は、撮像素子２をシフトさせる場合と同一である。
後述する他の実施形態においても、シフト機構４に代えて、光学系１をシフトさせるシフト機構を採用してもい。
【0041】
（第２の実施形態）
次に、本発明の第２の実施形態に係る撮像装置２００について図面を参照して説明する。
本実施形態において、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第２の実施形態に係る撮像装置２００について図面を参照して説明する。
本実施形態において、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
【0042】
本実施形態に係る撮像装置２００は、第１の実施形態の撮像装置１００と同一の装置構成を有する。すなわち、撮像装置２００は、図６に示されるように、光学系１と、撮像素子２と、フレームメモリ３と、シフト機構４と、動き情報取得部５と、被写体像動き量算出部６と、シフト量算出部７と、シフト制御部８と、合成処理部９とを備える。
ただし、被写体像動き量算出部６による処理において、本実施形態は第１の実施形態と異なる。また、本実施形態において、撮像素子２によるプリ撮影、および、動き情報取得部５による複数のプリ画像間の被写体の動き情報の取得は不要である。
ただし、被写体像動き量算出部６による処理において、本実施形態は第１の実施形態と異なる。また、本実施形態において、撮像素子２によるプリ撮影、および、動き情報取得部５による複数のプリ画像間の被写体の動き情報の取得は不要である。
【0043】
被写体像動き量算出部６は、光学系１の焦点距離に基づいて、撮像面２ａ上での被写体像の動き量を算出する。算出される被写体像の動き量は、焦点距離が短い程、小さくなる。例えば、被写体像動き量算出部６は、焦点距離を動き量に変換する所定の変換式を用いて動き量を算出する。一例において、変換式は、下式（１）である。
撮像面２ａ上での被写体像の動き量＝Ｃ１＊Ｔ１＊Ｆ１／（Ａ１－Ｆ１）…（１）
ここで、Ｆ１は光学系１の焦点距離、Ｃ１、Ｔ１およびＡ１は、任意の定数パラメータである。
撮像面２ａ上での被写体像の動き量＝Ｃ１＊Ｔ１＊Ｆ１／（Ａ１－Ｆ１）…（１）
ここで、Ｆ１は光学系１の焦点距離、Ｃ１、Ｔ１およびＡ１は、任意の定数パラメータである。
【0044】
光学系１の焦点距離が変更可能であってもよい。
例えば、焦点距離が異なる複数の光学系１が準備され、撮像装置２００に取り付けられる光学系１の交換によって焦点距離が変更されてもよい。この場合、各光学系１に、焦点距離の情報を記憶するＩＣタグのような記憶素子が設けられる。被写体像動き量算出部６は、撮像装置２００に取り付けられた光学系１の記憶素子から焦点距離の情報を取得する。または、主制御部が、撮像装置２００に取り付けられている光学系１を認識し、被写体像動き量算出部６が、主制御部から焦点距離の情報を取得してもよい。
あるいは、光学系１が、焦点距離を変更可能であるズーム光学系であってもよい。この場合、被写体像動き量算出部６は、例えば、光学系１または主制御部から焦点距離の情報を取得する。
例えば、焦点距離が異なる複数の光学系１が準備され、撮像装置２００に取り付けられる光学系１の交換によって焦点距離が変更されてもよい。この場合、各光学系１に、焦点距離の情報を記憶するＩＣタグのような記憶素子が設けられる。被写体像動き量算出部６は、撮像装置２００に取り付けられた光学系１の記憶素子から焦点距離の情報を取得する。または、主制御部が、撮像装置２００に取り付けられている光学系１を認識し、被写体像動き量算出部６が、主制御部から焦点距離の情報を取得してもよい。
あるいは、光学系１が、焦点距離を変更可能であるズーム光学系であってもよい。この場合、被写体像動き量算出部６は、例えば、光学系１または主制御部から焦点距離の情報を取得する。
【0045】
図７Ａおよび図７Ｂは、撮像装置２００の動きに基づく撮像面２ａ上での被写体像Ａの動き量の例を示している。図７Ａは、光学系１の焦点距離が短い広角撮影の場合を示している。図７Ｂは、光学系１の焦点距離が長い望遠撮影の場合を示している。一般に、光学系１の焦点距離が短い程、光学系１の画角は広くなる。したがって、図７Ａおよび図７Ｂに示されるように、光学系１の焦点距離が短い程、撮像面２ａ上での被写体像Ａの動き量（矢印Ｂの長さ）は小さくなる。
【0046】
本実施形態によれば、撮像素子２による撮影に先立ち、撮像装置２００の動きに基づく撮像面２ａ上での被写体像の動き量が光学系１の焦点距離から算出される。そして、被写体像の動き量に応じて画像取得間での撮像素子２のシフト量が変更され、被写体像の動き量が小さい程、シフト量は大きくなる。これにより、第１の実施形態と同様に、撮像装置２００の動きの大きさに関わらず安定した高解像度化効果を得ることができる。
【0047】
具体的には、焦点距離が短い光学系１による広角撮影の場合、撮影中の撮像面２ａ上での被写体像の動き量が小さいことが予測される。この場合、複数の画像の取得間において、より大きなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置２００の動き量が小さい場合に、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を確実に取得することができる。
一方、焦点距離が長い光学系１による望遠撮影の場合、撮影中の撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、複数の画像の取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置２００の動き量が大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
一方、焦点距離が長い光学系１による望遠撮影の場合、撮影中の撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、複数の画像の取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置２００の動き量が大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
【0048】
（第３の実施の形態）
次に、本発明の第３の実施形態に係る撮像装置３００について図面を参照して説明する。
本実施形態において、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第３の実施形態に係る撮像装置３００について図面を参照して説明する。
本実施形態において、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
【0049】
本実施形態に係る撮像装置３００は、第１の実施形態の撮像装置１００と同一の装置構成を有する。すなわち、撮像装置３００は、図８に示されるように、光学系１と、撮像素子２と、フレームメモリ３と、シフト機構４と、動き情報取得部５と、被写体像動き量算出部６と、シフト量算出部７と、シフト制御部８と、合成処理部９とを備える。
ただし、被写体像動き量算出部６による処理において、本実施形態は第１の実施形態と異なる。また、本実施形態において、撮像素子２によるプリ撮影、および、動き情報取得部５による複数のプリ画像間での被写体の動き情報の取得は不要である。
ただし、被写体像動き量算出部６による処理において、本実施形態は第１の実施形態と異なる。また、本実施形態において、撮像素子２によるプリ撮影、および、動き情報取得部５による複数のプリ画像間での被写体の動き情報の取得は不要である。
【0050】
被写体像動き量算出部６は、撮像素子２または撮像素子２の動作を制御する主制御部から、複数の画像のフレームレートの情報を取得する。次に、被写体像動き量算出部６は、フレームレートに基づいて、撮像面２ａ上での被写体像の動き量を算出する。算出される撮像面２ａ上での被写体像の動き量は、フレームレートが低い程、大きくなる。
例えば、被写体像動き量算出部６は、フレームレートを動き量に変換する所定の変換式を用いて動き量を算出する。一例において、変換式は、下式（２）である。
撮像面２ａ上での被写体像の動き量＝Ｃ２＊Ｔ２＊Ｆ２／（Ａ２－Ｆ２）…（２）
ここで、Ｔ２は複数の画像のフレームレートの逆数、Ｃ２、Ｆ２、Ａ２は任意の定数パラメータである。
例えば、被写体像動き量算出部６は、フレームレートを動き量に変換する所定の変換式を用いて動き量を算出する。一例において、変換式は、下式（２）である。
撮像面２ａ上での被写体像の動き量＝Ｃ２＊Ｔ２＊Ｆ２／（Ａ２－Ｆ２）…（２）
ここで、Ｔ２は複数の画像のフレームレートの逆数、Ｃ２、Ｆ２、Ａ２は任意の定数パラメータである。
【0051】
図９Ａおよび図９Ｂは、撮像装置３００の動きに基づく撮像面２ａ上での被写体像の動き量の例を示している。図９Ａは、フレームレートが高い、すなわち、一の画像と次の画像との間の時間間隔が短い場合を示している。図９Ｂは、フレームレートが低い、すなわち、一の画像と次の画像との間の時間間隔が長い場合を示している。図９Ａおよび図９Ｂに示されるように、フレームレートが高い程、画像取得間での撮像面２ａ上での被写体像の動き量は小さくなり、被写体像動き量算出部６によって算出される動き量も小さくなる。
【0052】
本実施形態によれば、撮像素子２による撮影に先立ち、撮像装置３００の動きに基づく撮像面２ａ上での被写体像の動き量が、複数の画像のフレームレートから算出される。そして、被写体像の動き量に応じて画像取得間での撮像素子２のシフト量が変更され、被写体像の動き量が小さい程、シフト量は大きくなる。これにより、第１の実施形態と同様に、撮像装置３００の動きの大きさに関わらず安定した高解像度化効果を得ることができる。
【0053】
具体的には、フレームレートが高い場合、画像取得間での撮像面２ａ上での被写体像の動き量が小さいことが予測される。この場合、複数の画像の取得間において、より大きなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置３００の動き量が小さい場合に、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を確実に取得することができる。
一方、フレームレートが低い場合、画像取得間での撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、複数の画像の取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置３００の動き量が大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
一方、フレームレートが低い場合、画像取得間での撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、複数の画像の取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置３００の動き量が大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
【0054】
本実施形態において、フレームレートに代えて、複数の画像の取得開始から取得終了までの総撮影時間、または、時間方向に隣接する２つの画像間の時間間隔を用いてもよい。
総撮影時間の場合、複数の画像の全てにわたって被写体像の動き量が十分である場合、過剰に撮像素子２をシフトさせることを防止できる。画像の数が多い程、またはフレームレートが低い程、総撮影時間は長くなる。
２つの画像間の時間間隔の場合、フレームレートの場合と同様に、時間方向に隣接する２つの画像間での被写体像の動き量を算出することができる。
総撮影時間の場合、複数の画像の全てにわたって被写体像の動き量が十分である場合、過剰に撮像素子２をシフトさせることを防止できる。画像の数が多い程、またはフレームレートが低い程、総撮影時間は長くなる。
２つの画像間の時間間隔の場合、フレームレートの場合と同様に、時間方向に隣接する２つの画像間での被写体像の動き量を算出することができる。
【0055】
（第４の実施の形態）
次に、本発明の第４の実施形態に係る撮像装置４００について図面を参照して説明する。
本実施形態において、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第４の実施形態に係る撮像装置４００について図面を参照して説明する。
本実施形態において、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
【0056】
本実施形態に係る撮像装置４００は、図１０に示されるように、光学系１、撮像素子２、フレームメモリ３、シフト機構４、動き情報取得部５、被写体像動き量算出部６、シフト量算出部７、シフト制御部８、および合成処理部９に加えて、センサ１１を備える。
本実施形態において、撮像素子２によるプリ撮影、および、動き情報取得部５による複数のプリ画像間での被写体の動き情報の取得は不要である。
本実施形態において、撮像素子２によるプリ撮影、および、動き情報取得部５による複数のプリ画像間での被写体の動き情報の取得は不要である。
【0057】
センサ１１は、撮像装置４００全体の動きを検出する動きセンサであり、光学系１に対して固定されている。撮像装置４００の動きとは、ユーザが撮像装置４００によって被写体を撮影しようとしているときの手振れ等による撮像装置４００の物理的な動きである。例えば、センサ１１は、加速度センサである。センサ１１は、撮像装置４００の動きの検出が可能な他の種類のセンサ、例えば、角速度センサであってもよい。センサ１１は、光学系１に対して固定されることに代えて、撮像素子２に対して固定されていてもよい。
【0058】
被写体像動き量算出部６は、センサ１１によって検出された撮像装置４００の動きに基づいて、撮像面２ａ上での被写体像の動き量を算出する。算出される被写体像の動き量は、撮像装置４００の動きが小さい程、小さくなる。
センサ１１が加速度センサである場合、被写体像動き量算出部６は、加速度センサ１１によって検出された加速度を時間で２回積分することによって、撮像装置４００の動きを算出する。そして、例えば、被写体像動き量算出部６は、撮像装置４００の動き量を撮像面２ａ上での被写体像の動き量に変換する所定の変換式を用いて動き量を算出する。一例において、変換式は、下式（３）である。
撮像面２ａ上での被写体像の動き量＝Ｃ３＊Ｔ３＊Ｆ３／（Ａ３－Ｆ３）…（３）
ここで、Ｃ３は撮像装置４００の動き量であり、Ｔ３、Ｆ３、Ａ３は任意の定数パラメータである。
センサ１１が加速度センサである場合、被写体像動き量算出部６は、加速度センサ１１によって検出された加速度を時間で２回積分することによって、撮像装置４００の動きを算出する。そして、例えば、被写体像動き量算出部６は、撮像装置４００の動き量を撮像面２ａ上での被写体像の動き量に変換する所定の変換式を用いて動き量を算出する。一例において、変換式は、下式（３）である。
撮像面２ａ上での被写体像の動き量＝Ｃ３＊Ｔ３＊Ｆ３／（Ａ３－Ｆ３）…（３）
ここで、Ｃ３は撮像装置４００の動き量であり、Ｔ３、Ｆ３、Ａ３は任意の定数パラメータである。
【0059】
図１１Ａおよび図１１Ｂは、撮像装置４００の動きに基づく撮像面２ａ上での被写体像の動き量の例を示している。図１１Ａは、撮像装置４００の動きが小さい場合を示している。図１１Ｂは、撮像装置４００の動きが大きい場合を示している。図１１Ａおよび図１１Ｂに示されるように、撮像装置４００の動きが小さい程、撮像面２ａ上での被写体像の動き量は小さくなり、被写体像動き量算出部６によって算出される動き量も小さくなる。
【0060】
本実施形態によれば、撮像素子２による撮影に先立ち、センサ１１によって撮像装置４００の動きが検出され、撮像装置４００の動きから、当該撮像装置４００の動きに基づく撮像面２ａ上での被写体像の動き量が算出される。センサ１１による動きの検出は、例えば、撮像素子２が複数の画像の取得を開始する直前に行われる。そして、被写体像の動き量に応じて画像取得間での撮像素子２のシフト量が変更され、被写体像の動き量が小さい程、シフト量は大きくなる。これにより、第１の実施形態と同様に、撮像装置４００の動きの大きさに関わらず安定した高解像度化効果を得ることができる。
【0061】
具体的には、撮影前の撮像装置４００の動きが小さい場合、撮影中の撮像面２ａ上での被写体像の動き量が小さいことが予測される。この場合、複数の画像の取得間において、より大きなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置４００の動き量が小さい場合に、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を確実に取得することができる。
一方、撮影前の撮像装置４００の動きが大きい場合、撮影中の撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、複数の画像の取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置４００の動き量が大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
一方、撮影前の撮像装置４００の動きが大きい場合、撮影中の撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、複数の画像の取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置４００の動き量が大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
【0062】
（第５の実施の形態）
次に、本発明の第５の実施形態に係る撮像装置５００について図面を参照して説明する。
本実施形態において、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第５の実施形態に係る撮像装置５００について図面を参照して説明する。
本実施形態において、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
【0063】
本実施形態に係る撮像装置５００は、図１２に示されるように、光学系１、撮像素子２、フレームメモリ３、シフト機構４、動き情報取得部５、被写体像動き量算出部６、シフト量算出部７、シフト制御部８、および合成処理部９に加えて、センサ１２を備える。
本実施形態において、撮像素子２によるプリ撮影、および、動き情報取得部５による複数のプリ画像間での被写体の動き情報の取得は不要である。
本実施形態において、撮像素子２によるプリ撮影、および、動き情報取得部５による複数のプリ画像間での被写体の動き情報の取得は不要である。
【0064】
センサ１２は、光学系１の主点から被写体までの被写体距離を検出する距離センサである。例えば、センサ１２は、超音波距離センサまたは光学式距離センサである。
【0065】
被写体像動き量算出部６は、センサ１２によって検出された被写体距離に基づいて、撮像面２ａ上での被写体像の動き量を算出する。算出される被写体像の動き量は、被写体距離が遠い程、小さくなる。例えば、被写体像動き量算出部６は、被写体距離を動き量に変換する所定の変換式を用いて動き量を算出する。一例において、変換式は、下式（４）である。
撮像面２ａ上での被写体像の動き量＝Ｃ４＊Ｔ４＊Ｆ４／（Ａ４－Ｆ４）…（４）
ここで、Ａ４は被写体距離、Ｃ４、Ｔ４、Ｆ４は任意の定数パラメータである。
撮像面２ａ上での被写体像の動き量＝Ｃ４＊Ｔ４＊Ｆ４／（Ａ４－Ｆ４）…（４）
ここで、Ａ４は被写体距離、Ｃ４、Ｔ４、Ｆ４は任意の定数パラメータである。
【0066】
図１３Ａおよび図１３Ｂは、撮像装置５００の動きに基づく撮像面２ａ上での被写体像Ａ１，Ａ２の動き量の例を示している。図１３Ａは、被写体Ａ１が撮像装置５００から遠くに位置し、被写体距離が遠い場合を示している。図１３Ｂは、被写体Ａ２が撮像装置５００の近くに位置し、被写体距離が近い場合を示している。図１３Ａおよび図１３Ｂに示されるように、被写体距離が長い程、撮像面２ａ上での被写体像Ａ１，Ａ２の動き量（矢印Ｂの長さ）は小さくなる。
【0067】
本実施形態によれば、撮像素子２による撮影に先立ち、センサ１２によって被写体距離が検出され、撮像装置５００の動きに基づく撮像面２ａ上での被写体像の動き量が被写体距離から算出される。センサ１２による被写体距離の検出は、例えば、撮像素子２が複数の画像の取得を開始する直前に行われる。そして、被写体像の動き量に応じて画像取得間での撮像素子２のシフト量が変更され、被写体像の動き量が小さい程、シフト量は大きくなる。これにより、第１の実施形態と同様に、撮像装置５００の動きの大きさに関わらず安定した高解像度化効果を得ることができる。
【0068】
具体的には、被写体距離が遠い場合、撮影中の撮像面２ａ上での被写体像の動き量が小さいことが予測される。この場合、複数の画像の取得間において、より大きなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置５００の動き量が小さい場合に、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を確実に取得することができる。
一方、被写体距離が近い場合、撮影中の撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、複数の画像の取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置５００の動き量が大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
一方、被写体距離が近い場合、撮影中の撮像面２ａ上での被写体像の動き量が大きいことが予測される。この場合、複数の画像の取得間において、より小さなシフト量で撮像素子２がシフトさせられる。これにより、撮像装置５００の動き量が大きい場合においても、高解像度化効果を得るために必要な被写体の位置ずれ量を有する複数の画像を取得することができる。
【0069】
本実施形態において、図１３Ｃに示されるように、複数の被写体Ａ１，Ａ２を含むシーンの場合、被写体像動き量算出部６は、複数の被写体Ａ１，Ａ２の中から注目被写体を検出し、注目被写体の被写体距離から動き量を算出してもよい。例えば、被写体像動き量算出部６は、オートフォーカス機能によって検出された複数のフォーカスポイントの内、ユーザによって選択された、または自動選択されたフォーカスポイントの被写体を、注目被写体として検出する。あるいは、被写体像動き量算出部６は、画像認識技術等の他の手段を用いて注目被写体を検出してもよい。
【0070】
（第６の実施の形態）
次に、本発明の第６の実施形態に係る撮像装置６００について図面を参照して説明する。
本実施形態において、第１から第５の実施形態と異なる構成について説明し、第１から第５の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る撮像装置６００は、図１４に示されるように、光学系１、撮像素子２、フレームメモリ３、シフト機構４、動き情報取得部５、被写体像動き量算出部６、シフト量算出部７、シフト制御部８、合成処理部９、センサ１１およびセンサ１２を備える。
次に、本発明の第６の実施形態に係る撮像装置６００について図面を参照して説明する。
本実施形態において、第１から第５の実施形態と異なる構成について説明し、第１から第５の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る撮像装置６００は、図１４に示されるように、光学系１、撮像素子２、フレームメモリ３、シフト機構４、動き情報取得部５、被写体像動き量算出部６、シフト量算出部７、シフト制御部８、合成処理部９、センサ１１およびセンサ１２を備える。
【0071】
被写体像動き量算出部６は、光学系１の焦点距離、複数の画像のフレームレート、センサ１１によって検出された撮像装置６００の動き、およびセンサ１２によって検出された被写体距離に基づいて、撮像面２ａ上での被写体像の動き量を算出する。例えば、被写体像動き量算出部６は、焦点距離、フレームレート、撮像装置６００の動きおよび被写体距離を撮像面２ａ上での被写体像の動き量に変換する所定の変換式を用いて動き量を算出する。一例において、変換式は、下式（５）である。
撮像面２ａ上での被写体像の動き量＝Ｃ５＊Ｔ５＊Ｆ５／（Ａ５－Ｆ５）…（５）
ここで、Ｃ５は撮像装置６００の動き量、Ｔ５は複数の画像のフレームレートの逆数、Ｆ５は光学系１の焦点距離、Ａ５は被写体距離である。
撮像面２ａ上での被写体像の動き量＝Ｃ５＊Ｔ５＊Ｆ５／（Ａ５－Ｆ５）…（５）
ここで、Ｃ５は撮像装置６００の動き量、Ｔ５は複数の画像のフレームレートの逆数、Ｆ５は光学系１の焦点距離、Ａ５は被写体距離である。
【0072】
本実施形態によれば、焦点距離、フレームレート、撮像装置６００の動き、および被写体距離に基づいて、撮像面２ａ上での被写体像の動き量および撮像素子２のシフト量がより適切に算出される。これにより、撮像装置６００の動きの大きさに関わらず安定した高解像度化効果を得ることができる。
【0073】
本実施形態において、被写体像動き量算出部６が、焦点距離、フレームレート、撮像装置６００の動きおよび被写体距離に基づいて被写体像の動き量を算出することとしたが、これに代えて、焦点距離、フレームレート、撮像装置６００の動きおよび被写体距離のうち、任意の２つ以上に基づいて被写体像の動き量を算出してもよい。
【0074】
上記各実施形態において、撮像装置１００，２００，３００，４００，５００，６００が、手振れ補正機能を有し、高解像度化のための撮像素子２のシフトと、手振れ補正のための撮像素子２のシフトとの両方を実行してもよい。手振れ補正のための撮像素子２のシフトは、撮像素子２の露光期間および非露光期間のいずれか一方または両方で実行される。手振れ補正のための撮像素子２のシフト量は、高解像度化のための撮像素子２のシフト量とは別に算出される。
【0075】
上記各実施形態において、撮像面２ａ上での被写体像の動き量および撮像素子２のシフト量の算出が、複数の画像の取得前に行われることとしたが、これに加えて、またはこれに代えて、複数の画像の取得間に行われてもよい。
例えば、１枚目の画像の取得後、被写体の動き量および撮像素子２のシフト量を算出し、算出されたシフト量だけ撮像素子２をシフトさせ、２枚目の画像を取得してもよい。同様に、２枚目の画像の取得後、被写体の動き量および撮像素子２のシフト量を算出し、算出されたシフト量だけ撮像素子２をシフトさせ、３枚目の画像を取得してもよい。
また、上記各実施形態において、本発明をデジタルカメラに適用した場合について主に説明したが、本発明は内視鏡または顕微鏡等、画像を取得する他の種類の撮像装置に適用してもよい。
例えば、１枚目の画像の取得後、被写体の動き量および撮像素子２のシフト量を算出し、算出されたシフト量だけ撮像素子２をシフトさせ、２枚目の画像を取得してもよい。同様に、２枚目の画像の取得後、被写体の動き量および撮像素子２のシフト量を算出し、算出されたシフト量だけ撮像素子２をシフトさせ、３枚目の画像を取得してもよい。
また、上記各実施形態において、本発明をデジタルカメラに適用した場合について主に説明したが、本発明は内視鏡または顕微鏡等、画像を取得する他の種類の撮像装置に適用してもよい。
【符号の説明】
【0076】
１ 光学系
２ 撮像素子
２ａ 撮像面
４ シフト機構
６ 被写体像動き量算出部（動き量算出部）
７ シフト量算出部
８ シフト制御部
９ 合成処理部
１１ センサ、加速度センサ
１００，２００，３００，４００，５００，６００ 撮像装置
Ａ，Ａ１，Ａ２ 被写体像
２ 撮像素子
２ａ 撮像面
４ シフト機構
６ 被写体像動き量算出部（動き量算出部）
７ シフト量算出部
８ シフト制御部
９ 合成処理部
１１ センサ、加速度センサ
１００，２００，３００，４００，５００，６００ 撮像装置
Ａ，Ａ１，Ａ２ 被写体像
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図14】