ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-26
(45)【発行日】2022-02-03
(54)【発明の名称】撮像装置、撮像方法、及びカメラシステム
(51)【国際特許分類】
H04N 5/235 20060101AFI20220127BHJP
G03B 7/04 20210101ALI20220127BHJP
G03B 7/091 20210101ALI20220127BHJP
G03B 15/00 20210101ALI20220127BHJP
H04N 5/232 20060101ALI20220127BHJP
【ＦＩ】
H04N5/235 300
G03B7/04
G03B7/091
G03B15/00 H
H04N5/232 290
H04N5/232 380
H04N5/232 450
H04N5/232 939
【請求項の数】
9
(21)【出願番号】P 2020510050
(86)(22)【出願日】2019-03-25
(86)【国際出願番号】 JP2019012410
(87)【国際公開番号】W WO2019188933
(87)【国際公開日】2019-10-03
【審査請求日】2020-11-11
(31)【優先権主張番号】P 2018065048
(32)【優先日】2018-03-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】杉原 祐樹
(72)【発明者】
【氏名】小林 潤
(72)【発明者】
【氏名】石田 一樹
(72)【発明者】
【氏名】宮田 真彦
【審査官】中嶋 樹理
(56)【参考文献】
【文献】特開２０１５－１３６０８７（ＪＰ，Ａ）
【文献】特開２０１２－１６０８５２（ＪＰ，Ａ）
【文献】特開平７－９８４７１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３５
Ｇ０３Ｂ ７／０４
Ｇ０３Ｂ ７／０９１
Ｇ０３Ｂ １５／００
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
撮影レンズにより被写体の光学像が結像される撮像素子により前記被写体の画像を取得する撮像部と、前記撮像部で取得する前記画像において白飛びが発生するか否かを判断する判断部と、
前記撮像部に対し、前記撮像素子から間欠的に複数の前記画像を取得する第１のモードと、前記撮像素子から連続的に前記画像を取得する第２のモードと、のいずれかを設定するモード設定部であって、前記白飛びが発生すると判断された場合は前記第１のモードを設定し、前記白飛びが発生しないと判断された場合は前記第２のモードを設定するモード設定部と、
前記画像における被写体の移動を検出する検出部と、
前記第１のモードで取得した前記複数の前記画像を前記検出部で検出された前記被写体の移動に応じて位置合わせし、前記位置合わせした前記複数の前記画像を合成して合成画像を生成する画像生成部と、
あらかじめ設定された露光時間で露光を制御する露光制御部と、
を備え、
前記判断部は、前記露光制御部により設定された前記露光時間が第１のしきい値以上である場合は前記白飛びが発生すると判断して前記モード設定部に前記第１のモードを設定させる撮像装置。
【請求項2】
前記判断部は、露光開始時において前記判断を行う請求項１に記載の撮像装置。
【請求項3】
前記撮像部は、前記第１のモードにおいて取得する画像の数及び／または画素数を、前記画像の露光時間に応じて設定する請求項１または２に記載の撮像装置。
【請求項4】
前記検出の結果に応じて撮影方向の変更を促す情報を提示する情報提示部をさらに備え、
前記検出部は、前記画像における前記被写体の移動方向を検出する請求項１から３のいずれか１項に記載の撮像装置。
【請求項5】
前記被写体の移動に追従させて自動的に撮影方向を変更する撮影方向変更部をさらに備え、
前記モード設定部は、前記画像を取得する際の前記撮影レンズの焦点距離が第２のしきい値より長い場合は前記撮影方向変更部により前記撮影方向を変更しながら前記画像を取得する請求項１から４のいずれか１項に記載の撮像装置。
【請求項6】
前記モード設定部が前記第１のモードと前記第２のモードとのうちいずれのモードを設定したかをユーザに報知する報知部をさらに備える請求項１から５のいずれか１項に記載の撮像装置。
【請求項7】
前記画像生成部で生成した前記合成画像を記憶する記憶部をさらに備える請求項１から６のいずれか１項に記載の撮像装置。
【請求項8】
撮影レンズにより被写体の光学像が結像される撮像素子により前記被写体の画像を取得する撮像部を備える撮像装置における撮像方法であって、
前記撮像部で取得する前記画像において白飛びが発生するか否かを判断する判断工程と、
前記撮像部に対し、前記撮像素子から間欠的に複数の前記画像を取得する第１のモードと、前記撮像素子から連続的に前記画像を取得する第２のモードと、のいずれかを設定するモード設定工程であって、前記白飛びが発生すると判断された場合は前記第１のモードを設定し、前記白飛びが発生しないと判断された場合は前記第２のモードを設定するモード設定工程と、
前記画像における被写体の移動を検出する検出工程と、
前記第１のモードで取得した前記複数の前記画像を前記検出工程で検出された前記被写体の移動に応じて位置合わせし、前記位置合わせした前記複数の前記画像を合成して合成画像を生成する画像生成工程と、
あらかじめ設定された露光時間で露光を制御する露光制御部と、
を有し、
前記判断工程では、前記露光制御部により設定された前記露光時間が第１のしきい値以上である場合は前記白飛びが発生すると判断して前記モード設定工程で前記第１のモードを設定させる撮像方法。
【請求項9】
請求項１から７のいずれか１項に記載の撮像装置と、前記撮影レンズと、を備えるカメラシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置、撮像方法、及びカメラシステムに関し、特に長時間露光による撮影の効果を得る撮像装置、撮像方法、及びカメラシステムに関する。
【背景技術】
【0002】
写真撮影においては、長時間露光によりいわゆる「流し撮り（主要被写体が静止し背景が流れるように見える撮影）」、あるいは主要被写体の移動軌跡を強調する撮影が行われることがある。このような長時間露光の効果を得る手法として、長時間の連続的な露光を行う撮影方法の他に、複数回の短時間露光により取得した複数の画像を合成して長時間露光の効果を奏する画像を取得する撮影方法が知られている。これらの撮影方法は撮影条件に応じて切り替えることができる。例えば特許文献１では、連続的な露光を行う第１のモードと複数の画像を取得及び合成する第２のモードとをシャッター速度（露光時間）に応じて切り替えることが記載されている。第１のモードではシフトレンズの駆動による防振制御（手振れ補正）が行われ、第２のモードでは通常の防振制御が行われる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１９５４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した長時間露光による効果（背景が流れる度合い、被写体が移動する度合い、流れ及び／または移動の滑らかさ等）を高めるには、長時間の連続的な露光が効果的な場合が多い。一方、長時間の連続的な露光を行うと、被写体の明るさ等の条件によっては撮影画像の露出が不適切（明るすぎる）になるおそれがある。このような問題に対し、上述した特許文献１では露光時間が長い場合に第１のモードで連続的な露光を行うので、撮影画像の露出を適正にするのは困難である。
【0005】
このように、従来の技術は撮影条件に応じて適切な撮影モードを設定するものではなく、長時間露光の効果を奏する画像を良好な画質で得ることができなかった。
【0006】
本発明はこのような事情に鑑みてなされたもので、長時間露光の効果を奏する画像を良好な画質で得られる撮像装置、撮像方法、及びカメラシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した目的を達成するため、本発明の第１の態様に係る撮像装置は、撮影レンズにより被写体の光学像が結像される撮像素子により被写体の画像を取得する撮像部と、撮像部で取得する画像において白飛びが発生するか否かを判断する判断部と、撮像部に対し、撮像素子から間欠的に複数の画像を取得する第１のモードと、撮像素子から連続的に画像を取得する第２のモードと、のいずれかを設定するモード設定部であって、白飛びが発生すると判断された場合は第１のモードを設定し、白飛びが発生しないと判断された場合は第２のモードを設定するモード設定部と、画像における被写体の移動を検出する検出部と、第１のモードで取得した複数の画像を検出部で検出された被写体の移動に応じて位置合わせし、位置合わせした複数の画像を合成して合成画像を生成する画像生成部と、を備える。
【0008】
第１の態様に係る撮像装置は、取得する画像において白飛びが発生すると判断された場合は、撮像素子から間欠的に複数の画像を取得する第１のモードを撮像部に設定して間欠的に露光することにより複数の画像を取得して合成画像を生成し、一方、白飛びが発生しないと判断された場合は連続的な露光を行う第２のモードを撮像部に設定して画像を取得する。第１の態様において判断部が「白飛びが発生する」と判断した場合、第１のモードで間欠的な画像取得の露光時間、露光回数を設定することにより、白飛びの発生を防止することができる。また、第１のモードでは、画像生成部が複数の画像を被写体の移動に応じて位置合わせ（例えば、移動及び／または回転により主要被写体を一致させる）及び合成することにより、長時間露光の効果（背景の流れ、被写体の軌跡等）を奏する合成画像を得ることができる。画像生成部は、合成画像を生成する際に、ぼかし処理等他の画像処理を施して長時間露出の効果を高めてもよい。一方、判断部が「白飛びが発生しない」と判断した場合は、第２のモードで連続的な露光より画像を取得するので、露光時間に応じた効果を奏する画像を得ることができる。このように第１の態様によれば、白飛びが発生しない良好な画質で長時間露光の効果を得ることができる。
【0009】
なお第１の態様及び以下の各態様において、「白飛び」とは撮像素子の出力が飽和してしまい被写体の輝度差を画像でまったく、またはほとんど表現できない状態（本来は輝度に差がある部分が、全て最高輝度もしくは最高輝度に近い輝度になってしまう状態）ということができる。また、「間欠的に複数の画像を取得する」は「撮像素子を間欠的に露光して、個々の露光に対応した複数の画像を取得する」態様と「撮像素子を連続的に露光しつつ、（電子シャッター等により）撮像素子から間欠的に画像を読み出し、個々の読み出しに対応した複数の画像を取得する」態様とのいずれにより行ってもよい。
【0010】
なお、第１の態様に係る撮像装置はレンズ一体型カメラのカメラ本体、レンズ交換型カメラの本体部分、監視カメラの本体部分等に適用できるが、これらの例に限定されるものではない。
【0011】
第２の態様に係る撮像装置は第１の態様において、あらかじめ設定された露光時間で露光を制御する露光制御部をさらに備え、判断部は、露光制御部により設定された露光時間が第１のしきい値以上である場合は白飛びが発生すると判断してモード設定部に第１のモードを設定させる。第２の態様は白飛びの判断の具体例を規定するもので、判断部は、あらかじめ設定された露光時間（当初露光時間）が長時間（具体的には、当初露光時間≧第１のしきい値）の場合、白飛びが発生すると判断し、モード設定部が判断結果に基づいて第１のモードを設定する。第１のしきい値は、被写体の種類及び／または得ようとする効果（内容、程度）に応じて設定してよい。また、第１のしきい値はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに撮像装置が設定してもよい。
【0012】
第３の態様に係る撮像装置は第１または第２の態様において、判断部は、露光開始時において判断を行う。第３の態様における「露光開始時」には、長時間露光モードへの移行操作がなされた時点で判断する場合、移行後にモード設定を指示する操作に応じて判断する場合、長時間露光モードへの移行後に撮影準備指示に応じて判断する場合、及び撮影指示がされてから実際の露光が開始される前に判断する場合を含めることができるが、これらの態様に限定されるものではない。
【0013】
第４の態様に係る撮像装置は第１から第３の態様のいずれか１つにおいて、撮像部は、第１のモードにおいて取得する画像の数及び／または画素数を、画像の露光時間に応じて設定する。第４の態様は複数の画像を取得、処理、合成する際の撮像装置への負荷を軽減するためのもので、撮像部は、所望の効果を得るために設定された露光時間（当初露光時間）が長く負荷が高い場合は、撮影及び合成する画像の数及び／または画素数を減らすことができる。これらの対応に加えて、間欠的に取得する個々の画像の露光時間（多重露光時間）を当初露光時間に応じて設定することも好ましい。
【0014】
第５の態様に係る撮像装置は第１から第４の態様のいずれか１つにおいて、検出の結果に応じて撮影方向の変更を促す情報を提示する情報提示部をさらに備え、検出部は、画像における被写体の移動方向を検出する。第５の態様によれば、ユーザは提示された情報を参照して撮影方向の変更操作（パン及び／またはチルト）を容易に行うことができる。情報の提示は、画面表示、音声出力等により行うことができる。
【0015】
第６の態様に係る撮像装置は第１から第５の態様のいずれか１つにおいて、被写体の移動に追従させて自動的に撮影方向を変更する撮影方向変更部をさらに備え、モード設定部は、画像を取得する際の撮影レンズの焦点距離が第２のしきい値より長い場合は撮影方向変更部により撮影方向を変更しながら画像を取得する。撮影方向変更部により自動的に撮影方向を変更することで、ユーザに対する露光中のパンチルト操作の負担を減らすことができる。撮影方向の変更による効果（背景の流れる度合い等）は焦点距離が長い場合に高くなるので、第６の態様では（焦点距離＞第２のしきい値）となる場合に撮影方向変更部を用いた撮影を行うこととしている。これにより第６の態様では、露光中のパンチルト操作の効果を効率的に得ることができる。なお、撮影方向変更部の構成としては、例えばレンズ及び／または撮像素子の方向を変更する態様、ミラー等の光学部材を駆動して撮影方向を変更する態様を挙げることができるが、これらの態様に限定されるものではない。
【0016】
第７の態様に係る撮像装置は第１から第６の態様のいずれか１つにおいて、モード設定部が第１のモードと第２のモードとのうちいずれのモードを設定したかをユーザに報知する報知部をさらに備える。第７の態様によれば、設定されたモードをユーザが認識することができる。ユーザへの報知は画面表示、発光、振動、音声出力等により行うことができる。
【0017】
第８の態様に係る撮像装置は第１から第７の態様のいずれか１つにおいて、画像生成部で生成した合成画像を記憶する記憶部をさらに備える。記憶部に記憶された合成画像を画面表示、通信、印刷等により出力してもよい。
【0018】
上述した目的を達成するため、本発明の第９の態様に係る撮像方法は、撮影レンズにより被写体の光学像が結像される撮像素子により被写体の画像を取得する撮像部を備える撮像装置における撮像方法であって、撮像部で取得する画像において白飛びが発生するか否かを判断する判断工程と、撮像部に対し、撮像素子から間欠的に複数の画像を取得する第１のモードと、撮像素子から連続的に画像を取得する第２のモードと、のいずれかを設定するモード設定工程であって、白飛びが発生すると判断された場合は第１のモードを設定し、白飛びが発生しないと判断された場合は第２のモードを設定するモード設定工程と、画像における被写体の移動を検出する検出工程と、第１のモードで取得した複数の画像を検出工程で検出された被写体の移動に応じて位置合わせし、位置合わせした複数の画像を合成して合成画像を生成する画像生成工程と、を有する。第９の態様によれば、第１の態様と同様に長時間露光の効果を奏する画像を良好な画質で得ることができる。
【0019】
第９の態様に係る撮像方法は、第２から第８の態様と同様の構成をさらに有していてもよい。また、これら態様の撮像方法を撮像装置及び／またはカメラシステムに実行させるプログラム、及びそのようなプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
【0020】
上述した目的を達成するため、本発明の第１０の態様に係るカメラシステムは、第１から第８の態様のいずれか１つに係る撮像装置と、撮影レンズと、を備える。第１０の態様に係るカメラシステムは、第１から第８の態様のいずれか１つに係る撮像装置を備えるので、長時間露光の効果を奏する画像を良好な画質で得ることができる。第１０の態様に係るカメラシステムはレンズ一体型カメラ、レンズ交換型カメラ、監視カメラ等に適用できるが、これらの具体例に限定されるものではない。
【発明の効果】
【0021】
以上説明したように、本発明の撮像装置、撮像方法、及びカメラシステムによれば、長時間露光の効果を奏する画像を良好な画質で得ることができる。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
以下、添付図面を参照しつつ、本発明に係る撮像装置、撮像方法、及びカメラシステムを実施するための形態について詳細に説明する。
【0024】
＜第１の実施形態＞
＜撮像装置の全体構成＞
図１は第１の実施形態に係るカメラシステム１０（撮像装置、カメラシステム）の構成を示す図である。カメラシステム１０は交換レンズ１００（撮影レンズ、撮像部）及び撮像装置本体２００（撮像装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮像装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。
＜撮像装置の全体構成＞
図１は第１の実施形態に係るカメラシステム１０（撮像装置、カメラシステム）の構成を示す図である。カメラシステム１０は交換レンズ１００（撮影レンズ、撮像部）及び撮像装置本体２００（撮像装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮像装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。
【0025】
＜交換レンズの構成＞
交換レンズ１００は、ズームレンズ１１０（ズームレンズ、撮影レンズ）と、フォーカスレンズ１２０（撮影レンズ）と、絞り１３０と、レンズ駆動部１４０と、可変頂角プリズム１５０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２の露光制御部２４０Ａ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌ１を有する。
交換レンズ１００は、ズームレンズ１１０（ズームレンズ、撮影レンズ）と、フォーカスレンズ１２０（撮影レンズ）と、絞り１３０と、レンズ駆動部１４０と、可変頂角プリズム１５０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２の露光制御部２４０Ａ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌ１を有する。
【0026】
＜撮像装置本体の構成＞
撮像装置本体２００は、撮像素子２１０（撮像部）、ＡＦＥ２２０（ＡＦＥ：Analog Front End、撮像部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital、撮像部）、及び画像処理装置２４０を備える。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備える。そして可変頂角プリズム１５０、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。
撮像装置本体２００は、撮像素子２１０（撮像部）、ＡＦＥ２２０（ＡＦＥ：Analog Front End、撮像部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital、撮像部）、及び画像処理装置２４０を備える。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備える。そして可変頂角プリズム１５０、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。
【0027】
＜画像処理装置の構成＞
図２は、画像処理装置２４０（画像処理装置）の機能構成を示す図である。画像処理装置２４０は、露光制御部２４０Ａ（露光制御部）、判断部２４０Ｂ（判断部）、モード設定部２４０Ｃ（モード設定部）、検出部２４０Ｄ（検出部）、画像生成部２４０Ｅ（画像生成部）、情報提示部２４０Ｆ（情報提示部）、撮影方向変更部２４０Ｇ（撮影方向変更部）、及び報知部２４０Ｈ（報知部）を備え、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて合成画像の生成等の処理を行う。画像処理装置２４０による処理の詳細は後述する。
図２は、画像処理装置２４０（画像処理装置）の機能構成を示す図である。画像処理装置２４０は、露光制御部２４０Ａ（露光制御部）、判断部２４０Ｂ（判断部）、モード設定部２４０Ｃ（モード設定部）、検出部２４０Ｄ（検出部）、画像生成部２４０Ｅ（画像生成部）、情報提示部２４０Ｆ（情報提示部）、撮影方向変更部２４０Ｇ（撮影方向変更部）、及び報知部２４０Ｈ（報知部）を備え、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて合成画像の生成等の処理を行う。画像処理装置２４０による処理の詳細は後述する。
【0028】
画像処理装置２４０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの、製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども、上述した各種のプロセッサに含まれる。
【0029】
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【0030】
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、ズーム処理、合成処理等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
【0031】
画像処理装置２４０は、上述の各部の他にＲＯＭ２４２（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２４２には、画像の入力、ズーム処理、合成処理等に必要なプログラム（本発明に係る撮像方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードが記録される。
【0032】
＜操作部＞
操作部２５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Quickボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮影条件設定、撮影指示、合成画像生成指示、画像処理内容及び／または程度の設定等、各種の操作を行うことができる。なお、モニタ２７０をタッチパネルで構成して操作部２５０として使用してもよい。
操作部２５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Quickボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮影条件設定、撮影指示、合成画像生成指示、画像処理内容及び／または程度の設定等、各種の操作を行うことができる。なお、モニタ２７０をタッチパネルで構成して操作部２５０として使用してもよい。
【0033】
＜記憶部＞
記憶部２６０は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、撮影画像、合成画像等を記憶する。記録媒体は撮像装置本体２００に対し着脱できるタイプを用いることができる。
記憶部２６０は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、撮影画像、合成画像等を記憶する。記録媒体は撮像装置本体２００に対し着脱できるタイプを用いることができる。
【0034】
＜モニタ及びファインダ＞
モニタ２７０（表示装置）は例えば液晶表示パネルにより構成され、ライブビュー画像、撮影画像、合成画像、撮影補助情報等を表示することができる。モニタ２７０は撮像装置本体２００の背面側、天面側等に配置することができる。同様に、ファインダ２８０も例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介してライブビュー画像、撮影画像、合成画像、撮影補助情報等を視認することができる。ファインダ２８０としては「光学式ビューファインダ（ＯＶＦ：Optical View Finder）」、「電子式ビューファインダ（ＥＶＦ：Electronic View Finder）」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ（ＨＶＦ：Hybrid View Finder）」を用いることができる。
モニタ２７０（表示装置）は例えば液晶表示パネルにより構成され、ライブビュー画像、撮影画像、合成画像、撮影補助情報等を表示することができる。モニタ２７０は撮像装置本体２００の背面側、天面側等に配置することができる。同様に、ファインダ２８０も例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介してライブビュー画像、撮影画像、合成画像、撮影補助情報等を視認することができる。ファインダ２８０としては「光学式ビューファインダ（ＯＶＦ：Optical View Finder）」、「電子式ビューファインダ（ＥＶＦ：Electronic View Finder）」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ（ＨＶＦ：Hybrid View Finder）」を用いることができる。
【0035】
＜偏光可動部＞
可変頂角プリズム１５０（撮影方向偏光部）は、光軸方向の前後に配置された２枚の透明板ガラスの間に高屈折率の液体が封入されて構成され、交換レンズ１００の先端部（被写体側）に装着されている。撮影方向変更部２４０Ｇからの指令により、側面に設けられた蛇腹状の伸縮部１５２をレンズ駆動部１４０が伸縮させて液体の傾きを変えることにより、被写体光の屈折角（すなわち撮影方向）を変化させることができる。図３の（ａ）部分は光軸Ｌ１が変化していない状態を示し、（ｂ）部分は伸縮部の伸縮により光軸が図の下方向に変化し光軸Ｌ２となった状態を示している。なお、伸縮部１５２を伸縮させる箇所を複数箇所（例えば３箇所、４箇所等）設けることにより、光軸の方向を２軸周りに変化させることができる。なお、可変頂角プリズム１５０のような光学要素を交換レンズ１００の先端部ではなく基端部に設けてもよい。
可変頂角プリズム１５０（撮影方向偏光部）は、光軸方向の前後に配置された２枚の透明板ガラスの間に高屈折率の液体が封入されて構成され、交換レンズ１００の先端部（被写体側）に装着されている。撮影方向変更部２４０Ｇからの指令により、側面に設けられた蛇腹状の伸縮部１５２をレンズ駆動部１４０が伸縮させて液体の傾きを変えることにより、被写体光の屈折角（すなわち撮影方向）を変化させることができる。図３の（ａ）部分は光軸Ｌ１が変化していない状態を示し、（ｂ）部分は伸縮部の伸縮により光軸が図の下方向に変化し光軸Ｌ２となった状態を示している。なお、伸縮部１５２を伸縮させる箇所を複数箇所（例えば３箇所、４箇所等）設けることにより、光軸の方向を２軸周りに変化させることができる。なお、可変頂角プリズム１５０のような光学要素を交換レンズ１００の先端部ではなく基端部に設けてもよい。
【0036】
撮影方向の変更は、可変頂角プリズムではなくミラーの駆動により行うこともできる。例えば、図４の（ａ）部分に示すように２枚のミラー１６０を対向して配置し、（ｂ）部分に示すようにこれらミラー１６０の向きを変化させる（撮影方向変更部２４０Ｇからの指令によりレンズ駆動部１４０が駆動する）ことにより、光軸の方向（すなわち撮影方向）を変化させることができる（図４の（ｂ）部分では図の下向きに変化させた光軸Ｌ３を示している）。なお、ミラー１６０を２軸周りに回転させることにより、光軸の方向を２軸周りに変化させることができる。
【0037】
上述した可変頂角プリズム１５０、ミラー１６０のような部材及び／または機構を交換レンズ１００に設けるのに代えて、またはこれに加えて、圧電素子等のデバイスにより撮像素子の向きを変えることで撮影方向を変更してもよい。
【0038】
＜撮像方法の処理＞
上述した構成のカメラシステム１０における撮像方法の処理について説明する。図５は、第１の実施形態に係る撮像方法を示すフローチャートである。
上述した構成のカメラシステム１０における撮像方法の処理について説明する。図５は、第１の実施形態に係る撮像方法を示すフローチャートである。
【0039】
＜白飛びが発生するか否かの判断＞
操作部２５０の図示せぬボタン、スイッチ等に対する操作により長時間露光モードが開始されると、判断部２４０Ｂが、設定された露光時間（以下、「当初露光時間」という）が第１のしきい値以上か否か判断する（ステップＳ１００：判断工程）。露光制御部２４０Ａはユーザの操作に応じて当初露光時間を設定してもよいし、ユーザの操作によらずに設定してもよい。露光制御部２４０Ａは、得ようとする効果の内容（例えば背景、被写体が流れて見えること）及びその程度に応じて当初露光時間を設定することができる。
操作部２５０の図示せぬボタン、スイッチ等に対する操作により長時間露光モードが開始されると、判断部２４０Ｂが、設定された露光時間（以下、「当初露光時間」という）が第１のしきい値以上か否か判断する（ステップＳ１００：判断工程）。露光制御部２４０Ａはユーザの操作に応じて当初露光時間を設定してもよいし、ユーザの操作によらずに設定してもよい。露光制御部２４０Ａは、得ようとする効果の内容（例えば背景、被写体が流れて見えること）及びその程度に応じて当初露光時間を設定することができる。
【0040】
当初露光時間が第１のしきい値以上である場合、判断部２４０Ｂは「白飛びが発生する」と判断し、ステップＳ１１０へ進む。この場合、詳細を後述するように第１のモード（多重露光により撮影するモード）が設定される。一方、当初露光時間が第１のしきい値未満である場合、判断部２４０Ｂは「白飛びが発生しない」と判断し、ステップＳ１２０へ進む。この場合、詳細を後述するように第２のモード（連続的な露光により撮影するモード）が設定される。なお「白飛び」とは、「撮像素子２１０の出力が飽和してしまい被写体の輝度差を画像でまったく、またはほとんど表現できない状態（本来は輝度に差がある部分が、全て最高輝度もしくは最高輝度に近い輝度になってしまう状態）」ということができる。
【0041】
第１のしきい値は数十秒程度（例えば、６０秒）とすることができるが、この値に限定されるものではない。また、得ようとする画像の露出状態はユーザによって異なる場合があるので、得ようとする効果の内容及び／または程度、被写体の種類等の条件に応じて第１のしきい値を変化させてもよい。このような第１のしきい値の設定により、白飛び防止して良好な画質の画像を得ることができる。
【0042】
＜白飛び発生の判断タイミング＞
ステップＳ１００における白飛びが発生するか否かの判断（具体的には、露光時間が第１のしきい値以上であるか否かの判断）は露光開始時に行う。「露光開始時に行う」に該当する場合には、例えば長時間露光モードへの移行操作がなされた時点で判断する場合、移行後にモード設定を指示する操作に応じて判断する場合、長時間露光モードへの移行後に図示せぬシャッターボタンへの操作による撮影準備指示に応じてＡＥ条件（ＡＥ：Automatic Exposure、自動露出制御）及びＡＦ条件（ＡＦ：Automatic Focus、自動焦点制御）が決定した際に判断する場合、及び図示せぬシャッターボタンへの操作による撮影指示がされてから実際の露光が開始される前に判断する場合を含めることができるが、これらの態様に限定されるものではない。
ステップＳ１００における白飛びが発生するか否かの判断（具体的には、露光時間が第１のしきい値以上であるか否かの判断）は露光開始時に行う。「露光開始時に行う」に該当する場合には、例えば長時間露光モードへの移行操作がなされた時点で判断する場合、移行後にモード設定を指示する操作に応じて判断する場合、長時間露光モードへの移行後に図示せぬシャッターボタンへの操作による撮影準備指示に応じてＡＥ条件（ＡＥ：Automatic Exposure、自動露出制御）及びＡＦ条件（ＡＦ：Automatic Focus、自動焦点制御）が決定した際に判断する場合、及び図示せぬシャッターボタンへの操作による撮影指示がされてから実際の露光が開始される前に判断する場合を含めることができるが、これらの態様に限定されるものではない。
【0043】
＜焦点距離に基づく判断＞
第１の実施形態では、露出時間に基づく白飛び発生有無の判断に加えて、交換レンズ１００の焦点距離を考慮してモードを設定する。具体的には、「白飛びが発生する」と判断された場合（ステップＳ１００でＹＥＳ）、モード設定部２４０Ｃは交換レンズ１００の焦点距離が第２のしきい値以下であるか否かを判断し（ステップＳ１１０）、判断が肯定された場合はステップＳ２００へ進んで第１のモード（１）を設定する。ステップＳ１１０の判断が否定された場合はステップＳ３００へ進んで第１のモード（２）を設定する。
第１の実施形態では、露出時間に基づく白飛び発生有無の判断に加えて、交換レンズ１００の焦点距離を考慮してモードを設定する。具体的には、「白飛びが発生する」と判断された場合（ステップＳ１００でＹＥＳ）、モード設定部２４０Ｃは交換レンズ１００の焦点距離が第２のしきい値以下であるか否かを判断し（ステップＳ１１０）、判断が肯定された場合はステップＳ２００へ進んで第１のモード（１）を設定する。ステップＳ１１０の判断が否定された場合はステップＳ３００へ進んで第１のモード（２）を設定する。
【0044】
具体的には、ステップＳ１１０の判断が肯定された場合（焦点距離≦第２のしきい値）、多重露光により撮影し撮影方向の自動変更は行わない「第１のモード（１）」を設定する（ステップＳ２００：モード設定工程）。一方、ステップＳ１１０の判断が否定された場合（焦点距離＞第２のしきい値）、可変頂角プリズム１５０の駆動による被写体の移動量が大きく効果的な撮影が可能であるため、撮影方向変更部２４０Ｇがレンズ駆動部１４０を介して可変頂角プリズム１５０を駆動し、撮影方向を変更しながら多重露光での撮影を行う「第１のモード（２）」を設定する（ステップＳ３００：モード設定工程）。
【0045】
焦点距離に対するしきい値（上述した「第２のしきい値」）は、例えば、撮像素子の大きさを「３５ｍｍフルサイズ」に換算した場合（いわゆる「３５ｍｍ換算」の場合）に３５ｍｍ以上５０ｍｍ以下とすることができるが、この値に限定されるものではない。
【0046】
「白飛びは発生しない」と判断され（ステップＳ１００でＮＯ）第２のモードを設定する場合も、モード設定部２４０Ｃは交換レンズ１００の焦点距離が第２のしきい値以下であるか否かを判断する（ステップＳ１２０）。判断が肯定された場合はステップＳ４００へ進み、モード設定部２４０Ｃは長時間露光（連続的な露光）により撮影する第２のモード（１）を設定する。一方、ステップＳ１１０の判断が否定された場合はステップＳ５００へ進み、モード設定部２４０Ｃは、撮影方向変更部２４０Ｇがレンズ駆動部１４０を介して可変頂角プリズム１５０を駆動し撮影方向を変更しながら長時間露光（連続的な露光）での撮影を行う第２のモード（２）を設定する。
【0047】
露光時間及び焦点距離のしきい値に応じたモード設定の様子をまとめた表を図６に示す。
【0048】
＜各モードでの処理＞
ステップＳ２００，Ｓ３００，Ｓ４００，Ｓ５００で設定されたモードに従い、撮影、画像処理が行われる（図５では全体をまとめて「ステップＳ６００」と記載している）。以下、ステップＳ６００における各モードでの具体的な処理について説明する。
ステップＳ２００，Ｓ３００，Ｓ４００，Ｓ５００で設定されたモードに従い、撮影、画像処理が行われる（図５では全体をまとめて「ステップＳ６００」と記載している）。以下、ステップＳ６００における各モードでの具体的な処理について説明する。
【0049】
＜第１のモード（１）での処理＞
図５のステップＳ２００で第１のモード（１）が設定された場合の処理を図７に示す。第１のモード（１）が設定されると、報知部２４０Ｈはモニタ２７０及び／またはファインダ２８０への表示により、第１のモード（１）を設定したことをユーザに報知する（ステップＳ２１０：報知工程）。図示せぬスピーカーによる音声出力で報知してもよい。
図５のステップＳ２００で第１のモード（１）が設定された場合の処理を図７に示す。第１のモード（１）が設定されると、報知部２４０Ｈはモニタ２７０及び／またはファインダ２８０への表示により、第１のモード（１）を設定したことをユーザに報知する（ステップＳ２１０：報知工程）。図示せぬスピーカーによる音声出力で報知してもよい。
【0050】
第１のモード（１）では、ステップＳ１００の判断において「露光時間（当初露光時間）が第１のしきい値以上なので、白飛びが発生する」と判断されている。そこで第１のモード（１）では、この「当初露光時間」未満の露光時間（以下、「多重露光時間」という）での撮影（間欠的な画像取得、多重露光）を複数回行うことにより、白飛びを防止しつつ長時間露光の効果を得る。例えば、当初露光時間が１０秒で「白飛びが発生する」と判断された場合、当初露光時間内に多重露光時間が０．５秒の撮影を１０回繰り返すことが考えられる。なお、多重露光の回数を増やせば長時間露光（連続的な露光）と同様の効果（背景の流れ、被写体の軌跡等の滑らかさ）を得ることができるが、多数回の撮影及び処理（位置合わせ、画像処理、合成等）を行うとシステムに対する負荷が高くなる。そこで露光制御部２４０Ａ（撮像部）は、得ようとする効果（当初露光時間に対応）に加えてシステムに対する負荷を考慮して取得する画像の数（フレーム数）、多重露光時間、及び画素数を設定し（ステップＳ２２０：露光時間設定工程）、設定した条件で撮像素子２１０（撮像部）を制御してｉフレーム目の露光を行う（ステップＳ２３０：撮影工程）。
【0051】
検出部２４０Ｄは撮影した画像から被写体及びその移動を検出し（ステップＳ２４０：検出工程）、情報提示部２４０Ｆは検出の結果に応じて撮影方向の変更を促す情報を提示する（ステップＳ２５０：情報提示工程）。情報の提示は、例えば図８に示すように、情報提示部２４０Ｆがファインダ２８０の表示領域１０００に撮影方向の変更（パン及び／またはチルトの方向）を示す記号等を示すことにより行うことができる。図８の例では、合計８個の矢印１０１０，１０２０のうち左向きの矢印１０２０を表示している（実際に表示している矢印を実線で図示、その他を点線で図示）。このような表示はファインダ２８０ではなくモニタ２７０に行ってもよい。表示の際に、撮影方向の変更量に応じて矢印の長さを変化させてもよい。また、表示に代えて、または表示に加えて図示せぬスピーカーにより音声出力（例えば、「左方向にパンして下さい」）してもよい。このような情報の提示により、ユーザは撮影方向の変更操作を容易に行うことができ、長時間露光の効果を奏する画像を容易に撮影することができる。なお、ステップＳ２４０において、検出部２４０Ｄは、撮影タイミングの異なる画像間で主要被写体の位置を比較して動きベクトルを算出すること等により被写体の移動方向及び移動量を検出することができる。
【0052】
露光制御部２４０Ａ、検出部２４０Ｄ、情報提示部２４０Ｆは、ステップＳ２３０からＳ２５０までの制御（撮像素子２１０から間欠的に複数の画像を取得する制御；多重露光）を撮影枚数Ｎの分（ステップＳ２６０でＹＥＳになるまで）繰り返し、ステップＳ２７０に進む。
【0053】
上述したステップＳ２３０での各回の露光（撮影）により得られた画像（撮影画像）の例を図９に示す。図９において、撮影画像１０３１，１０３２，１０３３は被写体９０１，９０２，９０３（主要被写体）の移動により撮影範囲が異なる画像であり、画像生成部２４０Ｅは、これらの撮影画像１０３１，１０３２，１０３３から合成画像を生成する（ステップＳ２７０：画像生成工程）。ステップＳ２７０における合成画像の生成例について、以下説明する。
【0054】
＜合成画像の生成例１＞
画像生成部２４０Ｅは、各画像を移動、回転、拡大、縮小させて被写体９０１，９０２，９０３を一致させ、位置合わせした複数の画像を合成して仮合成画像１１００を生成する。図９に示すように、仮合成画像１１００はパノラマ状の合成画像である。また、画像生成部２４０Ｅは、図１０における画像１１０１～１１０５のように切り出し範囲が異なる複数の画像を仮合成画像１１００から切り出す。切り出し範囲を変えることで、被写体が移動する効果を合成画像に付与することができる。画像生成部２４０Ｅは、切り出した画像に対し、ぼかし、明度及び／または彩度の変更、拡大、縮小、変形等の画像処理を施す。この際、最終的な合成画像の明るさが長時間露光（連続的な露光）の場合と同じになるように、個々の画像の明るさを調整してもよい。画像処理の内容及び程度はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。画像生成部２４０Ｅは、画像処理を施した画像を合成して最終合成画像（合成画像）を生成する。図１０の例では、仮合成画像１１００から切り出した画像１１０１～１１０５、及びそれらの画像を半透明化して重ね合わせ、最終合成画像１２００（合成画像）を生成している。これらの処理により、所望の効果（背景の流れ、被写体の軌跡等効果の内容及びその度合い）を奏する画像を生成することができる。また、画像生成部２４０Ｅは、最終合成画像１２００を記憶部２６０に記憶させ（画像記憶工程）、モニタ２７０に表示させる（画像表示工程）。撮影画像、仮合成画像等を記憶及び／または表示させてもよい。
画像生成部２４０Ｅは、各画像を移動、回転、拡大、縮小させて被写体９０１，９０２，９０３を一致させ、位置合わせした複数の画像を合成して仮合成画像１１００を生成する。図９に示すように、仮合成画像１１００はパノラマ状の合成画像である。また、画像生成部２４０Ｅは、図１０における画像１１０１～１１０５のように切り出し範囲が異なる複数の画像を仮合成画像１１００から切り出す。切り出し範囲を変えることで、被写体が移動する効果を合成画像に付与することができる。画像生成部２４０Ｅは、切り出した画像に対し、ぼかし、明度及び／または彩度の変更、拡大、縮小、変形等の画像処理を施す。この際、最終的な合成画像の明るさが長時間露光（連続的な露光）の場合と同じになるように、個々の画像の明るさを調整してもよい。画像処理の内容及び程度はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。画像生成部２４０Ｅは、画像処理を施した画像を合成して最終合成画像（合成画像）を生成する。図１０の例では、仮合成画像１１００から切り出した画像１１０１～１１０５、及びそれらの画像を半透明化して重ね合わせ、最終合成画像１２００（合成画像）を生成している。これらの処理により、所望の効果（背景の流れ、被写体の軌跡等効果の内容及びその度合い）を奏する画像を生成することができる。また、画像生成部２４０Ｅは、最終合成画像１２００を記憶部２６０に記憶させ（画像記憶工程）、モニタ２７０に表示させる（画像表示工程）。撮影画像、仮合成画像等を記憶及び／または表示させてもよい。
【0055】
＜合成画像の生成例２＞
生成例２では、画像生成部２４０Ｅは、撮影画像を位置合わせする際に被写体９０１，９０２，９０３を少しずつずらす。ずらす量は、奏する効果（流れ、移動等）の内容及び程度に応じて設定することができる。また、画像生成部２４０Ｅは、それぞれの撮影画像に対し、ぼかし、明度及び／または彩度の変更、拡大、縮小、変形等の画像処理を施す。画像処理の内容及び程度はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。画像生成部２４０Ｅは、画像処理を施した画像を合成して最終合成画像（合成画像）を生成する。これらの処理により、例えば図１１の最終合成画像１３００、あるいは最終合成画像１３０１のように被写体が画像の右から左に動いていく効果を強調した画像を得ることができる。生成した最終合成画像は、記憶部２６０に記憶させ（画像記憶工程）、モニタ２７０に表示させる（画像表示工程）。撮影画像を記憶及び／または表示させてもよい。
生成例２では、画像生成部２４０Ｅは、撮影画像を位置合わせする際に被写体９０１，９０２，９０３を少しずつずらす。ずらす量は、奏する効果（流れ、移動等）の内容及び程度に応じて設定することができる。また、画像生成部２４０Ｅは、それぞれの撮影画像に対し、ぼかし、明度及び／または彩度の変更、拡大、縮小、変形等の画像処理を施す。画像処理の内容及び程度はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。画像生成部２４０Ｅは、画像処理を施した画像を合成して最終合成画像（合成画像）を生成する。これらの処理により、例えば図１１の最終合成画像１３００、あるいは最終合成画像１３０１のように被写体が画像の右から左に動いていく効果を強調した画像を得ることができる。生成した最終合成画像は、記憶部２６０に記憶させ（画像記憶工程）、モニタ２７０に表示させる（画像表示工程）。撮影画像を記憶及び／または表示させてもよい。
【0056】
＜第１のモード（２）での処理＞
図５のステップＳ３００で第１のモード（２）が設定された場合の処理を図１２に示す。第１のモード（２）が設定されると、報知部２４０Ｈは第１のモード（１）の場合と同様に、第１のモード（２）を設定したことをユーザに報知する（ステップＳ３１０：報知工程）。露光制御部２４０Ａ（撮像部）は、第１のモード（１）の場合と同様に、得ようとする効果に加えてシステムに対する負荷を考慮し、取得する画像の数（フレーム数）、多重露光時間、及び画素数を当初露光時間に応じて設定し（ステップＳ３２０：露光時間設定工程）、撮像素子２１０（撮像部）を制御してｉフレーム目の露光を行い画像を撮影する（ステップＳ３３０：撮影工程）。
図５のステップＳ３００で第１のモード（２）が設定された場合の処理を図１２に示す。第１のモード（２）が設定されると、報知部２４０Ｈは第１のモード（１）の場合と同様に、第１のモード（２）を設定したことをユーザに報知する（ステップＳ３１０：報知工程）。露光制御部２４０Ａ（撮像部）は、第１のモード（１）の場合と同様に、得ようとする効果に加えてシステムに対する負荷を考慮し、取得する画像の数（フレーム数）、多重露光時間、及び画素数を当初露光時間に応じて設定し（ステップＳ３２０：露光時間設定工程）、撮像素子２１０（撮像部）を制御してｉフレーム目の露光を行い画像を撮影する（ステップＳ３３０：撮影工程）。
【0057】
第１のモード（２）は多重露光を行う（撮像素子２１０から間欠的に複数の画像を取得する）点で第１のモード（１）と共通しているが、上述のように焦点距離が長い（焦点距離＞第２のしきい値）場合についてのモードである。このため、検出部２４０Ｄにより検出した被写体の移動に追従させて撮影方向変更部２４０Ｇがレンズ駆動部１４０を介して可変頂角プリズム１５０を駆動し、自動的に撮影方向を変更しながら（ステップＳ３５０：撮影方向変更工程）多重露光での撮影（ステップＳ３３０）を行う。露光制御部２４０Ａは、撮影枚数ＮになりステップＳ３６０の判断が肯定されるまで多重露光での撮影を繰り返させる。第１のモード（２）では、このような撮影により可変頂角プリズム１５０の駆動により効果的な撮影（被写体の移動量等、長時間露光の効果が大きな撮影）を行うことができる。
【0058】
なお、第１のモード（２）の処理において、取得する画像の数、多重露光時間、及び画素数の設定（ステップＳ３２０：露光時間設定工程）、被写体及びその移動の検出（ステップＳ３４０：検出工程）は、上述した第１のモード（１）と同様に行うことができる。また、ステップＳ３３０における各回の露光により得られた撮影画像から合成画像（最終画像）を生成、記憶、及び表示する処理（ステップＳ３７０の画像生成工程、ステップＳ３８０の画像記憶工程、画像表示工程）についても、上述した第１のモード（１）と同様に行うことができる。これらの処理により、第１のモード（２）においても、所望の効果（背景の流れ、被写体の軌跡等効果の内容及びその度合い）を奏する合成画像（最終合成画像）を得ることができる。
【0059】
＜第２のモード（１）での処理＞
図５のステップＳ４００で第２のモード（１）が設定された場合の処理を図１３に示す。第２のモード（１）が設定されると、報知部２４０Ｈは第１のモードの場合と同様に、第２のモード（１）を設定したことをユーザに報知する（ステップＳ４１０：報知工程）。露光制御部２４０Ａ（撮像部）は撮像素子２１０（撮像部）を制御して露光を開始し（ステップＳ４２０：撮影工程）、検出部２４０Ｄは指定されたフレームレートで被写体及びその移動方向を検出する（ステップＳ４３０：検出工程）。そして情報提示部２４０Ｆは、第１のモードの場合と同様に、検出結果に応じて撮影方向の変更を促す情報を提示する（ステップＳ４４０：情報提示工程、図８等を参照）。これによりユーザは撮影方向の変更操作を容易に行うことができ、長時間露光の効果を奏する画像を容易に撮影することができる。
図５のステップＳ４００で第２のモード（１）が設定された場合の処理を図１３に示す。第２のモード（１）が設定されると、報知部２４０Ｈは第１のモードの場合と同様に、第２のモード（１）を設定したことをユーザに報知する（ステップＳ４１０：報知工程）。露光制御部２４０Ａ（撮像部）は撮像素子２１０（撮像部）を制御して露光を開始し（ステップＳ４２０：撮影工程）、検出部２４０Ｄは指定されたフレームレートで被写体及びその移動方向を検出する（ステップＳ４３０：検出工程）。そして情報提示部２４０Ｆは、第１のモードの場合と同様に、検出結果に応じて撮影方向の変更を促す情報を提示する（ステップＳ４４０：情報提示工程、図８等を参照）。これによりユーザは撮影方向の変更操作を容易に行うことができ、長時間露光の効果を奏する画像を容易に撮影することができる。
【0060】
指定された露光時間が経過して露光が終了すると（ステップＳ４５０でＹＥＳ）、露光制御部２４０Ａは撮影画像を記憶部２６０に記憶させ（ステップＳ４６０）、またモニタ２７０に表示させる（ステップＳ４７０）。第２のモード（１）は長時間露光を行う（撮像素子２１０から連続的に画像を取得する）ので、露光時間（当初露光時間）に応じた効果を得ることができる。なお、図１０について上述したのと同様の処理（画像の切り出し、処理、合成）を撮影画像に対し施して長時間露光の効果をさらに高めてもよい。
【0061】
＜第２のモード（２）での処理＞
図５のステップＳ５００で第２のモード（２）が設定された場合の処理を図１４に示す。第２のモード（２）が設定されると、報知部２４０Ｈは第２のモード（１）の場合と同様に第２のモード（２）を設定したことをユーザに報知し（ステップＳ５１０：報知工程）、露光制御部２４０Ａ（撮像部）は撮像素子２１０（撮像部）を制御して露光を開始する（ステップＳ５２０：撮影工程）。第２のモード（２）は連続的な露光を行う（撮像素子２１０から連続的に画像を取得する）点で第２のモード（１）と共通しているが、上述のように焦点距離が長い（焦点距離＞第２のしきい値）場合についてのモードである。このため、検出部２４０Ｄにより検出（ステップＳ５３０：検出工程）した被写体の移動に追従させて撮影方向変更部２４０Ｇがレンズ駆動部１４０を介して可変頂角プリズム１５０を駆動し、自動的に撮影方向を変更しながら（ステップＳ５４０：撮影方向変更工程）撮影を行う。長時間露光での撮影は、指定された露光時間（当初露光時間）が経過しステップＳ５５０の判断が肯定されるまで繰り返される。第２のモード（２）では、このような撮影により可変頂角プリズム１５０の駆動による被写体の移動量が大きく効果的な撮影（長時間露光の効果が大きな撮影）を行うことができる。指定された露光時間が経過して露光が終了すると（ステップＳ５５０でＹＥＳ）、露光制御部２４０Ａは撮影画像を記憶部２６０に記憶させ（ステップＳ５６０）、またモニタ２７０に表示させる（ステップＳ５７０）。図１０について上述したのと同様の処理（画像の切り出し、処理、合成）を撮影画像に対し施して長時間露光の効果をさらに高めてもよい。
図５のステップＳ５００で第２のモード（２）が設定された場合の処理を図１４に示す。第２のモード（２）が設定されると、報知部２４０Ｈは第２のモード（１）の場合と同様に第２のモード（２）を設定したことをユーザに報知し（ステップＳ５１０：報知工程）、露光制御部２４０Ａ（撮像部）は撮像素子２１０（撮像部）を制御して露光を開始する（ステップＳ５２０：撮影工程）。第２のモード（２）は連続的な露光を行う（撮像素子２１０から連続的に画像を取得する）点で第２のモード（１）と共通しているが、上述のように焦点距離が長い（焦点距離＞第２のしきい値）場合についてのモードである。このため、検出部２４０Ｄにより検出（ステップＳ５３０：検出工程）した被写体の移動に追従させて撮影方向変更部２４０Ｇがレンズ駆動部１４０を介して可変頂角プリズム１５０を駆動し、自動的に撮影方向を変更しながら（ステップＳ５４０：撮影方向変更工程）撮影を行う。長時間露光での撮影は、指定された露光時間（当初露光時間）が経過しステップＳ５５０の判断が肯定されるまで繰り返される。第２のモード（２）では、このような撮影により可変頂角プリズム１５０の駆動による被写体の移動量が大きく効果的な撮影（長時間露光の効果が大きな撮影）を行うことができる。指定された露光時間が経過して露光が終了すると（ステップＳ５５０でＹＥＳ）、露光制御部２４０Ａは撮影画像を記憶部２６０に記憶させ（ステップＳ５６０）、またモニタ２７０に表示させる（ステップＳ５７０）。図１０について上述したのと同様の処理（画像の切り出し、処理、合成）を撮影画像に対し施して長時間露光の効果をさらに高めてもよい。
【0062】
＜多重露光及び長時間露光の効果＞
図１５は多重露光及び長時間露光の効果の例を示す図である。画像２０００は多重露光による画像の例を示しており、被写体の軌跡（図中の黒部分）が不連続的（段階的）に薄くなっている。これに対し画像２００１は長時間露光（連続的な露光）による画像の例を示しており、被写体の軌跡（図中の灰色部分）が連続的に薄くなっている。画像２０００に示すような多重露光の場合の不連続的な変化は多重露光の数（フレーム数）を増やせば連続的になるが、ステップＳ２２０，Ｓ３２０について上述したように、得ようとする効果に加えシステムに対する負荷を考慮して多重露光の数、多重露光時間、及び画素数を設定することが好ましい。なお、画像２００１の露光時間は画像２０００の露光時間（多重露光時間）の合計よりも長いので画像２００１の方が明るくなっているが、個々の画像または合成後の画像の明るさを画像処理により調整することで、画像２０００の明るさを画像２００１と同じにすることができる。
図１５は多重露光及び長時間露光の効果の例を示す図である。画像２０００は多重露光による画像の例を示しており、被写体の軌跡（図中の黒部分）が不連続的（段階的）に薄くなっている。これに対し画像２００１は長時間露光（連続的な露光）による画像の例を示しており、被写体の軌跡（図中の灰色部分）が連続的に薄くなっている。画像２０００に示すような多重露光の場合の不連続的な変化は多重露光の数（フレーム数）を増やせば連続的になるが、ステップＳ２２０，Ｓ３２０について上述したように、得ようとする効果に加えシステムに対する負荷を考慮して多重露光の数、多重露光時間、及び画素数を設定することが好ましい。なお、画像２００１の露光時間は画像２０００の露光時間（多重露光時間）の合計よりも長いので画像２００１の方が明るくなっているが、個々の画像または合成後の画像の明るさを画像処理により調整することで、画像２０００の明るさを画像２００１と同じにすることができる。
【0063】
＜その他＞
以上で本発明の実施形態に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。例えば、第１の実施形態におけるカメラシステム１０は、デジタルカメラ、スマートフォン、タブレット端末等により実現することができる。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。例えば、第１の実施形態におけるカメラシステム１０は、デジタルカメラ、スマートフォン、タブレット端末等により実現することができる。
【符号の説明】
【0064】
１０ カメラシステム
１００ 交換レンズ
１１０ ズームレンズ
１２０ フォーカスレンズ
１３０ 絞り
１４０ レンズ駆動部
１５０ 可変頂角プリズム
１５２ 伸縮部
１６０ ミラー
２００ 撮像装置本体
２１０ 撮像素子
２２０ ＡＦＥ
２３０ Ａ／Ｄ変換器
２４０ 画像処理装置
２４０Ａ 露光制御部
２４０Ｂ 判断部
２４０Ｃ モード設定部
２４０Ｄ 検出部
２４０Ｅ 画像生成部
２４０Ｆ 情報提示部
２４０Ｇ 撮影方向変更部
２４０Ｈ 報知部
２４２ ＲＯＭ
２５０ 操作部
２６０ 記憶部
２７０ モニタ
２８０ ファインダ
９０１ 被写体
９０２ 被写体
９０３ 被写体
１０００ 表示領域
１０１０ 矢印
１０２０ 矢印
１０３１ 撮影画像
１０３２ 撮影画像
１０３３ 撮影画像
１１００ 仮合成画像
１１０１ 画像
１１０２ 画像
１１０３ 画像
１１０４ 画像
１１０５ 画像
１２００ 最終合成画像
１３００ 最終合成画像
１３０１ 最終合成画像
２０００ 画像
２００１ 画像
Ｌ１ 光軸
Ｌ２ 光軸
Ｌ３ 光軸
Ｎ 撮影枚数
Ｓ１００～Ｓ６００ 撮像方法の各ステップ
１００ 交換レンズ
１１０ ズームレンズ
１２０ フォーカスレンズ
１３０ 絞り
１４０ レンズ駆動部
１５０ 可変頂角プリズム
１５２ 伸縮部
１６０ ミラー
２００ 撮像装置本体
２１０ 撮像素子
２２０ ＡＦＥ
２３０ Ａ／Ｄ変換器
２４０ 画像処理装置
２４０Ａ 露光制御部
２４０Ｂ 判断部
２４０Ｃ モード設定部
２４０Ｄ 検出部
２４０Ｅ 画像生成部
２４０Ｆ 情報提示部
２４０Ｇ 撮影方向変更部
２４０Ｈ 報知部
２４２ ＲＯＭ
２５０ 操作部
２６０ 記憶部
２７０ モニタ
２８０ ファインダ
９０１ 被写体
９０２ 被写体
９０３ 被写体
１０００ 表示領域
１０１０ 矢印
１０２０ 矢印
１０３１ 撮影画像
１０３２ 撮影画像
１０３３ 撮影画像
１１００ 仮合成画像
１１０１ 画像
１１０２ 画像
１１０３ 画像
１１０４ 画像
１１０５ 画像
１２００ 最終合成画像
１３００ 最終合成画像
１３０１ 最終合成画像
２０００ 画像
２００１ 画像
Ｌ１ 光軸
Ｌ２ 光軸
Ｌ３ 光軸
Ｎ 撮影枚数
Ｓ１００～Ｓ６００ 撮像方法の各ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
