特開2024-154438撮像装置、撮像装置のＷＤＲ画像情報生成方法、ＷＤＲ画像情報生成プログラム、及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154438
(43)【公開日】2024-10-31
(54)【発明の名称】撮像装置、撮像装置のＷＤＲ画像情報生成方法、ＷＤＲ画像情報生成プログラム、及び記録媒体
(51)【国際特許分類】
H04N 23/741 20230101AFI20241024BHJP
H04N 23/695 20230101ALI20241024BHJP
H04N 23/60 20230101ALI20241024BHJP
H04N 23/73 20230101ALI20241024BHJP
【ＦＩ】
H04N23/741
H04N23/695
H04N23/60 500
H04N23/73
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023068170
(22)【出願日】2023-04-19
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】加藤 広隆
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122EA21
5C122EA68
5C122FE03
5C122FH18
5C122GD04
5C122HA78
5C122HB01
(57)【要約】
【課題】ＷＤＲ画像の生成に際して演算処理速度が長い。
【解決手段】
本開示に係る撮像装置１００は、被写体を撮像し、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットと、撮像ユニットをパン回転軸を起点にパン旋回方向に旋回させるパン方向旋回機構部６０とを備え、ＷＤＲ画像生成部８１が、撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得、当該得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間におけるパン方向旋回機構部７０における旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対する移動量を算出し、先の画像情報又は後の画像情報の一方の画像情報を移動量に応じて補正し、補正した一方の画像情報と先の画像情報又は後の画像情報の他方の画像情報からＷＤＲ画像を生成する。
【選択図】図１
【解決手段】
本開示に係る撮像装置１００は、被写体を撮像し、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットと、撮像ユニットをパン回転軸を起点にパン旋回方向に旋回させるパン方向旋回機構部６０とを備え、ＷＤＲ画像生成部８１が、撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得、当該得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間におけるパン方向旋回機構部７０における旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対する移動量を算出し、先の画像情報又は後の画像情報の一方の画像情報を移動量に応じて補正し、補正した一方の画像情報と先の画像情報又は後の画像情報の他方の画像情報からＷＤＲ画像を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体を撮像し、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットと、
前記撮像ユニットをパン回転軸を起点にパン旋回方向に旋回させるパン方向旋回機構部と、
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得、当該得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間における前記パン方向旋回機構部における旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対する移動量を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を前記移動量に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成するＷＤＲ画像生成部と、
を備える撮像装置。
前記撮像ユニットをパン回転軸を起点にパン旋回方向に旋回させるパン方向旋回機構部と、
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得、当該得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間における前記パン方向旋回機構部における旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対する移動量を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を前記移動量に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成するＷＤＲ画像生成部と、
を備える撮像装置。
【請求項2】
前記当該得た隣接するフレームの撮影時間は当該得た隣接するフレームの撮影開始時点の時刻から撮影終了時点の時刻までの時間であり、
前記パン方向旋回機構部における旋回速度は当該得た隣接するフレームの撮影開始時点の時刻での前記パン方向旋回機構部における旋回速度と撮影終了時点の時刻での前記パン方向旋回機構部における旋回速度との平均旋回速度であり、
前記移動量は前記撮影時間と前記平均旋回速度を乗算した値である、
請求項１に記載の撮像装置。
前記パン方向旋回機構部における旋回速度は当該得た隣接するフレームの撮影開始時点の時刻での前記パン方向旋回機構部における旋回速度と撮影終了時点の時刻での前記パン方向旋回機構部における旋回速度との平均旋回速度であり、
前記移動量は前記撮影時間と前記平均旋回速度を乗算した値である、
請求項１に記載の撮像装置。
【請求項3】
前記ＷＤＲ画像生成部は、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する長時間露光画像情報記憶部と、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する短時間露光画像情報記憶部と、
前記移動量を演算する移動量演算部と、
前記移動量演算部により演算された前記移動量を用いて、前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の一方の画像情報を補正する画像情報補正部と、
前記画像情報補正部により補正された一方の画像情報と前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の他方の画像情報を合成してＷＤＲ画像情報を生成する画像合成部と、
を備える請求項１に記載の撮像装置。
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する長時間露光画像情報記憶部と、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する短時間露光画像情報記憶部と、
前記移動量を演算する移動量演算部と、
前記移動量演算部により演算された前記移動量を用いて、前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の一方の画像情報を補正する画像情報補正部と、
前記画像情報補正部により補正された一方の画像情報と前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の他方の画像情報を合成してＷＤＲ画像情報を生成する画像合成部と、
を備える請求項１に記載の撮像装置。
【請求項4】
前記撮像ユニットをチルト回転軸を起点にチルト旋回方向に旋回させるチルト方向旋回機構部を備え、
前記ＷＤＲ画像生成部は、さらに、
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間における前記チルト方向旋回機構部におけるチルト旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対するチルト方向の移動量を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を前記チルト方向の移動量に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成する、
請求項１から請求項３のいずれか１項に記載の撮像装置。
前記ＷＤＲ画像生成部は、さらに、
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間における前記チルト方向旋回機構部におけるチルト旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対するチルト方向の移動量を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を前記チルト方向の移動量に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成する、
請求項１から請求項３のいずれか１項に記載の撮像装置。
【請求項5】
前記当該得た隣接するフレームの撮影時間は当該得た隣接するフレームの撮影開始時点の時刻から撮影終了時点の時刻までの時間であり、
前記チルト方向旋回機構部における旋回速度は当該得た隣接するフレームの撮影開始時点の時刻での前記チルト方向旋回機構部における旋回速度と撮影終了時点の時刻での前記チルト方向旋回機構部における旋回速度との平均旋回速度であり、
前記チルト方向の移動量は前記撮影時間と前記平均旋回速度を乗算した値である、
請求項４に記載の撮像装置。
前記チルト方向旋回機構部における旋回速度は当該得た隣接するフレームの撮影開始時点の時刻での前記チルト方向旋回機構部における旋回速度と撮影終了時点の時刻での前記チルト方向旋回機構部における旋回速度との平均旋回速度であり、
前記チルト方向の移動量は前記撮影時間と前記平均旋回速度を乗算した値である、
請求項４に記載の撮像装置。
【請求項6】
被写体を撮像し、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットと、
前記撮像ユニットをチルト回転軸を起点にチルト旋回方向に旋回させるチルト方向旋回機構部と、
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得、当該得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間における前記チルト方向旋回機構部における旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対する移動量を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を前記移動量に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成するＷＤＲ画像生成部と、
を備える撮像装置。
前記撮像ユニットをチルト回転軸を起点にチルト旋回方向に旋回させるチルト方向旋回機構部と、
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得、当該得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間における前記チルト方向旋回機構部における旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対する移動量を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を前記移動量に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成するＷＤＲ画像生成部と、
を備える撮像装置。
【請求項7】
前記ＷＤＲ画像生成部は、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する長時間露光画像情報記憶部と、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する短時間露光画像情報記憶部と、
前記移動量を演算する移動量演算部と、
前記移動量演算部により演算された前記移動量を用いて、前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の一方の画像情報を補正する画像情報補正部と、
前記画像情報補正部により補正された一方の画像情報と前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の他方の画像情報を合成してＷＤＲ画像情報を生成する画像合成部と、
を備える請求項６に記載の撮像装置。
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する長時間露光画像情報記憶部と、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する短時間露光画像情報記憶部と、
前記移動量を演算する移動量演算部と、
前記移動量演算部により演算された前記移動量を用いて、前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の一方の画像情報を補正する画像情報補正部と、
前記画像情報補正部により補正された一方の画像情報と前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の他方の画像情報を合成してＷＤＲ画像情報を生成する画像合成部と、
を備える請求項６に記載の撮像装置。
【請求項8】
前記ＷＤＲ画像生成部は、さらに、
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得た隣接するフレームの撮影開始時点の時刻におけるズームレンズ倍率と撮影開始時点の時刻におけるズームレンズ倍率からズームレンズ倍率の相対比である相対値を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を相対値に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成する、
請求項１から請求項３、又は請求項６のいずれか１項に記載の撮像装置。
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得た隣接するフレームの撮影開始時点の時刻におけるズームレンズ倍率と撮影開始時点の時刻におけるズームレンズ倍率からズームレンズ倍率の相対比である相対値を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を相対値に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成する、
請求項１から請求項３、又は請求項６のいずれか１項に記載の撮像装置。
【請求項9】
被写体を撮像し、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットと、
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得た隣接するフレームの撮影開始時点の時刻におけるズームレンズ倍率と撮影開始時点の時刻におけるズームレンズ倍率からズームレンズ倍率の相対比である相対値を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を相対値に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成するＷＤＲ画像生成部と、
を備える撮像装置。
前記撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得た隣接するフレームの撮影開始時点の時刻におけるズームレンズ倍率と撮影開始時点の時刻におけるズームレンズ倍率からズームレンズ倍率の相対比である相対値を算出し、前記先の画像情報又は前記後の画像情報の一方の画像情報を相対値に応じて補正し、補正した前記一方の画像情報と前記先の画像情報又は前記後の画像情報の他方の画像情報からＷＤＲ画像を生成するＷＤＲ画像生成部と、
を備える撮像装置。
【請求項10】
前記ＷＤＲ画像生成部は、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する長時間露光画像情報記憶部と、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する短時間露光画像情報記憶部と、
前記相対値を演算する相対値演算部と、
前記相対値演算部により演算された前記相対値を用いて、前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の一方の画像情報を補正する画像情報補正部と、
前記画像情報補正部により補正された一方の画像情報と前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の他方の画像情報を合成してＷＤＲ画像情報を生成する画像合成部と、
を備える請求項９に記載の撮像装置。
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する長時間露光画像情報記憶部と、
前記撮像ユニットからのフレーム単位での長時間露光画像情報を記憶する短時間露光画像情報記憶部と、
前記相対値を演算する相対値演算部と、
前記相対値演算部により演算された前記相対値を用いて、前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の一方の画像情報を補正する画像情報補正部と、
前記画像情報補正部により補正された一方の画像情報と前記長時間露光画像情報記憶部に記憶された長時間露光画像情報又は前記短時間露光画像情報記憶部に記憶された短時間露光画像情報の他方の画像情報を合成してＷＤＲ画像情報を生成する画像合成部と、
を備える請求項９に記載の撮像装置。
【請求項11】
撮像ユニットにより被写体が順次撮影された、長時間露光撮影によるフレーム単位の長時間露光画像情報及び短時間露光撮影によるフレーム単位の短時間露光画像情報の２フレーム分の画像情報を１つの単位画像情報とし、
移動量演算部が、前記単位画像情報に対する前記撮像ユニットによる撮影時間、前記単位画像情報に対する平均旋回速度、及び前記撮影時間と前記平均旋回速度を乗算した移動量を算出する移動量算出ステップと、
画像情報補正部が、前記単位画像情報における一方の画像情報に対して移動量に応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成ステップと、
画像合成部が、前記単位画像情報における他方の画像情報と前記一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成ステップと、
を備える撮像装置のＷＤＲ画像情報生成方法。
移動量演算部が、前記単位画像情報に対する前記撮像ユニットによる撮影時間、前記単位画像情報に対する平均旋回速度、及び前記撮影時間と前記平均旋回速度を乗算した移動量を算出する移動量算出ステップと、
画像情報補正部が、前記単位画像情報における一方の画像情報に対して移動量に応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成ステップと、
画像合成部が、前記単位画像情報における他方の画像情報と前記一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成ステップと、
を備える撮像装置のＷＤＲ画像情報生成方法。
【請求項12】
撮像ユニットにより被写体が順次撮影された、長時間露光撮影によるフレーム単位の長時間露光画像情報及び短時間露光撮影によるフレーム単位の短時間露光画像情報の２フレーム分の画像情報を１つの単位画像情報とし、
前記単位画像情報に対する前記撮像ユニットによる撮影時間、前記単位画像情報に対する平均旋回速度、及び前記撮影時間と前記平均旋回速度を乗算した移動量を算出する移動量算出手順と、
前記単位画像情報における一方の画像情報に対して移動量に応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成手順と、
前記単位画像情報における他方の画像情報と前記一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成手順と、
をコンピュータに実行させるＷＤＲ画像情報生成プログラム。
前記単位画像情報に対する前記撮像ユニットによる撮影時間、前記単位画像情報に対する平均旋回速度、及び前記撮影時間と前記平均旋回速度を乗算した移動量を算出する移動量算出手順と、
前記単位画像情報における一方の画像情報に対して移動量に応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成手順と、
前記単位画像情報における他方の画像情報と前記一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成手順と、
をコンピュータに実行させるＷＤＲ画像情報生成プログラム。
【請求項13】
撮像ユニットにより被写体が順次撮影された、長時間露光撮影によるフレーム単位の長時間露光画像情報及び短時間露光撮影によるフレーム単位の短時間露光画像情報の２フレーム分の画像情報を１つの単位画像情報とし、
前記単位画像情報に対する前記撮像ユニットによる撮影時間、前記単位画像情報に対する平均旋回速度、及び前記撮影時間と前記平均旋回速度を乗算した移動量を算出する移動量算出手順と、
前記単位画像情報における一方の画像情報に対して移動量に応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成手順と、
前記単位画像情報における他方の画像情報と前記一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成手順と、
をコンピュータに実行させるプログラムを記憶してある記録媒体。
前記単位画像情報に対する前記撮像ユニットによる撮影時間、前記単位画像情報に対する平均旋回速度、及び前記撮影時間と前記平均旋回速度を乗算した移動量を算出する移動量算出手順と、
前記単位画像情報における一方の画像情報に対して移動量に応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成手順と、
前記単位画像情報における他方の画像情報と前記一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成手順と、
をコンピュータに実行させるプログラムを記憶してある記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は撮像装置に関する。
【背景技術】
【0002】
パン・チルト・ズーム・ローテーション・フォーカス機能などを有する監視カメラ、又はネットワークカメラの撮像装置が特許文献１に示されている。
特許文献１に示された撮像装置は、短時間露光画像のフレームデータと長時間露光画像のフレームデータを合成してＷＤＲ（Wide Dynamic Range、ワイドダイナミックレンジ）画像を生成する処理を実行する時分割画像取得モードから、短時間露光領域と長時間露光領域を有するフレームデータが混在する単一フレーム内の短時間露光領域を用いて補間処理により生成した短時間露光フレームデータと単一フレーム内の長時間露光領域を用いて補間処理により生成した長時間露光フレームデータを合成してＷＤＲ画像を生成する処理を実行する空間分割画像取得モードへの切り替えは動き量を用い、空間分割画像取得モードから時分割画像取得モードへの切り替えはブレ量を用いる撮像装置である。
すなわち、特許文献１に示された撮像装置は、撮像装置の変化量が小さい時には被写体動き情報の検出に動き量（動きベクトル）を用い、変化量が大きい時には被写体動き情報の検出にブレ量（動きボケ）を用いる。
特許文献１に示された撮像装置は、短時間露光画像のフレームデータと長時間露光画像のフレームデータを合成してＷＤＲ（Wide Dynamic Range、ワイドダイナミックレンジ）画像を生成する処理を実行する時分割画像取得モードから、短時間露光領域と長時間露光領域を有するフレームデータが混在する単一フレーム内の短時間露光領域を用いて補間処理により生成した短時間露光フレームデータと単一フレーム内の長時間露光領域を用いて補間処理により生成した長時間露光フレームデータを合成してＷＤＲ画像を生成する処理を実行する空間分割画像取得モードへの切り替えは動き量を用い、空間分割画像取得モードから時分割画像取得モードへの切り替えはブレ量を用いる撮像装置である。
すなわち、特許文献１に示された撮像装置は、撮像装置の変化量が小さい時には被写体動き情報の検出に動き量（動きベクトル）を用い、変化量が大きい時には被写体動き情報の検出にブレ量（動きボケ）を用いる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－２２４９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に示された撮像装置は、時分割画像取得モードと空間分割画像取得モードとの切り替えを、動き量（動きベクトル）及びブレ量（動きボケ）を用いているため、動き量及びブレ量の算出のために比較的演算量の多い画像処理を行う必要があり、画像取得モードの切り替え制御を行うメイン制御部などが大容量化になるとともに、画像処理の処理速度に課題があった。
【0005】
本開示は、上記した点に鑑みてなされたものであり、演算処理速度が短く、精度の高い短時間露光画像のフレームデータと長時間露光画像のフレームデータを合成したＷＤＲ（Wide Dynamic Range、ワイドダイナミックレンジ）画像が得られる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る撮像装置は、被写体を撮像し、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットと、撮像ユニットをパン回転軸を起点にパン旋回方向に旋回させるパン方向旋回機構部と、撮像ユニットからの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得、当該得た隣接するフレームの撮影時間と当該得た隣接するフレームの撮影時間におけるパン方向旋回機構部における旋回速度により、当該得た隣接するフレームの先の画像情報の、後の画像情報に対する移動量を算出し、先の画像情報又は後の画像情報の一方の画像情報を移動量に応じて補正し、補正した一方の画像情報と先の画像情報又は後の画像情報の他方の画像情報からＷＤＲ画像を生成するＷＤＲ画像生成部と、を備える
【発明の効果】
【0007】
本開示によれば、パン方向の旋回部における旋回運動による画像ずれによる画質の劣化を低減し、短い演算処理時間により、高精度かつ容易に補正したＷＤＲ画像が得られる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る撮像装置を組み込んだカメラ制御システムを示すブロック図である。
【図2】実施の形態１に係る撮像装置の内部構造を示した概略断面図である。
【図3】実施の形態１に係る撮像装置を備える撮像システムを示す構成図である。
【図4】実施の形態１に係る撮像装置における旋回機構部の速度制御の一例を示すグラフである。
【図5】実施の形態１に係る撮像装置におけるＷＤＲ画像生成部のハード構成を示す構成図である。
【図6】実施の形態１に係る撮像装置におけるＷＤＲ画像生成部を示すブロック図である。
【図7】実施の形態１に係る撮像装置におけるＷＤＲ画像生成部の動作を示すフローチャートである。
【図8】実施の形態２に係る撮像装置を組み込んだカメラ制御システムを示すブロック図である。
【図9】実施の形態２に係る撮像装置の内部構造を示した概略断面図である。
【図10】実施の形態２に係る撮像装置を備える撮像システムを示す構成図である。
【図11】実施の形態２に係る撮像装置におけるＷＤＲ画像生成部の動作を示すフローチャートである。
【図12】実施の形態３に係る撮像装置におけるＷＤＲ画像生成部を示すブロック図である。
【図13】実施の形態３に係る撮像装置におけるＷＤＲ画像生成部の動作を示すフローチャートである。
【発明を実施するための形態】
【0009】
実施の形態１．
実施の形態１に係る撮像装置１００を図１から図７に基づいて説明する。
実施の形態１に係る撮像装置１００は、遠隔操作によりパン（左右）方向を旋回させる旋回部を備える、例えば、監視カメラ等のパン方向に旋回する旋回部とズーム機能を搭載したＰＺカメラである。
実施の形態１に係る撮像装置１００は、図３に示すように、映像表示装置（以下、表示装置と略称する）２００とにより撮像システム、つまり、監視装置を構成する。
実施の形態１に係る撮像装置１００を図１から図７に基づいて説明する。
実施の形態１に係る撮像装置１００は、遠隔操作によりパン（左右）方向を旋回させる旋回部を備える、例えば、監視カメラ等のパン方向に旋回する旋回部とズーム機能を搭載したＰＺカメラである。
実施の形態１に係る撮像装置１００は、図３に示すように、映像表示装置（以下、表示装置と略称する）２００とにより撮像システム、つまり、監視装置を構成する。
【0010】
実施の形態１に係る撮像装置１００は、所定画角の動画像を撮像し、撮像した動画像を基にＷＤＲ（Wide Dynamic Range、ワイドダイナミックレンジ）画像（以下、ＷＤＲ画像という）生成し、ＷＤＲ画像による動画像データを表示装置２００に送信する。
表示装置２００は一般に知られている液晶ディスプレイなどが用いられる。また、表示装置２００としてノートＰＣ又はタブレット型端末における表示装置であってもよい。
表示装置２００は一般に知られている液晶ディスプレイなどが用いられる。また、表示装置２００としてノートＰＣ又はタブレット型端末における表示装置であってもよい。
【0011】
実施の形態１に係る撮像装置１００は、図１に示すように、光学系１０と撮像素子２０と撮像ユニット制御部３０とアナログ信号処理部４０とＡＤ（アナログ－デジタル）変換部５０とパン方向旋回機構部（以下、旋回機構部と略称する）６０とパン方向旋回機構駆動制御部（以下、旋回機構制御部と略称する）７０と制御部（中央演算処理装置）８０を備える。
【0012】
光学系１０は、図２に示すように、カメラ本体に内蔵され、レンズ機構とレンズ駆動機構を備える。
光学系１０におけるレンズ機構は駆動可能な凹レンズ及び凸レンズ等で構成されるズームレンズを含む。
光学系１０におけるレンズ駆動機構は撮像ユニット制御部３０からの命令に従ってレンズ機構を駆動し、レンズ機構における焦点及びズーム倍率を自動制御する。
光学系１０におけるレンズ機構は駆動可能な凹レンズ及び凸レンズ等で構成されるズームレンズを含む。
光学系１０におけるレンズ駆動機構は撮像ユニット制御部３０からの命令に従ってレンズ機構を駆動し、レンズ機構における焦点及びズーム倍率を自動制御する。
【0013】
撮像素子２０は光学系１０におけるレンズ機構が外部から集光した光を結像して画像情報として出力する。
撮像素子２０は、図２に示すように、カメラ本体に内蔵され、光学系１０からの光を結像する位置において光学系１０に装着される。
撮像素子２０は、図２に示すように、カメラ本体に内蔵され、光学系１０からの光を結像する位置において光学系１０に装着される。
【0014】
撮像素子２０はシャッタ機構を備え、主にＣＣＤ（Charge Coupled Device：電荷結合素子）又はＣＭＯＳ（Complementary Metal-Oxide-Semiconductor：相補型ＭＯＳ）等のイメージセンサである。
撮像素子２０におけるシャッタ機構は、撮像ユニット制御部３０からの命令に従って、長時間露光撮影による長時間露光画像と短時間露光撮影による短時間露光画像を取得するためのシャッタ時間を制御する。
撮像素子２０から出力される画像情報はアナログ映像信号である。
光学系１０と撮像素子２０は、被写体を撮像し、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットを構成する。
撮像素子２０におけるシャッタ機構は、撮像ユニット制御部３０からの命令に従って、長時間露光撮影による長時間露光画像と短時間露光撮影による短時間露光画像を取得するためのシャッタ時間を制御する。
撮像素子２０から出力される画像情報はアナログ映像信号である。
光学系１０と撮像素子２０は、被写体を撮像し、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットを構成する。
【0015】
撮像ユニット制御部３０はレンズ機構駆動制御部とシャッタ機構制御部とを有する。
撮像ユニット制御部３０から光学系１０におけるレンズ駆動機構への命令は、具体的には撮像ユニット制御部３０におけるレンズ機構駆動制御部からのズーム値、フォーカス値、及びアイリス値等のパラメータを示す情報である。
撮像ユニット制御部３０におけるレンズ機構駆動制御部は光学系１０におけるレンズ機構を駆動するための駆動制御信号又は駆動電流（電力）をレンズ駆動機構に与える。
従って、光学系１０は撮像ユニット制御部３０におけるレンズ機構駆動制御部によりズーム値、フォーカス値、及びアイリス値等のパラメータについて電子制御が行われる。
撮像ユニット制御部３０から光学系１０におけるレンズ駆動機構への命令は、具体的には撮像ユニット制御部３０におけるレンズ機構駆動制御部からのズーム値、フォーカス値、及びアイリス値等のパラメータを示す情報である。
撮像ユニット制御部３０におけるレンズ機構駆動制御部は光学系１０におけるレンズ機構を駆動するための駆動制御信号又は駆動電流（電力）をレンズ駆動機構に与える。
従って、光学系１０は撮像ユニット制御部３０におけるレンズ機構駆動制御部によりズーム値、フォーカス値、及びアイリス値等のパラメータについて電子制御が行われる。
【0016】
撮像ユニット制御部３０からシャッタ機構への命令は、具体的には撮像ユニット制御部３０におけるシャッタ機構制御部からの長時間露光撮影に対する１フレーム当たりのシャッタ時間（撮影時間）を示す情報と短時間露光撮影に対する１フレーム当たりのシャッタ時間（撮影時間）を示す情報を交互に示すシャッタ時間情報である。
【0017】
撮像ユニット制御部３０におけるシャッタ機構制御部は撮像素子２０におけるシャッタ機構を駆動するための駆動制御信号又は駆動電流（電力）を撮像素子２０におけるシャッタ機構に与える。
従って、撮像素子２０は撮像ユニット制御部３０におけるシャッタ機構制御部により１フレーム毎に長時間露光撮影による長時間露光画像を示す画像情報と短時間露光撮影による短時間露光画像とを交互に出力する。
従って、撮像素子２０は撮像ユニット制御部３０におけるシャッタ機構制御部により１フレーム毎に長時間露光撮影による長時間露光画像を示す画像情報と短時間露光撮影による短時間露光画像とを交互に出力する。
【0018】
撮像ユニット制御部３０は、制御部８０からの制御命令に従い、光学系１０にズーム値、フォーカス値、及びアイリス値等のパラメータを示す情報を光学系１０に出力し、光学系１０に対して電子制御を行ない、制御部８０からの制御命令に従い、シャッタ時間情報を撮像素子２０に出力し、撮像素子２０に対して長時間露光と短時間露光の電子制御を行なう。
撮像ユニット制御部３０は、図２に示す制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
撮像ユニット制御部３０は、図２に示す制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
【0019】
アナログ信号処理部４０は撮像素子２０からの画像情報を受け、受けた画像情報に対して感度調整及びゲイン調整とホワイトバランス等のアナログ的な画像処理を行う。
ＡＤ変換部５０はアナログ信号処理部４０により画像処理された画像情報を、アナログ映像信号をサンプリングし、アナログ映像信号からデジタル映像データに変換して制御部８０に出力する。
アナログ信号処理部４０及びＡＤ変換部５０は、図２に示す制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
ＡＤ変換部５０はアナログ信号処理部４０により画像処理された画像情報を、アナログ映像信号をサンプリングし、アナログ映像信号からデジタル映像データに変換して制御部８０に出力する。
アナログ信号処理部４０及びＡＤ変換部５０は、図２に示す制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
【0020】
旋回機構部６０は、パン回転軸を起点にパン旋回方向に、光学系１０及び撮像素子２０により構成される撮像ユニットを旋回、本例においては撮像ユニットなどを内蔵したカメラ本体を旋回させる。
旋回機構部６０は、図３に示すように、光学系１０における撮影映像（被写体）に対する画角をもって、図示パン旋回方向にカメラ本体を旋回させる。
旋回機構部６０は、本例において、図２に示すように、ステッピングモータ６１と、ステッピングモータ６１の駆動力をカメラ本体に伝達するギア、ベルト又はプーリなどによる伝達機構６２を有する、機械的な回転機構である。
旋回機構部６０は、図３に示すように、光学系１０における撮影映像（被写体）に対する画角をもって、図示パン旋回方向にカメラ本体を旋回させる。
旋回機構部６０は、本例において、図２に示すように、ステッピングモータ６１と、ステッピングモータ６１の駆動力をカメラ本体に伝達するギア、ベルト又はプーリなどによる伝達機構６２を有する、機械的な回転機構である。
【0021】
旋回機構部６０にステッピングモータ６１を用いた場合、ステッピングモータ６１の旋回速度をモデル化すると、図４に示すように、低速動作モード、中速動作モード、及び高速動作モードそれぞれにおいて、ステッピングモータ６１の速度制御領域は加速による線形領域１と減速による線形領域２と定速動作による飽和領域になる。
【0022】
本例では、例えば、低速動作モードでの飽和領域に旋回速度（回転速度）は５°／ｓ、中速動作モードでの飽和領域に旋回速度は１５°／ｓ、高速動作モードでの飽和領域に旋回速度は３０°／ｓである。
なお、旋回機構部６０におけるステッピングモータ６１に替えて、カメラ本体に旋回方向の駆動力を与えるための一般に知られている他のモータを用いてもよい。
なお、旋回機構部６０におけるステッピングモータ６１に替えて、カメラ本体に旋回方向の駆動力を与えるための一般に知られている他のモータを用いてもよい。
【0023】
旋回機構部６０におけるステッピングモータ６１は旋回機構制御部７０からの命令に従い、カメラ本体をパン方向に旋回させる。
旋回機構制御部７０は制御部８０からの制御命令に従い、ステッピングモータ６１の旋回速度制御を行う。
旋回機構制御部７０は制御部８０からの制御命令に従い、ステッピングモータ６１の旋回速度制御を行う。
【0024】
旋回機構制御部７０からの命令は、ステッピングモータ６１を低速動作モード、中速動作モード、又は高速動作モードなどのモードにより駆動するための駆動制御信号又は駆動電流（電力）であり、ステッピングモータ６１に出力される。
旋回機構制御部７０は単一のモータドライバＩＣとその周辺回路で構成される。
旋回機構制御部７０は図２に示す制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
旋回機構制御部７０は単一のモータドライバＩＣとその周辺回路で構成される。
旋回機構制御部７０は図２に示す制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
【0025】
制御部８０は、撮像ユニット制御部３０及び旋回機構制御部７０それぞれに制御命令を与えるとともに、ＡＤ変換部５０からデジタル映像データを受け、ＷＤＲ画像を生成するＷＤＲ画像生成部８１を有する。
制御部８０は中央演算処理装置であり、主にデジタル画像処理機能を内蔵するコンピュータにより実現される。
制御部８０は中央演算処理装置であり、主にデジタル画像処理機能を内蔵するコンピュータにより実現される。
【0026】
制御部８０は、図２に示す制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
なお、表示装置２００としてノートＰＣ又はタブレット型端末における表示装置を用いた場合、制御部８０としてノートＰＣ又はタブレット型端末が内蔵するコンピュータにより構成されてもよい。
また、制御部８０は汎用のＣＰＵ（Central Processing Unit）、ＤＳＰ（digital signal processor）、又はＦＰＧＡ（Field Programmable Gate Array）等により構成される。
なお、表示装置２００としてノートＰＣ又はタブレット型端末における表示装置を用いた場合、制御部８０としてノートＰＣ又はタブレット型端末が内蔵するコンピュータにより構成されてもよい。
また、制御部８０は汎用のＣＰＵ（Central Processing Unit）、ＤＳＰ（digital signal processor）、又はＦＰＧＡ（Field Programmable Gate Array）等により構成される。
【0027】
ＷＤＲ画像生成部８１は、光学系１０及び撮像素子２０により構成される撮像ユニットからの時間的に隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報、本例では、ＡＤ変換部５０からの隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報を得、得た隣接するフレームの撮影時間と隣接するフレームの撮影時間Ｔにおける旋回機構部６０における旋回速度Ｖにより、得た隣接するフレームの先の画像情報の、後の画像情報に対する移動量Ｌを算出し、先の画像情報又は後の画像情報の一方の画像情報を移動量Ｌに応じて補正し、補正した一方の画像情報と他方の画像情報からＷＤＲ画像を生成する。
【0028】
隣接するフレームの撮影時間Ｔは隣接するフレームの撮影開始時点の時刻Ｔ１から撮影終了時点の時刻Ｔ２までの時間｜Ｔ２－Ｔ１｜である。
旋回機構部６０における旋回速度Ｖは隣接するフレームの撮影開始時点の時刻Ｔ１での旋回機構部６０における旋回速度Ｖ１と撮影終了時点の時刻Ｔ２での旋回機構部６０における旋回速度Ｖ２との平均旋回速度（Ｖ１＋Ｖ２）／２である。
移動量Ｌは撮影時間｜Ｔ２－Ｔ１｜と平均旋回速度（Ｖ１＋Ｖ２）／２を乗算した値［｜Ｔ２－Ｔ１｜×｛（Ｖ１＋Ｖ２）／２｝］である。
旋回機構部６０における旋回速度Ｖは隣接するフレームの撮影開始時点の時刻Ｔ１での旋回機構部６０における旋回速度Ｖ１と撮影終了時点の時刻Ｔ２での旋回機構部６０における旋回速度Ｖ２との平均旋回速度（Ｖ１＋Ｖ２）／２である。
移動量Ｌは撮影時間｜Ｔ２－Ｔ１｜と平均旋回速度（Ｖ１＋Ｖ２）／２を乗算した値［｜Ｔ２－Ｔ１｜×｛（Ｖ１＋Ｖ２）／２｝］である。
【0029】
ＷＤＲ画像生成部８１は、制御部８０を構成するコンピュータにより実現され、コンピュータの構成を図５にＣＰＵ（Central Processing Unit）８０Ａと、大容量の半導体メモリ（ＲＡＭ：Random Access Memory）８０Ｂと、ハードディスク装置又はＳＳＤ装置などの不揮発性記録装置などの記憶装置（ＲＯＭ：Read only memory）８０Ｃと、入力インタフェース部８０Ｄと、出力インタフェース部８０Ｅと、信号路（バス）８０Ｆを備える構成として示す。
【0030】
ＣＰＵ８０ＡはＲＡＭ８０ＢとＲＯＭ８０Ｃと入力インタフェース部８０Ｄと出力インタフェース部８０Ｅを制御、管理する。
ＲＯＭ８０Ｃに格納されたプログラムをＲＡＭ８０Ｂにロードし、ＣＰＵ８０ＡがＲＡＭ８０Ｂにロードされたプログラムに基づき各種処理を実行する。
ＲＯＭ８０Ｃに格納されたプログラムをＲＡＭ８０Ｂにロードし、ＣＰＵ８０ＡがＲＡＭ８０Ｂにロードされたプログラムに基づき各種処理を実行する。
【0031】
ＷＤＲ画像生成部８１は、図６に示すように、画像情報取得部８１１と長時間露光画像情報記憶部８１２と短時間露光画像情報記憶部８１３と画像情報補正部８１４と画像合成部８１５と時刻情報取得部８１６と時刻情報記憶部８１７と速度情報取得部８１８と速度情報記憶部８１９と移動量演算部８２０を備える。
【0032】
画像情報取得部８１１は撮像ユニットからのフレーム単位での長時間露光画像情報と短時間露光画像情報を、本例では、撮像素子２０からの画像情報を示すアナログ映像信号をアナログ信号処理部４０が画像処理をし、ＡＤ変換部５０がデジタル映像データに変換したフレーム単位での長時間露光画像情報と短時間露光画像情報を交互に順次取得する。画像情報取得部８１１はハードウェア構成において入力インタフェース部８０Ｄである。
【0033】
長時間露光画像情報記憶部８１２は画像情報取得部８１１が取得したフレーム単位での長時間露光画像情報を記憶する。
短時間露光画像情報記憶部８１３は画像情報取得部８１１が取得したフレーム単位での短時間露光画像情報を記憶する。
長時間露光画像情報記憶部８１２及び短時間露光画像情報記憶部８１３はハードウェア構成においてＲＡＭ８０Ｂである。
短時間露光画像情報記憶部８１３は画像情報取得部８１１が取得したフレーム単位での短時間露光画像情報を記憶する。
長時間露光画像情報記憶部８１２及び短時間露光画像情報記憶部８１３はハードウェア構成においてＲＡＭ８０Ｂである。
【0034】
画像情報補正部８１４は短時間露光画像情報記憶部８１３に記憶されたフレーム単位での短時間露光画像情報を移動量演算部８２０からの移動量Ｌを示す移動量情報に応じてフレーム単位での補正された短時間露光画像情報を生成する。
補正された短時間露光画像情報は移動量Ｌに応じて水平方向に平行移動された画像情報である。
すなわち、補正された短時間露光画像情報は、長時間露光画像情報記憶部８１２に記憶された隣接するフレームにおけるフレーム単位での長時間露光画像情報と位置合わせされた画像情報である。
画像情報補正部８１４はハードウェア構成においてプログラムが記憶されたＲＯＭ８０Ｃ（ＲＡＭ８０Ｂ）とプログラムを実行処理するＣＰＵ８０Ａである。
補正された短時間露光画像情報は移動量Ｌに応じて水平方向に平行移動された画像情報である。
すなわち、補正された短時間露光画像情報は、長時間露光画像情報記憶部８１２に記憶された隣接するフレームにおけるフレーム単位での長時間露光画像情報と位置合わせされた画像情報である。
画像情報補正部８１４はハードウェア構成においてプログラムが記憶されたＲＯＭ８０Ｃ（ＲＡＭ８０Ｂ）とプログラムを実行処理するＣＰＵ８０Ａである。
【0035】
画像合成部８１５は、旋回機構部６０によりカメラ本体が旋回動作されていない状態、つまり、光学系１０と撮像素子２０により構成される撮像ユニットが固定状態であると、長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報と短時間露光画像情報記憶部８１３に記憶されたフレーム単位での短時間露光画像情報を合成してＷＤＲ画像情報を生成する。
【0036】
画像合成部８１５は、旋回機構部６０によりカメラ本体が旋回動作されていると、つまり、光学系１０と撮像素子２０により構成される撮像ユニットが図３に示すように旋回動作されると、長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報と画像情報補正部８１４により補正されたフレーム単位での短時間露光画像情報を合成してＷＤＲ画像情報を生成する。
画像合成部８１５により生成されたＷＤＲ画像情報は、ハードウェア構成において出力インタフェース部８０８０Ｅを介し、図２に示した通信ケーブル１０３を介して表示装置２００に伝送される。
画像合成部８１５により生成されたＷＤＲ画像情報は、ハードウェア構成において出力インタフェース部８０８０Ｅを介し、図２に示した通信ケーブル１０３を介して表示装置２００に伝送される。
【0037】
画像合成部８１５におけるフレーム単位での長時間露光画像情報とフレーム単位での短時間露光画像情報を合成してＷＤＲ画像情報を生成する方法は一般的に知られている方法である。
画像合成部８１５はハードウェア構成においてプログラムが記憶されたＲＯＭ８０Ｃ（ＲＡＭ８０Ｂ）とプログラムを実行処理するＣＰＵ８０Ａである。
画像合成部８１５はハードウェア構成においてプログラムが記憶されたＲＯＭ８０Ｃ（ＲＡＭ８０Ｂ）とプログラムを実行処理するＣＰＵ８０Ａである。
【0038】
時刻情報取得部８１６は時計機構９１からフレーム単位での撮影開始時点及び撮影終了時点の時刻情報を取得する。時刻情報取得部８１６はハードウェア構成において入力インタフェース部８０Ｄである。
時計機構９１は一般に知られているタイマである。
時刻情報記憶部８１７は時刻情報取得部８１６が取得した時刻情報を記憶する。時刻情報記憶部８１７はハードウェア構成においてＲＡＭ８０Ｂである。
時計機構９１は一般に知られているタイマである。
時刻情報記憶部８１７は時刻情報取得部８１６が取得した時刻情報を記憶する。時刻情報記憶部８１７はハードウェア構成においてＲＡＭ８０Ｂである。
【0039】
速度情報取得部８１８は速度センサ９２からの旋回機構部６０における旋回速度情報を取得する。速度情報取得部８１８はハードウェア構成において入力インタフェース部８０Ｄである。
速度センサ９２は旋回機構部６０におけるステッピングモータ６１の回転速度を検出する、一般に知られている速度センサである。
速度情報記憶部８１９は速度情報取得部８１８が取得した旋回速度情報を記憶する。速度情報記憶部８１９はハードウェア構成においてＲＡＭ８０Ｂである。
速度センサ９２は旋回機構部６０におけるステッピングモータ６１の回転速度を検出する、一般に知られている速度センサである。
速度情報記憶部８１９は速度情報取得部８１８が取得した旋回速度情報を記憶する。速度情報記憶部８１９はハードウェア構成においてＲＡＭ８０Ｂである。
【0040】
移動量演算部８２０は時刻情報記憶部８１７及び速度情報記憶部８１９に記憶された隣接するフレーム単位での長時間露光画像情報と短時間露光画像情報、つまり、隣接する２フレーム分の画像情報における時刻情報及び旋回速度情報に対して次の演算処理を実行する。
第１に、２フレーム分の画像情報における撮影開始時点の時刻Ｔ１及び撮影終了時点の時刻Ｔ２を得、撮影開始時点の時刻Ｔ１から撮影終了時点の時刻Ｔ１までの時間｜Ｔ２－Ｔ１｜を得る。
第１に、２フレーム分の画像情報における撮影開始時点の時刻Ｔ１及び撮影終了時点の時刻Ｔ２を得、撮影開始時点の時刻Ｔ１から撮影終了時点の時刻Ｔ１までの時間｜Ｔ２－Ｔ１｜を得る。
【0041】
本例では、一例として、長時間露光撮影を先に短時間露光撮影を後にして２フレーム分を１つの単位として順次撮影し、長時間露光撮影の撮影開始時点の時刻情報を撮影開始時点の時刻Ｔ１とし、短時間露光撮影の撮影終了時点の時刻情報を撮影終了時点の時刻Ｔ２としている。
従って、時間｜Ｔ２－Ｔ１｜は２フレーム分を１つの単位とした撮影時間に相当する。
なお、撮影開始時点及び撮影終了時点は厳密な時点に対して設計裕度をもった時点である。
従って、時間｜Ｔ２－Ｔ１｜は２フレーム分を１つの単位とした撮影時間に相当する。
なお、撮影開始時点及び撮影終了時点は厳密な時点に対して設計裕度をもった時点である。
【0042】
また、短時間露光撮影を先に長時間露光撮影を後にして２フレーム分を１つの単位としてもよい。
要するに、本例では、撮像ユニットにより被写体が順次撮影された、長時間露光撮影によるフレーム単位の長時間露光画像情報及び短時間露光撮影によるフレーム単位の短時間露光画像情報の２フレーム分の画像情報を１つの単位画像情報として扱う。
要するに、本例では、撮像ユニットにより被写体が順次撮影された、長時間露光撮影によるフレーム単位の長時間露光画像情報及び短時間露光撮影によるフレーム単位の短時間露光画像情報の２フレーム分の画像情報を１つの単位画像情報として扱う。
【0043】
第２に、２フレーム分の画像情報である単位画像情報における撮影開始時点の時刻Ｔ１における旋回速度Ｖ１及び撮影終了時点の時刻Ｔ２における旋回速度Ｖ２を得、単位画像情報に対する撮影時間における旋回機構部６０における平均旋回速度（Ｖ１＋Ｖ２）／２を得る。
第３に、得られた時間｜Ｔ２－Ｔ１｜と平均旋回速度（Ｖ１＋Ｖ２）／２を乗算して移動量［｜Ｔ２－Ｔ１｜×｛（Ｖ１＋Ｖ２）／２｝］を得る。
移動量演算部８２０はハードウェア構成においてプログラムが記憶されたＲＯＭ８０Ｃ（ＲＡＭ８０Ｂ）とプログラムを実行処理するＣＰＵ８０Ａである。
第３に、得られた時間｜Ｔ２－Ｔ１｜と平均旋回速度（Ｖ１＋Ｖ２）／２を乗算して移動量［｜Ｔ２－Ｔ１｜×｛（Ｖ１＋Ｖ２）／２｝］を得る。
移動量演算部８２０はハードウェア構成においてプログラムが記憶されたＲＯＭ８０Ｃ（ＲＡＭ８０Ｂ）とプログラムを実行処理するＣＰＵ８０Ａである。
【0044】
次に、実施の形態１に係る撮像装置１００におけるＷＤＲ画像の生成までの動作を、図７を用いて説明する。
ステップＳＴ１において撮影を開始すると、光学系１０及び撮像素子２０により構成される撮像ユニットが長時間露光画像と短時間露光画像をフレーム単位で交互に出力し、アナログ信号処理部４０が画像処理をし、ＡＤ変換部５０がデジタル映像データに変換して制御部８０に出力する。
説明の便宜上、長時間露光撮影、短時間露光撮影の順に撮影した場合について説明するが、逆に短時間露光撮影、長時間露光撮影の順に撮影した場合でもよい。
ステップＳＴ２に進み、旋回機構部６０が旋回動作中か否かを判断する。
ステップＳＴ１において撮影を開始すると、光学系１０及び撮像素子２０により構成される撮像ユニットが長時間露光画像と短時間露光画像をフレーム単位で交互に出力し、アナログ信号処理部４０が画像処理をし、ＡＤ変換部５０がデジタル映像データに変換して制御部８０に出力する。
説明の便宜上、長時間露光撮影、短時間露光撮影の順に撮影した場合について説明するが、逆に短時間露光撮影、長時間露光撮影の順に撮影した場合でもよい。
ステップＳＴ２に進み、旋回機構部６０が旋回動作中か否かを判断する。
【0045】
ステップＳＴ２において、旋回機構部６０が旋回動作中でない、つまり、撮像ユニットが固定状態であると、ステップＳＴ２１に進み、通常のＷＤＲ画像生成を実施する。
すなわち、制御部８０におけるＷＤＲ画像生成部８１において、ＡＤ変換部５０から取得し、長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報と短時間露光画像情報記憶部８１３に記憶されたフレーム単位での短時間露光画像情報を合成してＷＤＲ画像情報を生成し、ステップＳＴ２２に進む。
ステップＳＴ２２において、生成されたＷＤＲ画像情報を表示装置２００に出力し、ステップＳＴ２３において、撮影が終了していなければステップＳＴ２に戻り、撮影が終了と判断されるとＷＤＲ画像の生成の動作は終了する。
すなわち、制御部８０におけるＷＤＲ画像生成部８１において、ＡＤ変換部５０から取得し、長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報と短時間露光画像情報記憶部８１３に記憶されたフレーム単位での短時間露光画像情報を合成してＷＤＲ画像情報を生成し、ステップＳＴ２２に進む。
ステップＳＴ２２において、生成されたＷＤＲ画像情報を表示装置２００に出力し、ステップＳＴ２３において、撮影が終了していなければステップＳＴ２に戻り、撮影が終了と判断されるとＷＤＲ画像の生成の動作は終了する。
【0046】
ステップＳＴ２において、旋回機構部６０が旋回動作中であると判断されると、ステップＳＴ３からステップＳＴ６に進む。ステップＳＴ３とステップＳＴ４、ステップＳＴ５とステップＳＴ６は図７において説明の便宜上、時間の経過とともに順番に進むように記載しているが、同時に行われる。
【0047】
ステップＳＴ３において、時刻情報取得部８１６が長時間露光撮影の撮影開始時点の時刻情報を取得し、時刻情報記憶部８１７が、時刻情報取得部８１６が取得した長時間露光撮影の撮影開始時点の時刻情報を撮影開始時点の時刻Ｔ１として記憶する。
ステップＳＴ３において、速度情報取得部８１８が長時間露光撮影の撮影開始時点の時刻における旋回機構部６０における旋回速度情報を取得し、速度情報記憶部８１９が、速度情報取得部８１８が取得した長時間露光撮影の撮影開始時点の時刻における旋回機構部６０における旋回速度情報を時刻Ｔ１での旋回機構部６０における旋回速度Ｖ１として記憶する。
ステップＳＴ３において、速度情報取得部８１８が長時間露光撮影の撮影開始時点の時刻における旋回機構部６０における旋回速度情報を取得し、速度情報記憶部８１９が、速度情報取得部８１８が取得した長時間露光撮影の撮影開始時点の時刻における旋回機構部６０における旋回速度情報を時刻Ｔ１での旋回機構部６０における旋回速度Ｖ１として記憶する。
【0048】
ステップＳＴ４において、画像情報取得部８１１がＡＤ変換部５０からの時刻Ｔ１で撮影開始されたフレーム単位での長時間露光画像情報を取得し、長時間露光画像情報記憶部８１２が、画像情報取得部８１１が取得したフレーム単位での長時間露光画像情報を記憶する。
ステップＳＴ５において、長時間露光撮影の次に撮影された短時間露光撮影に対するＡＤ変換部５０からの短時間露光画像情報を画像情報取得部８１１が取得し、短時間露光画像情報記憶部８１３が、画像情報取得部８１１が取得したフレーム単位での短時間露光画像情報を記憶する。
ステップＳＴ５において、長時間露光撮影の次に撮影された短時間露光撮影に対するＡＤ変換部５０からの短時間露光画像情報を画像情報取得部８１１が取得し、短時間露光画像情報記憶部８１３が、画像情報取得部８１１が取得したフレーム単位での短時間露光画像情報を記憶する。
【0049】
ステップＳＴ６において、時刻情報取得部８１６が短時間露光撮影の撮影終了時点の時刻情報を取得し、時刻情報記憶部８１７が、時刻情報取得部８１６が取得した短時間露光撮影の撮影終了時点の時刻情報を撮影終了時点の時刻Ｔ２として記憶する。
ステップＳＴ６において、速度情報取得部８１８が短時間露光撮影の撮影終了時点の時刻における旋回機構部６０における旋回速度情報を取得し、速度情報記憶部８１９が、速度情報取得部８１８が取得した短時間露光撮影の撮影終了時点の時刻における旋回機構部６０における旋回速度情報を時刻Ｔ２での旋回機構部６０における旋回速度Ｖ２として記憶する。
ステップＳＴ６において、速度情報取得部８１８が短時間露光撮影の撮影終了時点の時刻における旋回機構部６０における旋回速度情報を取得し、速度情報記憶部８１９が、速度情報取得部８１８が取得した短時間露光撮影の撮影終了時点の時刻における旋回機構部６０における旋回速度情報を時刻Ｔ２での旋回機構部６０における旋回速度Ｖ２として記憶する。
【0050】
ステップＳＴ７において、移動量演算部８２０が、単位画像情報に対する光学系１０と撮像素子２０により構成される撮像ユニットによる撮影時間｜Ｔ２－Ｔ１｜、単位画像情報に対する平均旋回速度（Ｖ１＋Ｖ２）／２、及び撮影時間｜Ｔ２－Ｔ１｜と平均旋回速度（Ｖ１＋Ｖ２）／２を乗算した移動量［｜Ｔ２－Ｔ１｜×｛（Ｖ１＋Ｖ２）／２｝］を算出する。
ステップＳＴ７は移動量算出ステップである。
単位画像情報は、上記でも述べたように、長時間露光撮影によるフレーム単位の長時間露光画像情報及び短時間露光撮影によるフレーム単位の短時間露光画像情報の時間的に隣接する２フレーム分の画像情報を１つの単位とした画像情報である。
ステップＳＴ７は移動量算出ステップである。
単位画像情報は、上記でも述べたように、長時間露光撮影によるフレーム単位の長時間露光画像情報及び短時間露光撮影によるフレーム単位の短時間露光画像情報の時間的に隣接する２フレーム分の画像情報を１つの単位とした画像情報である。
【0051】
また、例えば、一例として、光学系１０の水平画角を６０°、光学系１０の水平解像度を１９２０px、平均旋回速度（回転速度）を１５°／ｓ、画像の平均移動速度は４８０px／ｓとなり、フレームレートを６０FPSとした場合、１秒当たりの移動量Ｌは８pxとなる。
このようにして求めた移動量Ｌはピクセル、つまり、水平方向の画素数で現わすことができる。
このようにして求めた移動量Ｌはピクセル、つまり、水平方向の画素数で現わすことができる。
【0052】
ステップＳＴ８において、画像情報補正部８１４が短時間露光画像情報記憶部８１３に記憶されたフレーム単位での短時間露光画像情報を移動量演算部８２０が算出した移動量Ｌを示す移動量情報に応じてフレーム単位での補正された短時間露光画像情報を生成する。
補正された短時間露光画像情報は移動量Ｌに応じて水平方向に平行移動、本例では移動量Ｌが示す水平方向の画素数分だけ、水平方向に平行移動させる。
水平方向に平行移動させることにより、先に撮影された長時間露光画像情報と被写体に対する画素位置が一致する。
ステップＳＴ８は、画像情報補正部８１４が、単位画像情報における一方の画像情報、一例においては短時間露光画像情報に対して移動量Ｌに応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成ステップである。
補正された短時間露光画像情報は移動量Ｌに応じて水平方向に平行移動、本例では移動量Ｌが示す水平方向の画素数分だけ、水平方向に平行移動させる。
水平方向に平行移動させることにより、先に撮影された長時間露光画像情報と被写体に対する画素位置が一致する。
ステップＳＴ８は、画像情報補正部８１４が、単位画像情報における一方の画像情報、一例においては短時間露光画像情報に対して移動量Ｌに応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成ステップである。
【0053】
ステップＳＴ９において、画像合成部８１５が長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報と画像情報補正部８１４により補正されたフレーム単位での短時間露光画像情報を合成してＷＤＲ画像情報を生成する。
ステップＳＴ９は、画像合成部８１５が、単位画像情報における他方の画像情報、一例においては長時間露光画像情報と一方の補正画像情報、一例においては補正された短時間露光画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成ステップである。
ステップＳＴ９は、画像合成部８１５が、単位画像情報における他方の画像情報、一例においては長時間露光画像情報と一方の補正画像情報、一例においては補正された短時間露光画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成ステップである。
【0054】
このように、単位画像情報における一方の画像情報を移動量Ｌに応じて補正し、補正した一方の画像情報と他方の画像情報によりＷＤＲ画像情報を得ているため、旋回機構部６０における旋回動作によるモーションブラーの影響を抑制でき、ＷＤＲ画像における画質の劣化を低減できる。
【0055】
ステップＳＴ１０に進むと、ステップＳＴ９において生成されたＷＤＲ画像情報を表示装置２００に出力し、ステップＳＴ１１において、撮影が終了していなければステップＳＴ２に戻り、撮影が終了と判断されるとＷＤＲ画像の生成の動作は終了する。
【0056】
ステップＳＴ１からステップＳＴ１１、及びステップ２１からステップ２３によるＷＤＲ画像情報生成方法は、ＣＰＵ８０ＡがＲＯＭ８０Ｃに記憶されたプログラムに従って処理を実行することにより行われる。
特に、ＳＴ７からステップＳＴ９によるＷＤＲ画像情報生成における、ＲＯＭに記憶されたプログラムは、単位画像情報に対する撮像ユニットによる撮影時間、単位画像情報に対する平均旋回速度、及び撮影時間と平均旋回速度を乗算した移動量Ｌを算出する移動量算出手順と、単位画像情報における一方の画像情報に対して移動量Ｌに応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成手順と、単位画像情報における他方の画像情報と一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成手順と、を備える。
特に、ＳＴ７からステップＳＴ９によるＷＤＲ画像情報生成における、ＲＯＭに記憶されたプログラムは、単位画像情報に対する撮像ユニットによる撮影時間、単位画像情報に対する平均旋回速度、及び撮影時間と平均旋回速度を乗算した移動量Ｌを算出する移動量算出手順と、単位画像情報における一方の画像情報に対して移動量Ｌに応じて水平方向に平行移動された一方の補正画像情報を生成する補正画像生成手順と、単位画像情報における他方の画像情報と一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成手順と、を備える。
【0057】
以上のように、実施の形態１に係る撮像装置は、長時間露光画像と短時間露光画像をフレーム単位で交互に出力する撮像ユニットと、撮像ユニットをパン旋回方向に旋回させるパン方向旋回機構部６０とを備え、フレーム単位の長時間露光画像情報及びフレーム単位の短時間露光画像情報の時間的に隣接する２フレーム分の画像情報を１つの単位とした単位画像情報に対する撮影時間とパン方向旋回機構部６０の旋回速度を乗算した移動量Ｌを算出し、単位画像情報の一方の画像情報を移動量Ｌに応じて補正し、補正した一方の画像情報と単位画像情報の他方の画像情報からＷＤＲ画像を生成するＷＤＲ画像生成部８１を備えたので、パン方向旋回機構部６０における旋回動作によるモーションブラーの影響を抑制でき、ＷＤＲ画像における画質の劣化を低減できる。
【0058】
その結果、短い演算処理時間により、パン方向旋回機構部６０における旋回動作による画像ずれによる画質の劣化を低減し、高精度かつ容易に補正したＷＤＲ画像を得ることができる。
また、実施の形態１に係る撮像装置は、ＷＤＲ画像を得るために高負荷な動きベクトルの算出等が不要であり、また、ジャイロセンサを用いた複雑な増幅回路及びフィルタ回路を要すことがないため、設計も容易となる。
さらに、旋回機構制御部７０は単一のモータドライバＩＣとその周辺回路で構成でき、旋回機構制御部７０の設計が容易である。
また、実施の形態１に係る撮像装置は、ＷＤＲ画像を得るために高負荷な動きベクトルの算出等が不要であり、また、ジャイロセンサを用いた複雑な増幅回路及びフィルタ回路を要すことがないため、設計も容易となる。
さらに、旋回機構制御部７０は単一のモータドライバＩＣとその周辺回路で構成でき、旋回機構制御部７０の設計が容易である。
【0059】
実施の形態２．
実施の形態２に係る撮像装置を図８から図１１に基づいて説明する。
実施の形態１に係る撮像装置１００はＰＺカメラを対象としているのに対し、実施の形態２に係る撮像装置１００Ａは、遠隔操作によりパン方向を旋回させる旋回部とチルト（上下）方向を旋回させる旋回部を備える、例えば、監視カメラ等のパン方向に旋回する旋回部とチルト方向を旋回させる旋回部とズーム機能を搭載したＰＴＺカメラを対象としている。
実施の形態２に係る撮像装置を図８から図１１に基づいて説明する。
実施の形態１に係る撮像装置１００はＰＺカメラを対象としているのに対し、実施の形態２に係る撮像装置１００Ａは、遠隔操作によりパン方向を旋回させる旋回部とチルト（上下）方向を旋回させる旋回部を備える、例えば、監視カメラ等のパン方向に旋回する旋回部とチルト方向を旋回させる旋回部とズーム機能を搭載したＰＴＺカメラを対象としている。
【0060】
実施の形態２に係る撮像装置１００Ａにおいて、パン方向旋回機構部６０における旋回動作中のＷＤＲ画像の生成は実施の形態１に係る撮像装置１００におけるパン方向旋回機構部６０における旋回動作中のＷＤＲ画像の生成と同じであり、実施の形態２に係る撮像装置１００Ａは、制御部８０におけるＷＤＲ画像生成部８１に、さらに、チルト方向旋回機構部６０Ｔにおける旋回動作中のＷＤＲ画像を生成する機能を追加したものである。
従って、ＷＤＲ画像生成部８１において、チルト方向旋回機構部６０Ｔにおける旋回動作中のＷＤＲ画像の生成を主体に以下に説明する。
なお、図８から図１１中、図１から図７に付された符号と同一符号は同一又は相当部分を示す。
従って、ＷＤＲ画像生成部８１において、チルト方向旋回機構部６０Ｔにおける旋回動作中のＷＤＲ画像の生成を主体に以下に説明する。
なお、図８から図１１中、図１から図７に付された符号と同一符号は同一又は相当部分を示す。
【0061】
実施の形態２に係る撮像装置１００Ａは、図８に示すように、光学系１０と撮像素子２０と撮像ユニット制御部３０とアナログ信号処理部４０とＡＤ変換部５０とパン方向旋回機構部６０とパン方向旋回機構駆動制御部７０とチルト方向旋回機構部６０Ｔとチルト方向旋回機構駆動制御部７０Ｔと制御部（中央演算処理装置）８０を備える。
光学系１０と撮像素子２０と撮像ユニット制御部３０とアナログ信号処理部４０とＡＤ変換部５０とパン方向旋回機構部６０とパン方向旋回機構駆動制御部７０は、実施の形態１における光学系１０と撮像素子２０と撮像ユニット制御部３０とアナログ信号処理部４０とＡＤ変換部５０とパン方向旋回機構部６０とパン方向旋回機構駆動制御部７０と同じであるので、詳細な説明を省略する。
光学系１０と撮像素子２０と撮像ユニット制御部３０とアナログ信号処理部４０とＡＤ変換部５０とパン方向旋回機構部６０とパン方向旋回機構駆動制御部７０は、実施の形態１における光学系１０と撮像素子２０と撮像ユニット制御部３０とアナログ信号処理部４０とＡＤ変換部５０とパン方向旋回機構部６０とパン方向旋回機構駆動制御部７０と同じであるので、詳細な説明を省略する。
【0062】
チルト方向旋回機構部６０Ｔ（以下、旋回機構部６０Ｔと略称する）は、チルト回転軸を起点にチルト旋回方向に、光学系１０及び撮像素子２０により構成される撮像ユニットをチルト方向に旋回、本例においては撮像ユニットなどを内蔵したカメラ本体をチルト方向に旋回させる。
旋回機構部６０Ｔは、図１０に示すように、光学系１０における撮影映像（被写体）に対する画角をもって、図示チルト旋回方向にカメラ本体を旋回させる。
旋回機構部６０Ｔは、本例において、図９に示すように、ステッピングモータ６１Ｔと、ステッピングモータ６１Ｔの駆動力をカメラ本体に伝達するギア、ベルト又はプーリなどによる伝達機構６２Ｔを有する、機械的な回転機構である。
旋回機構部６０Ｔは、図１０に示すように、光学系１０における撮影映像（被写体）に対する画角をもって、図示チルト旋回方向にカメラ本体を旋回させる。
旋回機構部６０Ｔは、本例において、図９に示すように、ステッピングモータ６１Ｔと、ステッピングモータ６１Ｔの駆動力をカメラ本体に伝達するギア、ベルト又はプーリなどによる伝達機構６２Ｔを有する、機械的な回転機構である。
【0063】
旋回機構部６０Ｔにステッピングモータ６１Ｔを用いた場合、ステッピングモータ６１Ｔの旋回速度をモデル化すると、ステッピングモータ６１Ｔの速度制御領域は加速による線形領域と減速による線形領域と定速動作による飽和領域になる。
なお、旋回機構部６０Ｔにおけるステッピングモータ６１Ｔに替えて、カメラ本体に旋回方向の駆動力を与えるための一般に知られている他のモータを用いてもよい。
なお、旋回機構部６０Ｔにおけるステッピングモータ６１Ｔに替えて、カメラ本体に旋回方向の駆動力を与えるための一般に知られている他のモータを用いてもよい。
【0064】
旋回機構部６０Ｔにおけるステッピングモータ６１Ｔはチルト方向旋回機構駆動制御部７０Ｔ（以下、旋回機構制御部７０Ｔと略称する）からの命令に従い、カメラ本体をチルト方向に旋回させる。
旋回機構制御部７０Ｔは制御部８０からの制御命令に従い、ステッピングモータ６１Ｔの旋回速度制御を行う。
旋回機構制御部７０Ｔは制御部８０からの制御命令に従い、ステッピングモータ６１Ｔの旋回速度制御を行う。
【0065】
旋回機構制御部７０Ｔからの命令は、ステッピングモータ６１Ｔを駆動するための駆動制御信号又は駆動電流（電力）であり、ステッピングモータ６１Ｔに出力される。
旋回機構制御部７０Ｔは単一のモータドライバＩＣとその周辺回路で構成される。
旋回機構制御部７０Ｔはカメラ本体に内蔵された制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
旋回機構制御部７０Ｔは単一のモータドライバＩＣとその周辺回路で構成される。
旋回機構制御部７０Ｔはカメラ本体に内蔵された制御基板１０１に組み込まれ、電源ケーブル１０４に接続された電源部１０２から電力が供給される。
【0066】
ＷＤＲ画像生成部８１は、図６に示した実施の形態１におけるＷＤＲ画像生成部８１と同様の構成であり、実施の形態１に係る撮像装置１００におけるパン方向旋回機構部６０の旋回動作中と同様に、移動量演算部８２０がパン方向の移動量Ｌを算出して２フレーム分の画像情報である単位画像情報における一方の画像情報である短時間露光画像情報を画像情報補正部８１４が移動量Ｌに応じて補正し、補正した短時間露光画像情報と他方の画像情報である短時間露光画像情報から画像合成部８１５がＷＤＲ画像を生成する。
【0067】
さらに、ＷＤＲ画像生成部８１は、チルト方向旋回機構部６０Ｔの旋回動作中、旋回機構部６０Ｔにおけるステッピングモータ６１Ｔの回転速度を検出する速度センサ９２Ｔからの旋回機構部６０における旋回速度を速度情報取得部８１８が取得し、移動量演算部８２０がチルト方向の移動量ＬＴを算出して２フレーム分の画像情報である単位画像情報における一方の画像情報である短時間露光画像情報を画像情報補正部８１４が移動量ＬＴに応じて補正し、補正した短時間露光画像情報と他方の画像情報である短時間露光画像情報から画像合成部８１５がＷＤＲ画像を生成する。
【0068】
チルト方向旋回機構部６０Ｔの旋回動作中において、単位画像情報における撮影開始時点の時刻Ｔ３における旋回速度Ｖ３及び撮影終了時点の時刻Ｔ４における旋回速度Ｖ４情報を取得すると、移動量演算部８２０がチルト方向の移動量ＬＴとして［｜Ｔ４－Ｔ３｜×｛（Ｖ３＋Ｖ４）／２｝］を算出する。
【0069】
次に、実施の形態２に係る撮像装置１００ＡにおけるＷＤＲ画像の生成までの動作を、特に、チルト方向旋回機構部６０Ｔの旋回動作中におけるＷＤＲ画像の生成までの動作を主体に図１１を用いて説明する。
ステップＳＴ１において撮影を開始すると、光学系１０及び撮像素子２０により構成される撮像ユニットが長時間露光画像と短時間露光画像をフレーム単位で交互に出力し、アナログ信号処理部４０が画像処理をし、ＡＤ変換部５０がデジタル映像データに変換して制御部８０に出力する。
ステップＳＴ１において撮影を開始すると、光学系１０及び撮像素子２０により構成される撮像ユニットが長時間露光画像と短時間露光画像をフレーム単位で交互に出力し、アナログ信号処理部４０が画像処理をし、ＡＤ変換部５０がデジタル映像データに変換して制御部８０に出力する。
【0070】
説明の便宜上、長時間露光撮影、短時間露光撮影の順に撮影した場合について説明するが、逆に短時間露光撮影、長時間露光撮影の順に撮影した場合でもよい。
ステップＳＴ２に進み、旋回機構部６０及び旋回機構部６０Ｔが旋回動作中か否かを判断する。
ステップＳＴ２に進み、旋回機構部６０及び旋回機構部６０Ｔが旋回動作中か否かを判断する。
【0071】
ステップＳＴ２において、旋回機構部６０及び旋回機構部６０Ｔが旋回動作中でない、つまり、撮像ユニットが固定状態であると、ステップＳＴ２１に進み、通常のＷＤＲ画像生成を実施する。
【0072】
ステップＳＴ２において、旋回機構部６０又は旋回機構部６０Ｔのいずれかが旋回動作中であると判断されるステップＳＴ２Ａに進み、ステッブＳＴ２Ａにおいて旋回機構部６０が旋回動作中であると判断されるとステップＳＴ３からステップＳＴ６に進み、実施の形態１において説明したと同様に動作し、旋回機構部６０が旋回動作中におけるＷＤＲ画像生成を実施する。
【0073】
ステッブＳＴ２Ａにおいて旋回機構部６０Ｔが旋回動作中であると判断されるとステップＳＴ３ＴからステップＳＴ６Ｔに進む。ステップＳＴ３ＴとステップＳＴ４Ｔ、ステップＳＴ５ＴとステップＳＴ６Ｔは図１１において説明の便宜上、時間の経過とともに順番に進むように記載しているが、同時に行われる。
【0074】
ステップＳＴ３Ｔにおいて、時刻情報取得部８１６が長時間露光撮影の撮影開始時点の時刻情報を取得し、時刻情報記憶部８１７が、時刻情報取得部８１６が取得した長時間露光撮影の撮影開始時点の時刻情報を撮影開始時点の時刻Ｔ３として記憶する。
ステップＳＴ３Ｔにおいて、速度情報取得部８１８が長時間露光撮影の撮影開始時点の時刻における旋回機構部６０Ｔにおける旋回速度情報を取得し、速度情報記憶部８１９が、速度情報取得部８１８が取得した長時間露光撮影の撮影開始時点の時刻における旋回機構部６０Ｔにおける旋回速度情報を時刻Ｔ３での旋回機構部６０における旋回速度Ｖ３として記憶する。
ステップＳＴ３Ｔにおいて、速度情報取得部８１８が長時間露光撮影の撮影開始時点の時刻における旋回機構部６０Ｔにおける旋回速度情報を取得し、速度情報記憶部８１９が、速度情報取得部８１８が取得した長時間露光撮影の撮影開始時点の時刻における旋回機構部６０Ｔにおける旋回速度情報を時刻Ｔ３での旋回機構部６０における旋回速度Ｖ３として記憶する。
【0075】
ステップＳＴ４Ｔにおいて、画像情報取得部８１１がＡＤ変換部５０からの時刻Ｔ３で撮影開始されたフレーム単位での長時間露光画像情報を取得し、長時間露光画像情報記憶部８１２が、画像情報取得部８１１が取得したフレーム単位での長時間露光画像情報を記憶する。
ステップＳＴ５Ｔにおいて、長時間露光撮影の次に撮影された短時間露光撮影に対するＡＤ変換部５０からの短時間露光画像情報を画像情報取得部８１１が取得し、短時間露光画像情報記憶部８１３が、画像情報取得部８１１が取得したフレーム単位での短時間露光画像情報を記憶する。
ステップＳＴ５Ｔにおいて、長時間露光撮影の次に撮影された短時間露光撮影に対するＡＤ変換部５０からの短時間露光画像情報を画像情報取得部８１１が取得し、短時間露光画像情報記憶部８１３が、画像情報取得部８１１が取得したフレーム単位での短時間露光画像情報を記憶する。
【0076】
ステップＳＴ６Ｔにおいて、時刻情報取得部８１６が短時間露光撮影の撮影終了時点の時刻情報を取得し、時刻情報記憶部８１７が、時刻情報取得部８１６が取得した短時間露光撮影の撮影終了時点の時刻情報を撮影終了時点の時刻Ｔ４として記憶する。
ステップＳＴ６Ｔにおいて、速度情報取得部８１８が短時間露光撮影の撮影終了時点の時刻における旋回機構部６０Ｔにおける旋回速度情報を取得し、速度情報記憶部８１９が、速度情報取得部８１８が取得した短時間露光撮影の撮影終了時点の時刻における旋回機構部６０Ｔにおける旋回速度情報を時刻Ｔ４での旋回機構部６０における旋回速度Ｖ４として記憶する。
ステップＳＴ６Ｔにおいて、速度情報取得部８１８が短時間露光撮影の撮影終了時点の時刻における旋回機構部６０Ｔにおける旋回速度情報を取得し、速度情報記憶部８１９が、速度情報取得部８１８が取得した短時間露光撮影の撮影終了時点の時刻における旋回機構部６０Ｔにおける旋回速度情報を時刻Ｔ４での旋回機構部６０における旋回速度Ｖ４として記憶する。
【0077】
ステップＳＴ７Ｔにおいて、移動量演算部８２０が、単位画像情報に対する光学系１０と撮像素子２０により構成される撮像ユニットによる撮影時間｜Ｔ４－Ｔ３｜、単位画像情報に対する平均旋回速度（Ｖ３＋Ｖ４）／２、及び撮影時間｜Ｔ４－Ｔ３｜と平均旋回速度（Ｖ３＋Ｖ４）／２を乗算した移動量［｜Ｔ４－Ｔ３｜×｛（Ｖ３＋Ｖ４）／２｝］を算出する。
ステップＳＴ７Ｔは移動量演算部８２０がチルト方向の移動量を算出する移動量算出ステップである。
ステップＳＴ７Ｔは移動量演算部８２０がチルト方向の移動量を算出する移動量算出ステップである。
【0078】
ステップＳＴ８Ｔにおいて、画像情報補正部８１４が短時間露光画像情報記憶部８１３に記憶されたフレーム単位での短時間露光画像情報を移動量演算部８２０が算出した移動量ＬＴを示す移動量情報に応じてフレーム単位での補正された短時間露光画像情報を生成する。
補正された短時間露光画像情報は移動量ＬＴに応じて鉛直方向に平行移動、本例では移動量ＬＴが示す鉛直方向の画素数分だけ、鉛直方向に平行移動させる。
補正された短時間露光画像情報は移動量ＬＴに応じて鉛直方向に平行移動、本例では移動量ＬＴが示す鉛直方向の画素数分だけ、鉛直方向に平行移動させる。
【0079】
鉛直方向に平行移動させることにより、先に撮影された長時間露光画像情報と被写体に対する画素位置が一致する。
ステップＳＴ８Ｔは、画像情報補正部８１４が、単位画像情報における一方の画像情報、一例においては短時間露光画像情報に対して移動量ＬＴに応じて水平方向に平行移動された一方の補正画像情報を生成するチルト方向の補正画像生成ステップである。
ステップＳＴ８Ｔは、画像情報補正部８１４が、単位画像情報における一方の画像情報、一例においては短時間露光画像情報に対して移動量ＬＴに応じて水平方向に平行移動された一方の補正画像情報を生成するチルト方向の補正画像生成ステップである。
【0080】
ステップＳＴ９Ｔにおいて、画像合成部８１５が長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報と画像情報補正部８１４により補正されたフレーム単位での短時間露光画像情報を合成してＷＤＲ画像情報を生成する。
ステップＳＴ９Ｔは、画像合成部８１５が、単位画像情報における他方の画像情報、一例においては長時間露光画像情報と一方の補正画像情報、一例においては補正された短時間露光画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成ステップである。
ステップＳＴ９Ｔは、画像合成部８１５が、単位画像情報における他方の画像情報、一例においては長時間露光画像情報と一方の補正画像情報、一例においては補正された短時間露光画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成ステップである。
【0081】
このように、単位画像情報における一方の画像情報を移動量ＬＴに応じて補正し、補正した一方の画像情報と他方の画像情報によりＷＤＲ画像情報を得ているため、旋回機構部６０Ｔにおける旋回動作によるモーションブラーの影響を抑制でき、ＷＤＲ画像における画質の劣化を低減できる。
【0082】
ステップＳＴ１０Ｔに進むと、ステップＳＴ９Ｔにおいて生成されたＷＤＲ画像情報を表示装置２００に出力し、ステップＳＴ１１Ｔにおいて、撮影が終了していなければステップＳＴ２に戻り、撮影が終了と判断されるとＷＤＲ画像の生成の動作は終了する。
【0083】
ステップＳＴ１からステップＳＴ２Ａ、ステップ３からステップＳＴ１１、ステップ３ＴからステップＳＴ１１Ｔ、及びステップ２１からステップ２３によるＷＤＲ画像情報生成方法は、ＣＰＵ８０ＡがＲＯＭ８０Ｃに記憶されたプログラムに従って処理を実行することにより行われる。
【0084】
ＳＴ７ＴからステップＳＴ９ＴによるＷＤＲ画像情報生成における、ＲＯＭに記憶されたプログラムは、単位画像情報に対する撮像ユニットによる撮影時間、単位画像情報に対するチルト方向の平均旋回速度、及び撮影時間と平均旋回速度を乗算した移動量ＬＴを算出するチルト方向の移動量算出手順と、単位画像情報における一方の画像情報に対して移動量ＬＴに応じて鉛直方向に平行移動された一方の補正画像情報を生成するチルト方向の補正画像生成手順と、単位画像情報における他方の画像情報と一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成手順と、を備える。
【0085】
以上のように、実施の形態２に係る撮像装置は、実施の形態１に係る撮像装置と同様の効果を有する他、ＷＤＲ画像生成部８１が、単位画像情報に対する撮影時間とチルト方向旋回機構部６０Ｔの旋回速度を乗算した移動量ＬＴを算出し、単位画像情報の一方の画像情報を移動量ＬＴに応じて補正し、補正した一方の画像情報と単位画像情報の他方の画像情報からＷＤＲ画像を生成するので、チルト方向旋回機構部６０Ｔにおける旋回動作によるモーションブラーの影響を抑制でき、ＷＤＲ画像における画質の劣化を低減できる。
【0086】
その結果、短い演算処理時間により、チルト方向旋回機構部６０Ｔにおける旋回動作による画像ずれによる画質の劣化を低減し、高精度かつ容易に補正したＷＤＲ画像を得ることができる。
また、旋回機構制御部７０Ｔは単一のモータドライバＩＣとその周辺回路で構成でき、旋回機構制御部７０Ｔの設計が容易である。
また、旋回機構制御部７０Ｔは単一のモータドライバＩＣとその周辺回路で構成でき、旋回機構制御部７０Ｔの設計が容易である。
【0087】
実施の形態３．
実施の形態３に係る撮像装置を図１２及び図１３に基づいて説明する。
実施の形態３に係る撮像装置は、実施の形態１に係る撮像装置１００に対して制御部８０におけるＷＤＲ画像生成部８１に、さらに、光学系１０において、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像を生成する機能を追加したものである。
従って、ＷＤＲ画像生成部８１Ｚにおいて、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像の生成を主体に以下に説明する。
なお、図１２から図１３中、図１から図７に付された符号と同一符号は同一又は相当部分を示す。
実施の形態３に係る撮像装置を図１２及び図１３に基づいて説明する。
実施の形態３に係る撮像装置は、実施の形態１に係る撮像装置１００に対して制御部８０におけるＷＤＲ画像生成部８１に、さらに、光学系１０において、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像を生成する機能を追加したものである。
従って、ＷＤＲ画像生成部８１Ｚにおいて、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像の生成を主体に以下に説明する。
なお、図１２から図１３中、図１から図７に付された符号と同一符号は同一又は相当部分を示す。
【0088】
実施の形態３に係る撮像装置１００は、図１に示す実施の形態１に係る撮像装置１００と同様に、光学系１０と撮像素子２０と撮像ユニット制御部３０とアナログ信号処理部４０とＡＤ変換部５０とパン方向旋回機構部６０とパン方向旋回機構駆動制御部７０と制御部（中央演算処理装置）８０を備える。
実施の形態３に係る撮像装置１００は、実施の形態１に係る撮像装置１００に対して、制御部８０におけるＷＤＲ画像生成部８１に対して、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像を生成する機能を追加したＷＤＲ画像生成部８１Ｚとした点が相違するだけであり、その他の点については同じである。
従って、ＷＤＲ画像生成部８１Ｚ、特に、実施の形態１におけるＷＤＲ画像生成部８１に追加した機能を中心に以下に説明する。
実施の形態３に係る撮像装置１００は、実施の形態１に係る撮像装置１００に対して、制御部８０におけるＷＤＲ画像生成部８１に対して、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像を生成する機能を追加したＷＤＲ画像生成部８１Ｚとした点が相違するだけであり、その他の点については同じである。
従って、ＷＤＲ画像生成部８１Ｚ、特に、実施の形態１におけるＷＤＲ画像生成部８１に追加した機能を中心に以下に説明する。
【0089】
ＷＤＲ画像生成部８１Ｚは、図１２に示すように、ＷＤＲ画像生成部８１に対して、ズームレンズ倍率情報取得部（以下、倍率情報取得部と略称する）８２１とズームレンズ倍率情報記憶部（以下、倍率情報記憶部と略称する）８２２と倍率の相対値演算部８２３と画像情報補正部８１４Ｚをさらに有する。
【0090】
倍率情報取得部８２１は、撮像ユニット制御部３０から光学系１０におけるレンズ駆動機構に指示するレンズ機構におけるズームレンズ倍率情報（以下、倍率情報と略称する）を取得する。
倍率情報は時刻と紐づけされた情報であり、長時間露光撮影の撮影開始時点の時刻及び撮影終了時点の時刻、並びに短時間露光撮影の撮影開始時点の時刻及び撮影終了時点の時刻それぞれに紐づけされた倍率情報である。
倍率情報記憶部８２２は倍率情報取得部８２１が取得した倍率情報を記憶する。
倍率情報は時刻と紐づけされた情報であり、長時間露光撮影の撮影開始時点の時刻及び撮影終了時点の時刻、並びに短時間露光撮影の撮影開始時点の時刻及び撮影終了時点の時刻それぞれに紐づけされた倍率情報である。
倍率情報記憶部８２２は倍率情報取得部８２１が取得した倍率情報を記憶する。
【0091】
相対値演算部８２３は、時刻情報記憶部８１７及び倍率情報記憶部８２２に記憶された、フレーム単位の長時間露光画像情報及びフレーム単位の短時間露光画像情報の時間的に隣接する２フレーム分の画像情報である単位画像情報における時刻情報及び倍率情報に対して次の演算処理を実行する。
以下、単位画像情報として長時間露光撮影を先に短時間露光撮影を後にした２フレーム分を１つの単位とした画像情報を説明するが、短時間露光撮影を先に長時間露光撮影を後にした２フレーム分を１つの単位とした画像情報にしてもよい。
以下、単位画像情報として長時間露光撮影を先に短時間露光撮影を後にした２フレーム分を１つの単位とした画像情報を説明するが、短時間露光撮影を先に長時間露光撮影を後にした２フレーム分を１つの単位とした画像情報にしてもよい。
【0092】
すなわち、相対値演算部８２３は単位画像情報における撮影開始時点の時刻Ｔ５、本例では単位画像情報における長時間露光撮影の撮影開始時点の時刻Ｔ５におけるズームレンズ倍率Ｘ１と、単位画像情報における撮影終了時点の時刻Ｔ６、本例では単位画像情報における短時間露光撮影の撮影終了時点の時刻Ｔ６におけるズームレンズ倍率Ｘ２から、相対比である相対値Ｘ２／Ｘ１を得る。
【0093】
例えば、ズームレンズ倍率Ｘ１が２倍であり、ズームレンズ倍率Ｘ２が２．２倍であると相対値Ｒは１．１になる。
画像情報補正部８１４Ｚは長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報に対して相対値Ｒを示す相対値情報に応じてフレーム単位での補正された長時間露光画像情報を生成する。
画像情報補正部８１４Ｚは長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報に対して相対値Ｒを示す相対値情報に応じてフレーム単位での補正された長時間露光画像情報を生成する。
【0094】
補正された長時間露光画像情報は相対値Ｒに応じてデジタルズーム補正（拡大処理）を実施した画像情報である。
例えば、相対値Ｒが１．１であるとすると、長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報に対して１．１倍でデジタルズーム補正を実施する。
すなわち、補正された長時間露光画像情報は、短時間露光画像情報記憶部８１３に記憶された単位画像情報におけるフレーム単位での短時間露光画像情報と倍率が一致する。
例えば、相対値Ｒが１．１であるとすると、長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報に対して１．１倍でデジタルズーム補正を実施する。
すなわち、補正された長時間露光画像情報は、短時間露光画像情報記憶部８１３に記憶された単位画像情報におけるフレーム単位での短時間露光画像情報と倍率が一致する。
【0095】
画像合成部８１５は、光学系１０のズーム制御動作が行われていると、短時間露光画像情報記憶部８１３に記憶された単位画像情報におけるフレーム単位での短時間露光画像情報と画像情報補正部８１４Ｚにより補正された単位画像情報におけるフレーム単位での短時間露光画像情報を合成してＷＤＲ画像情報を生成する。
画像合成部８１５により得られるＷＤＲ画像はズームレンズ倍率の変動に伴うぶれが補正される。
画像合成部８１５により得られるＷＤＲ画像はズームレンズ倍率の変動に伴うぶれが補正される。
【0096】
次に、実施の形態３に係る撮像装置１００におけるＷＤＲ画像の生成までの動作を、特に、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像の生成までの動作を主体に図１３を用いて説明する。
ステップＳＴ１において撮影を開始すると、光学系１０及び撮像素子２０により構成される撮像ユニットが長時間露光画像と短時間露光画像をフレーム単位で交互に出力し、アナログ信号処理部４０が画像処理をし、ＡＤ変換部５０がデジタル映像データに変換して制御部８０に出力する。
ステップＳＴ１において撮影を開始すると、光学系１０及び撮像素子２０により構成される撮像ユニットが長時間露光画像と短時間露光画像をフレーム単位で交互に出力し、アナログ信号処理部４０が画像処理をし、ＡＤ変換部５０がデジタル映像データに変換して制御部８０に出力する。
【0097】
説明の便宜上、長時間露光撮影、短時間露光撮影の順に撮影した場合について説明するが、逆に短時間露光撮影、長時間露光撮影の順に撮影した場合でもよい。
ステップＳＴ２に進み、旋回機構部６０が旋回動作中か光学系１０のズーム制御動作中か否かを判断する。
ステップＳＴ２に進み、旋回機構部６０が旋回動作中か光学系１０のズーム制御動作中か否かを判断する。
【0098】
ステップＳＴ２において、旋回機構部６０が旋回動作中でない、光学系１０のズーム制御動作中でない、つまり、撮像ユニットが固定状態であり、ズーム制御動作が実施されていないと、ステップＳＴ２１に進み、通常のＷＤＲ画像生成を実施する。
ステップＳＴ２において、旋回機構部６０が旋回動作中又は光学系１０のズーム制御動作中であると判断されるステップＳＴ２Ｂに進み、ステッブＳＴ２Ｂにおいて旋回機構部６０が旋回動作中であると判断されるとステップＳＴ３からステップＳＴ６に進み、実施の形態１において説明したと同様に動作し、旋回機構部６０が旋回動作中におけるＷＤＲ画像生成を実施する。
ステップＳＴ２において、旋回機構部６０が旋回動作中又は光学系１０のズーム制御動作中であると判断されるステップＳＴ２Ｂに進み、ステッブＳＴ２Ｂにおいて旋回機構部６０が旋回動作中であると判断されるとステップＳＴ３からステップＳＴ６に進み、実施の形態１において説明したと同様に動作し、旋回機構部６０が旋回動作中におけるＷＤＲ画像生成を実施する。
【0099】
ステッブＳＴ２Ｂにおいて、光学系１０のズーム制御動作中であると判断されるとステップＳＴ３ＺからステップＳＴ６Ｚに進む。ステップＳＴ３ＺとステップＳＴ４Ｚ、ステップＳＴ５ＺとステップＳＴ６Ｚは図１３において説明の便宜上、時間の経過とともに順番に進むように記載しているが、同時に行われる。
【0100】
ステップＳＴ３Ｚにおいて、倍率情報取得部８２１が単位画像情報における撮影開始時点の時刻Ｔ５、本例においては長時間露光撮影の撮影開始時点の時刻Ｔ５における光学系１０におけるレンズ機構に対するズームレンズ倍率Ｘ１を示す倍率情報を取得し、倍率情報記憶部８２２が、倍率情報取得部８２１が取得したズームレンズ倍率Ｘ１を示す倍率情報を記憶する。
【0101】
ステップＳＴ４Ｚにおいて、画像情報取得部８１１がＡＤ変換部５０からの時刻Ｔ５で撮影開始されたフレーム単位での長時間露光画像情報を取得し、長時間露光画像情報記憶部８１２が、画像情報取得部８１１が取得したフレーム単位での長時間露光画像情報を記憶する。
ステップＳＴ５Ｚにおいて、長時間露光撮影の次に撮影された短時間露光撮影に対するＡＤ変換部５０からの短時間露光画像情報を画像情報取得部８１１が取得し、短時間露光画像情報記憶部８１３が、画像情報取得部８１１が取得したフレーム単位での短時間露光画像情報を記憶する。
ステップＳＴ５Ｚにおいて、長時間露光撮影の次に撮影された短時間露光撮影に対するＡＤ変換部５０からの短時間露光画像情報を画像情報取得部８１１が取得し、短時間露光画像情報記憶部８１３が、画像情報取得部８１１が取得したフレーム単位での短時間露光画像情報を記憶する。
【0102】
ステップＳＴ６Ｚにおいて、倍率情報取得部８２１が単位画像情報における撮影終了時点の時刻Ｔ６、本例においては短時間露光撮影の撮影終了時点の時刻Ｔ６における光学系１０におけるレンズ機構に対するズームレンズ倍率Ｘ２を示す倍率情報を取得し、倍率情報記憶部８２２が、倍率情報取得部８２１が取得したズームレンズ倍率Ｘ２を示す倍率情報を記憶する。
【0103】
ステップＳＴ７Ｚにおいて、相対値演算部８２３が、倍率情報記憶部８２２が記憶されたズームレンズ倍率Ｘ１を示す倍率情報とズームレンズ倍率Ｘ２を示す倍率情報からから、相対比である相対値Ｘ２／Ｘ１を示す相対値情報を得る。
ステップＳＴ７Ｚは相対値演算部８２３がズームレンズ倍率の相対比を算出する相対値算出ステップである。
ステップＳＴ７Ｚは相対値演算部８２３がズームレンズ倍率の相対比を算出する相対値算出ステップである。
【0104】
ステップＳＴ８Ｚにおいて、画像情報補正部８１４Ｚが、長時間露光画像情報記憶部８１２に記憶されたフレーム単位での長時間露光画像情報を相対値演算部８２３が算出した相対値Ｘ２／Ｘ１を示す相対値情報に応じてデジタルズーム補正を実施してフレーム単位での補正された長時間露光画像情報を生成する。
【0105】
補正された長時間露光画像情報は相対値Ｒに応じて倍率が単位画像情報における短時間露光画像情報の倍率と一致される。
ステップＳＴ８Ｚは、画像情報補正部８１４Ｚが、単位画像情報における一方の画像情報、一例においては長時間露光画像情報に対して相対値Ｒを用いて倍率を補正した一方の補正画像情報を生成する倍率の補正画像生成ステップである。
ステップＳＴ８Ｚは、画像情報補正部８１４Ｚが、単位画像情報における一方の画像情報、一例においては長時間露光画像情報に対して相対値Ｒを用いて倍率を補正した一方の補正画像情報を生成する倍率の補正画像生成ステップである。
【0106】
ステップＳＴ９Ｚにおいて、画像合成部８１５が短時間露光画像情報記憶部８１３に記憶されたフレーム単位での短時間露光画像情報と画像情報補正部８１４Ｚにより補正されたフレーム単位での長時間露光画像情報を合成してＷＤＲ画像情報を生成する。
ステップＳＴ９Ｚは、画像合成部８１５が、単位画像情報における他方の画像情報、一例においては短時間露光画像情報と一方の補正画像情報、一例においては補正された長時間露光画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成ステップである。
ステップＳＴ９Ｚは、画像合成部８１５が、単位画像情報における他方の画像情報、一例においては短時間露光画像情報と一方の補正画像情報、一例においては補正された長時間露光画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成ステップである。
【0107】
このように、単位画像情報における一方の画像情報を相対値Ｒに応じて補正し、補正した一方の画像情報と他方の画像情報によりＷＤＲ画像情報を得ているため、光学系１０のズーム倍率の変動に伴うズームレンズ制御動作中のＷＤＲ画像のブレを抑制でき、ＷＤＲ画像における画質の劣化を低減できる。
【0108】
ステップＳＴ１０Ｚに進むと、ステップＳＴ９Ｚにおいて生成されたＷＤＲ画像情報を表示装置２００に出力し、ステップＳＴ１１Ｚにおいて、撮影が終了していなければステップＳＴ２に戻り、撮影が終了と判断されるとＷＤＲ画像の生成の動作は終了する。
【0109】
ステップＳＴ１からステップＳＴ２Ｂ、ステップ３からステップＳＴ１１、ステップ３ＺからステップＳＴ１１Ｚ、及びステップ２１からステップ２３によるＷＤＲ画像情報生成方法は、ＣＰＵ８０ＡがＲＯＭ８０Ｃに記憶されたプログラムに従って処理を実行することにより行われる。
【0110】
ＳＴ７ＺからステップＳＴ９ＺによるＷＤＲ画像情報生成における、ＲＯＭに記憶されたプログラムは、単位画像情報に対する撮像ユニットによる単位画像情報の撮影開始時点の時刻における光学系のズームレンズ倍率と撮影終了時点の時刻における光学系のズームレンズ倍率の相対比である相対値を算出する相対値算出手順と、単位画像情報における一方の画像情報に対して相対値Ｒに応じて倍率が補正された一方の補正画像情報を生成する倍率の補正画像生成手順と、単位画像情報における他方の画像情報と一方の補正画像情報を合成してＷＤＲ画像情報を生成するＷＤＲ画像生成手順と、を備える。
【0111】
以上のように、実施の形態３に係る撮像装置は、実施の形態１に係る撮像装置と同様の効果を有する他、ＷＤＲ画像生成部８１が、光学系のズームレンズ倍率の相対比である相対値Ｒを算出し、単位画像情報の一方の画像情報を相対値Ｒに応じて補正し、補正した一方の画像情報と単位画像情報の他方の画像情報からＷＤＲ画像を生成するので、ズームレンズ制御動作中のズームレンズ倍率の変動に伴うモーションブラーの影響を抑制でき、ＷＤＲ画像における画質の劣化を低減できる。
【0112】
なお、画像情報補正部８１４Ｚが画像情報を相対値Ｒに応じてデジタルズーム補正を行海のとしたが、画像情報における画像の切り出し範囲をあらかじめ広く取り、画像の切り出し範囲の拡大縮小により補正画像情報を得てもよい。
また、実施の形態３における、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像を生成する機能を、実施の形態２に係る撮像装置におけるＷＤＲ画像生成部８１に追加してもよい。
また、実施の形態３における、光学系１０のズーム制御動作中にワイドダイナミックレンジ撮影を行った場合のＷＤＲ画像を生成する機能を、実施の形態２に係る撮像装置におけるＷＤＲ画像生成部８１に追加してもよい。
【0113】
なお、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0114】
本開示に係る撮像装置は、パン（左右）方向を旋回させる旋回部を備えるＰＺカメラ又はＰＴＺカメラを用いた監視カメラ等の撮像装置に好適である。
【符号の説明】
【0115】
１００、１００Ａ 撮像装置、１０ 光学系、２０ 撮像素子、３０ 撮像ユニット制御部、４０ アナログ信号処理部、５０ ＡＤ変換部、６０ パン方向旋回機構部、７０ パン方向旋回機構駆動制御部、６０Ｔ チルト方向旋回機構部、７０Ｔ チルト方向旋回機構駆動制御部、８０ 制御部、８１、８１Ｚ ＷＤＲ画像生成部、８１１ 画像情報取得部、８１２ 長時間露光画像情報記憶部、８１３ 短時間露光画像情報記憶部、８１４ 画像情報補正部、８１５ 画像合成部、８１６ 時刻情報取得部、８１７ 時刻情報記憶部、８１８ 速度情報取得部、８１９ 速度情報記憶部、８２０ 移動量演算部、８２１ ズームレンズ倍率情報取得部、８２２ ズームレンズ倍率情報記憶部、８２３ 相対値演算部、２００ 表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】