(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179825
(43)【公開日】2024-12-26
(54)【発明の名称】撮像装置、撮像装置の制御方法、及びプログラム
(51)【国際特許分類】
G03B 5/00 20210101AFI20241219BHJP
H04N 23/58 20230101ALI20241219BHJP
H04N 23/68 20230101ALI20241219BHJP
H04N 23/695 20230101ALI20241219BHJP
G02B 7/02 20210101ALI20241219BHJP
G03B 5/06 20210101ALI20241219BHJP
G02B 7/28 20210101ALI20241219BHJP
【FI】
G03B5/00 J
H04N23/58
H04N23/68
H04N23/695
G02B7/02 C
G03B5/06
G03B5/00 C
G02B7/28 N
【審査請求】未請求
【請求項の数】24
【出願形態】OL
(21)【出願番号】P 2023099034
(22)【出願日】2023-06-16
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】山洞 綾太
【テーマコード(参考)】
2H044
2H151
2K005
5C122
【Fターム(参考)】
2H044AC03
2H151DD05
2H151DD09
2K005CA03
2K005CA04
2K005CA13
2K005CA14
2K005CA24
5C122EA41
5C122FA01
5C122HA78
5C122HA82
5C122HB01
(57)【要約】
【課題】あおり撮影の際に振動が加わっても、あおり角制御の誤動作を抑制した撮像装置を提供する。
【解決手段】撮像装置であって、撮像素子を備えた撮像部と、撮像素子の光軸に直交する面に対して撮像素子を回転駆動させる第1の駆動機構と、撮像部を第1の駆動機構の回転軸と平行な軸周りに回転駆動させる第2の駆動機構と、撮像装置の振動を検出する検出手段と、検出手段の検出結果に基づき、撮像装置の傾きを判定する傾き判定手段と、検出手段の検出結果が第1の閾値以上であった場合、撮像装置の傾きが変化したと判定し、検出手段の検出結果が第1の閾値未満であった場合、撮像装置の傾きが変化していないと判定する第1の判定手段と、第1の判定手段が撮像装置の傾きが変化したと判定した場合に、傾き判定手段の判定結果に応じて、第1の駆動機構と第2の駆動機構の回転量を決定する決定手段と、を有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
撮像素子を備えた撮像部と、
前記撮像素子の光軸に直交する面に対して前記撮像素子を回転駆動させる第1の駆動機構と、
前記撮像部を前記第1の駆動機構の回転軸と平行な軸周りに回転駆動させる第2の駆動機構と、
撮像装置の振動を検出する検出手段と、
前記検出手段の検出結果に基づき、前記撮像装置の傾きを判定する傾き判定手段と、
前記検出手段の検出結果が第1の閾値以上であった場合、前記撮像装置の傾きが変化したと判定し、前記検出手段の検出結果が前記第1の閾値未満であった場合、前記撮像装置の傾きが変化していないと判定する第1の判定手段と、
前記第1の判定手段が前記撮像装置の傾きが変化したと判定した場合に、前記傾き判定手段の判定結果に応じて、前記第1の駆動機構と前記第2の駆動機構の回転量を決定する決定手段と、を有する、
ことを特徴とする撮像装置。
【請求項2】
フォーカスレンズを有し、
前記決定手段は、前記傾き判定手段の判定結果に応じて前記フォーカスレンズの駆動量を決定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記検出手段は、角加速度センサであることを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記傾き判定手段は、前記角加速度センサから出力される検出結果に基づき、前記撮像装置の傾きを判定することを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記第1の閾値は、前記撮像装置の前側におけるあおり深度から決定することを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記撮像装置の傾きの大きさが第2の閾値を超えたか否かを判定する第2の判定手段を有することを特徴とする請求項1に記載の撮像装置。
【請求項7】
前記第2の判定手段による判定の結果、前記撮像装置の傾きの大きさが第2の閾以上であった場合、前記第2の駆動機構は前記撮像装置の傾きの大きさに応じた回転駆動を行い、前記撮像装置の傾きの大きさが前記第2の閾未満であった場合、前記第1の駆動機構は前記撮像装置の傾きの大きさに応じた回転駆動を行うことを特徴とする請求項6に記載の撮像装置。
【請求項8】
前記第2の閾値は、前記撮像素子の少なくとも回転可能な範囲から決定することを特徴とする請求項6に記載の撮像装置。
【請求項9】
前記第1の駆動機構と前記第2の駆動機構の回転量は、前記第2の判定手段による判定結果から決定することを特徴とする請求項6に記載の撮像装置。
【請求項10】
前記傾き判定手段は、前記検出手段が前記検出結果を出力するタイミングと前記撮像装置の撮像タイミングとの時間差に基づいて、前記検出手段の検出結果を補正することを特徴とする請求項1に記載の撮像装置。
【請求項11】
前記傾き判定手段は、前記検出手段が検出する前記撮像装置の振動の周期性と前記撮像装置の撮像タイミングとの時間差に基づいて、前記撮像タイミングにおける前記検出手段の検出結果を予測することを特徴とする請求項1に記載の撮像装置。
【請求項12】
前記第1の駆動機構の駆動を、前記撮像装置の露光期間中には行わないように制御する第1の駆動制御手段を有することを特徴とする請求項1に記載の撮像装置。
【請求項13】
前記第2の駆動機構の駆動を、前記撮像装置の露光期間中には行わないように制御する第2の駆動制御手段を有することを特徴とする請求項1に記載の撮像装置。
【請求項14】
前記フォーカスレンズの駆動を、前記撮像装置の露光期間中には行わないように制御する第3の駆動制御手段を有することを特徴とする請求項2に記載の撮像装置。
【請求項15】
前記検出手段は、前記撮像装置に加わる振動から前記撮像装置の角度変化と移動量を検出し、検出結果として出力することを特徴とする請求項1に記載の撮像装置。
【請求項16】
前記検出手段は、加速度センサであることを特徴とする請求項15に記載の撮像装置。
【請求項17】
前記検出手段の検出結果に基づき、前記撮像装置が撮影する被写体に対する移動量を判定する移動量判定手段を有することを特徴とする請求項15に記載の撮像装置。
【請求項18】
前記撮像装置が振動したか否かを第3の閾値に基づき判定する第3の判定手段を有し、
前記第3の判定手段は、前記検出手段の検出結果が前記第3の閾値以上であった場合には、前記撮像装置が振動したと判定し、前記検出手段の検出結果が前記第3の閾値未満であった場合には、前記撮像装置は振動していないと判定することを特徴とする請求項15に記載の撮像装置。
【請求項19】
前記第3の判定手段は、前記撮像装置が振動したと判定した場合、前記撮像装置が撮影する被写体に対する撮影位置から移動していると判定することを特徴とする請求項18に記載の撮像装置。
【請求項20】
前記第3の閾値は、前記撮像装置の前側におけるあおり深度から決定することを特徴とする請求項19に記載の撮像装置。
【請求項21】
前記第1の駆動機構の回転軸と直交する軸周りに前記撮像素子を回転駆動させる第3の駆動機構を有することを特徴とする請求項1に記載の撮像装置。
【請求項22】
前記光軸周りに前記撮像素子を回転駆動させる第4の駆動機構を有することを特徴とする請求項1に記載の撮像装置。
【請求項23】
撮像装置の制御方法であって、
前記撮像装置の振動を検出する振動検出工程と、
前記振動検出工程における検出結果に基づき、前記撮像装置の傾きを判定する傾き判定工程と、
前記振動検出工程の検出結果が第1の閾値以上であった場合、前記撮像装置の傾きが変化したと判定し、前記振動検出工程の検出結果が前記第1の閾値未満であった場合、前記撮像装置の傾きが変化していないと判定する第1の判定工程と、
前記第1の判定工程で前記撮像装置の傾きが変化したと判定した場合、前記傾き判定工程で判定された判定結果に応じて、撮像素子の光軸に直交する面に対して前記撮像素子を回転駆動させる第1の駆動機構と前記撮像素子を有する撮像部を前記第1の駆動機構の回転軸と平行な軸周りに回転駆動させる第2の駆動機構の回転量を決定する決定工程と、を有する、
ことを特徴とする撮像装置の制御方法。
【請求項24】
撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、前記プログラムは前記コンピュータに、
前記撮像装置の振動を検出する振動検出工程と、
前記振動検出工程における検出結果に基づき、前記撮像装置の傾きを判定する傾き判定工程と、
前記振動検出工程の検出結果が第1の閾値以上であった場合、前記撮像装置の傾きが変化したと判定し、前記振動検出工程の検出結果が前記第1の閾値未満であった場合、前記撮像装置の傾きが変化していないと判定する第1の判定工程と、
前記第1の判定工程で前記撮像装置の傾きが変化したと判定した場合、前記傾き判定工程で判定された判定結果に応じて、撮像素子の光軸に直交する面に対して前記撮像素子を回転駆動させる第1の駆動機構と前記撮像素子を有する撮像部を前記第1の駆動機構の回転軸と平行な軸周りに回転駆動させる第2の駆動機構の回転量を決定する決定工程と、を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関するものである。
【背景技術】
【0002】
撮像装置に振動が加わると、その振動により被写体像のブレやボケが生じて画質が劣化する。このため、PANやTILT回転などの駆動機構を有する撮像装置では、振動に対して駆動機構を制御することで、振動による画角変動を抑制する防振技術である、PT(PAN TILT)防振が知られている。
【0003】
一方、所定の画角内における距離の異なる広い範囲に対して焦点の合った被写体画像を得る、いわゆるあおり撮影が知られている。また、あおり撮影可能な撮像装置がPANやTILTの駆動機構を有する場合、焦点のあった状態を維持するために、振動による焦点ずれを抑制する防振技術がある。例えば特許文献1には、PANやTILTの駆動機構の駆動状態に応じて、自動的にあおり角を制御することを可能とする撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1で示した撮像装置では、振動に応じたPT防振とPTの駆動状態に応じたあおり角制御を独立して駆動すると、あおり角の制御が誤作動する場合がある。例えば、PT防振によって画角変動が抑えられているにもかかわらず、あおり角が変動することによって、被写体のボケ(焦点ずれ)が悪化する。
【0006】
本発明はこのような事情に鑑み、あおり撮影の際に振動が加わっても、あおり角制御の誤動作を抑制した撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の一側面としての撮像装置は、撮像素子を備えた撮像部と、前記撮像素子の光軸に直交する面に対して前記撮像素子を回転駆動させる第1の駆動機構と、前記撮像部を前記第1の駆動機構の回転軸と平行な軸周りに回転駆動させる第2の駆動機構と、撮像装置の振動を検出する検出手段と、前記検出手段の検出結果に基づき、前記撮像装置の傾きを判定する傾き判定手段と、前記検出手段の検出結果が第1の閾値以上であった場合、前記撮像装置の傾きが変化したと判定し、前記検出手段の検出結果が前記第1の閾値未満であった場合、前記撮像装置の傾きが変化していないと判定する第1の判定手段と、前記第1の判定手段が前記撮像装置の傾きが変化したと判定した場合に、前記傾き判定手段の判定結果に応じて、前記第1の駆動機構と前記第2の駆動機構の回転量を決定する決定手段と、を有する、ことを特徴とする。
【発明の効果】
【0008】
本発明によれば、あおり撮影の際に振動が加わっても、あおり角制御の誤動作を抑制した撮像装置を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】実施形態1における撮像装置のハードウェア構成図である。
【
図2】実施形態1における撮像装置の概略構成図である。
【
図3】実施形態1における撮像装置の機能ブロック図である。
【
図4】実施形態1におけるあおり撮影の説明図である。
【
図5】実施形態1における撮像装置に振動が加わって、矢印Rの方向に撮像装置100の傾きが変化する様子を示す模式図である。
【
図6】実施形態1における
図5の撮像時におけるレンズユニットと撮像素子との位置関係を示す模式図である。
【
図7】実施形態1における回転駆動制御後のピント面を示す模式図である。
【
図8】実施形態1におけるあおり角制御前後のピント面を示す模式図である。
【
図9】実施形態1におけるフォーカスレンズ制御後のピント面を示す模式図である。
【
図10】実施形態1における処理を実現するフローチャートである。
【
図11】実施形態2におけるあおり撮影における被写界深度の説明図である。
【
図12】実施形態2における撮像装置100に振動が加わり、高さが変化する場合の説明図である。
【
図13】実施形態2における処理を実現するフローチャートである。
【
図14】実施形態2における処理を実現するフローチャートである。
【
図15】実施形態2における、あおり撮影における被写界深度の説明図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
【0011】
<実施形態1>
図1及び
図2を参照して、実施形態1における撮像装置100の構成について説明する。
図1は、実施形態1における撮像装置100のハードウェア構成図である。
図2は、実施形態1における撮像装置100の概略構成図である。
【0012】
撮像装置100は、CPU10と、ROM11と、RAM12と、記憶装置13と、通信部14と、を有するように構成される。
【0013】
CPU10は、少なくとも1つのコンピュータで構成され、ROM(Read-Only Memory)11に記憶された制御プログラムを読み出して各種処理を実行する中央演算装置である。ROM11は、不揮発性メモリであり、各実施形態のプログラムやその他の制御に必要なプログラム(制御プログラム)や各データを格納する。
【0014】
RAM(Random Access Memory)12は、揮発性メモリであり、CPU10の主メモリ、ワークエリア等の一時記憶領域として用いられる。また、RAM12は、画像や映像データ等の各種データを一時記憶する。
【0015】
記憶装置13は、各種データや各種プログラム等を記憶する。記憶装置13は、例えば、HDD、フラッシュメモリ、SDカード等の不揮発性の記憶装置である。記憶装置13は、OSや各種のプログラム及び各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用される。通信部14は、有線または無線によりネットワークを介してクライアント装置やサーバ等の外部装置との通信処理を行う。
【0016】
撮像装置100の機能や処理は、CPU10がROM11又は記憶装置13に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、CPU10は、ROM11等に替えて、SDカード等の記録媒体に格納されているプログラムを読み出してもよい。
【0017】
尚、実施形態1では、撮像装置100は、1つのプロセッサ(CPU10)が1つのメモリ(ROM11)を用いて後述するフローチャートに示す各処理を実行するものとするが、他の様態であっても構わない。例えば、複数のプロセッサや複数のRAM12、ROM11及びストレージ(記憶装置13)を協働させて後述するフローチャートに示す各処理を実行することもできる。また、ハードウェア回路を用いて一部の処理を実行するようにしてもよい。また、CPU以外のプロセッサを用いて後述する撮像装置100の機能や処理を実現するようにしてもよい。また、例えば、CPUに替えてGPU(Graphics Processing Unit)を用いることとしてもよい。
【0018】
図2より、撮像装置100は、撮像部101、レンズユニット102、撮像素子103、あおり駆動部(第1の駆動機構)104、回転駆動部(第2の駆動機構)105、振動検出部106、制御装置200から構成される。
【0019】
撮像部101は、レンズユニット102、撮像素子103、及びあおり駆動部104から構成される。撮像部101は、回転駆動機構を有し、後述する撮像素子103の回転駆動機構の回転軸と平行な軸に対して(平行な面に対して)撮像部101を回転駆動することが可能である。即ち、撮像部101が有する回転駆動機構は、撮像素子103における回転駆動機構の回転軸と平行な軸周りに撮像部101を回転駆動させることができる。撮像部101の駆動は後述する制御装置200により制御される。
【0020】
レンズユニット102は、ズームレンズ、フォーカスレンズ、及び絞り機構を有し、被写体からの光を撮像素子103の受光面に集光する。ズームレンズは光軸方向に移動し、撮影倍率を変更することが可能である。フォーカスレンズは光軸方向に移動し、焦点を調節することが可能である。絞り機構は光学系を通過する光量を調節することが可能である。また、ズームレンズ、フォーカスレンズ等の各レンズ及び絞り機構は、不図示の駆動部(駆動機構)を有し、制御装置200により駆動及びレンズの移動が制御される。また、制御装置200は、撮像部101を介して周囲の環境(領域)を撮影(撮像)するように、撮像装置100における撮像の際の各種動作等の制御を実行する。
【0021】
撮像素子103は、CMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなど半導体素子を有する。撮像素子103は、レンズユニット102から入光された光から、被写体像を光電変換して、アナログ信号を生成する。また、撮像素子103は、あおり駆動部104によって、受光面とレンズユニット102の光軸に直交する面とのなす角を変更することが可能である。即ち、回転駆動機構として機能するあおり駆動部104は、撮像素子103の光軸と直交する面に対して撮像素子103を回転駆動させることができる。
【0022】
あおり駆動部104は、撮像素子103を回転駆動させるモータを有し、制御装置200からの駆動信号に基づいて、撮像素子103の受光面とレンズユニット102の光軸に直交する面とのなす角を変更することが可能である。即ち、あおり駆動部104により光軸と直交する面に対して撮像素子103を回転させる(光軸と直交する面内での角度を変更する)ことができる。あおり駆動部104は、回線を介して制御装置200と接続されている。
【0023】
回転駆動部105は、撮像部101を回転駆動させるモータを有し、制御装置200からの駆動信号に基づいて、撮像部101を回転駆動することが可能である。回転駆動部105の回転軸は、あおり駆動部104の回転軸と平行な軸である。そのため、撮像装置100は撮像部101と撮像素子103を同一方向または反対方向へ同時に回転駆動することが可能である。
【0024】
振動検出部106は、不図示の角加速度センサ及び加速度センサを有する。振動検出部106は、撮像装置100に加わる振動を加速度センサで検出し、電気信号に変換し、デジタルデータとして出力する。さらに、振動検出部106は、撮像装置100の傾きを角加速度センサで検出して電気信号に変換し、デジタルデータとして出力する。
【0025】
角加速度センサは、角加速度センサの検出方向が、撮像部101及び撮像素子103の回転方向に対して感度を持つ配置にする。また、加速度センサは、加速度センサの検出方向が、撮像装置100の移動方向に対して感度を持つ配置にする。回転軸と検出方向については後述する。振動検出部106は、撮像装置100に加わる振動を検出する検出手段としても機能する。具体的には振動検出部106は、角加速度センサ及び加速度センサによって撮像装置100に加わる振動から撮像装置100の傾き変化(傾きの大きさ)と撮像装置100の移動を検出(検知、判定)する。検出(判定)した結果の情報(検出結果)は、振動算出部204に出力される。振動検出部106は、回線を介して制御装置200と接続されている。このように、振動検出部106が出力する検出結果には撮像装置100の加速度の情報と角加速度の情報が含まれる。
【0026】
尚、撮像部101は撮像装置100の不図示の鏡筒内に収納される。また、あおり駆動部104または振動検出部106は撮像装置100内に配置されればよいが、鏡筒内に収納されるようにしてもよい。
【0027】
次に、
図3を参照して、制御装置200の構成について説明する。
図3は、撮像装置100の機能ブロック図である。具体的には、撮像装置100の制御装置200における機能ブロック図である。制御装置200は、その機能として、A/D変換部201、画像処理部202、I/F部203、振動算出部204、駆動量算出部205、レンズユニット制御部206を含むように構成される。さらに制御装置200は、その機能として、あおり角算出部207、あおり角制御部208、回転量算出部209、回転制御部210、記憶部211を含むように構成される。
【0028】
A/D変換部201は、撮像素子103から出力されたアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部202に出力する。
【0029】
画像処理部202は、変換されたデジタル信号に対してデジタルゲインによる露出調整、デモザイキング処理、ホワイトバランス処理、ガンマ処理等を含む信号処理を行ってデジタル画像を生成する。また、上記デジタル画像をインターフェース(I/F)部203に合わせて、JPEG方式などにフォーマット変更処理を行う。
【0030】
インターフェース(I/F)部203は、撮像装置100をPC(Personal Computer)等や表示装置、その他のメディア(例えば、ハードディスク、メモリーカード、SDカード、USBメモリ等)に繋ぐためのインターフェースである。
【0031】
振動算出部204は、振動検出部106から出力されるデジタルデータ(検出結果)に基づき、撮像装置100における振動の方向と大きさを算出する。振動算出部204は、振動検出部106の角加速度センサから出力されるデジタルデータ(検出結果)に基づき、撮像装置100の傾き変化(角度変化)を算出(判定)する傾き判定手段としても機能する。具体的には、傾き判定手段は、角加速度センサから出力されるデジタルデータを積分し、振動による撮像装置100の角度変化を算出する。尚、振動算出部204は、振動と傾きとを紐づけたテーブルを用いて撮像装置100の傾きを判定するようにしてもよい。
【0032】
また、振動算出部204は、振動検出部106の加速度センサから出力されるデジタルデータ(検出結果)に基づき、撮像装置100の移動量(撮像装置100が撮影する被写体に対する移動量)を算出(判定)する移動量判定手段としても機能する。具体的には、移動量判定手段は、加速度センサから出力されるデジタルデータを積分し、振動による撮像装置100の移動量を算出する。尚、振動算出部204は、振動と移動量とを紐づけたテーブルを用いて撮像装置100の移動量を判定するようにしてもよい。
【0033】
駆動量算出部205は、振動算出部204により求められた、振動による撮像装置100の傾き変化(角度変化)、移動量に基づきフォーカス制御目標距離を算出し、レンズユニット102の駆動量を決定する。
【0034】
レンズユニット制御部206は、駆動量算出部205で算出されたレンズユニット102の駆動量に基づき、レンズユニット102の駆動を制御することで、レンズユニット102における移動を制御する。レンズユニット制御部206は、フォーカスレンズを含むレンズユニット102の駆動を制御する際、第3の駆動制御手段としても機能する。
【0035】
あおり角算出部207は、振動算出部204により求められた、振動による撮像装置100の傾き変化(角度変化)、移動量に基づいてあおり制御目標角と算出し、レンズユニット102におけるあおり角の駆動量を決定する。
【0036】
あおり角制御部208は、あおり角算出部207が算出したレンズユニット102のあおり角に基づき、あおり駆動部104の駆動を制御することで、レンズユニット102における傾きを制御する。即ち、撮像素子103の受光面とレンズユニット102の光軸に垂直な面の傾きを制御する。あおり角制御部208は、あおり駆動部104の駆動を制御する際、第1の駆動制御手段としても機能する。本実施形態では、鉛直方向の回転(TILT)を例に挙げて説明する。
【0037】
回転量算出部209は、振動算出部204により求められた、振動による撮像装置100の傾き変化(角度変化)、移動量から、撮像部101の回転駆動量を算出する。駆動量算出部205、あおり角算出部207、回転量算出部209の算出結果は相互に影響がある。そこで本実施形態では、各算出部の算出方法をそれぞれ説明した後に、各駆動機構による防振動作とあおり角の制御を協調制御する方法について説明する。
【0038】
回転制御部210は、回転量算出部209で算出された撮像部101の回転駆動量に基づき、回転駆動部105を駆動し、撮像部101の回転を制御する。回転制御部210は、あおり駆動部104の駆動を制御する際、第1の駆動制御手段としても機能する。本実施形態では、あおり角制御部208と同様に、鉛直方向の回転(TILT)、即ち鉛直方向における軸周りに回転するチルト回転を例に挙げて説明する。
【0039】
記憶部211は、メモリによって構成される。メモリとはSRAMやDRAMといった揮発性メモリや、EEPROMやフラッシュメモリといった不揮発性メモリである。
【0040】
本実施形態では、撮像装置100を船上に設置され、撮像装置100で船外を撮影する場合を想定する。船上に撮像装置100が設置された場合、波によって船が揺れると、船外の被写体との相対位置または角度がずれて、画角変動や焦点ずれが発生する。船首に設置された船の前方を撮影する撮像装置100に加わる揺れの種類は、移動を伴うものは、上下揺れ、前後揺れ、左右揺れがあり、回転を伴うものは、横揺れ(ローリング)、縦揺れ(ピッチング)、船首揺れ(ヨーイング)がある。本実施形態では、縦揺れによって傾き変化が生じる場合を例に挙げて説明する。
【0041】
次に
図4を参照して、あおり駆動部104を駆動して撮像素子103を傾動させ、あおり撮影を行う場合について説明する。
図4は、撮像装置100を用いて被写体面403を撮影する場合の説明図である。撮像素子103は、
図4において示されるz軸方向を軸として回転駆動することが可能である。
図4において示されるように、レンズユニット102と撮像素子103は、レンズユニット102の主面401、撮像素子103の撮像面402、被写体面403が1点で交わる位置関係となる(シャインプルーフの原理)。シャインプルーフの原理から、ピント面404と被写体面403の面が一致し、被写体面上で画角手前から奥までピントが合う。
【0042】
ピント面404が被写体面403に合う時の、レンズユニットの主面401と撮像素子の撮像面402のなす角であるあおり角(あおり制御目標角)bは、以下に示す式(1)を用いて算出される。
【数1】
【0043】
ここで、Dは被写体面までの距離(フォーカス制御目標距離)、aは被写体面と光軸のなす角、fは焦点距離である。あおり撮影時は、被写界深度407は通常撮影時と異なり、前側あおり深度面405、後側あおり深度面406に囲まれた領域になる。あおり撮影時の被写界深度d’
1及びd’
2は、通常撮影時の被写界深度を用いて、以下の式(2)と式(3)で求めることができる。
【数2】
【数3】
【0044】
ここで、d1は通常撮影時の後側被写界深度、d2は通常撮影時の前側被写界深度、Dは被写体面までの距離(フォーカス制御目標距離)、aは被写体面と光軸のなす角、ωは撮影半画角である。
【0045】
以下、
図5、
図6及び
図7を参照して、本実施形態における回転駆動部105及び回転量算出部209による防振動作(画角変動の抑制および焦点ずれの抑制)について説明する。
図5は、撮像装置100に振動が加わって、矢印Rの方向に撮像装置100の傾きが変化する様子を示した模式図である。撮像装置100は、取り付け部501を介して天吊りされているものとする。また、
図5の502は被写体面を示す。
図6は、
図5の撮像時における、撮像装置100に振動が加わった後のレンズユニット102と撮像素子103との位置関係を示す模式図である。
図7は、防振動作後のレンズユニット102と撮像素子103との位置関係を示す模式図である。
図5に示すように、撮像装置100の位置及び画角は、振動前(点線)と振動後(実線)で異なることが分かる。
【0046】
図6に示すように、撮像装置100の傾き変化により、被写体面までの距離D
0はD
1に、被写体面と光軸のなす角a
0はa
1に変化する。被写体面までの距離および被写体面と光軸のなす角が変化するため、ピント面602は撮像装置100の傾き方向にずれ、被写体面601と一致しない。すなわち焦点ずれが発生する。
【0047】
図7は、具体的には
図5で傾きが変化した後の撮像装置100において、回転駆動部105が回転駆動し、撮像部101が矢印R’方向に回転(防振)した際のレンズユニット102と撮像素子103の位置関係を示す模式図を示している。矢印R’方向の回転における回転量は、振動による撮像素子103の矢印R方向の回転量に等しい(同等となる)。これにより振動によって変化した傾きを回転駆動部105によって相殺し、画角変動を抑制(防振)することが可能となる。
【0048】
また、撮像素子103の矢印R方向の回転量は、回転量算出部209により、振動算出部204から出力される傾き変化を用いて算出することが可能である。従って、撮像部101は振動が加わる前の位置に戻り、フォーカス制御目標距離D0、焦点距離f、被写体面と光軸のなす角a0は振動が加わる前と同じ値となる。これより、あおり角b0を変更せずにシャインプルーフの原理を満たすことができ、被写体面701とピント面702を合わせることができる。すなわち、焦点ずれを抑制することができる。
【0049】
以下、
図8及び
図9を参照して、あおり駆動部104及びあおり角算出部207による防振動作(焦点ずれの抑制)について説明する。
図8は、撮像装置100の傾き変化に対して、あおり角を制御した場合の、レンズユニット102と撮像素子103の位置関係を示す模式図である。
図9は、撮像装置100傾き変化に対して、あおり角及びフォーカスレンズを制御した場合の、レンズユニット102と撮像素子103の位置関係を示す模式図である。
【0050】
撮像装置100に振動が加わることで、レンズユニット102の主面がΔθだけ傾くとき、振動が加わった後の光軸と被写体面のなす角a
1は、以下の式(4)を用いて求められる。
【数4】
【0051】
ここで、a
0はあおり角制御前の光軸と被写体面のなす角、Δθはレンズユニット主面の傾き変化角である。変化角Δθは、振動算出部204により、振動検出部106から出力されるデジタルデータを用いて算出することが可能である。また、振動が加わった後のフォーカス制御目標距離D
1は、撮像素子103の回転軸と、回転駆動部105の回転軸の距離が十分小さいとすると、以下の式(5)を用いて求められる。
【数5】
【0052】
ここで、D0は振動が加わる前のフォーカス制御目標距離、fは焦点距離である。振動が加わる前のフォーカス制御目標距離D0は、画面中心における位相差AF(AUTO FOCUS)によるフォーカスの評価値から距離情報に換算する。また、フォーカスレンズの位置に対する被写体までの距離のテーブルを保有し、位相差AFによって決定されたフォーカスレンズの位置に対する距離を参照してもよい。この他にも、LiDERなどの外部測距センサなどから距離を求めてもよい。焦点距離fは、レンズユニットの光学設計と撮像素子の配置によって決定される。レンズユニット102が交換可能である場合には、レンズユニット102から光学情報や識別番号を取得して、焦点距離を算出する。
【0053】
振動が加わった後の光軸と被写体面のなす角a
1、および振動が加わった後のフォーカス制御目標距離D
1より、あおり制御目標角b
1は、以下の式(6)を用いて求められる。
【数6】
【0054】
図8に示すように、撮像素子103をあおり制御目標角b
1に制御すると、レンズユニットの主面と撮像素子103の撮像面の交点が被写体面801と重なる位置に移動する。このときピント面802は、レンズユニットの主面と撮像面の交点の移動により、撮像装置100の傾き変化の方向Rと反対方向に傾くため、焦点ずれが抑制する方向に動作する。また、被写界深度は、ピント面802の傾き変化に伴い、被写界深度803から被写界深度804に変化する。即ち、画角内の被写体面(被写体)がピントの合う領域である被写界深度内となって焦点ずれが抑制する。
【0055】
以下、
図9を参照して、あおり角を制御した
図8の状態から、さらにフォーカスレンズを制御することで、焦点ずれをより抑制する方法について以下に説明する。撮像素子103をあおり制御目標角b
1となるように制御し、さらにレンズユニット102を式(3)より求められるフォーカス制御目標距離D
1となるように制御することで、被写体面901とピント面902を合わせることができる。即ち、焦点ずれが抑制される。
【0056】
次に、
図10を参照して、本実施形態における撮像装置100の回転駆動制御による防振動作と、あおり角制御による防振動作を切り替えて駆動する方法について説明する。
図10は、本実施形態における回転駆動制御とあおり角制御の切り替え制御のフローチャートである。以下の各処理は、撮像装置100のCPU10がROM11又は記憶装置13に記憶されたプログラムを実行することによって実現される。また、各工程(ステップ)について先頭にSを付けて表記することで、工程(ステップ)の表記を省略する。
【0057】
まず、S1001では、振動算出部204は、振動検出部106より出力されるデジタルデータに基づき、振動検出部106が振動を検出したか否かを判定する。振動の判定には閾値(第1の閾値)を設け、当該第1の閾値と振動検出部106より出力されるデジタルデータと比較する。そして、振動算出部204は、第1の閾値以上の場合は振動として検出するようにし、閾値未満の場合は振動として検出しないようにする。被写界深度に収まる微小振動は、振動として検出しない。尚、具体的には、振動算出部204は、振動により撮像装置100の傾きが変化したか否かを第1の閾値に基づいて判定する。また第1の閾値の設定方法については後述する。
【0058】
振動算出部204による判定の結果、第1の閾値未満であった場合には、撮像装置100は振動していない(振動検出部106は撮像装置100の振動を検出していない)と判定し、S1001の判定処理を繰り返す。この場合、振動算出部204は、撮像装置100が振動により現在の位置(現在の撮像部101の傾き角度)より傾きが変化していないと判定する。一方、第1の閾値以上であった場合には、撮像装置100が振動したと判定し、S1002に進む。この場合、振動算出部204は、撮像装置100が撮影する被写体に対する撮影位置が振動により現在の位置(現在の撮像部101の傾き角度)より傾きが変化していると判定する。本処理の際、振動算出部204は、撮像装置100が振動により傾きが変化したか否かを第1の閾値に基づいて判定する第1の判定手段としても機能する。
【0059】
次に、S1002では、振動算出部204は、振動検出部106より出力されるデジタルデータを用いて、撮像装置100の傾き変化を算出する。
【0060】
次に、S1003では、振動算出部204は、S1002で算出された撮像装置100の傾き変化の大きさが、閾値(第2の閾値)を超えたか否かを判定する。判定の結果、傾き変化の大きさが第2の閾値以上である場合、回転駆動部105の回転駆動制御による防振動作を行うため、S1004に進む。一方、傾き変化の大きさが第2の閾値未満の場合、あおり角制御による防振動作を行うため、S1006に進む。本処理の際、振動算出部204は、撮像装置100における傾き変化の大きさが第2の閾値を超えたか否かを判定する第2の判定手段としても機能する。第2の閾値の設定方法については後述する。
【0061】
次に、S1004では、回転量算出部209は、振動算出部204がS1002で算出した撮像装置100の傾き変化に基づき、回転駆動部105の回転駆動量(駆動量)を算出して決定する。回転駆動部105の回転駆動量は、当該撮像装置100の傾き変化に応じて変化する。本処理の際、回転量算出部209は、回転駆動部(第2の駆動機構)105の回転量を決定する決定手段としても機能する。
【0062】
次に、S1005では、回転制御部210は、S1004で回転量算出部209が決定した回転駆動量に基づいて、回転駆動部105を駆動制御して防振動作を行う。その後、本処理フローを終了する。
【0063】
次に、S1006では、あおり角算出部207は、S1002で振動算出部204が算出した撮像装置100の傾き変化に基づき、光軸と被写体面のなす角(光軸と直交する面に対して撮像素子103を回転させる角度)を算出して決定する。
【0064】
次に、S1007では、駆動量算出部205は、S1002で振動算出部204が算出した撮像装置100の傾き変化に基づき、フォーカス制御目標距離を算出し、レンズユニット102の駆動量を決定する。具体的には、駆動量算出部205は、振動算出部204が算出した撮像装置100の傾き変化からフォーカス制御目標距離を算出して決定し、当該フォーカス移動目標距離に基づき、撮像部101が有するレンズユニット102の駆動量(移動量)を決定する。フォーカス制御目標距離は、当該撮像装置100の傾き変化に応じて変化する。本処理の際、駆動量算出部205は、フォーカスレンズの駆動量を決定する決定手段としても機能する。
【0065】
次に、S1008では、あおり角算出部207は、S1002で振動算出部204が算出した撮像装置100の傾き変化に基づき、あおり制御目標角を算出し、あおり駆動部104の回転量を決定する。具体的には、あおり角算出部207は、振動算出部204が算出した撮像装置100の傾き変化に基づき、あおり制御目標角を算出して決定し、当該あおり制御目標角に基づき、撮像部101が有するあおり駆動部104の駆動量(回転量)を決定する。あおり制御目標角は、当該撮像装置100の傾き変化に応じて変化する。本処理の際、あおり角算出部207は、あおり駆動部(第1の駆動機構)104の回転量を決定する決定手段としても機能する。
【0066】
次に、S1009では、あおり角制御部208は、撮像素子103の傾きを、S1008であおり角算出部207により決定されたあおり制御目標角となるようにあおり駆動部104を駆動制御して防振動作を行う。
【0067】
次に、S1010では、レンズユニット制御部206は、S1007で駆動量算出部205により決定されたフォーカス制御目標距離となるようにレンズユニット102を駆動制御して防振動作を行う。その後、本処理フローを終了する。
【0068】
上記のように振動算出部204による判定の結果、撮像装置100の傾き変化の大きさが第2の閾以上であった場合、回転制御部210は回転駆動部105を制御し、撮像装置100の傾き変化の大きさに応じた回転駆動を行う。そして、撮像装置100の傾き変化の大きさが第2の閾未満であった場合、あおり角制御部208はあおり駆動部104を制御し撮像装置100の傾き変化の大きさに応じた回転駆動を行う。また、上記のように、あおり駆動部104の回転量と回転駆動部105の回転量は、振動算出部204による判定結果から決定することができる。尚、回転量算出部209が行っていた回転駆動部105の回転駆動量の決定を回転制御部210が行うようにしてもよい。また、駆動量算出部205が行っていたレンズユニット102の駆動量(移動量)の決定をレンズユニット制御部206が行うようにしてもよい。また、あおり角算出部207が行っていたあおり駆動部104の駆動量(回転量)の決定をあおり角制御部208が行うようにしてもよい。
【0069】
本実施形態によれば、あおり撮影の際に振動が加わった場合に、回転駆動部105による防振動作とするか、あおり駆動部104による防振動作とするかを適切に選択することができ、あおり角制御の誤動作を抑制した撮像装置を実現することができる。
【0070】
以下、
図10中S1003における振動に基づく傾き変化の大きさ判定で用いる第2の閾値の決定方法について、補足で説明する。S1003で用いる第2の閾値は、撮像素子103を傾動可能(撮像素子103が駆動可能)な角度(回転可能な範囲)から決定することが望ましい。即ち、第2の閾値は、あおり角制御部208が制御するあおり駆動部104の制御可能範囲と回転制御部210が制御する回転駆動部105の制御可能範囲から決定することが望ましい。尚、第2の閾値は、あおり角制御部208が制御するあおり駆動部104の制御可能範囲から決定してもよい。または回転制御部210が制御する回転駆動部105の制御可能範囲から決定してもよい。
【0071】
尚、
図10に示す上記の処理では撮像装置100の傾き変化の大きさが第2の閾値を超えるか判定し、第2の閾値以上であれば回転駆動部の駆動を行い、第2の閾値未満であれば、あおり駆動部とレンズユニットの駆動を行った。これに限らず、例えば、撮像装置100の傾き変化の大きさから求められるあおり制御目標角が、撮像素子103を傾動可能な角度以下であれば撮像素子103を駆動し、撮像素子103を傾動可能な角度以上であれば撮像部101を回転駆動してもよい。撮像素子103の駆動機構(あおり駆動部104)は、撮像部101の駆動機構(回転駆動部105)に比較し、小型で制御性がよい特徴がある。そのため、制御精度の向上をすることができる。
【0072】
本実施形態では、回転駆動制御による防振動作と、あおり角制御による防振動作の協調制御として、撮像装置100の傾き変化の大きさによって、回転駆動制御による防振動作と、あおり角制御による防振動作を切り替える例を説明した。しかし、回転駆動制御による防振動作と、あおり角制御による防振動作の協調制御はこれに限定されるものではない。
【0073】
例えば、あおり角制御による防振動作の制御を優先とした協調制御を行ってもよい。あおり角制御による防振動作を優先することで、被写体面にフォーカスを合わせ続けることを優先とした制御が可能となる。また、例えば、回転駆動制御による防振動作を優先とした協調制御を行ってもよい。回転駆動制御による防振動作を優先することで、画角変動を抑制することを優先とした制御が可能になる。これらいずれかの防振動作を優先させるかを例えば操作者(ユーザ)が選択または設定可能とするようにしてもよい。
【0074】
図11を参照して、
図10のS1001における振動の検出有無の判定で用いる第1の閾値の決定方法について、補足で説明する。
図11は、
図5の振動が加わる前の撮像装置100におけるピント面と被写界深度の関係を示した図である。
図11中の1101は被写体面を示しており、1102はピント面を示している。また1103は前側あおり深度面を示しており、1104は後側あおり深度面を示している。
【0075】
あおり撮影中は、前側あおり深度d’
1が、後側あおり深度d’
2より浅くなる。よって、振動を判定する閾値としての第1の閾値は、前側あおり深度d’
2を基に決定することが望ましい。例えば、傾き変化に閾値を設ける場合、被写体面と前側あおり深度面1103のなす角φを閾値(第1の閾値)とする。被写体面1101と前側あおり深度面1103のなす角φは以下の式(7)で求めることができる。
【数7】
【0076】
ここで、d2はあおり撮影をしない場合の前側被写界深度、a0は被写体面と光軸のなす角、D0は被写体面までの距離(フォーカス制御目標距離)である。振動の検出有無の判定において、傾き変化の閾値として第1の閾値を設けることで、振動が許容範囲(例えば被写体が被写界深度内に収まってる)の場合には、振動として検出しないことで、駆動部の寿命向上や消費電力の増大を防ぐことができる。
【0077】
レンズユニット制御部206におけるレンズユニット102の駆動制御、あおり角制御部208におけるあおり駆動部104の駆動制御、及び回転制御部210における回転駆動部105の駆動制御について補足で説明する。レンズユニット102、あおり駆動部104、及び回転駆動部105の駆動制御は、撮像装置100における撮影に対して影響が少なくなるように制御されることが望ましい。
【0078】
例えば、撮像素子103の露光期間を避けてレンズユニット102、あおり駆動部104、及び回転駆動部105の制御を行う。即ち、レンズユニット制御部206は、レンズユニット102の駆動制御を露光期間中は行わないように制御する。そして、あおり角制御部208は、あおり駆動部104の駆動制御を露光期間中は行わないように制御する。そして、回転制御部210は、回転駆動部105の駆動制御を露光期間中は行わないように制御する。このようにすることで、撮像装置100による撮影への影響を抑制することができる。
【0079】
あおり角やフォーカスレンズ、及び撮像部101は物理的な駆動であるため、駆動が完了するまでに数~数十msかかる場合がある。このとき、振動検出部106の出力後に、あおり制御、フォーカス制御、及び回転制御が完了して実際に撮影するまでに遅延が発生してしまう。そのため、振動検出部106の出力結果をそのまま使用すると、実際の撮影タイミングで傾き変化がずれてしまう。そこで、振動算出部204において、振動検出部106の検出結果の出力タイミングと撮像装置100の撮像タイミングとの時間差(遅延時間)分だけ傾き変化を加算することが望ましい。即ち、振動算出部204は、当該時間差に基づいた傾きの変化量(傾き変化値)を撮像装置100の振動検出部106の検出結果に加算する補正を行い、新たな撮像装置100の傾きにおける変化量を算出することが望ましい。
【0080】
さらに波の揺れには周期性があるため、振動算出部204は、その周期性から実際の撮像タイミングにおける傾き変化を予測してもよい。即ち、振動算出部204は、振動検出部106が検出する振動の周期性と撮像装置100の撮像タイミングとの時間差(遅延時間)から、撮像タイミングにおける振動検出部106が出力する検出結果を予測(推定)する。遅遅延時間分だけ傾き変化を加算することで、実際の撮影タイミングにおいて、傾き変化のずれを抑制した撮影を行うことが可能となる。
【0081】
あおり駆動部104の構成について補足で説明する。本実施形態では、
図4に示すように、撮像素子103の受光面とレンズユニット102の光軸に直交する面に対する角度を一次元的に変更可能である構成を述べた。しかし、あおり駆動部104はこれに限定されるものではなく、複数のモータ等の駆動機構を用いて角度を2次元的に変更可能な構成してもよい。例えば、あおり駆動部104の回転軸と直交する軸周りに撮像素子103を回転駆動させる駆動機構(第3の駆動機構)を有するようにしてもよい。
【0082】
また、1次元的な角度変更に加えて、レンズユニット102の光軸周りを含む光軸に直交する面内で回転する方向に駆動(ローテーション駆動)を行い、角度を2次元的に変更可能な構成の駆動機構(第4の駆動機構)を有してもよい。撮像素子103の角度を2次元的に変更可能とすることで、撮像装置100に振動が加わり、撮像装置100が光軸に直交する面内で回転(ローテーション)が生じた場合においても、焦点ずれを改善することが可能である。
【0083】
回転軸と検出方向について、
図5を例に挙げて説明する。例えば、
図5では、撮像部101及び撮像素子103の回転軸はz軸に平行であるため、加速度センサの感度が少なくとも
図4のz軸を軸とした回転を検出可能である向きに角加速度センサを配置する。さらに、角加速度を積分することで傾きを算出することが可能となる。角加速度センサは1軸のみでなく、複数軸を有していてもよい。3軸を有することで、3次元的にすべての方向の角加速度を算出することが可能となる。また、振動検出部106には角加速度センサのみでなく上記したように加速度センサを有している。加速度センサを配置することによって、振動による撮像装置100の傾き変化のみではなく、移動量も検出することが可能となる。加速度センサも角加速度センサと同様に、1軸だけでなく、複数軸を有していてもよい。3軸を有することで、3次元的にすべての方向の加速度を算出することが可能となる。
【0084】
回転駆動部105について補足で説明する。本実施形態では、回転駆動部105は鉛直方向の回転であるチルト回転(TILT)を例に挙げて説明したが、水平方向の回転であるパン回転(PAN)も可能な構成とすることができる。回転駆動部105がPAN及びTILTの回転が可能な駆動部であり、あおり駆動部104の角度変化が1次元的である場合、回転駆動部105の回転方向とあおり駆動部104の回転方向が一致している方向は、防振動作の協調制御を行う。一方、回転駆動部105の回転方向とあおり駆動部104の回転方向が一致していない方向は、回転駆動部105による防振動作を行う。また、回転駆動部105がPAN及びTILTの回転可能な駆動部であり、あおり駆動部104の角度変化が2次元的である場合、PANとTILT両方の回転方向(パン回転とチルト回転の方向)において防振動作の協調制御を行う。
【0085】
実施形態1では、船上にカメラ(撮像装置)を設置する例について説明したが、車やバイク等の移動体やドローンなどにカメラを設置する場合についても本実施形態を適用可能である。この場合、少なくとも撮像素子103の回転軸方向に振動するカメラ(撮像装置)に対して本実施形態は適用することが可能である。また、振動検出部106は、撮像装置100が撮像した画像の変化から振動の検出を行ってもよい。また、振動算出部204は、振動検出部106が画像の変化から検出した検出結果から撮像装置100の移動量や角度変化を算出してもよい。
【0086】
<実施形態2>
実施形態1では、撮像装置100に振動が加わり、撮像装置100に傾き変化が発生する場合について説明した。実施形態2では、傾き変化に加え、上下方向の変位が生じる場合、当該上下方向の変位に対して、あおり角制御による防振動作を行う。そこで、実施形態2では、上下方向の変位に対するあおり角の制御方法を説明した後に傾き変化と上下方向の変位が発生する場合における、回転駆動制御による防振動作と、あおり角制御による防振動作の協調制御を説明する。以下、実施形態2では実施形態1と異なる点について説明する。また、実施形態2の撮像装置100の構成は実施形態1の撮像装置100の構成と同様であるため、詳細な説明は省略する。
【0087】
図12は、撮像装置100が矢印H方向に高さが変化した状態で被写体面1201を撮像している様子を示している。
図12に示すように、撮像装置100に振動が加わり、矢印H方向に高さが変化すると、ピント面1102は矢印H方向にずれ、焦点ずれが生じる。振動が加わった後のフォーカス制御目標距離D
1は、以下の式(8)で求めることができる。
【数8】
【0088】
ここで、D
0は振動が加わる前のフォーカス制御目標距離、Δhは移動量、aは被写体面と光軸のなす角である。また、あおり制御目標角b
1は、振動が加わった後のフォーカス制御目標距離D
1を用いて、以下の式(9)で求めることができる。
【数9】
【0089】
ここで、D0はあおり制御前のフォーカス制御目標距離、fは焦点距離、Δhは移動量、aは被写体面と光軸のなす角である。撮像素子103をあおり制御目標角b1に制御し、レンズユニット102をフォーカス制御目標距離D1に制御することで、レンズユニットの主面、撮像素子の撮像面、被写体面1101が1点で交わる。このときピント面はピント面1203となり、被写体面1101とピント面1203を合わせることができる。即ち、上下方向の変位が生じる場合、撮像素子103とレンズユニット102を制御することで焦点ずれを改善できる。
【0090】
次に、
図13と
図14を参照して、本実施形態における撮像装置100の回転駆動制御による防振動作と、あおり角制御による防振動作の協調制御について説明する。
図13と
図14は、実施形態2における回転駆動制御とあおり角制御の協調制御のフローチャートである。以下の各処理は、撮像装置100のCPU10がROM11又は記憶装置13に記憶されたプログラムを実行することによって実現される。また、各工程(ステップ)について先頭にSを付けて表記することで、工程(ステップ)の表記を省略する。
【0091】
まず、S1301では、振動算出部204は、振動検出部106より出力されるデジタルデータに基づき、振動検出部106が振動を検出したか否かを判定する。振動の判定には、閾値(第3の閾値)を設け、当該第3の閾値と振動検出部106より出力されるデジタルデータとを比較する。そして、振動算出部204は、第3の閾値以上の場合は振動として検出するようにし、第3の閾値未満の場合は振動として検出しないようにする。具体的には、被写界深度に収まる微小振動は振動として検出しない。第3の閾値の設定方法については後述する。
【0092】
振動算出部204による判定の結果、第3の閾値未満であった場合には、撮像装置100は振動していない(振動検出部106は撮像装置100の振動を検出していない)と判定し、S1301の判定処理を繰り返す。この場合、振動算出部204は、撮像装置100が撮影する被写体に対する撮影位置から移動していないと判定する。一方、第3の閾値以上であった場合には、撮像装置100が振動したと判定しS1302に進む。この場合、振動算出部204は、撮像装置100が撮影する被写体に対する撮影位置から移動していると判定する。本処理の際、振動算出部204は、撮像装置100が振動したか否かを第3の閾値に基づいて判定する第3の判定手段としても機能する。
【0093】
次に、S1302では、振動算出部204は、振動検出部106より出力されるデジタルデータを用いて、撮像装置100の傾き変化を算出する。
【0094】
次に、S1303では、振動算出部204は、振動検出部106より出力されるデジタルデータを用いて、撮像装置100の移動量を算出する。
【0095】
次に、S1304では、振動算出部204により算出された撮像装置100の傾き変化の大きさが閾値(第2の閾値)を超えたか否かを判定する。判定の結果、傾き変化の大きさが第2の閾値以上である場合、傾き変化に対して回転駆動制御の防振動作、移動による焦点ずれをあおり角制御による防振動作を行うために、S1305に進む。一方、傾き変化の大きさが第2の閾値未満である場合、傾き変化及び上下方向の変位に対して、あおり角の制御による防振動作を行うためにS1311に進む。本処理の際、振動算出部204は、撮像装置100における傾き変化の大きさが第2の閾値を超えたか否かを判定する第2の判定手段としても機能する。尚、第2の閾値の設定方法については実施形態1と同様であるため説明を省略する。
【0096】
次に、S1305では、回転量算出部209は、振動算出部204がS1302で算出した撮像装置100の傾き変化に基づき、回転駆動部105の回転駆動量(駆動量)を算出して決定する。回転駆動部105の回転駆動量は、当該撮像装置100の傾き変化に応じて変化する。本処理の際、回転量算出部209は、回転駆動部(第2の駆動機構)105の回転量を決定する決定手段としても機能する。
【0097】
次に、S1306では、駆動量算出部205は、振動算出部204がS1303で算出した撮像装置100の移動量に基づき、フォーカス制御目標距離を算出して決定する。具体的には、駆動量算出部205は、振動算出部204が算出した撮像装置100の移動量から、フォーカス制御目標距離を算出して決定し、当該フォーカス移動目標距離に基づき、撮像部101が有するレンズユニット102の駆動量(移動量)を決定する。フォーカス制御目標距離は、当該撮像装置100の移動量に応じて変化する。本処理の際、駆動量算出部205は、フォーカスレンズの駆動量を決定する決定手段としても機能する。
【0098】
次に、S1307では、あおり角算出部207は、振動算出部204がS1302で算出した撮像装置100の傾き変化に基づき、あおり制御目標角を算出して決定する。具体的には、あおり角算出部207は、振動算出部204が算出した撮像装置100の傾き変化に基づき、あおり制御目標角を算出して決定し、当該あおり制御目標角に基づき、撮像部101が有するあおり駆動部104の駆動量(回転量)を決定する。あおり制御目標角は、当該撮像装置100の移動量に応じて変化する。本処理の際、あおり角算出部207は、あおり駆動部(第1の駆動機構)104の回転量を決定する決定手段としても機能する。
【0099】
次に、S1308では、回転制御部210は、S1305で回転量算出部209により決定された回転駆動量に基づいて、回転駆動部105を駆動制御して防振動作を行う。
【0100】
次に、S1309では、あおり角制御部208は、撮像素子103の傾きを、S1307であおり角算出部207により決定されたあおり制御目標角となるように、あおり駆動部104を駆動制御して防振動作を行う。
【0101】
次に、S1310では、レンズユニット制御部206は、S1306で駆動量算出部205により決定されたフォーカス制御目標距離となるようにレンズユニット102を駆動制御して防振動作を行う。その後、本処理フローを終了する。
【0102】
次に、S1311では、あおり角算出部207は、振動算出部204がS1302とS1303で算出した撮像装置100の傾き変化と移動量に基づき、光軸と被写体面のなす角(光軸と直交する面に対して撮像素子103を回転させる角度)を算出する。
【0103】
次に、S1312では、駆動量算出部205は、振動算出部204がS1302とS1303で算出した撮像装置100の傾き変化と移動量に基づき、フォーカス制御目標距離を算出し、レンズユニット102の駆動量を決定する。具体的には、駆動量算出部205は、振動算出部204が算出した撮像装置100の移動量から、フォーカス制御目標距離を算出して決定し、当該フォーカス移動目標距離に基づき、撮像部101が有するレンズユニット102の駆動量(移動量)を決定する。本処理の際、駆動量算出部205は、フォーカスレンズの駆動量を決定する決定手段としても機能する。
【0104】
次に、S1313では、あおり角算出部207は、振動算出部204がS1302とS1303で算出した撮像装置100の傾き変化と移動量に基づき、あおり制御目標角を算出し、あおり駆動部104の回転量を決定する。具体的には、あおり角算出部207は、振動算出部204が算出した撮像装置100の傾き変化に基づき、あおり制御目標角を算出して決定し、当該あおり制御目標角に基づき、撮像部101が有するあおり駆動部104の駆動量(回転量)を決定する。本処理の際、あおり角算出部207は、あおり駆動部(第1の駆動機構)104の回転量を決定する決定手段としても機能する。
【0105】
次に、S1314では、あおり角制御部208は、撮像素子103の傾きを、S1313であおり角算出部により決定されたあおり制御目標角となるようにあおり駆動部104を駆動制御して防振動作を行う。
【0106】
次に、S1315では、レンズユニット制御部206は、S1313で駆動量算出部205により決定されたフォーカス制御目標距離となるようにレンズユニット102を駆動制御して防振動作を行う。その後、本処理フローを終了する。
【0107】
以下、
図15を参照して、
図13のS1301における振動の検出有無の判定で用いる閾値である第3の閾値の決定方法について補足で説明する。
図15は、ピント面と被写界深度の関係を示した図である。
図15中の1501は被写体面を示しており、1502はピント面を示している。また1503は前側あおり深度面を示しており、1504は後側あおり深度面を示している。
【0108】
実施形態1では、撮像装置100の傾き変化に対する閾値である第1の閾値の設定について述べたが、撮像装置100に移動が生じる場合、移動量に対しても、閾値(第3の閾値)を設定する。移動量に閾値を設ける場合も、傾き変化の閾値である第1の閾値と同様に、前側あおり深度d’2より第3の閾値を決定することが望ましい。
【0109】
例えば、被写体面に対して垂直方向の変位に閾値を設ける場合、被写体面1501から、画角と前側あおり深度面1503が交差する点までの高さLを閾値とする。高さLは以下の式(10)で求めることができる。
【数10】
【0110】
ここで、d’2は前側あおり深度、aは被写体面と光軸のなす角、ωは撮影半画角である。振動の検出有無の判定において、移動量の閾値である第3の閾値を設けることで、振動が許容範囲(例えば被写体が被写界深度内に収まってる)の場合には、振動として検出しないことで、駆動部の寿命向上や消費電力の増大を防ぐことができる。
【0111】
以上、本発明の好ましい実施形態について実施例や図を用いて説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【0112】
本実施形態の開示は、以下の構成、方法、及びプログラムを含む。
(構成1)
撮像素子を備えた撮像部と、
前記撮像素子の光軸に直交する面に対して前記撮像素子を回転駆動させる第1の駆動機構と、
前記撮像部を前記第1の駆動機構の回転軸と平行な軸周りに回転駆動させる第2の駆動機構と、
撮像装置の振動を検出する検出手段と、
前記検出手段の検出結果に基づき、前記撮像装置の傾きを判定する傾き判定手段と、
前記検出手段の検出結果が第1の閾値以上であった場合、前記撮像装置の傾きが変化したと判定し、前記検出手段の検出結果が前記第1の閾値未満であった場合、前記撮像装置の傾きが変化していないと判定する第1の判定手段と、
前記第1の判定手段が前記撮像装置の傾きが変化したと判定した場合に、前記傾き判定手段の判定結果に応じて、前記第1の駆動機構と前記第2の駆動機構の回転量を決定する決定手段と、を有する、
ことを特徴とする撮像装置。
【0113】
(構成2)
フォーカスレンズを有し、
前記決定手段は、前記傾き判定手段の判定結果に応じて前記フォーカスレンズの駆動量を決定することを特徴とする構成1に記載の撮像装置。
【0114】
(構成3)
前記検出手段は、角加速度センサであることを特徴とする構成1に記載の撮像装置。
【0115】
(構成4)
前記傾き判定手段は、前記角加速度センサから出力される検出結果に基づき、前記撮像装置の傾きを判定することを特徴とする構成3に記載の撮像装置。
【0116】
(構成5)
前記第1の閾値は、前記撮像装置の前側におけるあおり深度から決定することを特徴とする構成1乃至4のいずれか1つに記載の撮像装置。
【0117】
(構成6)
前記撮像装置の傾きの大きさが第2の閾値を超えたか否かを判定する第2の判定手段を有することを特徴とする構成1乃至5のいずれか1つに記載の撮像装置。
【0118】
(構成7)
前記第2の判定手段による判定の結果、前記撮像装置の傾きの大きさが第2の閾以上であった場合、前記第2の駆動機構は前記撮像装置の傾きの大きさに応じた回転駆動を行い、前記撮像装置の傾きの大きさが前記第2の閾未満であった場合、前記第1の駆動機構は前記撮像装置の傾きの大きさに応じた回転駆動を行うことを特徴とする構成6に記載の撮像装置。
【0119】
(構成8)
前記第2の閾値は、前記撮像素子の少なくとも回転可能な範囲から決定することを特徴とする構成6または7に記載の撮像装置。
【0120】
(構成9)
前記第1の駆動機構と前記第2の駆動機構の回転量は、前記第2の判定手段による判定結果から決定することを特徴とする構成6乃至8のいずれか1つに記載の撮像装置。
【0121】
(構成10)
前記傾き判定手段は、前記検出手段が前記検出結果を出力するタイミングと前記撮像装置の撮像タイミングとの時間差に基づいて、前記検出手段の検出結果を補正することを特徴とする構成1乃至9のいずれか1つに記載の撮像装置。
【0122】
(構成11)
前記傾き判定手段は、前記検出手段が検出する前記撮像装置の振動の周期性と前記撮像装置の撮像タイミングとの時間差に基づいて、前記撮像タイミングにおける前記検出手段の検出結果を予測することを特徴とする構成1乃至10のいずれか1つに記載の撮像装置。
【0123】
(構成12)
前記第1の駆動機構の駆動を、前記撮像装置の露光期間中には行わないように制御する第1の駆動制御手段を有することを特徴とする構成1乃至11のいずれか1つに記載の撮像装置。
【0124】
(構成13)
前記第2の駆動機構の駆動を、前記撮像装置の露光期間中には行わないように制御する第2の駆動制御手段を有することを特徴とする構成1乃至12のいずれか1つに記載の撮像装置。
【0125】
(構成14)
前記フォーカスレンズの駆動を、前記撮像装置の露光期間中には行わないように制御する第3の駆動制御手段を有することを特徴とする構成2に記載の撮像装置。
【0126】
(構成15)
前記検出手段は、前記撮像装置に加わる振動から前記撮像装置の角度変化と移動量を検出し、検出結果として出力することを特徴とする構成1乃至14のいずれか1つに記載の撮像装置。
【0127】
(構成16)
前記検出手段は、加速度センサであることを特徴とする構成15に記載の撮像装置。
【0128】
(構成17)
前記検出手段の検出結果に基づき、前記撮像装置が撮影する被写体に対する移動量を判定する移動量判定手段を有することを特徴とする構成15または16に記載の撮像装置。
【0129】
(構成18)
前記撮像装置が振動したか否かを第3の閾値に基づき判定する第3の判定手段を有し、
前記第3の判定手段は、前記検出手段の検出結果が前記第3の閾値以上であった場合には、前記撮像装置が振動したと判定し、前記検出手段の検出結果が前記第3の閾値未満であった場合には、前記撮像装置は振動していないと判定することを特徴とする構成15乃至17のいずれか1つに記載の撮像装置。
【0130】
(構成19)
前記第3の判定手段は、前記撮像装置が振動したと判定した場合、前記撮像装置が撮影する被写体に対する撮影位置から移動していると判定することを特徴とする構成18に記載の撮像装置。
【0131】
(構成20)
前記第3の閾値は、前記撮像装置の前側におけるあおり深度から決定することを特徴とする構成19に記載の撮像装置。
【0132】
(構成21)
前記第1の駆動機構の回転軸と直交する軸周りに前記撮像素子を回転駆動させる第3の駆動機構を有することを特徴とする構成1乃至20のいずれか1つに記載の撮像装置。
【0133】
(構成22)
前記光軸周りに前記撮像素子を回転駆動させる第4の駆動機構を有することを特徴とする構成1乃至21のいずれか1つに記載の撮像装置。
【0134】
(構成23)
撮像装置の制御方法であって、
前記撮像装置の振動を検出する振動検出工程と、
前記振動検出工程における検出結果に基づき、前記撮像装置の傾きを判定する傾き判定工程と、
前記振動検出工程の検出結果が第1の閾値以上であった場合、前記撮像装置の傾きが変化したと判定し、前記振動検出工程の検出結果が前記第1の閾値未満であった場合、前記撮像装置の傾きが変化していないと判定する第1の判定工程と、
前記第1の判定工程で前記撮像装置の傾きが変化したと判定した場合、前記傾き判定工程で判定された判定結果に応じて、撮像素子の光軸に直交する面に対して前記撮像素子を回転駆動させる第1の駆動機構と前記撮像素子を有する撮像部を前記第1の駆動機構の回転軸と平行な軸周りに回転駆動させる第2の駆動機構の回転量を決定する決定工程と、を有する、
ことを特徴とする撮像装置の制御方法。
【0135】
(構成24)
撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、前記プログラムは前記コンピュータに、
前記撮像装置の振動を検出する振動検出工程と、
前記振動検出工程における検出結果に基づき、前記撮像装置の傾きを判定する傾き判定工程と、
前記振動検出工程の検出結果が第1の閾値以上であった場合、前記撮像装置の傾きが変化したと判定し、前記振動検出工程の検出結果が前記第1の閾値未満であった場合、前記撮像装置の傾きが変化していないと判定する第1の判定工程と、
前記第1の判定工程で前記撮像装置の傾きが変化したと判定した場合、前記傾き判定工程で判定された判定結果に応じて、撮像素子の光軸に直交する面に対して前記撮像素子を回転駆動させる第1の駆動機構と前記撮像素子を有する撮像部を前記第1の駆動機構の回転軸と平行な軸周りに回転駆動させる第2の駆動機構の回転量を決定する決定工程と、を実行させることを特徴とするプログラム。
【0136】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサによって読み出され、実行される。また、1以上の機能を実現する回路(例えば、ASIC(Application Specific Integrated Circuit))によっても実現可能である。
【符号の説明】
【0137】
100 撮像装置
101 撮像部
102 レンズユニット
103 撮像素子
104 あおり駆動部
105 回転駆動部
106 振動検出部
200 制御装置