IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7414441撮像装置、撮像装置の制御方法、および、プログラム
<>
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図1
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図2
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図3
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図4
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図5
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図6
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図7
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図8
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図9
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図10
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図11
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図12
  • 特許-撮像装置、撮像装置の制御方法、および、プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-05
(45)【発行日】2024-01-16
(54)【発明の名称】撮像装置、撮像装置の制御方法、および、プログラム
(51)【国際特許分類】
   H04N 23/611 20230101AFI20240109BHJP
   G03B 5/08 20210101ALI20240109BHJP
   G03B 15/00 20210101ALI20240109BHJP
   G03B 17/02 20210101ALI20240109BHJP
   G03B 17/56 20210101ALI20240109BHJP
   H04N 23/58 20230101ALI20240109BHJP
   H04N 23/67 20230101ALI20240109BHJP
   H04N 23/695 20230101ALI20240109BHJP
【FI】
H04N23/611
G03B5/08
G03B15/00 P
G03B15/00 Q
G03B17/02
G03B17/56 A
H04N23/58
H04N23/67 100
H04N23/695
【請求項の数】 15
(21)【出願番号】P 2019169949
(22)【出願日】2019-09-19
(65)【公開番号】P2020129788
(43)【公開日】2020-08-27
【審査請求日】2022-08-08
(31)【優先権主張番号】P 2019020531
(32)【優先日】2019-02-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【弁理士】
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【弁理士】
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【弁理士】
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】西尾 太介
(72)【発明者】
【氏名】山崎 章市
(72)【発明者】
【氏名】仁賀 翔太
【審査官】淀川 滉也
(56)【参考文献】
【文献】特開2010-130633(JP,A)
【文献】特開2002-325199(JP,A)
【文献】特開2017-163301(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/611
G03B 5/08
G03B 15/00
G03B 17/02
G03B 17/56
H04N 23/67
H04N 23/58
H04N 23/695
(57)【特許請求の範囲】
【請求項1】
レンズおよび撮像センサを有する光学ユニットと、
前記撮像センサによって取得された画像データから人物の顔領域を検出する検出手段と、
前記レンズを駆動して前記顔領域にピントを合わせて、ピント面上において回転中心となるピント面上の回転軸を設定する設定手段と、
前記レンズを駆動して前記顔領域にピントを合わせた後、高さの基準となる第1の平面に平行な第2の平面にピントが合うように、前記撮像センサのチルト回転軸の回りの回転角であるチルト角を決定する決定手段と、
前記決定手段で決定された前記チルト角に基づいて、前記撮像センサを該撮像センサの前記チルト回転軸の回りにチルト回転させるチルト手段と、を有することを特徴とする撮像装置。
【請求項2】
前記設定手段は、前記検出手段により前記顔領域が検出された場合、前記顔領域にピントを合わせて前記ピント面上の回転軸を設定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記設定手段は、前記検出手段により前記顔領域が検出されない場合、前記顔領域が検出されるまで、前記ピント面上の回転軸の設定を行わないことを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記設定手段は、前記検出手段により前記顔領域が検出されない場合、前記光学ユニットの光軸方向を変更することを特徴とする請求項1または2に記載の撮像装置。
【請求項5】
前記光学ユニットの向きを変更する変更手段を更に有し、
前記設定手段は、前記変更手段を制御して前記光学ユニットの前記光軸方向を変更することを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記設定手段は、前記光学ユニットの前記光軸方向を変更することにより、前記ピント面上の回転軸の位置を変更することを特徴とする請求項4または5に記載の撮像装置。
【請求項7】
前記設定手段は、前記画像データ内において前記撮像センサの前記チルト回転軸に対応する領域とは異なる位置に存在する被写体の前記顔の領域に基づいて、前記光学ユニットの前記光軸方向を変更することを特徴とする請求項4乃至6のいずれか1項に記載の撮像装置。
【請求項8】
前記設定手段は、前記画像データ内において前記被写体の前記顔領域が前記チルト回転軸に対応する位置に移動するように、前記光学ユニットの前記光軸方向を変更することを特徴とする請求項7に記載の撮像装置。
【請求項9】
前記検出手段は、前記撮像センサによって取得された画像データから、前記画像データ内において前記撮像センサのチルト回転軸に対応する位置に存在する特定被写体を検出し、
前記設定手段は、前記特定被写体にピントを合わせて、前記チルト回転軸と結像関係にある前記ピント面上の回転軸を設定することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
【請求項10】
前記設定手段は、ピント面の回転量に応じてピント面上の回転軸を設定し、
前記チルト手段は、前記ピント面の回転量に応じて前記撮像センサを前記チルト回転軸の回りにチルト回転させることを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
【請求項11】
前記チルト手段は、複数の被写体にピントが合うように、前記撮像センサをチルト回転させることを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
【請求項12】
前記第1の平面は、地面、道路、床、および、廊下の少なくとも一つを含むことを特徴とする請求項1に記載の撮像装置。
【請求項13】
前記設定手段は、
前記光学ユニットの光軸方向を第1の方向から第2の方向に変更して前記ピント面上の回転軸を設定し、
前記ピント面上の回転軸の前記第1の平面からの高さを維持したまま前記光学ユニットの前記光軸方向を前記第2の方向から前記第1の方向に戻すことを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。
【請求項14】
撮像センサによって取得された画像データから人物の顔領域を検出するステップと、
レンズを駆動して前記顔領域にピントを合わせて、ピント面上において回転中心となるピント面上の回転軸を設定するステップと、
前記レンズを駆動して前記顔領域にピントを合わせた後、高さの基準となる第1の平面に平行な第2の平面にピントが合うように、前記撮像センサのチルト回転軸の回りの回転角であるチルト角を決定するステップと、
前記チルト角を決定するステップで決定された前記チルト角に基づいて、前記撮像センサを該撮像センサの前記チルト回転軸の回りにチルト回転させるステップと、を有することを特徴とする撮像装置の制御方法。
【請求項15】
請求項14に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像センサを傾ける機構を有する撮像装置に関する。
【背景技術】
【0002】
従来、撮像センサをレンズの光軸に対して傾けて撮影(あおり撮影)を行う撮像装置が知られている。特許文献1には、指定された複数の領域にピントが合うように撮像素子の傾きを調整してあおり撮影を行う撮像装置が開示されている。特許文献2には、複数の人の顔を含む面(鉛直面)の傾斜角に応じて、受光面(撮像センサ)または撮像レンズの傾斜角度を調整することで、複数の人の顔にピントを合わせることが可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2016-042194号公報
【文献】特開2017-093904号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献2に開示された撮像装置は、受光面または撮像レンズの傾斜角度を調整して、3人の顔を含む傾斜鉛直平面にピント面を合わせる。一般的に、3人の顔が同一鉛直平面にある場合は特別な場合であり、3人の顔が同一鉛直平面にない場合には複雑な処理を行う必要がある。また、4人以上の顔を含む平面を考える場合、全ての人の顔を含む面が存在しない場合もあり得る。また、人が移動することで顔の傾斜角が変わった場合、誤差を低減するには、顔の傾斜角、および、受光面または撮像レンズの傾斜角度を再計算する必要がある。しかし、移動する顔に追従して傾斜角度やレンズの位置をリアルタイムに変更することは難しいため、動画撮影には適していない。
【0005】
そこで本発明は、複数の被写体に適切にピントを合わせることが可能であるとともに、複数の被写体が移動した場合でもピントが合った動画撮影を行うことが可能な撮像装置、撮像装置の制御方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一側面としての撮像装置は、レンズおよび撮像センサを有する光学ユニットと、前記撮像センサによって取得された画像データから人物の顔領域を検出する検出手段と、前記レンズを駆動して前記顔領域にピントを合わせて、ピント面上において回転中心となるピント面上の回転軸を設定する設定手段と、前記レンズを駆動して前記顔領域にピントを合わせた後、高さの基準となる第1の平面に平行な第2の平面にピントが合うように、 前記撮像センサのチルト回転軸の回りの回転角であるチルト角を決定する決定手段と、前記決定手段で決定された前記チルト角に基づいて、前記撮像センサを該撮像センサの前記チルト回転軸の回りにチルト回転させるチルト手段とを有する。
【0007】
本発明の他の側面としての撮像装置の制御方法は、撮像センサによって取得された画像データから人物の顔領域を検出するステップと、レンズを駆動して前記顔領域にピントを合わせて、ピント面上において回転中心となるピント面上の回転軸を設定するステップと、前記レンズを駆動して前記顔領域にピントを合わせた後、高さの基準となる第1の平面に平行な第2の平面にピントが合うように、 前記撮像センサのチルト回転軸の回りの回転角であるチルト角を決定するステップと、前記チルト角を決定するステップで決定された前記チルト角に基づいて、前記撮像センサを該撮像センサの前記チルト回転軸の回りにチルト回転させるステップとを有する。
【0008】
本発明の他の側面としてのプログラムは、前記撮像装置の制御方法をコンピュータに実行させる。
【0009】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【0010】
本発明によれば、複数の被写体に適切にピントを合わせることが可能であるとともに、複数の被写体が移動した場合でもピントが合った動画撮影を行うことが可能な撮像装置、撮像装置の制御方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【0011】
図1】第1の実施形態における撮像装置のブロック図である。
図2】第1の実施形態における撮像装置の制御方法を示すフローチャートである。
図3】第1の実施形態における撮像装置の制御方法の説明図である。
図4】各実施形態における撮像画像の説明図である。
図5】各実施形態の効果の説明図である。
図6】各実施形態の効果の説明図である。
図7】第2の実施形態における撮像装置のブロック図である。
図8】第2の実施形態における撮像装置の制御方法を示すフローチャートである。
図9】第2の実施形態における撮像装置により設定されるピント面の説明図である。
図10】第3の実施形態における撮像装置の制御方法の説明図である。
図11】第4の実施形態における撮像装置により設定される物体あおり軸の説明図である。
図12】第4の実施形態における撮像装置により設定されるピント面の説明図である。
図13】比較例としての撮像装置により設定されるピント面の説明図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0013】
まず、撮像センサをレンズの光軸に対して傾けて行う撮影(あおり撮影)について説明する。撮像センサを傾けない(あおらない)場合、撮像センサの撮像面とレンズ主平面とは平行であり、撮像センサの撮像面およびレンズ主平面のそれぞれと平行な面(光軸と垂直な面)上に存在する被写体に対してピントが合う。このように、ある仮想的な面上に存在する被写体に対してピントを合わせることができるとき、この仮想的な面をピント面という。撮像センサをあおることで、光軸と垂直な面以外の面上の被写体にピントを合わせること、すなわちピント面を任意に傾けることができる(シャインプルーフの原理)。なお、撮像センサを傾ける際、撮像センサを支持する回転軸の周りで、撮像センサを所定の角度(あおり量)だけ回転させる。以下の各実施形態において、撮像センサの回転軸(チルト回転軸)を「撮像あおり軸」という。また、前述の通り、撮像センサを傾けることでピント面も傾けること、すなわち、ピント面を所定の回転軸の周りで回転させることができる。以下の各実施形態において、ピント面の回転軸を「物体あおり軸」という。
【0014】
撮像センサ面が光軸と垂直な場合、つまり、あおらない場合、光軸方向の距離が特定の距離である被写体に対してのみピントが合う。すなわち、ピント面は光軸と垂直な面になるので、奥行があるシーンの場合、手前の被写体から奥の被写体までピントを合わせることは難しい。一方、撮像センサを光軸に対して傾ける(あおる)ことで、ピント面を光軸に対して傾けて、ピント面を光軸と垂直な面以外の面にすることができる。この場合、光軸方向の距離が異なる被写体に対してピントを合わせることができる。すなわち、遠い被写体と、近い被写体とが存在する面に対してピントを合わせることができる。このため、画角内の被写体距離の分布に合わせて撮像センサをあおることにより、撮像センサをあおらない場合と比べて、より手前の被写体から奥の被写体までピントを合わせることができる。すなわち、物体(被写体)側のピント面を奥行き方向に傾けること(地面に近づける)で、奥行き方向(地面方向)のより広い範囲の被写体に対してピントを合わせることができる。
【0015】
(第1の実施形態)
まず、図1を参照して、本発明の第1の実施形態における撮像装置について説明する。図1は、本実施形態における撮像装置100のブロック図である。
【0016】
光学ユニット1001は、レンズ(撮像光学系)101および撮像センサ(撮像素子)102を有する。光学ユニット1001は、被写体の反射光などの入力された光を撮像して画像信号に変換し、撮像装置100の出力画像として出力するとともに、被写体検出部(検出手段)103に出力する。レンズ101は、入力された光を集光し、撮像センサ102上に被写体像を結像させる。またレンズ101は、複数のレンズで構成されていてもよく、本実施形態では、レンズ101に含まれるフォーカスレンズの位置を移動させることで、所定の被写体距離に位置する被写体に対してピントを合わせることができる。撮像センサ102は、2次元に配置された複数の撮像素子からなる撮像面上に結像された被写体像を電気信号に変換することで、被写体の画像信号を生成し、画像データを出力する。また撮像センサ102は、撮像あおり軸を中心とした回転方向に、所定の傾斜角度(あおり角度)だけ傾けることができる。
【0017】
被写体検出部103は、撮像センサ102から画像データを取得して、所望の高さに存在する特定被写体を検出し、検出した被写体の位置(座標)を物体あおり軸設定部(設定手段)104に出力する。特定被写体とは、例えば人の顔である。画角にもよるが、歩行中の人の顔の高さや道路上の信号機の高さは、およそ一定であるため、人の顔のような特定被写体を検出することで、所定の高さに存在する被写体を検出することができる。
【0018】
物体あおり軸設定部104は、被写体検出部103から取得した特定被写体の位置と撮像あおり軸の位置とを比較することで、撮像あおり軸上に所望の高さの被写体が存在するか否かを判定し、判定結果をセンサチルト部(チルト手段)105に出力する。例えば、特定被写体の位置情報に基づく画像領域が撮像あおり軸上に重なっている場合、物体あおり軸設定部104は、撮像あおり軸上に所望の高さの被写体が存在すると判定する。そして物体あおり軸設定部104は、撮像あおり軸上に所望の高さの被写体が存在すると判定した場合、レンズ101を駆動してその被写体にフォーカスを合わせることで、物体あおり軸をその被写体に設定する。
【0019】
センサチルト部105は、物体あおり軸設定部104から撮像あおり軸上に所望の高さの被写体が存在するという判定結果を取得した場合、撮像センサ102を撮像あおり軸の回りにチルト回転させる。撮像センサ102を撮像あおり軸の回りでチルト回転させることで、被写体側も物体あおり軸の回りでピント平面が回転し、所望の高さの被写体(顔など)を含み、地面と略平行な水平面までピント面を回転させて、一致させる。
【0020】
このような構成により、本実施形態の撮像装置100は、画面内の所望の高さの複数の被写体(複数の顔などの特定被写体)を検出する。撮像装置100は、撮像あおり軸上に所望の高さの被写体(顔などの特定被写体)を検出した場合、検出された被写体にフォーカスを合わせて物体あおり軸を設定する。そして撮像装置100は、撮像センサ102を撮像あおり軸回りにチルト回転させることで、被写体側も物体あおり軸回りにピント平面を回転させる。その際、所望の高さの被写体(顔など)を含み、地面と略平行な水平面とピント面とが略一致するように、ピント面を回転させる。
【0021】
次に、図2を参照して、本実施形態における撮像装置100の制御方法について説明する。図2は、撮像装置100の制御方法のフローチャートである。図2の各ステップは、撮像装置100の被写体検出部103、物体あおり軸設定部104、または、センサチルト部105により実行される。
【0022】
まずステップS01において、被写体検出部103は、撮像センサ102から画像データ(入力画像)を取得し、入力画像から所望の高さに存在する特定被写体(人の顔など)を検出する。そして被写体検出部103は、検出した特定被写体の画像領域(被写体領域)の位置を算出する。
【0023】
続いてステップS02において、物体あおり軸設定部104は、入力画像における撮像センサ102の撮像あおり軸の位置の少なくとも一部が、ステップS01にて検出された被写体領域の位置の少なくとも一部に含まれるか否かを判定する。すなわち物体あおり軸設定部104は、撮像あおり軸上に所望の高さの被写体があるか否かを判定する。撮像あおり軸上に所望の高さの被写体が存在しない場合、ステップS01に戻り、被写体検出部物体あおり軸設定部104は、次フレーム以降の入力画像に対してステップS01、S02の処理を行う。一方、撮像あおり軸上に所望の高さの被写体が存在する場合、ステップS03に進む。ステップS03において、物体あおり軸設定部104は、撮像あおり軸上の被写体領域にピントが合うように、レンズ101(フォーカスレンズ)を移動させる。被写体領域にピントを合わせた後、ステップS04に進む。
【0024】
ステップS04において、センサチルト部105は、ピント面を地面と略平行な水平面まで回転させるために必要なセンサチルト回転量(センサあおり量)を算出する。そしてセンサチルト部105は、センサチルト回転量(センサあおり量)の分だけ、撮像センサ102を撮像あおり軸の回りにチルト回転させる。
【0025】
次に、図3を参照して、センサチルト部105により地面(基準平面)と略平行な水平面までピント面を回転させる方法について説明する。すなわち、ピント面を地面(基準平面)と略平行な水平面まで回転させるようにセンサチルトさせる場合の、センサチルト回転量(センサあおり量)を算出する方法について説明する。図3は、物体あおり軸設定部104により、撮像あおり軸上の撮像画像で所望の高さの被写体(被写体10の顔)を検出し、被写体10の顔にピントが合うようにレンズ101(フォーカスレンズ)を移動した状態を示している。
【0026】
ここで、所望の高さの被写体(被写体10の顔)までの被写体距離をA、レンズ101の焦点距離をf、光軸OAと地面(基準平面)に対する垂線PLとがなす角をθとすると、あおり角Sは、以下の式(1)により算出することができる。すなわち、あおり角Spが式(1)を満たすように設定されると、センサチルト回転量(センサあおり量)を算出することができる。このように、センサチルト回転量(センサあおり量)を制御することで、所望の高さの被写体(人の顔など)を含み、地面(基準平面)と略平行な水平面にピント面を一致させることができる。
【0027】
【数1】
【0028】
なお、光軸OAと地面(基準平面)に対する垂線PLとがなす角θは、撮像装置100の設置時に測量して算出するなどすればよいが、撮像装置100に設けられた加速度センサや測距センサの測定値に基づいて算出してもよい。なお、被写体距離Aは、例えば、図3に示される合焦時のレンズ101の位置に応じて決定される値Bに基づいてレンズの公式を用いて算出することができるが、撮像装置100に設けられた測距センサの測定値に基づいて算出してもよい。
【0029】
次に、本実施形態の効果について説明する。まず、図13を参照して、比較例について説明する。図13は、比較例としての撮像装置300により設定されるピント面の説明図である。本比較例では、顔の傾斜角に基づいて受光面または撮像レンズの傾斜角度を調整する。このため、図13(a)に示されるように被写体(顔)41、42が分布している場合、図13(a)に示されるようなピント面が設定される。一方、図13(b)のように被写体(顔)41、42が分布している場合、図13(b)に示されるようなピント面が設定される。
【0030】
図13(a)に示されるピント面の傾斜角度と、図13(b)に示されるピント面の傾斜角度との差は大きい。従って、図13(c)に示されるように、図13(a)のピント面の位置に固定した状態で被写体41、42が移動すると、ピント面の位置と被写体(顔)41、42の位置との誤差が大きくなり、撮像画像がぼやけてしまう。撮像画像がぼやけることを防止するには、被写体(顔)41、42の移動に追従してピント面の位置をリアルタイムに変更する必要がある。しかし、ピント面の変更は機械的な部材の変動を伴うため、ピント面の位置をリアルタイムに変動させるのは難しく、動画像の撮影には不向きである。
【0031】
次に、図4を参照して、本実施形態における撮像装置100により取得された画像(撮像画像)を説明する。図4は、本実施形態における撮像画像の説明図である。図4中の破線矩形領域は、所望の高さの被写体(顔などの特定被写体)10、11の検出の一例を示している。図4は、物体あおり軸上で所望の高さの被写体(被写体10の顔)が検出されるとともに、その奥にいる所望の高さの被写体(被写体11の顔)が検出された状態を示している。また、図4(a)は撮像センサ102をチルトする(あおる)前の撮像画像、図4(b)は撮像センサ102をチルトした(あおった)後の撮像画像をそれぞれ示している。
【0032】
図4の場合、物体あおり軸上に所望の高さの被写体(顔などの特定被写体)が存在する。このため、撮像装置100はその被写体にフォーカスを合わせて物体あおり軸を設定する。センサチルト(あおり)を行う前の状態であればピント面は鉛直面となるため、図4(a)に示されるように、被写体10の全身に対してピントが合う。
【0033】
その後、奥の人(被写体11)の顔にもピントが合うように、撮像センサ102を所定量あおることで、顔の高さの水平面上にピント面を形成する。これにより、図4(b)に示されるように、中央の人(被写体10)の顔にも、奥の人(被写体11)の顔にもピントが合う状態になる。人が移動しても顔の高さは変わらないため、人が移動しても顔へのピントは外れない。
【0034】
次に、図5を参照して、本実施形態の効果をさらに説明する。図5は、本実施形態の効果の説明図である。本実施形態の撮像装置100においては、撮像あおり軸上で検出された顔(図5(a)中の被写体12)にピントを合わせることで、物体あおり軸の位置を検出された顔の位置に設定する。そして、ピント面の傾きは、顔の位置の分布に基づいて制御するのではなく、図5(a)に示されるように基準平面(地面)と略平行になる傾きに固定する。以上の制御により、基準平面に対して略平行で、かつ、基準平面からの高さが検出された顔の高さである平面にピント面が固定される。このため、図5(b)に示されるように、被写体12、13が移動して顔の位置が変わったとしても、ピント面の位置と顔の位置との誤差が顔の高さの誤差E以上になることを防止できる。
【0035】
本実施形態において、ピント面の位置を設定する処理は撮影前の事前設定(カメラ設置時など)として行い、撮影時はピント面の位置を固定したまま行う。従って、顔の位置が変わるたびにピント面の位置を再計算することや、ピント面の位置を変更するために機械部材を駆動する必要はない。このため、全ての人の顔がぼやけること防止しながら、なめらかな動画を撮影することが可能となる。
【0036】
次に、図6を参照して、本実施形態の効果を補足する。図6は、本実施形態の効果の説明図である。図6(a)に示されるように、撮像あおり軸上の撮像画像で被写体O1(大人)の顔が検出された場合、被写体O1(大人)の顔にフォーカスを合わせることで、被写体距離はA1となる。その結果、物体あおり軸の位置は物体あおり軸T1の位置になる。さらに、ピント面が基準平面と略平行になるように撮像センサ102のあおり角を制御することで、ピント面の位置はピント面F1になる。
【0037】
一方、図6(b)に示されるように、撮像あおり軸上の撮像画像で被写体O2(子供)の顔が検出された場合、被写体O2(子供)の顔にフォーカスを合わせることで、被写体距離はA2となる。その結果、物体あおり軸の位置は物体あおり軸T2の位置になる。さらに、ピント面が基準平面と略平行になるように撮像センサ102のあおり角を制御することで、ピント面の位置はピント面F2になる。このように、検出した被写体の被写体距離に応じて物体あおり軸の位置を決定することにより、被写体の高さに応じてピント面の位置を設定することができる。
【0038】
なお本実施形態において、被写体検出部103は、特定被写体として人の顔を検出するが、被写体を決定する方法はこれに限定されるものではない。例えば、撮像画像と撮像あおり軸の位置を表すマーカーとをPC上で動作するビューワ上に表示し、マウス等を用いて、ビューワ上で被写体領域をユーザが手動で指定するようにしてもよい。すなわち、撮像あおり軸上で所望の高さの被写体(人の顔など)と、その奥や手前に存在する所望の高さの被写体(人の顔など)とを手動で領域指定してもよい。
【0039】
また本実施形態において、被写体検出部103は、特定被写体として人の顔を検出するが、検出対象となる特定被写体はこれに限定されるものではない。道路上の信号機や交通標識、自動車のナンバープレート、レストランに配置されたテーブル、学校や塾の教室の机など、基準平面(道路や床)からの高さがおよそ一定である被写体であれば、特定被写体として検出することができる。また、特定被写体として検出すべき対象を、ユーザが設定可能な手段をさらに設けてもよい。
【0040】
また本実施形態において、物体あおり軸設定部104が前述の式(1)に基づいてあおり角Sを算出するが、あおり角を算出する方法はこれに限定されるものではない。事前に、式(1)に基づいて算出したあおり角をテーブルデータとして保持し、角度θと被写体距離Aに応じて対応するあおり角をテーブルデータから読み出してもよい。また、あおり角を算出する数式は式(1)に限定されるものではなく、例えば、式(1)をより簡素化した式を用いてもよい。また、あおり角Sを、数式を用いずに求めてもよい。例えば、実験的に求めたあおり角Sをテーブルデータとして保持してもよい。
【0041】
また本実施形態において、図4に示される被写体11(被写体10よりも奥の人)の顔のコントラスト値が高くなるような撮像センサ102のあおり角Sの位置を探索して設定し、ピント面を形成してもよい。すなわち、撮像画像中で検出された所定以上の大きさの複数の顔画像領域について、顔画像領域毎にコントラストを評価し、より多くの顔画像領域のコントラスト評価値がピーク付近となるように、撮像センサあおり角度を算出してもよい。
【0042】
また本実施形態において、撮像センサ102のあおり角Sを手動調整できる手段を設け、ユーザが撮像画像を目視しながら、被写体10の顔と被写体11の顔の双方にピントが合うように、撮像センサ102のあおり角Sを手動調整するようにしてもよい。
【0043】
次に、本実施形態が想定するユースケースの一例を説明する。例えば、本実施形態を適用した撮像装置として好適なユースケースとして、監視カメラがある。監視カメラは、動画撮影が必要である。また、監視カメラは設置時に撮影用の各種設定を行い、撮影は無人で自動的に行われるため、撮影中は監視カメラの設定を変更することが少ない。そして、監視カメラは、固定的に設置された環境に応じて特定被写体を撮影することが多いため、被写体の構造が変化することは少ない。従って、地面や道路などの基準平面の位置や傾斜角度はあまり変化しない。このため、特定被写体(例えば、人の顔)の高さが撮影中に大きく変化することは少ない。監視カメラの撮影環境は以上のような特徴があるため、本実施形態の撮像装置のようにピント面の高さを顔の高さに予め固定して撮影を行ったとしても、ピント面の高さと顔の高さの誤差に起因するぼやけは生じにくい。すなわち、手前から奥の広い範囲に存在する特定被写体(顔)にピントが合った映像が得られる。
【0044】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態では、撮像あおり軸上に所望の高さの被写体(人の顔などの特定被写体)が検出されない場合、監視カメラなどの撮像装置のパンチルト機能を用いて撮像装置の光軸を回転させる。より具体的には、検出された複数の所望の高さの被写体(顔など)のうち、撮像あおり軸上に最も近い所望の高さの被写体が撮像あおり軸上に重なるように光軸を回転させて、所望の高さの被写体の画角上での位置を移動させる。そして、撮像あおり軸上に移動させた所望の高さの被写体にピントが合うようにフォーカシングを行い、物体あおり軸を設定する。その後、撮像センサを撮像あおり軸回りにチルト回転させることで、被写体側も物体あおり軸回りにピント平面を回転させて、所望の高さの被写体(顔など)を含む地面と略平行な水平面とピント面とを一致させる。
【0045】
以下、図7を参照して、本実施形態における撮像装置100aについて説明する。図7は、撮像装置100aのブロック図である。なお、第1の実施形態と共通の構成には同じ符号を付し、その説明を省略する。
【0046】
光学ユニット2001は、パンチルト機構201を有し、物体あおり軸設定部204から取得したパンチルト制御情報に基づいてパンチルト機構201を駆動させることで光学ユニット2001の光軸の傾きを変更することができる。物体あおり軸設定部204は、被写体検出部103から取得した特定被写体の位置と撮像あおり軸の位置とを比較して、撮像あおり軸上に所望の高さの被写体が存在するか否かを判定し、判定結果をセンサチルト部105に出力する。物体あおり軸設定部204は、例えば、特定被写体の位置情報に基づく画像領域が撮像あおり軸上に重なっている場合、撮像あおり軸上に所望の高さの被写体が存在すると判定する。撮像あおり軸上に所望の高さの被写体があると判定された場合、物体あおり軸設定部204はレンズ101を駆動して被写体にフォーカスを合わせることで、物体あおり軸を被写体に設定する。
【0047】
一方、物体あおり軸設定部204は、撮像あおり軸上に所望の高さの被写体が無いと判定した場合、光学ユニット2001のパンチルト機構201を駆動して光学ユニット2001の光軸の傾きを変更する。光軸の傾きは、撮像あおり軸上に所望の高さの被写体を移動させるように変更される。
【0048】
このような構成により、本実施形態の撮像装置100aは、画面内の所望の高さの被写体(顔などの特定被写体)を複数検出する。そして撮像装置100aは、撮像あおり軸上に所望の高さの被写体(顔などの特定被写体)が検出された場合、その被写体にフォーカシングを行い、物体あおり軸を設定する。一方、撮像装置100aは、撮像あおり軸上に所望の高さの被写体が無いと判定した場合、光学ユニット2001のパンチルト機構201を駆動して光学ユニット2001の光軸の傾きを変更し、撮像あおり軸上に所望の高さの被写体を移動させる。そして、撮像あおり軸上に移動させた所望の高さの被写体にフォーカシングを行い、物体あおり軸を設定する。その後、撮像装置100aは、撮像センサを撮像あおり軸回りにチルト回転させることで、被写体側も物体あおり軸回りにピント平面を回転させる。その際、所望の高さの被写体(顔など)を含み、地面と略平行な水平面とピント面とが略一致するようにピント面を回転させる。
【0049】
次に、図8を参照して、本実施形態における撮像装置100aの制御方法について説明する。図8は、撮像装置100aの制御方法のフローチャートである。図8の各ステップは、撮像装置100aの被写体検出部103、物体あおり軸設定部204、センサチルト部105、または、パンチルト機構201により実行される。なお図8において、第1の実施形態と同じステップには同じ符号を付し、その説明は省略する。
【0050】
ステップS12において、物体あおり軸設定部204は、入力画像における撮像センサ102の撮像あおり軸の位置の少なくとも一部が、ステップS01にて検出された被写体領域(例えば、人の顔)の位置の少なくとも一部に含まれるか否かを判定する。すなわち物体あおり軸設定部204は、撮像あおり軸上に所望の高さの被写体があるか否かを判定する。撮像あおり軸上に所望の高さの被写体が存在する場合、ステップS03に進む。一方、撮像あおり軸上に所望の高さの被写体が存在しない場合、ステップS15に進む。
【0051】
ステップS15において、物体あおり軸設定部204は、光学ユニット2001のパンチルト機構201を制御し、所望の高さの被写体領域が撮像あおり軸と重なるように、光学ユニット2001の光軸の向き(撮像装置100aの角度)を変更する。そしてステップS12に戻る。なお本実施形態において、撮像装置100aの光軸を回転させる手段として光学ユニット2001のパンチルト機構201を用いるが、これに限定されるものではない。手動による撮像装置100aの角度変更(カメラアングルの変更)や防振機構を用いた変更など、他の手段を用いて撮像装置100aの光軸を変更してもよい。
【0052】
次に、図9を参照して、本実施形態の効果について説明する。図9は、撮像装置100aにより設定されるピント面の説明図であり、物体あおり軸を移動させる例を示している。ここでは、特定被写体は人の胸から顔までの領域(顔領域、中間ポイントで高さ1.5m)であり、高さ1.5mの水平面にピント面を合わせたいものとする。図9(a)中の物体あおり軸(撮像あおり軸)上には、被写体21の人の顔領域でなく、足領域が重なっている。この状態では、センサあおりで、高さ1.5m水平面にあおりピント面を合わせることができないため、物体あおり軸を被写体21の人の顔領域まで移動する必要がある。
【0053】
そこで本実施形態では、図9(b)に示されるように、撮像装置100aのパンチルト機構201によるパンチルト機能を利用して、撮像装置100aの光軸を上げて(アングルアップして)、撮像あおり軸を被写体21の人の顔領域に重ねる。そして、被写体21の顔領域にフォーカシングを行い、被写体21の顔に物体あおり軸を設定する。その後、手前の被写体22の人の顔、または奥の被写体23の人の顔にもピントが合うようになるまで、撮像センサ102をあおる。これにより、顔の高さの1.5m水平面にピント面が合い、全ての人の顔領域にピントが合う。また、人が移動しても、人の顔へのピントが外れることはない。
【0054】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。本実施形態は、第2の実施形態と同様に、当初の画角において撮像あおり軸上に所望の高さの被写体(顔などの特定被写体)が検出されない場合、パンチルト機能を用いて撮像装置の光軸を回転させる。一方、本実施形態では、第2の実施形態と異なり、撮像装置のパンチルト機能を用いて物体あおり軸を所望の高さの被写体(例えば、顔)の位置に設定し、ピント面を設定した後、再びパンチルト機能を用いて当初の画角に戻す。
【0055】
また本実施形態の撮像装置は、設定した地面(基準平面)から所望の高さの略水平ピント面を維持するように、画角の変更量に応じて、フォーカスレンズの位置と撮像センサのチルト角(あおり角)を変更する。換言すると、画角を戻した際、物体あおり軸の位置を、所望の高さの略水平ピント面上であって、かつ、実際には所望の高さの被写体が存在しない仮想の位置に移動させる。これにより、ユーザが設定した所望の画角(当初の画角)を維持しながら、当初の画角のままでは所望の高さの被写体が撮像あおり軸上に存在しない場合でも、所望の高さの仮想の位置に物体あおり軸を設定することができる。
【0056】
以下、本実施形態における撮像装置について説明する。なお本実施形態の撮像装置は、図7を参照して第2の実施形態にて説明した撮像装置100aと同じであるため、その説明を省略する。本実施形態において、物体あおり軸設定部204は、第2の実施形態と同様に、光学ユニット2001の光軸の傾き(光軸方向)が第1の傾き(第1の方向)である場合、撮像あおり軸上に所望の高さの被写体が存在するか否かを判定する。物体あおり軸設定部204は、撮像あおり軸上に所望の高さの被写体が無いと判定した場合、光学ユニット2001のパンチルト機構201を駆動して光学ユニット2001の光軸の傾きを第2の傾き(第2の方向)に変更する。光軸の第2の傾きは、撮像あおり軸上に所望の高さの被写体を移動させるように変更される。そして、撮像あおり軸上に所望の高さの被写体が存在すると判定された場合、レンズ101を駆動して被写体にファーカスを合わせることで、物体あおり軸を被写体に設定する。
【0057】
センサチルト部105は、撮像センサ102を撮像あおり軸回りにチルト回転させることで、被写体側も物体あおり軸回りにピント平面を回転させる。その際、所望の高さの被写体(顔など)を含み、地面と略平行な水平面とピント面とが略一致するように、ピント面を回転させる。その後、本実施形態において、物体あおり軸設定部204は、第2の実施形態とは異なり、再度、光学ユニット2001のパンチルト機構201を駆動して光学ユニット2001の光軸の傾きを第1の傾きに戻す。この際、予め設定された地面(基準平面)から所望の高さの略水平ピント面を維持するように、光軸の傾きの変更に応じて、フォーカスレンズの位置と撮像センサのチルト角(あおり角)とを変更する。なお、具体的な両者の変更量については後述する。フォーカスレンズの位置と撮像センサのチルト角(あおり角)とを変更することで、物体あおり軸の位置を、所望の高さの略水平ピント面上で移動させる。
【0058】
以上の構成により、画角を戻しても、図10(d)に示されるように、撮像あおり軸上で特定被写体が無くても、周辺の特定被写体(例えば、顔)にピントが合うように、物体あおり軸の位置を移動させることができる。すなわち、撮像あおり軸上で特定被写体を撮像していない場合でも、物体あおり軸の位置を所望の高さの略水平ピント面上の仮想の位置に設定しながら、特定被写体を含む平面にピントを合わせることができる。換言すると、図10(d)に示されるように、特定被写体(顔)を含む平面上にあって、特定被写体が存在しない仮想の位置に物体あおり軸を設定しながら、特定被写体(顔)を含む平面にピントを合わせることができる。
【0059】
以下、図10(a)~(d)を参照して、所望の高さの略水平ピント面を維持しながら、光軸の傾きの変更に応じて、フォーカスレンズの位置と撮像センサのチルト角(あおり角)とを変更する方法を説明する。図10(a)~(d)は、本実施形態における撮像装置の制御方法の説明図である。
【0060】
まず、図10(a)に示されるように、基準平面(例えば、地面)にピント面を合わせた状態で、撮像あおり軸上で顔が撮像されない場合を考える。ピント面の傾斜角度(基準傾斜角)θは以下の式(2)のように表される。
【0061】
【数2】
【0062】
次に、図10(b)に示されるように、撮像装置100aは、撮像あおり軸上で顔が撮像されるようにパンチルト機構201を用いてチルト駆動を行い、撮像装置100aの光軸方向を変更する。このとき、撮像装置100aのチルト角をφとすると、被写体距離a’と、あおり角S’は、以下の式(3)、(4)のようにそれぞれ表される。
【0063】
【数3】
【0064】
【数4】
【0065】
そして、図10(c)に示されるように、撮像あおり軸上の顔にピントが合うようにフォーカスレンズを移動させることにより、被写体距離A’を算出することができる。このときのあおり角Sp’は、以下の式(5)のように表される。これにより、図10(a)に示される当初の画角において、撮像あおり軸上に特定被写体が存在しない場合でも、物体あおり軸の位置を特定被写体の位置に移動させることができる。
【0066】
【数5】
【0067】
最後に、図10(d)に示されるように、撮像装置100aはパンチルト機構201を用いてチルト駆動を行い、光軸方向を図10(a)に示される光軸方向に戻す。これにより、被写体距離Aは、幾何学的に算出することができ、以下の式(6)のように表される。
【0068】
【数6】
【0069】
そして、フォーカスレンズの位置Bは、被写体距離Aに基づいて、以下の式(7)のように決定される。
【0070】
【数7】
【0071】
さらに、あおり角Sを以下の式(8)のように設定することで、撮像あおり軸上で仮想の特定被写体(例えば、顔)にピントが合うようにピント面を設定することができる。これにより、物体あおり軸の位置を所望の高さの略水平ピント面上の、仮想の特定被写体(顔)の位置に設定しながら、特定被写体を含む平面にピントを合わせることができる。換言すると、図10(a)に示されるように、撮像あおり軸上で特定被写体の顔を撮像していない場合でも、図10(a)に示される画角を維持しながら、特定被写体(顔)を含む平面にピントが合うように、所望の高さの略水平ピント面を上げることができる。
【0072】
【数8】
【0073】
本実施形態によれば、所定の画角においては撮像あおり軸上で撮像されない特定被写体に対して、所定の画角を維持したまま、手前から奥までの広い範囲でピントを合わせることが可能となる。
【0074】
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。本実施形態は、撮像あおり軸上に所望の高さの被写体(顔などの特定被写体)が検出されない場合、撮像あおり軸上以外の撮像領域で検出された所望の高さの被写体の位置にフォーカス距離Aを設定する。これにより、所望の高さの特定被写体の位置から光軸に下した垂線と光軸との交点の位置(光軸上の位置)に物体あおり軸を設定する。そして、光軸垂直ピント面が所定角度ω回転するように、撮像面を所定角度Sチルト回転させる。このとき、撮像あおり軸上以外の被写体ではフォーカスずれが発生する。そこで、そのずれを補正する再フォーカスを実行(フォーカス距離A’を設定)し、光軸上に別の物体あおり軸を設定する。最後に、物体ピント面が地面と水平になるようなフォーカス距離A’’を設定して光軸上に物体あおり軸を設定し、撮像面も物体ピント面が地面と水平になるようなチルト角度S’’に回転させる。これにより、ピント面が水平面になっているのでフォーカスずれは発生せず(再フォーカス不要、光軸上に最終的な物体あおり軸が設定される)、上記被写体(顔など)を含むピント面が地面と略平行な水平ピント面になる。
【0075】
本実施形態は、第1~3の実施形態と異なり、撮像あおり軸上以外の撮像領域で検出された所望の高さの被写体(顔などの特定被写体)にピントが合うようにフォーカシングを行い、光軸上に物体あおり軸を設定する。その後、撮像センサを撮像あおり軸回りにチルト回転させるとともに、ピントを合わせた所望の高さの被写体のピントのずれを補正するように再フォーカスして、光軸上に別の物体あおり軸を設定する。この撮像あおり軸回りのセンサチルト回転と、当初ピントを合わせた所望の高さの被写体に対するピントずれを補正する再フォーカス(光軸上に別の物体あおり軸を設定)を繰り返す。そして最終的には、所望の高さの被写体(顔など)を含む地面と略平行な水平面とピント面とを一致させる。換言すると、本実施形態は、第2、第3の実施形態と異なり、当初の画角で撮像あおり軸上に所望の高さの被写体が検出されない場合、パンチルト機能により撮像装置の光軸を回転させずピント面を所望の高さの被写体(顔など)を含む、地面と平行な面に合わせる。
【0076】
以下、本実施形態における撮像装置について説明する。なお本実施形態の撮像装置のブロック図は、図1を参照して第1の実施形態にて説明した撮像装置100と同じであるため省略する。以下では、図1に示したブロック図を構成する機能ブロックのうち、第1の実施形態とは異なる機能を有する機能ブロックについてのみ説明する。
【0077】
本実施形態において、物体あおり軸設定部104は、被写体検出部103から取得した特定被写体の位置にフォーカスを合わせることで、物体あおり軸を設定する。即ち、物体あおり軸設定部104は、撮像あおり軸上の撮像領域に特定被写体が存在しない場合、フォーカスを合わせた特定被写体の位置から光軸に下した垂線と光軸との交点の位置に物体あおり軸を設定する。そして、物体あおり軸設定部104は、所定のピント面回転量に応じてセンサチルト部105に撮像センサのチルト角を出力するとともに、前記所定のピント面回転量に応じてレンズ101を駆動してフォーカスを補正する。より具体的には、所定量だけピント面を回転させても、フォーカスを合わせた前記特定被写体に対してピントを合わせ続けられるような撮像センサのチルト角と、フォーカスを合わせる被写体距離とを算出し、出力する。換言すると、本実施形態ではピント面を回転させながら、ピント面の回転に応じて、物体あおり軸の位置をシフトさせる。このような、撮像センサのチルト角と、フォーカスを合わせる被写体距離の補正量の算出方法については後述する。
【0078】
センサチルト部105は、物体あおり軸設定部104から取得した撮像センサのチルト角に応じて、撮像センサ102を撮像あおり軸の回りにチルト回転させる。撮像センサ102を撮像あおり軸の回りでチルト回転させることで、被写体側も物体あおり軸の回りでピント平面が回転し、所望の高さの被写体(顔など)を含み、地面と略平行な水平面までピント面を回転させて、一致させる。
【0079】
以下、図11および図12を参照して、本実施形態における物体あおり軸の設定方法、および、ピント面の制御方法をさらに説明する。
【0080】
図11(a)は、本実施形態における物体あおり軸の位置の一例を表している。図11(a)において物体あおり軸は、被写体10の顔の位置にフォーカスを合わせることで、被写体10の顔の位置から光軸に下した垂線と光軸とが交わる光軸上の位置に設定されている。本実施形態においては、実施形態1~3とは異なり、図11(a)に示されるように特定被写体の位置が撮像あおり軸の位置と結像関係になくてもよい。つまり、撮像あおり軸上の撮像領域で特定被写体が撮像されなくてもよい。
【0081】
図11(b)は、本実施形態における撮像画像の一例を表している。図11(b)は、撮像画像から顔を検出し、被写体10の顔にフォーカスを合わせることで、特定被写体(顔)は存在しないが、撮像あおり軸と結像関係にある位置に物体あおり軸を設定している状態を表している。図11(b)中のPは、撮像画像の垂直方向の画素数を、図11(b)中のPは撮像画像上の光軸に相当する位置とフォーカスを合わせた顔の位置との間の距離である画素数をそれぞれ表している。
【0082】
このような場合において、物体あおり軸設定部104は、図11(a)中のHで示される、フォーカスを合わせた顔などの特定被写体の位置と光軸との距離を算出する。即ち、フォーカスを合わせた特定被写体と物体あおり軸との距離Hを算出する。まず、図11(a)中のVで示される、レンズ101の焦点距離がf、撮像センサの垂直方向の大きさ(結像長)yである場合の画角内に入る、被写体距離Aにおける視野の広さは、以下の式(9)のように表される。
【0083】
【数9】
【0084】
そして、フォーカスを合わせた顔などの特定被写体の位置と光軸との距離HはVを用いて以下の式(10)のように表される。
【0085】
【数10】
【0086】
図12(a)は、特定被写体(顔)が存在せず、撮像あおり軸の位置と結像関係にある位置を物体あおり軸に設定し、被写体10の顔の位置の周りにピント面を回転した状態を表している。即ち、図12(a)は、撮像センサをチルト回転しない(あおらない)状態である図11(a)のピント面に対して、ピント面を被写体10の顔の位置を中心として角度ωだけ回転させた状態を表している。さらに言うと、図12(a)は、被写体10の顔にピントを合わせたままピント面を回転するように、物体あおり軸の位置をAだけ補正した状態を表している。つまり、図12(a)における仮想的な被写体距離A’は、図11(a)に示される撮像センサをあおらない状態の被写体距離Aに対して、Aだけ補正したものとなる。仮想的な被写体距離A’は、フォーカスを合わせた顔などの特定被写体の位置と光軸との距離Hと、ピント面回転量ωを用いて、以下の式(11)のように表される。
【0087】
【数11】
【0088】
このときのあおり角Sは、仮想的な被写体距離A’、ピント面回転量ωを用いて、以下の式(12)のように表される。
【0089】
【数12】
【0090】
図12(b)は、ピント面が被写体10の顔の高さの水平面と略一致するまでピント面を被写体10の顔の位置を中心として回転させた状態を表している。図12(b)に示されるように、水平面に対する垂線と光軸とのなす角をθとすると、ピント面回転量ω=θとなるとき、ピント面は顔の高さの水平面と一致する。このときの仮想的な被写体距離A’は以下の式(13)のように表され、あおり角Sは以下の式(14)のように表される。
【0091】
【数13】
【0092】
【数14】
【0093】
以上の構成により、撮像あおり軸の位置と結像関係にある物体あおり軸の位置を、フォーカスを合わせた顔などの特定被写体の位置と光軸との距離、および、ピント面回転量に応じて補正する。これにより、撮像あおり軸の位置と結像関係に無い顔の位置を中心としてピント面を回転させることができる。その結果、撮像あおり軸上の撮像領域で特定被写体が撮像されない場合であっても、特定被写体を含む所望の高さの略水平面にピントを合わせることができる。すなわち、手前から奥の広い範囲に存在する特定被写体(顔)にピントが合った映像が得られる。
【0094】
なお、水平面に対する垂線と光軸とのなす角をθがカメラの設置条件等に基づいて既知である場合、図12(b)に示されるように、ピント面回転量ω=θとすることで、1ステップでピント面を水平面に略一致させればよい。一方、水平面に対する垂線と光軸とのなす角をθが未知である場合には、任意のピント面回転量だけピント面を回転する処理を複数回繰り返す。即ち、手前から奥の広い範囲に存在する特定被写体(顔)にピントが合った映像が得られるまで、少しずつピント面回転量ωを変更すればよい。つまり、水平面に対する垂線と光軸とのなす角をθが既知であるか否かに応じてピント面回転量ωの設定方法を切り替えるように制御してもよい。
【0095】
なお、上記の例では、物体あおり軸設定部104がピント面回転量ωに応じて、フォーカス補正量とセンサチルト角とを算出するように説明したが、これに限定されるものではない。即ち、任意のフォーカス補正量Aをまず決定する。そして、物体あおり軸設定部104が、フォーカスをAだけ補正しても当初ピントを合わせた特定被写体にピントを合わせ続けられるように、ピント面回転量ωと、その時のあおり角Sを算出してもよい。
【0096】
なお、フォーカスを合わせた特定被写体の位置と光軸との距離Hの算出方法は、上述した方法に限定されるものではない。例えば、撮像画像上の垂直方向の位置座標と図11(a)に示される角度ψとの関係を予め求めておき、テーブルデータとして記憶しておく。そして、フォーカスを合わせた特定被写体の位置の撮像画像上の垂直座標に基づいて、前記テーブルデータを参照して角度ψを決定し、フォーカスを合わせた特定被写体の位置と光軸との距離Hを以下の式(15)のように算出してもよい。
【0097】
【数15】
【0098】
このように各実施形態において、撮像装置100(100a)は、光学ユニット1001(2001)、検出手段(被写体検出部103)、設定手段(物体あおり軸設定部104)、および、チルト手段(センサチルト部105)を有する。光学ユニットは、レンズ101および撮像センサ102を有する。検出手段は、撮像センサからの画像データに基づいて、特定被写体を検出する。設定手段は、特定被写体にピントを合わせて、物体あおり軸を設定する。チルト手段は、撮像センサを撮像センサのチルト回転軸の回りにチルト回転させる。
【0099】
好ましくは、設定手段は、検出手段により特定被写体が検出された場合、被写体にピントを合わせて物体あおり軸を設定する。また好ましくは、設定手段は、検出手段により特定被写体が検出されない場合、特定被写体が検出されるまで、物体あおり軸の設定を行わない。
【0100】
好ましくは、設定手段は、検出手段により特定被写体が検出されない場合、光学ユニットの光軸方向を変更する。より好ましくは、撮像装置は、光学ユニットの向きを変更する変更手段(パンチルト機構201)を有する。設定手段は、変更手段を制御して光学ユニットの光軸方向を変更する。また好ましくは、設定手段は、光学ユニットの光軸方向を変更することにより、物体あおり軸の位置を変更する。また好ましくは、設定手段は、撮像センサのチルト回転軸とは異なる撮像領域に存在する特定被写体に基づいて、光学ユニットの光軸方向を変更する。また好ましくは、設定手段は、撮像領域に存在する特定被写体がチルト回転軸に対応する位置に移動する(撮像あおり軸上に特定被写体が重なる)ように、光学ユニットの光軸方向を変更する。
【0101】
好ましくは、検出手段は、撮像センサからの画像データに基づいて、撮像センサのチルト回転軸に対応する位置に存在する特定被写体を検出する。設定手段は、特定被写体にピントを合わせて、チルト回転軸と結像関係にある物体あおり軸を設定する。また好ましくは、設定手段は、ピント面の回転量に応じて物体あおり軸を設定する。チルト手段は、ピント面の回転量に応じて撮像センサをチルト回転軸の回りにチルト回転させる。
【0102】
好ましくは、チルト手段は、特定被写体を含む複数の被写体にピントが合うように、撮像センサをチルト回転させる。また好ましくは、チルト手段は、特定被写体の高さの基準となる第1の平面(基準平面)に平行(略平行)な第2の平面にピントが合うように、撮像センサをチルト回転させる。また好ましくは、第1の平面は、地面、道路、床、および、廊下の少なくとも一つを含む。また好ましくは、設定手段は、光学ユニットの光軸方向を第1の方向(第1の傾き)から第2の方向(第2の傾き)に変更して物体あおり軸を設定する。その後、設定手段は、物体あおり軸の第1の平面からの高さを維持したまま光学ユニットの光軸方向を第2の方向から第1の方向に戻す。また好ましくは、特定被写体は、人物の顔領域である。
【0103】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0104】
各実施形態によれば、物体あおり軸を顔などの所望の高さの被写体(特定被写体)に設定し、撮像センサあおり(撮像センサチルト)により、所望の高さ(顔)の水平面(地面と平行な略水平面)にピントが合うように設定することができる。その結果、全ての人の顔の高さ面にピントを合わせることができ、人の顔が動いてもピント面から外れずに動画撮影を行うことが可能となる。このため各実施形態によれば、複数の被写体に適切にピントを合わせることが可能であるとともに、複数の被写体が移動した場合でもピントが合った動画撮影を行うことが可能な撮像装置、撮像装置の制御方法、および、プログラムを提供することができる。
【0105】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0106】
100、100a 撮像装置
101 レンズ
102 撮像センサ
103 被写体検出部(検出手段)
104 物体あおり軸設定部(設定手段)
105 センサチルト部(チルト手段)
1001、2001 光学ユニット
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13