特許 7535012 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-06

(45)【発行日】2024-08-15

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G02B 7/28 20210101AFI20240807BHJP

   G02B 7/36 20210101ALI20240807BHJP

   G03B 5/08 20210101ALI20240807BHJP

   G03B 13/36 20210101ALI20240807BHJP

   H04N 23/67 20230101ALI20240807BHJP

【ＦＩ】

G02B7/28 N

G02B7/36

G03B5/08

G03B13/36

H04N23/67

【請求項の数】 18

(21)【出願番号】P 2021105980

(22)【出願日】2021-06-25

(65)【公開番号】P2022048079

(43)【公開日】2022-03-25

【審査請求日】2023-04-14

(31)【優先権主張番号】P 2020154009

(32)【優先日】2020-09-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】川崎 諒

(72)【発明者】

【氏名】佐藤 夏子

【審査官】藏田 敦之

(56)【参考文献】

【文献】特開２００８－２０５５６９（ＪＰ，Ａ）

【文献】特開２０１８－０５６８１０（ＪＰ，Ａ）

【文献】特開２０２０－１７４２７５（ＪＰ，Ａ）

【文献】特開平０３－１５９３７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８ － ７／４０

Ｇ０３Ｂ ５／０８

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ２３／６７

(57)【特許請求の範囲】

【請求項1】

撮像素子を、回転軸を中心として撮像光学系の光軸と直交する面に対して傾けるあおり制御、及び、フォーカスレンズを前記光軸方向に移動させるフォーカス制御を行う制御手段と、
撮像部によって撮像された撮像画像内に対象領域を設定する設定手段と、
前記回転軸の位置と前記対象領域の位置に基づいて、前記フォーカスレンズの位置の補正量を判断する判断手段と、を備え、
前記判断手段は、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が大きいほど、前記フォーカスレンズの位置の補正量が大きくなるように前記補正量を決定し、
前記制御手段は、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が０でない場合、前記あおり制御及び前記補正量に基づいて前記フォーカスレンズを移動させる前記フォーカス制御を行い、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が０の場合、前記あおり制御を行い、前記補正量に基づいて前記フォーカスレンズを移動させる前記フォーカス制御を行わないことを特徴とする、
情報処理装置。

【請求項2】

前記判断手段は、前記あおり制御による回転駆動の回転角度にさらに基づいて、前記フォーカスレンズの位置の補正量を判断することを特徴とする、請求項１に記載の情報処理装置。

【請求項3】

前記判断手段は、前記回転駆動の回転角度を、前記撮像素子又は前記撮像光学系の現在の回転角度と、あおり制御の目標となる回転角度と、に基づいて判断することを特徴とする、請求項２に記載の情報処理装置。

【請求項4】

前記判断手段は、前記回転駆動の回転角度が大きいほど、前記フォーカスレンズの位置の補正量が大きくなるように前記補正量を決定することを特徴とする、請求項２又は３に記載の情報処理装置。

【請求項5】

前記制御手段は、前記あおり制御による回転駆動の制御速度に応じた速度で前記フォーカスレンズの位置を制御することを特徴とする、請求項１乃至４の何れか一項に記載の情報処理装置。

【請求項6】

前記制御手段は、前記あおり制御が終わると同時に前記フォーカス制御が終わるように前記フォーカスレンズを移動させることを特徴とする、請求項５に記載の情報処理装置。

【請求項7】

前記制御手段は、前記あおり制御における前記撮像素子又は前記撮像光学系の回転角度に応じた速度で、前記フォーカスレンズの位置の補正を制御することを特徴とする、請求項５又は６に記載の情報処理装置。

【請求項8】

前記制御手段は、前記あおり制御における前記撮像素子又は前記撮像光学系の回転角度の絶対値が、０°～９０°の範囲内で大きいほど、前記フォーカスレンズの位置を制御する速度を速くすることを特徴とする、請求項７に記載の情報処理装置。

【請求項9】

前記判断手段は、前記あおり制御が停止する場合に、前記あおり制御の停止時点での前記撮像素子又は前記撮像光学系の回転角度に応じて前記補正量を判断することを特徴とする、請求項１乃至８の何れか一項に記載の情報処理装置。

【請求項10】

前記判断手段は、一度の前記あおり制御の指示に対して２以上の補正量を判断し、
前記制御手段は、前記２以上の補正量に基づいて、前記一度のあおり制御の指示に対して複数回にわけて前記フォーカスレンズの位置を調整することを特徴とする、請求項１乃至９の何れか一項に記載の情報処理装置。

【請求項11】

前記制御手段は、前記複数回にわけた前記フォーカスレンズの位置の調整それぞれにより、前記一度のあおり制御中に、逐次的に前記フォーカスレンズの位置を調整することを特徴とする、請求項１０に記載の情報処理装置。

【請求項12】

前記対象領域は、ユーザが指定した領域、又は前記撮像画像内から、検出の対象物として自動的に検出された領域であることを特徴とする、請求項１乃至１１の何れか一項に記載の情報処理装置。

【請求項13】

前記判断手段は、前記あおり制御による前記対象領域のピントのズレに応じて、前記フォーカスレンズの位置の補正量を判断することを特徴とする、請求項１乃至１２の何れか一項に記載の情報処理装置。

【請求項14】

前記フォーカスレンズの位置の補正により、第１の対象領域と、第２の対象領域と、の両方に合焦するように前記あおり制御の制御量を決定する決定手段をさらに備えることを特徴とする、請求項１乃至１３の何れか一項に記載の情報処理装置。

【請求項15】

前記あおり制御を行う前に、前記第１の対象領域に合焦するようにフォーカスレンズの位置を調整する調整手段をさらに備え、
前記あおり制御は、前記第１の対象領域に合焦した状態を維持しながら行われることを特徴とする、請求項１４に記載の情報処理装置。

【請求項16】

前記設定手段は、前記対象領域ごとに優先度をさらに設定し、
前記第１の対象領域に設定される優先度が、前記第２の対象領域に設定される優先度よりも高いことを特徴とする、請求項１５に記載の情報処理装置。

【請求項17】

撮像素子を、回転軸を中心として撮像光学系の光軸と直交する面に対して傾ける、あおり制御、及び、フォーカスレンズを前記光軸方向に移動させるフォーカス制御を行う制御工程と、
撮像部によって撮像された撮像画像内に対象領域を設定する工程と、
前記回転軸の位置と前記対象領域の位置に基づいて、前記フォーカスレンズの位置の補正量を判断する判断工程と、を備え、
前記判断工程において、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が大きいほど、前記フォーカスレンズの位置の補正量が大きくなるように前記補正量を決定し、
前記制御工程は、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が０でない場合、前記あおり制御及び前記補正量に基づいて前記フォーカスレンズを移動させる前記フォーカス制御を行い、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が０の場合、前記あおり制御を行い、前記補正量に基づいて前記フォーカスレンズを移動させる前記フォーカス制御を行わないことを特徴とする、
情報処理方法。

【請求項18】

コンピュータを、請求項１乃至１６の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

被写体を撮像する撮像系の光軸と直交する面に対して、撮像面を傾くように回転させる（あおり制御）ことで焦点面を調整して撮像シーンの被写界深度を変化させるシャインプルーフの原理と呼ばれる技術が知られている。この技術によれば、被写界深度を浅くして主要被写体以外をぼかした映像を得ることができ、絞りを絞らずに被写界深度を深くすることにより光量不足による被写体ぶれ又はノイズを抑制しつつ撮像領域全体にピントが合った映像を得ることもできる。

【0003】

特許文献１では、主要被写体にピントを合わせた上であおり制御を行うことで、主要被写体以外をぼかしたポートレート撮影を行う撮像装置が開示されている。また、特許文献２には、任意の場所を回転軸として撮像面を回転させる構成を採用することにより、あおり制御において指定した合焦箇所を中心に撮像面を回転させる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－２０５５６９号公報

【文献】特開２０１８－０５６８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では、あおり制御の回転軸が固定であり、撮像素子の中心線上の被写体に対するピントの調整を行うため、被写体がその中心線上に存在しない場合にはピントが変化してぼやけてしまう。一方で、特許文献２に記載の技術では、指定した合焦箇所にピントを合わせることができるが、任意の箇所を回転軸として稼働させるための複雑なハード構成が要求される。

【0006】

本発明は、簡便なハード構成で、撮像領域内の任意の領域にピントを合わせたままあおり制御を行うことを目的とする。

【課題を解決するための手段】

【0007】

本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、撮像素子を、回転軸を中心として撮像光学系の光軸と直交する面に対して傾けるあおり制御、及び、フォーカスレンズを前記光軸方向に移動させるフォーカス制御を行う制御手段と、撮像部によって撮像された撮像画像内に対象領域を設定する設定手段と、前記回転軸の位置と前記対象領域の位置に基づいて、前記フォーカスレンズの位置の補正量を判断する判断手段と、を備え、前記判断手段は、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が大きいほど、前記フォーカスレンズの位置の補正量が大きくなるように前記補正量を決定し、前記制御手段は、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が０でない場合、前記あおり制御及び前記補正量に基づいて前記フォーカスレンズを移動させる前記フォーカス制御を行い、前記撮像素子の回転軸から前記対象領域に対応する位置までの距離が０の場合、前記あおり制御を行い、前記補正量に基づいて前記フォーカスレンズを移動させる前記フォーカス制御を行わないことを特徴とする。

【発明の効果】

【0008】

簡便なハード構成で、撮像領域内の任意の領域にピントを合わせたままあおり制御を行うことができる。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係る情報処理装置の機能構成の一例を示す図。

【図2】実施形態１に係るあおり制御におけるピント位置の補正の一例を示す図。

【図3】実施形態１に係るあおり制御におけるピント位置の補正の一例を示す図。

【図4】実施形態１に係るピント位置の補正量の算出を説明するための図。

【図5】実施形態１に係るあおり角とフォーカス補正量の関係の一例を示すグラフ。

【図6】実施形態１に係る情報処理方法における処理例のフローチャート。

【図7】実施形態１に係るあおり制御の処理例のフローチャート。

【図8】実施形態１に係るフォーカス補正を含む処理例のフローチャート。

【図9】実施形態２に係るあおり角とフォーカス補正量の関係の一例を示すグラフ。

【図10】実施形態２に係るフォーカス補正を含む処理例のフローチャート。

【図11】実施形態４に係るコンピュータの機能構成を示す図。

【図12】実施形態３に係る被写体２つが写る撮像画像の例を示す図。

【図13】実施形態３に係る情報処理方法における処理例のフローチャート。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

［実施形態１］
本実施形態に係る情報処理装置は、撮像素子と撮像光学系とを備える。また、本実施形態に係る情報処理装置は、撮像素子による被写体像内に対象領域を設定し、撮像素子と撮像光学系との相対的な姿勢を変化させるあおり制御に応じて、対象領域のピント位置の補正量を算出し、ピント位置の補正を行う。

【0012】

図１は、本実施形態に係る情報処理装置の機能構成の一例を示している。本実施形態に係る情報処理装置１００の撮像光学系は、一般的な撮像光学系と同様の処理によって被写体像を形成するため、各処理に関する詳細な説明は省略する。情報処理装置１００は、光軸方向に移動して焦点距離を変更するズームレンズ１０１、光軸方向に移動してピント位置の調節を行うフォーカスレンズ１０２、及び光量を調節する絞り部１０３を有する。撮像光学系を通過した光は、バンドパスフィルタ（ＢＰＦ）１０４及びカラーフィルタ１０５を介して撮像素子１０６上に光学像としての被写体像を形成する。ＢＰＦ１０４は、撮像光学系の光路に対して進退可能であってもよい。

【0013】

撮像素子１０６は被写体像を光電変換する。撮像素子１０６から出力されたアナログ電気信号（撮像信号）は、ＡＧＣ１０７によりゲイン調整され、ＡＤ変換器１０８によってデジタル信号に変換された後、信号処理部１０９に入力される。信号処理部１０９は、入力されたデジタル信号に対して各種画像処理を行って映像信号を生成する。次いで信号処理部１０９は、通信部１１０を介して、情報処理装置１００に有線又は無線通信により接続されたモニタ装置１１１に映像信号を出力する。モニタ装置１１１は、ユーザ指示に応じて、情報処理装置１００内の領域設定部１１２、あおり制御部１１４、又はピント制御部１１７にそれぞれコマンドなどの制御信号を出力し、各処理部による後述する処理を行わせる。

【0014】

領域設定部１１２は、通信部１１０からの指示に基づいて、撮像素子上の被写体像内に、ピントを合わせるべき対象領域を設定する。対象領域は１画素以上からなる領域であり、例えば、ピントを合わせたい所望の被写体が写る領域などが設定されるが、詳細は図６のフローチャートを参照して後述する。評価値算出部１１３は、対象領域について、ＲＧＢの画素値、又は輝度値を、ＡＤ変換器１０８又は信号処理部１０９から取得する。次いで評価値算出部１１３は、オートフォーカス（ＡＦ）制御で使用するフォーカス評価値を算出する。本実施形態においては、フォーカス評価値は特定周波数のコントラストに係る評価値であるものとするが、特にこれに限定するわけではなく、例えば位相差などによる距離情報を示す値であってもよい。

【0015】

あおり制御部１１４は、通信部１１０からの指示に基づいて、あおり駆動部１１５に対してあおり制御の目標位置を指示する。本実施形態においては、あおり制御の目標位置は、撮像素子１０６又は撮像光学系の基本姿勢からの回転角度で表される。また、以下においては、撮像素子１０６の基本姿勢からある姿勢までのあおり制御による制御量（回転角度）を指してあおり角と呼ぶものとする。本実施形態においては、撮像光学系の主面の基本姿勢と撮像素子１０６の基本姿勢とは平行であるものとして以下の説明を行う。

【0016】

本実施形態に係るあおり制御とは、被写体を撮像する光軸と直交する面に対して撮像面を傾けることによって、ピントの合うピント面を傾ける制御である。本実施形態においては、撮像素子１０６又は撮像光学系を回転駆動させることによってあおり制御が行われ、地面又は建物などの平面上の被写体全体にピントを合わせることが可能となる。あおり制御は、例えば、ユーザがボタン又はダイヤルなどの入力デバイスを操作することにより行われる。

【0017】

あおり駆動部１１５は、あおり制御部１１４から指示された目標位置に基づいて、撮像素子１０６又は撮像光学系を傾ける。以下、あおり駆動部１１５は撮像素子１０６を傾けるものとし、その操作を単に「あおり制御」として説明を行う。また、本実施形態においては、後述する図２又は図３に示されるように、あおり駆動部１１５は、撮像素子１０６の中心にある中心軸を回転軸として制御を行うものとするが、回転軸は特にこの位置には限定されない。なお、この例においては、撮像素子の中心軸とは、撮像素子の短辺２つの中点を結ぶ軸であるものとして説明を行う。なお、以下においては説明のため、あおり制御は基本姿勢から－９０°～９０°の範囲で行われるものとする。

【0018】

なお、上述のように本実施形態においては撮像素子１０６を回転させてあおり制御を行うものとして説明を行うが、撮像光学系を回転させることによってあおり制御を行ってもよい。その場合、撮像素子１０６と撮像光学系との位置及び姿勢の関係は、撮像素子１０６を、撮像光学系の回転方向と反対方向に、撮像光学系の回転軸を回転の中心として同じ回転幅だけ回転させた場合と同様になる。したがって、フォーカス補正の値もその場合と同様に後述する方法で算出される。

【0019】

補正量算出部１１６は、あおり制御が行われる場合にピント制御部１１７によって行われるフォーカス補正の補正量（フォーカス補正量）を判断する。本実施形態に係るフォーカス補正量は、領域設定部１１２が設定した対象領域におけるピントをあおり制御に応じて維持するためのフォーカス補正における補正量である。フォーカス補正量については図４を参照して後述する。ピント制御部１１７は、算出されたフォーカス補正量、又は通信部１１０からの指示に基づいて、ピント駆動部１１８に対してピント位置を指定する。ピント駆動部１１８は、ピント制御部１１７から指示されたピント位置に基づいて、フォーカスレンズ１０２の位置を制御する。また、補正量算出部１１６は、ユーザによるあおり制御の停止指示があった場合に、その停止指示に応じた位置（撮像素子の停止時点での姿勢）を目標位置として補正量を再算出してもよい。

【0020】

［あおり制御］
以下、図２及び図３を参照して、本実施形態に係る情報処理装置が行うあおり制御に応じたピント位置の補正について説明を行う。図２は、光軸上の被写体上の地点Ａにピントを合わせ、あおり制御を行う前の状態の一例を示す模式図である。図２（ａ）の例においては、地点Ａまでの被写体距離Ｌにピントが合うようにフォーカスが調整されている。また、光学系の主面と撮像素子とが平行に配置されているため、それらの面とピント面とが平行となる。また、地点Ａが後述するピント面の回転軸上に存在する。なお、ピントを合わせるとは、撮像光学系の有する許容錯乱円の設定などに応じて定まる被写界深度の範囲に被写体を収めることであり、本実施形態においては基本的にはＡＦによってピントが調整されるが、一般的な処理であるため説明は省略する。

【0021】

図２（ｂ）は、撮像素子の中心軸を回転軸としてあおり制御を行った後の状態の一例を示す模式図である。あおり制御を行うと、シャインプルーフの原理に基づいてピント面も回転する。そのため、あおり制御によって、ある平面上の被写体に関して近距離から遠距離まで全ての範囲にピントを合わせることが可能となる。なお、この時、ピント面は、あおり回転軸（撮像素子の回転軸）に対応した位置を軸として回転する。本実施形態においては、ピント面のあおり回転軸に対応した軸とは、撮像素子によるあおり回転軸上の被写体像に対応する位置に設定される、ピント面上の直線である。図２（ｂ）においては、平面上の被写体の表面全域にピント面が合致するように、あおり制御によるピント面の回転が行われている。シャインプルーフの原理は公知の原理であるため詳細な説明は省略するが、光学系の主面と撮像素子の撮像面とがある１つの直線上で交わる場合に、ピント面もその直線と同じ直線上で交わるという原理である。焦点距離をｆ、被写体距離をＬ、俯角をαとすると、あおり角ｂは、シャインプルーフの原理に基づいて以下の式（１）で表される。
ｂ＝ｔａｎ^－１（ｆ／（Ｌｔａｎα）） 式（１）

【0022】

なお、図２の例とは反対方向にあおり制御を行う場合には、ピント面も反対方向に回転するため、被写界深度が浅くなり、被写体上の地点Ａ以外の箇所をより大きくぼかす効果がある。

【0023】

図３は、光軸上にはない被写体上の地点Ｂにピントを合わせ、あおり制御を行う前の状態の別の一例を示す模式図である。図３（ａ）の例においては、地点Ｂまでの被写体距離Ｌにピントが合うようにフォーカスが調整されている。また、撮像光学系の主面と撮像素子とが平行に配置されているため、それらの面とピント面とが平行となる。また、あおり制御に応じたピント面の回転軸は図２における地点Ａを通り、地点Ｂはその回転軸上からは外れている。図２の例と同様にあおり制御を行うと、ピント面は撮像素子１０６の回転軸に対応した位置を回転軸として回転するため、ピント面の回転軸上にはない被写体の地点Ｂはピント面から外れてぼけが生じてしまう。

【0024】

図３（ｂ）は、図２（ｂ）と同様にあおり制御を行った後の状態の一例を示す模式図である。上述したようにこの例では地点Ｂからはピントが外れており、この地点Ｂにぼけが生じないようにするためには、フォーカス補正が行われることが好ましい。図３（ｃ）は、本実施形態に係る情報処理装置１００がそのようなフォーカス補正を行う場合の模式図である。図３（ｃ）の例においては、ピント面を回転させながら、フォーカス補正によって地点Ｂにピントを合わせた状態を維持している。

【0025】

以下、あおり制御に応じて行うピント位置の補正のフォーカス補正量を算出する例について、図４を参照して説明する。図４においては、領域設定部１１２により、撮像画像中に対象領域が設定される。この例では、領域設定部１１２は、撮像画像中のあおり回転軸よりも下部に存在する被写体を表す領域を対象領域として設定している。次いで補正量算出部１１６は、あおり制御の制御量に応じて、対象領域にピントが合うようなフォーカス補正量を算出する。ここでは、フォーカス補正量βは、以下の式（２）に従って算出される。ここでは、あおり制御によってあおり角α１からα２まで撮像素子１０６が回転制御されており、ｋは撮像素子１０６上での回転軸から被写体の中心画素までの距離であるものとする。
β＝（ｔａｎα２－ｔａｎα１）×ｋ 式（２）

【0026】

図５は、あおり角とフォーカス補正量βとの関係を表すグラフである。この例ではグラフは線形ではなく、同量のあおり制御を行う場合であっても、基本姿勢に対する制御量に応じてフォーカス補正量の変動量が変化する。本実施形態においては、撮像素子１０６のあおり制御は基本姿勢から－９０°～９０°の範囲で行われるため、基本姿勢からの制御量の絶対値が大きくなるほど同制御量によるフォーカス補正量が大きくなる。

【0027】

なお、フォーカス補正量の算出方法は特に式（２）には限定されない。例えば、補正量算出部１１６は、式（２）におけるβをフォーカスレンズの敏感度で除算することにより簡易的な補正量を算出してもよく、敏感度に応じた高次方程式又は多項式を解くことによってより正確な補正量を算出してもよい。

【0028】

以下、本実施形態に係る情報処理装置１００が行う処理について、図６を参照しながら説明する。図６は、情報処理装置１００が行うメインの処理の一例を示すフローチャートである。

【0029】

ステップＳ６０１で領域設定部１１２は、対象領域を設定する。本実施形態においては、領域設定部１１２は、ユーザ指定した任意の領域を対象領域として設定する。また、領域設定部１１２は、特定の対象物を検出する機能により検出した位置を、自動的に対象領域として設定してもよい。例えば領域設定部１１２は、検出した被写体に対してＡＦ機能によってピントを合わせ、その被写体を示す領域を対象領域として設定してもよい。

【0030】

ステップＳ６０２でピント駆動部１１８は、対象領域に対してピント合わせを実行する。ピント駆動部１１８は、例えばＡＦ機能によって自動でピント合わせを行ってもよい。また例えばピント駆動部１１８は、マニュアルフォーカス（ＭＦ）機能により、撮像画像を目視するユーザの手動入力に応じてピント合わせを行ってもよい。この場合、ピント駆動部１１８は、目視しやすいように対象領域を拡大表示する、又は対象領域の合焦度をユーザに提示するなど、ユーザの補助となる情報を表示してもよい。

【0031】

ステップＳ６０３であおり制御部１１４は、ユーザによるあおり制御の指示があるかどうかを判定する。あおり制御の指示がある場合には処理がステップＳ６０４へと進み、そうでない場合は再度指示があるかどうかを確認する。

【0032】

ステップＳ６０４で補正量算出部１１６は、撮像素子による被写体像内の回転軸から対象領域までの距離を算出する。本実施形態においては、補正量算出部１１６は、回転軸から対象領域の中心の画素までの距離を算出する。ステップＳ６０５であおり制御部１１４は、ステップＳ６０３で確認した指示におけるあおり制御の目標位置を取得する。あおり制御の目標位置としては、一点のみが指定されてもよく、例えば前後１°ずつなどの猶予範囲が設定されており、その範囲内であれば目標位置であるとされてもよい。ステップＳ６０６で補正量算出部１１６は、撮像素子１０６上での回転軸から被写体までの距離の値が０か否かを判定する。０である場合にはあおり制御を行っても対象領域におけるピントにズレは生じず、フォーカス制御を行う必要はないものとして処理がステップＳ６０７へと進む。そうでない場合には、フォーカス制御を行う必要があるものとして、処理がステップＳ６０８へと進む。ステップＳ６０７ではあおり制御を行い、ステップＳ６０８ではあおり制御とフォーカス制御とを行う。ステップＳ６０７又はステップＳ６０８の後、処理は終了する。

【0033】

以下、ステップＳ６０７及びステップＳ６０８における処理について、それぞれ図７及び図８を参照して説明する。図７は、ステップＳ６０７で行われるあおり制御の詳細な処理の一例を示すフローチャートである。

【0034】

ステップＳ７０１であおり駆動部１１５は、ステップＳ６０５で取得したあおり制御の目標位置に向けてあおり制御を開始する。ステップＳ７０２であおり駆動部１１５は、その時点でのあおり角が目標位置に到達したか否かを判定する。到達している場合には処理が終了し、そうでない場合には処理はステップＳ７０３へと進む。

【0035】

ステップＳ７０３であおり制御部１１４は、あおり駆動中にユーザによる停止指示があるか否かを判定する。停止指示がある場合には処理がステップＳ７０４に進み、そうでない場合には、処理はステップＳ７０２へと戻る。ステップＳ７０４であおり駆動部１１５は、停止指示に応じた位置であおり駆動を停止し、処理を終了する。

【0036】

図８は、ステップＳ６０８で行われるあおり制御及びフォーカス制御の詳細な処理の一例を示すフローチャートである。ステップＳ８０１であおり制御部１１４は、現在のあおり角をあおり開始位置として取得する。ステップＳ８０２で補正量算出部１１６は、あおり制御に応じて実行する補正量と、補正量に応じたフォーカス目標位置を算出する。本実施形態においては、補正量は上述の式（２）によって算出される。

【0037】

ステップＳ８０３で補正量算出部１１６は、フォーカス補正を行うフォーカス駆動速度を設定する。本実施形態においては、フォーカス駆動速度とは、フォーカス補正のためにフォーカスレンズの位置を制御する速度のことを指す。補正量算出部１１６は、予め定められているあおり制御駆動の制御速度に応じて、フォーカス駆動速度を設定してもよい。あおり制御とフォーカス制御の駆動の同期が取れていない場合には、あおり駆動中のフォーカス領域のピント維持効果が低下してしまう。その観点から、本実施形態に係る補正量算出部１１６は、フォーカス駆動時間があおり制御の総駆動時間と同等になるようにフォーカス駆動速度の設定を行う。つまり補正量算出部１１６は、あおり制御が終わると同時にピント位置の補正が終わるようにフォーカス駆動速度の設定を行う。あおり制御の駆動時間は、例えば、あおり駆動量（あおり開始位置とあおり目標位置との差分）をあおり駆動速度（°／ｓｅｃ）で除算することで算出される。

【0038】

本実施形態においては、あおり駆動部１１５は、一定の速度であおり制御を行う。基本姿勢からのあおり制御量の絶対値が大きくなるほど同制御量によるフォーカス補正量が大きくなることから、補正量算出部１１６は、あおり角の絶対値が０°～９０°の範囲内で大きくなるほど、フォーカス駆動速度も速くなるように設定してもよい。また、補正量算出部は、あおり制御前のあおり角の絶対値の値に応じて、そのあおり速度中のフォーカス駆動速度を設定してもよい。

【0039】

ステップＳ８０４で、あおり駆動部１１５はステップＳ６０５で取得した目標位置に向かってあおり駆動を開始し、ピント駆動部１１８はステップＳ８０２で算出したフォーカス目標位置に向かってフォーカスレンズの位置の制御を開始する。ステップＳ８０５であおり駆動部及びピント駆動部１１８は、あおり角とピント位置とがそれぞれ目標位置に到達したかを判定する。それら両方が目標位置に到達している場合は処理が終了し、そうでない場合には処理がステップＳ８０６へと進む。

【0040】

ステップＳ８０６であおり制御部１１４は、あおり駆動中にユーザによる停止指示があるか否かを判定する。停止指示がある場合には処理がステップＳ８０７に進み、そうでない場合には、処理はステップＳ８０５へと戻る。ステップＳ８０７であおり駆動部１１５は、停止指示に応じた位置であおり駆動を停止する。

【0041】

ステップＳ８０８でピント制御部１１７は、あおり駆動の停止指示に応じた位置をあおり目標位置として、フォーカス補正量とそれに応じたフォーカス目標位置を再算出する。ステップＳ８０９でピント駆動部１１８は、再算出したフォーカス目標位置へとフォーカスレンズの位置の制御を行い、処理を終了する。

【0042】

このような処理によれば、あおり制御に応じて対象領域の位置に応じた補正量を算出し、その補正量を用いてピント位置の補正を行うことができる。したがって、あおり制御の回転軸が固定である簡便なハード構成で、撮像領域内の任意の領域にピントを合わせたままあおり制御による被写界深度の変化を行うことができる。また、あおり制御とフォーカス制御との駆動時間が同等になるような設定を行うことで、一度のあおり駆動中に対象領域にピントを合わせ続けることができる。

【0043】

［実施形態２］
実施形態１に係る情報処理装置は、あおり制御とフォーカス制御との駆動時間が同等になるようにフォーカス制御の設定を行った。すなわち、一度のあおり制御に対して一回のフォーカス制御が行われるように設定を行った。一方で、本実施形態に係る情報処理装置は、一度のあおり制御中に、フォーカス補正量の算出とピント位置の補正とを複数回にわたって繰り返し行う。この複数回の補正により、繰り返しの都度ピント位置を最適な状態に制御することが可能となる。なお、本実施形態に係る情報処理装置の有する構成と処理とは、ステップＳ６０８に示される処理（図８の処理）を除いて実施形態１の図１及び図６に示されるものと同様であり、重複する説明は省略する。

【0044】

以下、本実施形態に係る情報処理装置が行う処理について、図９及び図１０を参照して説明する。本実施形態においては、所定のあおり角制御量Ｓを１ステップとして、１ステップごとにフォーカス補正量が再算出され、ピント位置の補正が行われる。図９は、図５に示されるあおり角度とフォーカス補正量βとの関係を表すグラフに対して、あおり角の制御量Ｓごとのフォーカス補正量を参照しやすいように補助線を引いた図である。

【0045】

図９の例では、あおり制御の開始位置をＰ１、目標位置をＰ２とし、その間の制御量Ｓごとのフォーカス補正量が示されている。本実施形態においては、制御量Ｓごとに図９に示されるようなフォーカス補正量が算出され、その都度ピント位置の補正が行われる。なお、ここでは一度のフォーカス補正中のフォーカス駆動速度は一定であるものとするが、必要に応じて細かく調整されてもよい。また、本実施形態においてはフォーカス補正量は式（２）に従って算出されるが、フォーカス補正量を取得するためのテーブルデータ又は係数などが格納されており、それらを参照して補正が行われる形式であってもよい。また、本実施形態においてはステップごとの駆動によってあおり角が開始位置から目標位置ちょうどに到達できるよう制御角Ｓが設定されるが、特にこのように限定されるわけではない。例えば、目標位置に到達する直前の制御までは制御角Ｓごとにフォーカス補正量が算出され、最後の制御時のみ制御角をその時点のあおり角から目標位置までとしてフォーカス補正量が算出されるようにしてもよい。

【0046】

図１０は、本実施形態に係る情報処理装置がステップＳ６０８で行うあおり制御及びフォーカス制御の詳細な処理の一例を示すフローチャートである。ステップＳ１００１であおり制御部１１４は、現在のあおり角をあおり開始位置として取得する。ステップＳ１００２であおり制御部１１４は、あおり制御の１ステップの制御量Ｓを設定する。制御量Ｓの値はユーザ所望の値に設定され、小さいほどあおり制御中のピント維持効果が高くなり、大きいほどあおり制御に要する時間が少なくなる。

【0047】

ステップＳ１００３で補正量算出部１１６は、１ステップ分のフォーカス補正量を算出する。この例では、補正量算出部１１６は、その時点でのあおり角と、１ステップの制御量Ｓと、に基づいて、フォーカス補正量を算出する。ステップＳ１００４であおり駆動部１１５及びピント駆動部１１８は、１ステップ分のあおり駆動とフォーカス駆動とを行う。あおり駆動とフォーカス駆動との両方が１ステップ分完了した場合、処理はステップＳ１００５へと進む。

【0048】

ステップＳ１００５であおり制御部１１４は、あおり角がステップＳ６０８で設定した目標位置に到達したか否かを判定する。目標位置に到達している場合には処理が終了し、そうでない場合には処理がステップＳ１００６へと進む。ステップＳ１００６であおり制御部１１４は、あおり駆動中にユーザによる停止指示があるか否かを判定する。停止指示がある場合には、あおり駆動部１１５は停止指示に応じた位置であおり駆動を停止し、処理を終了する。そうでない場合には、次のステップ分のあおり駆動及びフォーカス駆動が行われるものとして、処理がステップＳ１００３へと戻る。

【0049】

このような処理によれば、一度のあおり制御に対して２以上のフォーカス補正を行うことができる。したがって、フォーカス補正の繰り返しの都度、逐次的にピント位置を最適な状態に制御することにより、対象領域におけるピントの維持効果を向上させることができる。

【0050】

［実施形態３］
本実施形態に係る情報処理装置は、あおり制御及びフォーカス制御により、被写体像内の対象領域２つに対して合焦するように、ピント位置の自動調整を行う。情報処理装置１００は、例えば、情報処理装置１００からの距離が異なる２つの被写体に対して合焦するようにピント位置の自動調整を行うことができる。本実施形態に係る情報処理装置１００は、実施形態１の図１に示されるものと同様の構成を有し、同様の処理を行うことが可能であるため、重複する説明は省略する。

【0051】

以下、本実施形態に係る情報処理装置１００が行う処理について、図１２及び図１３を参照して説明する。図１２は、本実施形態に係る情報処理装置によって撮像される撮像画像の例を示している。この例においては、情報処理装置１００に対して、被写体１２０１が被写体１２０２よりも近距離に位置している。このように２つの被写体への距離に差がある場合、通常の撮像では被写界深度が不足し両方に合焦させることができない場合がある。そこで、本実施形態に係るあおり制御部１１４は、ピント位置を補正することによって被写体１２０１、１２０２共に合焦するように、あおり制御の制御量を決定する。すなわち、本実施形態に係る情報処理装置は、実施形態１と同様のあおり制御及びフォーカス制御によって２つの被写体がともにピント面上に来るように、あおり制御量とフォーカス補正量とを決定する。

【0052】

本実施形態に係る領域設定部１１２は、撮像素子上の被写体像内に対象領域を２つ、それぞれ実施形態１と同様にして設定する。ここで、フォーカス駆動部１１８は、それぞれの対象領域から算出される評価値算出部１１３が算出するフォーカス評価値に基づいて、まず２つの対象領域の一方に優先的に合焦を行うことができる。フォーカス駆動部１１８は、例えば対象領域に設定された優先度が高い方の対象領域に合焦を行ってもよく、合焦を行う前のフォーカス評価値に基づいて選択した対象領域に合焦を行ってもよく、合焦する対象領域の選択方法は特に限定されない。対象領域に設定された優先度は例えばユーザの選択などの入力によって設定されてもよい。また、この優先度は、検出対象の種類に応じて（特定の被写体に対して優先して合焦するなど）設定されてもよく、情報処理装置１００により近い方の被写体を写す対象領域に対してより高い優先度を設定するなど、所定の条件に応じて優先度が設定されてもよい。以下においては説明のため、領域設定部１１２が設定する２つの対象領域の被写体として図１２における被写体１２０１と１２０２とを用いて、かつ被写体１２０１に優先的に合焦を行うものとして説明を行う。

【0053】

あおり制御部１１４は、被写体１２０１への合焦を維持しながら、実施形態１と同様のあおり制御及びフォーカス制御によって被写体１２０２への合焦がなされるようなあおり制御の目標位置を決定する。あおり制御部１１４は、例えばあおり制御（と、被写体１２０１への合焦を維持するために伴うフォーカス補正）中の被写体１２０２上の領域のフォーカス評価値に基づいて、被写体１２０２に合焦するあおり制御の目標位置を検出してもよい。またあおり制御部１１４は、被写体１２０１への合焦を維持しながらあおり制御を行う場合と、まず被写体１２０２への合焦を行いその合焦を維持しながらあおり制御を行う場合と、でフォーカスレンズの位置が一致する共通のあおり制御位置を算出してもよい。この場合、例えば、式（２）を用いることにより、上述の共通のあおり制御位置を算出することが可能である。

【0054】

なお、撮像素子による被写体像内の回転軸から被写体１２０１までの距離（ｋ）がゼロである場合には、被写体１２０１の合焦状態はあおり制御によっては変化しない。したがって、ｋがゼロである場合には、補正量算出部１１６は、被写体１２０１の合焦を考慮せず、被写体１２０２について、任意のあおり制御の位置に対して実施形態１と同様にしてフォーカス補正量を算出することができる。また、ｋがゼロに近い場合にはあおり制御による被写体１２０１の合焦状態の変化も無視できるほどに小さいことが考えられるため、ゼロの前後に所定の範囲を設定し、ｋの値がその範囲内（例えば、－０．５以上０．５以下）であればゼロであるとしてもよい。

【0055】

図１３は、本実施形態に係る情報処理装置が行う処理の一例を示すフローチャートである。ステップＳ１３０１で領域設定部１１２は、像素子上の被写体像内に２つの対象領域を設定する。ステップＳ１３０２で領域設定部１１２は、２つ対象領域の一方を、優先して合焦する領域（以下、フォーカス領域）として設定する。ステップＳ１３０３で領域設定部１１２は、ステップＳ１３０２でフォーカス領域としなかった対象領域を、あおり制御によって合焦する領域（以下、あおり領域）として設定する。

【0056】

ステップＳ１３０４であおり制御部１１４は、フォーカス領域のフォーカス評価値に基づいてピントの調整を行う。ここでは、ＡＦ機能によりフォーカス領域に対する合焦が行われる。

【0057】

ステップＳ１３０５で補正量算出部１１６は、撮像素子による被写体像内の回転軸からフォーカス領域までの距離ｋを算出する。ｋが０の場合は処理がステップＳ１３０７に進み、そうでない場合には処理はステップＳ１３０８に進む。

【0058】

ステップＳ１３０７で補正量算出部１１６は、あおり制御の位置に対するフォーカス補正量を算出する。あおり制御の位置は、例えば画像から決定されてもよく、ユーザの操作によって決定されてもよい。ステップＳ１３０７に次いで、処理はステップＳ１３０９へと進む。

【0059】

ステップＳ１３０８であおり制御部１１４は、フォーカス領域への合焦を維持しながら、実施形態１と同様のあおり制御及びフォーカス制御によってあおり領域への合焦がなされるようなあおり制御の目標位置を決定する。ステップＳ１３０８に次いで、処理はステップＳ１３０９へと進む。

【0060】

ステップＳ１３０９であおり駆動部１１５及びフォーカス駆動部１１８は、ステップＳ１３０７又はステップＳ１３０８で決定されたあおり制御の位置と、それに応じて定まるフォーカスレンズの位置とに基づく駆動を行い、処理を終了する。

【0061】

このような処理によれば、合焦したい被写体２つに対して、あおり制御とフォーカス制御とを行うことで同時に合焦することが可能となる。例えば、まず一方の被写体にＡＦ機能で合焦を行い、次いでその合焦を維持したままもう一方の被写体にピント位置が合うようにあおり制御とフォーカス制御とを行うことができる。したがって、撮像装置からの距離が異なる２つの被写体の両方に対して自動で合焦を行うことが可能となる。

【0062】

［実施形態４］
上述の実施形態においては、例えば図１等に示される各処理部は、専用のハードウェアによって実現される。しかしながら、情報処理装置１００の有する一部又は全部の処理部が、コンピュータにより実現されてもよい。本実施形態では、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。

【0063】

図１１はコンピュータの基本構成を示す図である。図１１においてプロセッサ１１１０は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ１１２０は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体１１３０は、例えばハードディスク又はＣＤ－ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体１１３０が格納している、各部の機能を実現するプログラムが、メモリ１１２０へと読み出される。そして、プロセッサ１１１０が、メモリ１１２０上のプログラムに従って動作することにより、各部の機能が実現される。

【0064】

図１１において、入力インタフェース１１４０は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース１１５０は外部の装置へと情報を出力するためのインタフェースである。バス１１６０は、上述の各部を接続し、データのやりとりを可能とする。

【0065】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0066】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0067】

１０１：ズームレンズ、１０２：フォーカスレンズ、１０３：絞り部、１０４：バンドパスフィルタ、１０５：カラーフィルタ、１０６：撮像素子、１０７：ＡＧＣ、１０８：ＡＤ変換部、１０９：信号処理部、１１０：通信部、１１１：モニタ装置、１１２：領域設定部、１１３：評価値取得部、１１４：あおり制御部、１１５：あおり駆動部、１１６：補正量算出部、１１７：ピント制御部、１１８：ピント駆動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】