特開 2024-177808 制御装置、撮像装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024177808

(43)【公開日】2024-12-24

(54)【発明の名称】制御装置、撮像装置、制御方法、及びプログラム

(51)【国際特許分類】

   G02B 7/28 20210101AFI20241217BHJP

   G02B 7/34 20210101ALI20241217BHJP

   G02B 7/40 20210101ALI20241217BHJP

   G03B 13/36 20210101ALI20241217BHJP

   H04N 23/67 20230101ALI20241217BHJP

【ＦＩ】

G02B7/28 N

G02B7/34

G02B7/40

G03B13/36

H04N23/67

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023096150

(22)【出願日】2023-06-12

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】坂東 和馬

(72)【発明者】

【氏名】堀川 洋平

【テーマコード（参考）】

2H011

2H151

5C122

【Ｆターム（参考）】

2H011BA23

2H011BA41

2H151BA06

2H151BB27

2H151CC02

2H151CE30

2H151CE34

2H151DA34

2H151DA38

2H151EB04

2H151EB20

5C122EA52

5C122FB05

5C122FC06

5C122FD01

5C122FD04

5C122FD07

5C122FH14

5C122GG05

5C122HA13

5C122HA35

5C122HA86

5C122HA89

5C122HB01

5C122HB02

(57)【要約】

【課題】消費電力を抑えつつ高精度な距離情報を取得可能な制御装置を提供すること。
【解決手段】制御装置は、画像情報を取得するために用いられる第１の光学系と第１の光学系と異なる第２の光学系とを制御するための制御装置であって、第１の光学系を用いて得られる、画像情報に対応する第１の距離情報と第２の光学系を用いて得られる、画像情報に対応する第２の距離情報との少なくとも一つを取得する取得部と、第１の距離情報の信頼性が所定値より高い場合、取得部が第１の距離情報を取得するように第１の光学系を制御し、第１の距離情報の信頼性が所定値より低い場合、取得部が第２の距離情報を取得するように第２の光学系を制御する制御部とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像情報を取得するために用いられる第１の光学系と前記第１の光学系と異なる第２の光学系とを制御するための制御装置であって、
前記第１の光学系を用いて得られる、前記画像情報に対応する第１の距離情報と前記第２の光学系を用いて得られる、前記画像情報に対応する第２の距離情報との少なくとも一つを取得する取得部と、
前記第１の距離情報の信頼性が所定値より高い場合、前記取得部が前記第１の距離情報を取得するように前記第１の光学系を制御し、前記信頼性が前記所定値より低い場合、前記取得部が前記第２の距離情報を取得するように前記第２の光学系を制御する制御部とを有することを特徴とする制御装置。

【請求項2】

前記画像情報のコントラストが所定値より高い場合、前記信頼性は前記所定値より高く、前記コントラストが前記所定値より低い場合、前記信頼性は前記所定値より低いことを特徴とする請求項１に記載の制御装置。

【請求項3】

前記第１の光学系のピント位置が所定範囲内である場合、前記信頼性は前記所定値より高く、前記ピント位置が所定範囲外である場合、前記信頼性は前記所定値より低いことを特徴とする請求項１に記載の制御装置。

【請求項4】

前記制御部は、前記信頼性が前記所定値より高く、かつ前記第１の光学系を用いて記録用の画像が取得されている場合、前記取得部が前記第２の距離情報を取得するように前記第２の光学系を制御することを特徴とする請求項１乃至３の何れか一項に記載の制御装置。

【請求項5】

前記第２の距離情報を取得するフレームレートは、前記第１の距離情報を取得するフレームレートより小さいことを特徴とする請求項１乃至３の何れか一項に記載の制御装置。

【請求項6】

前記制御部は、前記信頼性が前記所定値より低く、かつ前記第１及び第２の光学系を駆動するためのバッテリーの残量が所定量より少ない場合、前記取得部が前記第１の距離情報を取得するように前記第１の光学系を制御することを特徴とする請求項１乃至３の何れか一項に記載の制御装置。

【請求項7】

前記制御部は、前記信頼性が前記所定値より低く、前記第２の光学系から射出された後、対象物により反射された光とは異なる環境光の光量が所定量より大きい場合、前記取得部が前記第１の距離情報を取得するように前記第１の光学系を制御することを特徴とする請求項１乃至３の何れか一項に記載の制御装置。

【請求項8】

前記第１の光学系は、画像の画像信号を生成する通常画素と前記画像の位相差を検出する位相差検出画素とを含み、前記通常画素の出力に基づいて撮像を行う撮像部と、前記位相差検出画素の出力に基づいて前記第１の距離情報を取得する測距部とを備えることを特徴とする請求項１乃至３の何れか一項に記載の制御装置。

【請求項9】

前記第２の光学系は、光を射出する発光部と、前記発光部から射出され、対象物により反射された光を用いて前記第２の距離情報を取得する受光部とを備えることを特徴とする請求項１乃至３の何れか一項に記載の制御装置。

【請求項10】

請求項１乃至３の何れか一項に記載の制御装置と、
第１の光学系と、
前記第１の光学系とは異なる第２の光学系とを有することを特徴とする撮像装置。

【請求項11】

画像情報を取得するために用いられる第１の光学系と前記第１の光学系と異なる第２の光学系とを制御するための制御方法であって、
前記第１の光学系を用いて得られる、前記画像情報に対応する第１の距離情報と前記第２の光学系を用いて得られる、前記画像情報に対応する第２の距離情報との少なくとも一つを取得するステップと、
前記第１の距離情報の信頼性が所定値より高い場合、前記取得部が前記第１の距離情報を取得するように前記第１の光学系を制御し、前記前記第１の距離情報の信頼性が前記所定値より低い場合、前記取得部が前記第２の距離情報を取得するように前記第２の光学系を制御するステップとを有することを特徴とする制御方法。

【請求項12】

請求項１１に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、撮像装置、制御方法、及びプログラムに関する。

【背景技術】

【0002】

従来、対象物までの距離を測定する方式として、画像情報を用いて測距するパッシブ測距方式と補助光を照射して測距するアクティブ測距方式が知られている。パッシブ測距方式では、遠方の対象物までの距離を高精度に取得することは難しい。アクティブ測距方式として、赤外線レーザー光を照射された対象物からの反射光を受光するまでの時間から対象物までの距離を測定するＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）が知られている。ＬｉＤＡＲは、対象物までの距離に関係なく、距離情報を高精度に取得可能であるが、パッシブ測距方式に比べて消費電力が大きくなる。各測距方式には一長一短があるが、特許文献１には撮像画像の平均輝度に基づいて、アクティブ測距方式とパッシブ測距方式のいずれかを選択する構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／０８３５３９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の構成では、コントラストの低い対象物までの距離や、画面全体でピントが合っていないボケ状態において対象物までの距離を取得する場合、パッシブ測距方式からアクティブ測距方式に切り替えないため、距離情報の精度が悪化してしまう。

【0005】

本発明は、消費電力を抑えつつ距離情報を高精度に取得可能な制御装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面としての制御装置は、画像情報を取得するために用いられる第１の光学系と第１の光学系と異なる第２の光学系とを制御するための制御装置であって、第１の光学系を用いて得られる、画像情報に対応する第１の距離情報と第２の光学系を用いて得られる、画像情報に対応する第２の距離情報との少なくとも一つを取得する取得部と、第１の距離情報の信頼性が所定値より高い場合、取得部が第１の距離情報を取得するように第１の光学系を制御し、第１の距離情報の信頼性が所定値より低い場合、取得部が第２の距離情報を取得するように第２の光学系を制御する制御部とを有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、消費電力を抑えつつ距離情報を高精度に取得可能な制御装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態の撮像装置の構成を表すブロック図である。

【図2】第１の実施形態の撮像センサの説明図である。

【図3】第１の実施形態の撮像センサ上の光学像の結像関係を示す断面図である。

【図4】第１の実施形態のＬｉＤＡＲ測距部の説明図である。

【図5】第１の実施形態の撮像装置の動作を示すフローチャートである。

【図6】第１の実施形態の第２の距離情報取得処理を示すフローチャートである。

【図7】第２の実施形態の距離情報を取得するタイミングを示すタイミングチャートである。

【図8】第３の実施形態の撮像装置の構成を表すブロック図である。

【図9】第３の実施形態の第２の距離情報取得処理を示すフローチャートである。

【図10】第４の実施形態の撮像装置の構成を表すブロック図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

【0010】

従来、対象物までの距離を測定する方式として、画像情報を用いて測距するパッシブ測距方式と補助光を照射して測距するアクティブ測距方式が知られている。

【0011】

パッシブ測距方式としての位相差検出方式では、撮像素子内に位相の異なる信号を検出する位相差検出画素を配置し、位相の異なる信号間の相関演算を行うことによって被写体の距離情報を取得する。

【0012】

アクティブ測距方式では、赤外線レーザーの発光タイミングと対象物（被写体）からの反射光の検出タイミングとの時間差（赤外線レーザー光の往復時間）から対象物までの距離が測定される。反射光を検出するセンサとして、例えば、単一フォトンの検出が可能なＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｒａｎｃｈｅ Ｄｉｏｄｅ）センサを用いることができる。ＳＰＡＤセンサは、入射した単一フォトンを、アバランシェ増倍により極めて短時間の検出パルスとして検出する。赤外線レーザーの発光タイミングから当該検出パルスのタイミングまでの時間計測は、ＴＤＣ（Ｔｉｍｅ ｔｏ Ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）により行う技術が実用化されている。実際には、１個のフォトンの到来時刻では揺らぎが大きいので、赤外線レーザーの発光と単一フォトンの検出を周期的に繰り返して、時間計測結果をヒストグラム化し、統計処理する。これにより、時間差すなわち距離測定（以下、ＬｉＤＡＲ測距と記す）の精度を向上させることができる。また、赤外線レーザーとＳＰＡＤセンサを、２次元アレイ化することで、ＬｉＤＡＲ測距の結果を２次元化することができ、いわゆる距離マップを生成することができる。近年の撮影機器は、距離マップと撮像画像とを用いて立体的なコンピュータグラフィックスモデルや平面的なマップ（以下、これらを総称して空間モデル、又は３Ｄモデルと呼称する）の生成やＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）を実現することができる。
［第１の実施形態］
本実施形態では、パッシブ測距方式で得られた距離情報の信頼性を判定し、信頼性が低い場合にアクティブ測距方式に切り替える例について説明する。具体的には、第１の光学系を用いて取得される距離情報の信頼性が低い場合、第２の光学系を用いて距離情報を取得する。

【0013】

図１は、本実施形態の撮像装置１００の構成を表すブロック図である。撮像装置１００は、例えば、デジタルカメラ、スマートフォン、及びドローン等である。撮像装置１００は、制御部１０１、撮像レンズ１０２、撮像センサ（撮像部）１０３、センサ補正手段１０４、像ずれ量算出手段１０６、信頼性判定手段１０７、デフォーカス変換手段１０８、及びレンズ駆動部１０９を有する。また、撮像装置１００は、ＬｉＤＡＲ測距部１１０、ＬｉＤＡＲ補正手段１１３、ヒストグラム算出手段１１４、及び視点位置補正手段１１５を備える。撮像レンズ１０２、撮像センサ１０３、及び像ずれ量算出手段１０６は、第１の光学系として機能し、画像情報と画像情報に対応する第１の距離情報を取得する。また、ＬｉＤＡＲ測距部１１０は、第２の光学系として機能し、第１の光学系を用いて取得された画像情報に対応する第２の距離情報を取得する。

【0014】

また、ｓ１０１は撮像に関わる入射光、ｓ１０２は可視光ＲＡＷデータ、ｓ１０３は各種補正された画像信号、ｓ１０５は像ずれ量、ｓ１０６は信頼性判定結果、ｓ１０７はデフォーカス量である。また、ｓ１０８はレーザー光、ｓ１０９はレーザー光ｓ１０８を照射された対象物からの反射光、ｓ１１０はＬｉＤＡＲ測距情報、ｓ１１１は各種補正された距離情報、ｓ１１２は距離マップ、ｓ１１３は視点位置が補正された距離情報である。更に、ｓ１１４はレンズ駆動量である。

【0015】

制御部１０１は、撮像装置１００全体を制御する制御装置であり、信頼性判定手段１０７から信頼性判定結果ｓ１０６を受けて、ＬｉＤＡＲ測距部１１０を制御する。制御部１０１は、不図示の記憶部に記憶された各種プログラムにより、プログラムに従って演算処理及び制御処理を実行する。

【0016】

制御部１０１は、取得部１０１ａと光学系制御部（制御部）１０１ｂとを備える。取得部１０１ａは、第１の光学系を用いて得られる、画像情報に対応する第１の距離情報と第２の光学系とを用いて得られる、画像情報に対応する第２の距離情報の少なくとも一つを取得する。光学系制御部１０１ｂは、第１の距離情報の信頼性が所定値より高い場合、取得部１０１ａが第１の距離情報を取得するように第１の光学系を制御する。また、光学系制御部１０１ｂは、第１の距離情報の信頼性が所定値より低い場合、取得部１０１ａが第２の距離情報を取得するように第２の光学系を制御する。なお、第１の距離情報の信頼性が所定値と等しい場合に制御する光学系は任意に設定可能である。

【0017】

言い換えると、本実施形態では、少なくとも１以上のプロセッサが少なくとも１以上のメモリに記憶されたプログラムを実行した場合に取得部１０１ａ及び光学系制御部１０１ｂとして機能する。具体的には、少なくとも１以上のプロセッサが第１及び第２の距離情報の少なくとも一つを取得する処理と第１及び第２の距離情報の一方を取得することができない期間に応じて第１及び第２の光学系のいずれかを制御する処理とを実行する。

【0018】

撮像レンズ１０２は、撮像センサ１０３に入射光ｓ１０１を集光する。また、撮像レンズ１０２は、レンズ駆動部１０９からのレンズ駆動量ｓ１１４に基づいて移動することで、オートフォーカス制御を行う。撮像レンズ１０２と撮像センサ１０３を含む第１の光学系は、ＬｉＤＡＲ測距部１１０を含む第２の光学系と少なくとも一部の画角を共有している。具体的には、第１の光学系と第２の光学系は、少なくとも１つ以上の同じ対象物をとらえている。

【0019】

撮像センサ１０３は、マイクロレンズと光電変換部を持つ画素を複数備え、撮像レンズ１０２によって形成された像を光電変換することで可視光ＲＡＷデータｓ１０２を生成する。

【0020】

図２は、本実施形態の撮像センサ１０３の説明図である。図２（ａ）は、撮像センサ１０３の構成を示している。撮像センサ１０３は、画素配列２０１、垂直走査回路２０２、水平走査回路２０３、及びタイミングジェネレータＴＧ２０４を備える。画素配列２０１は、２次元マトリクス状に配列された、複数の単位画素セルを含む。タイミングジェネレータＴＧ２０４は、撮像期間や転送期間等のタイミングを生成し、垂直走査回路２０２、水平走査回路２０３にタイミング信号を送る。垂直走査回路２０２は、撮像期間の終了するタイミングになると、単位画素セルから出力される信号を垂直伝送路に伝送する。水平走査回路２０３は、出力伝送路を介して外部に蓄積信号を順次出力する。

【0021】

図２（ｂ）は、画素配列２０１における１つの単位画素セル２０５を示している。単位画素セル２０５は、１つのマイクロレンズ２０６と一対の光電変換部２０７ａ，２０７ｂとを含む。光電変換部２０７ａ，２０７ｂは、共通のマイクロレンズ２０６を通して撮像レンズ１０２の射出瞳における互いに異なる瞳領域を通過した光束を受光することで瞳分割を行う。

【0022】

図２（ｃ）は、画素配列２０１を示している。撮像センサ１０３は２次元の画像信号を提供するために、画素配列２０１では複数の単位画素セルが行方向及び列方向へ２次元的に配列されている。２０８，２０９，２１０，２１１は、図２（ｂ）の単位画素セル２０５に相当する。２０８Ｌ，２０９Ｌ，２１０Ｌ，２１１Ｌは、図２（ｂ）の光電変換部２０７ａに相当する。２０８Ｒ，２０９Ｒ，２１０Ｒ，２１１Ｒは、図２（ｂ）の光電変換部２０７ｂに相当する。

【0023】

ここで、図３を参照して、撮像センサ１０３上の光学像（被写体像）の結像関係について説明する。図３は、撮像センサ１０３上の光学像の結像関係を示す断面図であり、撮像レンズ１０２の射出瞳から射出された光束が撮像センサ１０３に入射する様子を概念的に示している。３０１はマイクロレンズであり、３０２はカラーフィルタである。３０３は撮像レンズ１０２の射出瞳を示す。

【0024】

射出瞳３０３から射出された光束は、光軸３０６を中心として撮像センサ１０３に入射する。３０４，３０５は、射出瞳３０３の一部領域を示す。射出瞳３０３の一部領域３０４を通過する光の最外周の光線を３０７，３０８で示し、射出瞳３０３の一部領域３０５を通過する光の最外周の光線を３０９，３１０で示す。

【0025】

図３に示されるように、射出瞳３０３から射出される光束のうち、光軸３０６を境にして、上側の光束は光電変換部２０７ｂに入射し、下側の光束は光電変換部２０７ａに入射する。つまり、光電変換部２０７ａ，２０７ｂはそれぞれ、射出瞳３０３の異なる領域の光を受光している。位相差検出は、このような特性を用いて行われる。

【0026】

以下、図２（ｃ）を参照して位相差検出方式について説明する。単位画素セル２０５における光電変換部２０７ａは、位相差検出方式による焦点検出用の一対の被写体像のうちＡ像を光電変換するＡ像用画素群として用いられる。また、光電変換部２０７ｂは、一対の被写体像のうちＢ像を光電変換するＢ像用画素群として用いられる。

【0027】

図２（ｃ）の画素配列２０１では、光電変換部２０８Ｌ～２１１Ｌ・・・を参照する行２１２をＡ像用画素群とし、光電変換部２０８Ｒ～２１１Ｒ・・・を参照する行２１３をＢ像用画素群とする。Ａ像用画素群から得られた信号と、Ｂ像用画素群から得られた信号を相関演算することで位相差信号を取得することができる。行２１２，２１３等の位相差信号を像ずれ量算出手段１０６に出力する行を位相差検出画素行と呼ぶ。このように撮像センサ１０３に設けられたＡ像用画素群とＢ像用画素群とを用いて位相差検出方式の焦点検出を行うＡＦを、撮像面位相差ＡＦという。また、行２１４では、単位画素セルの２つの光電変換部からの信号を加算することで、画像信号を読み出すことができる。行２１４等の画像信号をセンサ補正手段１０４に出力する行を通常画素行と呼ぶ。通常画素行の単位画素セルは、分割された２つの光電変換部を持たず、１つの光電変換部のみを持ってもよい。

【0028】

なお、位相差検出方式として本実施形態で説明した方法以外の方法を使用してもよい。例えば瞳分割を行うマイクロレンズの下に遮光部と焦点検出用画素を配置し、遮光部の開口位置が異なる２種類の焦点検出用画素の出力を組み合わせて一対の被写体像の像信号を形成してもよい。

【0029】

センサ補正手段１０４は、撮像センサ１０３から出力された信号に対して、シェーディング補正や黒引き補正等の各種補正処理を行う。

【0030】

像ずれ量算出手段１０６は、入射方向の異なる光束を受光した各々の像信号の相関演算を行い、被写体の距離に関連する情報（第１の距離情報）を取得する。すなわち、像ずれ量算出手段１０６は、位相差検出画素の出力に基づいて第１の距離情報を取得する測距手段として機能する。また、像ずれ量算出手段１０６は、相関演算結果から像ずれ量ｓ１０５を算出する。

【0031】

信頼性判定手段１０７は、像ずれ量算出手段１０６から出力された像ずれ量ｓ１０５の信頼性を判定することにより、像ずれ量算出手段１０６により取得される第１の距離情報の信頼性を判定する。信頼性判定手段１０７は、信頼性判定結果ｓ１０６を制御部１０１に出力する。本実施形態では、信頼性判定手段１０７は、撮像画像のコントラスト値を用いて像ずれ量ｓ１０５の信頼性を判定する。具体的には、信頼性判定手段１０７は、撮像画像のコントラスト値が所定値より高い場合、像ずれ量ｓ１０５の信頼性が所定値より高いと判定し、撮像画像のコントラスト値が所定値より低い場合、像ずれ量ｓ１０５の信頼性が所定値より低いと判定する。

【0032】

デフォーカス変換手段１０８は、像ずれ量算出手段１０６から出力された像ずれ量ｓ１０５に所定の変換係数を乗算してデフォーカス量ｓ１０７を算出する。

【0033】

レンズ駆動部１０９は、デフォーカス変換手段１０８からのデフォーカス量ｓ１０７又は視点位置補正手段１１５からの距離情報ｓ１１３を使用して、撮像レンズ１０２を移動させる量であるレンズ駆動量ｓ１１４を算出する。

【0034】

ＬｉＤＡＲ測距部１１０は、レーザー発光部１１２とレーザー受光部１１１とを含む。

【0035】

ここで、図４を参照して、ＬｉＤＡＲ測距部１１０について説明する。図４は、ＬｉＤＡＲ測距部１１０の説明図である。図４（ａ）はレーザー受光部１１１を示しており、図４（ｂ）はレーザー発光部１１２を示している。

【0036】

レーザー発光部１１２は、水平方向と垂直方向に沿って２次元上に配置された複数のレーザー発光素子４０４を含み、制御部１０１からのレーザーパルス制御信号に従って赤外線レーザー光を外部に照射する。

【0037】

レーザー受光部１１１は、２次元上に配置され、それぞれがレーザー発光素子４０４に対する複数のＳＰＡＤ素子４０２を含み、レーザー発光部１１２からの赤外線レーザー光が対象物に当たって反射した光を受光し、ＬｉＤＡＲ測距情報ｓ１１０を生成する。理想的には１つのレーザー発光素子４０４に対して、１つのＳＰＡＤ素子４０２を配置することで距離情報を取得可能であるが、現実的には反射光が意図したポイントからずれる場合がある。そのため、本実施形態では、1つのレーザー発光素子４０４に対して、４つのＳＰＡＤ素子４０２をまとめたＳＰＡＤ素子群４０３を１つのＳＰＡＤ素子として機能させる。４つのＳＰＡＤ素子４０２の出力結果を平均することで、高精度な距離情報を取得することができる。

【0038】

ＬｉＤＡＲ補正手段１１３は、ＬｉＤＡＲ測距情報ｓ１１０に対して、レーザー受光部１１１とレーザー発光部１１２との位置ずれ補正や温度特性に係る補正等の各種補正処理を行う。ＬｉＤＡＲ補正手段１１３は、ＬｉＤＡＲ測距情報ｓ１１０を補正した後の距離情報ｓ１１１をヒストグラム算出手段１１４に出力する。

【0039】

ヒストグラム算出手段１１４は、距離情報ｓ１１１に対して、ヒストグラム化処理をかけて測距精度の高精度化を行い、レーザー発光部１１２と同じ数の２次元上の距離マップｓ１１２として出力する。

【0040】

視点位置補正手段１１５は、距離マップｓ１１２に対して、ＬｉＤＡＲ測距部１１０と撮像レンズ１０２との視点位置のずれを補正し、距離情報ｓ１１３を生成する。

【0041】

以下、図５を参照して、本実施形態の撮像装置１００の動作について説明する。図５は、本実施形態の撮像装置１００の動作を示すフローチャートである。図５のフローチャートの処理は、不図示の操作部に含まれるシャッタボタンが、ユーザーにより押下されることによって開始される。

【0042】

ステップＳ５０１では、制御部１０１は、撮像センサ１０３を駆動して可視光ＲＡＷデータｓ１０２を取得する。

【0043】

ステップＳ５０２では、制御部１０１は、センサ補正手段１０４を駆動して各種補正処理を行い、画像信号ｓ１０３を取得する。

【0044】

ステップＳ５０３では、制御部１０１は、像ずれ量算出手段１０６を駆動して像ずれ量ｓ１０５を取得する。

【0045】

ステップＳ５０４では、制御部１０１は、信頼性判定手段１０７を駆動して像ずれ量ｓ１０５の信頼性が高いかどうかを示す判定結果を取得する。本実施形態では、信頼性判定手段１０７は、撮像画像のコントラスト値が所定値より高い場合、像ずれ量ｓ１０５の信頼性が所定値より高いと判定し、撮像画像のコントラスト値が所定値より低い場合、像ずれ量ｓ１０５の信頼性が所定値より低いと判定する。なお、撮像画像のコントラスト値が所定値と等しい場合、像ずれ量ｓ１０５の信頼性を高いと判定するか低いと判定するかは任意に設定可能である。制御部１０１は、像ずれ量ｓ１０５の信頼性が所定値より高い場合、ステップＳ５０５の処理を実行し、像ずれ量ｓ１０５の信頼性が所定値より低い場合、ステップＳ５０６の処理を実行する。

【0046】

ステップＳ５０５では、制御部１０１は、デフォーカス変換手段１０８を駆動して、像ずれ量ｓ１０５に対して、デフォーカス変換を行い、デフォーカス量ｓ１０７を取得する。

【0047】

ステップＳ５０６では、制御部１０１は、第１の光学系を制御して距離情報（第１の距離情報）を取得しても距離情報の信頼性は低いことから、第２の光学系を制御して距離情報（第２の距離情報）を取得する。具体的には、制御部１０１は、ＬｉＤＡＲ測距部１１０を駆動し、第２の距離情報を取得する処理（第２の距離情報取得処理）を実行する。

【0048】

ステップＳ５０８では、制御部１０１は、レンズ駆動部１０９を駆動し、ステップＳ５０５で取得したデフォーカス量ｓ１０７、又はステップＳ５０６で取得した距離情報ｓ１１３に基づいてレンズ駆動量ｓ１１４を取得する。

【0049】

以下、図６を参照して、図５のステップＳ５０７の第２の距離情報取得処理について説明する。図６は、第２の距離情報取得処理を示すフローチャートである。

【0050】

ステップＳ６０１では、制御部１０１は、レーザー発光部１１２を駆動して、特定の間隔で赤外線レーザー光を外部に照射する。

【0051】

ステップＳ６０２では、制御部１０１は、レーザー受光部１１１を駆動して、ステップＳ６０１で赤外線レーザー光を照射された対象物からの反射光を受光する。

【0052】

ステップＳ６０３では、制御部１０１は、特定の間隔で照射された後、対象物により反射された赤外線レーザー光のＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）情報を抽出し、ＬｉＤＡＲ測距情報ｓ１１０を取得する。

【0053】

ステップＳ６０４では、制御部１０１は、ＬｉＤＡＲ補正手段１１３を駆動して、ＬｉＤＡＲ測距情報ｓ１１０に対して各種補正処理を行い、補正された距離情報ｓ１１１を取得する。

【0054】

ステップＳ６０５では、制御部１０１は、ヒストグラム算出手段１１４を駆動して、距離情報ｓ１１１に対し、ヒストグラム化処理をかけて測距精度の高精度化を行い、距離マップｓ１１２を取得する。

【0055】

ステップＳ６０６では、制御部１０１は、視点位置補正手段１１５を駆動して、ＬｉＤＡＲ測距部１１０と撮像レンズ１０２との視点位置のずれを補正し、距離情報ｓ１１３を取得する。

【0056】

以上説明したように、本実施形態の構成によれば、第１の光学系を用いて取得される距離情報の信頼性が低い場合にＬｉＤＡＲ測距部１１０を駆動することで、距離情報を高精度に取得可能である。また、常にＬｉＤＡＲ測距部１１０を駆動する場合に比べて消費電力を抑えることが可能となる。

【0057】

なお、本実施形態では、信頼性判定手段１０７は、撮像画像のコントラスト値を用いて像ぶれ量ｓ１０５の信頼性を判定するが、本発明はこれに限定されない。例えば、信頼性判定手段１０７は、第１の光学系が、ピントが合っていないボケ状態であるかどうかに基づいて像ふれ量ｓ１０５の信頼性を判定してもよい。位相差検出方式では、第１の光学系がボケ状態である場合、距離情報を正しく取得することができない。一方、ＬｉＤＡＲでは第１の光学系とは異なる第２の光学系を使用するため、第１の光学系がボケ状態であるかどうかに影響されることなく、距離情報を高精度に取得することが可能である。なお、第１の光学系がボケ状態であるかどうかは、第１の光学系のピント位置が所定範囲外であるかどうかで判定すればよい。具体的には、第１の光学系のピント位置が所定範囲内である場合、第１の光学系はボケ状態でないと判定し、第１の光学系のピント位置が所定範囲外である場合、第１の光学系はボケ状態であると判定すればよい。
［第２の実施形態］
本実施形態では、第１の光学系が記録用の画像情報（静止画像）を取得する間、第２の光学系を用いて距離情報を取得する例について説明する。本実施形態の撮像装置１００の構成は第１の実施形態の撮像装置１００の構成と同じであり、本実施形態では、第１の実施形態と異なる構成についてのみ説明し、共通の構成については説明を省略する。

【0058】

図７を参照して、本実施形態の撮像装置１００の動作について説明する。図７は、本実施形態の距離情報を取得するタイミングを示すタイミングチャートである。本実施形態では、一例として、ライブビュー画像を１２０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃ）で取得し、記録用の静止画像を３０ｆｐｓで取得する場合について説明する。ライブビュー画像とは、本撮影を行う前に不図示の電子ビューファインダ（ＥＶＦ）に表示するための画像である。

【0059】

通常のデジタルカメラは、静止画に比べて必要な画素数が多くないため、ライブビュー画像を用いてオートフォーカスに使用する距離情報を取得する。つまり、静止画用の露光を行うフレームでは距離情報を取得しないため、連続した距離情報を取得できない場合がある。この場合、例えば被写体を追従するための動体予測に距離情報を使用しようとすると、欠陥フレームが発生し、動体予測の精度が落ちることが懸念される。

【0060】

そこで、本実施形態では、第１の光学系が静止画像を取得する間、第２の光学系に含まれるＬｉＤＡＲ測距部１１０を駆動して距離情報を取得する。これにより、静止画用の露光中も連続して距離情報を取得することができ、動体予測の精度を向上させることが可能となる。

【0061】

また、第２の光学系を用いて距離情報を取得するフレームレートを、第１の光学系を用いて距離情報を取得するフレームレートより小さくしてもよい。本実施形態で説明したように、１２０ｆｐｓで第１の光学系を用いて距離情報を取得し、３０ｆｐｓで第２の光学系を用いて距離情報を取得することで、常に同じフレームレートで複数の光学系を駆動させるより、消費電力を抑えることが可能となる。
［第３の実施形態］
本実施形態では、バッテリー残量を検出し、検出されたバッテリー残量が所定量より少ない場合、ＬｉＤＡＲ測距を行わない例について説明する。スマートフォンやデジタルカメラではバッテリー消費を抑えることは特に重要な事項の１つである。本実施形態では、第１の実施形態及び第２の実施形態と異なる構成についてのみ説明し、共通の構成については説明を省略する。

【0062】

図８は、本実施形態の撮像装置１００の構成を表すブロック図である。本実施形態の撮像装置１００の構成は、第１の実施形態の撮像装置１００の構成と基本的に同じである。本実施形態の撮像装置１００は、第１の実施形態の撮像装置１００と異なり、バッテリー残量検出部８０１を有する。バッテリー残量検出部８０１は、撮像装置１００全体の電力を供給する不図示のバッテリーの残量を検出する。なお、第１の光学系と第２の光学系で異なるバッテリーを用いてもよい。

【0063】

図９は、本実施形態の第２の距離情報取得処理を示すフローチャートである。

【0064】

ステップＳ９０１では、制御部１０１は、バッテリー残量検出部８０１を駆動して、バッテリー残量を取得し、バッテリー残量が所定量より多いかどうかを判定する。制御部１０１は、バッテリー残量が所定量より多いと判定した場合、ステップＳ９０２の処理を実行する。ステップＳ９０２乃至ステップＳ９０７の処理はそれぞれ、図６のステップＳ６０１乃至ステップＳ６０６の処理と同様であるため、説明は省略する。制御部１０１は、バッテリー残量が所定量より少ないと判定した場合、本フローを終了した後、図５のステップＳ５０５の処理を実行する。すなわち、制御部１０１は、ＬｉＤＡＲ測距を行わず、第１の距離情報を取得するために、第１の光学系を制御する。なお、バッテリー残量が所定値と等しい場合、どちらのステップに進むかは任意に設定可能である。また、ステップＳ９０１の処理は、本実施形態ではＬｉＤＡＲ測距を行う前に行われるが、例えば図５の処理前や処理中に行われてもよい。

【0065】

以上説明したように、本実施形態の構成によれば、消費電力を抑えることが可能となる。
［第４の実施形態］
本実施形態では、環境光の光量を検出し、検出された環境光の光量が所定値より少ない場合、ＬｉＤＡＲ測距を行わない例について説明する。本実施形態では、第１乃至第３の実施形態と異なる構成についてのみ説明し、共通の構成については説明を省略する。

【0066】

図１０は、本実施形態の撮像装置１００の構成を表すブロック図である。本実施形態の撮像装置１００の構成は、第１の実施形態の撮像装置１００の構成と基本的に同じである。本実施形態では、第１の実施形態と異なり、ＬｉＤＡＲ測距部１１０は環境光検出部１００１を有する。環境光検出部１００１は、環境光の光量を検出する。環境光とは、レーザー発光部１１２が発光した赤外線レーザー光以外の光である。レーザー受光部１１１には赤外光のみを通す不図示のＩＲフィルタが設置されているが、環境光の光量が多い場合、赤外光以外の可視光等が光電変換部に漏れこみ、ノイズの原因となり、高精度な測距を行うことが困難になる。また、周囲に複数のＬｉＤＡＲ搭載機器が存在する場合、他の機器からの赤外線レーザー光が撮像装置１００に誤って入射する場合が考えられる。このように、可視光や非可視光を問わず環境光が多い場合、ＬｉＤＡＲ測距部１１０を駆動して高精度な距離情報を得ることは難しい。

【0067】

そこで、本実施形態では、制御部１０１は、環境光検出部１００１により検出される環境光の光量が所定量より大きい場合、ＬｉＤＡＲ測距部１１０を駆動せず、第１の光学系を用いて距離情報を取得する。これにより、距離情報の精度の低下を抑えつつ、消費電力を抑えることが可能となる。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0068】

本実施形態の開示は、以下の構成及び方法を含む。
（構成１）
画像情報を取得するために用いられる第１の光学系と前記第１の光学系と異なる第２の光学系とを制御するための制御装置であって、
前記第１の光学系を用いて得られる、前記画像情報に対応する第１の距離情報と前記第２の光学系を用いて得られる、前記画像情報に対応する第２の距離情報との少なくとも一つを取得する取得部と、
前記第１の距離情報の信頼性が所定値より高い場合、前記取得部が前記第１の距離情報を取得するように前記第１の光学系を制御し、前記信頼性が前記所定値より低い場合、前記取得部が前記第２の距離情報を取得するように前記第２の光学系を制御する制御部とを有することを特徴とする制御装置。
（構成２）
前記画像情報のコントラストが所定値より高い場合、前記信頼性は前記所定値より高く、前記コントラストが前記所定値より低い場合、前記信頼性は前記所定値より低いことを特徴とする構成１に記載の制御装置。
（構成３）
前記第１の光学系のピント位置が所定範囲内である場合、前記信頼性は前記所定値より高く、前記ピント位置が所定範囲外である場合、前記信頼性は前記所定値より低いことを特徴とする構成１又は２に記載の制御装置。
（構成４）
前記制御部は、前記信頼性が前記所定値より高く、かつ前記第１の光学系を用いて記録用の画像が取得されている場合、前記取得部が前記第２の距離情報を取得するように前記第２の光学系を制御することを特徴とする構成１乃至３の何れか一つの構成に記載の制御装置。
（構成５）
前記第２の距離情報を取得するフレームレートは、前記第１の距離情報を取得するフレームレートより小さいことを特徴とする構成１乃至４の何れか一つの構成に記載の制御装置。
（構成６）
前記制御部は、前記信頼性が前記所定値より低く、かつ前記第１及び第２の光学系を駆動するためのバッテリーの残量が所定量より少ない場合、前記取得部が前記第１の距離情報を取得するように前記第１の光学系を制御することを特徴とする構成１乃至５の一つの構成に記載の制御装置。
（構成７）
前記制御部は、前記信頼性が前記所定値より低く、前記第２の光学系から射出された後、対象物により反射された光とは異なる環境光の光量が所定量より大きい場合、前記取得部が前記第１の距離情報を取得するように前記第１の光学系を制御することを特徴とする構成１乃至６の何れか一つの構成に記載の制御装置。
（構成８）
前記第１の光学系は、画像の画像信号を生成する通常画素と前記画像の位相差を検出する位相差検出画素とを含み、前記通常画素の出力に基づいて撮像を行う撮像部と、前記位相差検出画素の出力に基づいて前記第１の距離情報を取得する測距部とを備えることを特徴とする構成１乃至７の何れか一項に記載の制御装置。
（構成９）
前記第２の光学系は、光を射出する発光部と、前記発光部から射出され、対象物により反射された光を用いて前記第２の距離情報を取得する受光部とを備えることを特徴とする構成１乃至８の何れか一項に記載の制御装置。
（構成１０）
構成１乃至９の何れか一項に記載の制御装置と、
第１の光学系と、
前記第１の光学系とは異なる第２の光学系とを有することを特徴とする撮像装置。
（方法１）
画像情報を取得するために用いられる第１の光学系と前記第１の光学系と異なる第２の光学系とを制御するための制御方法であって、
前記第１の光学系を用いて得られる、前記画像情報に対応する第１の距離情報と前記第２の光学系を用いて得られる、前記画像情報に対応する第２の距離情報との少なくとも一つを取得するステップと、
前記第１の距離情報の信頼性が所定値より高い場合、前記取得部が前記第１の距離情報を取得するように前記第１の光学系を制御し、前記前記第１の距離情報の信頼性が前記所定値より低い場合、前記取得部が前記第２の距離情報を取得するように前記第２の光学系を制御するステップとを有することを特徴とする制御方法。
（構成１１）
方法１に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

【0069】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。

【符号の説明】

【0070】

１０１ 制御部（制御装置）
１０１ａ 取得部
１０１ｂ 光学系制御部（制御部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】