特許 7640656 自動焦点検出方法および装置、撮影装置、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-25

(45)【発行日】2025-03-05

(54)【発明の名称】自動焦点検出方法および装置、撮影装置、記憶媒体

(51)【国際特許分類】

   G02B 7/34 20210101AFI20250226BHJP

   G02B 7/28 20210101ALI20250226BHJP

   G03B 13/36 20210101ALI20250226BHJP

   H04N 23/67 20230101ALI20250226BHJP

【ＦＩ】

G02B7/34

G02B7/28 N

G03B13/36

H04N23/67

【請求項の数】 10

(21)【出願番号】P 2023203365

(22)【出願日】2023-11-30

【審査請求日】2023-11-30

(73)【特許権者】

【識別番号】323014029

【氏名又は名称】アキュートロジック株式会社

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100185269

【弁理士】

【氏名又は名称】小菅 一弘

(72)【発明者】

【氏名】小林 俊一

【審査官】門田 宏

(56)【参考文献】

【文献】国際公開第２０１９／１６７４８３（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０２２３３１（ＷＯ，Ａ１）

【文献】特開２００６－１９１４６７（ＪＰ，Ａ）

【文献】特開平３－１６４７２７（ＪＰ，Ａ）

【文献】特開２０２０－３８３１９（ＪＰ，Ａ）

【文献】特開２０２１－１４８８４１（ＪＰ，Ａ）

【文献】特開２０２１－１７３８２７（ＪＰ，Ａ）

【文献】特開２０１５－１０２７３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ２３／６７

(57)【特許請求の範囲】

【請求項1】

瞳分割された一対の被写体像信号の画像をそれぞれ領域分割する領域分割ステップと、
前記一対の被写体像信号の画像の一方の各分割領域と、他方の対応する分割領域との相関演算を行う相関演算ステップと、
前記相関演算ステップで得られる相関演算結果に基づいて、分割領域ごとのデフォーカス量を算出するデフォーカス量算出ステップと、
前記分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する前記分割領域が同じグループとなるようにグループ化するグループ化処理ステップと、
前記相関演算ステップで得られる相関演算結果の信頼度を算出する信頼度算出ステップと、
グループごとに、前記信頼度算出ステップで算出した前記信頼度に基づいて、所定の条件を満たす分割領域を当該グループから除外する除外処理ステップと、を含む、ことを特徴とする自動焦点検出方法。

【請求項2】

前記相関演算ステップにおいて、前記一対の被写体像信号の画像の分割領域ごとに、相関演算を並列に行う、ことを特徴とする請求項１に記載の自動焦点検出方法。

【請求項3】

前記デフォーカス量算出ステップにおいて、前記一対の被写体像信号の画像の分割領域ごとに、前記相関演算結果に基づくデフォーカス量の算出を並列に行う、ことを特徴とする請求項１に記載の自動焦点検出方法。

【請求項4】

前記信頼度算出ステップにおいて、前記一対の被写体像信号の画像の分割領域ごとに、前記相関演算結果の信頼度の算出を並列に行う、ことを特徴とする請求項１に記載の自動焦点検出方法。

【請求項5】

前記除外処理ステップにおいて、グループごとに、閾値以下の前記信頼度の分割領域を当該グループから除外し、
前記閾値は、前記信頼度算出ステップで算出された信頼度に基づき設定される、ことを特徴とする請求項１に記載の自動焦点検出方法。

【請求項6】

前記除外処理ステップは、グループごとに、前記デフォーカス量が外れ値である分割領域を当該グループから除外することをさらに含む、ことを特徴とする請求項１に記載の自動焦点検出方法。

【請求項7】

前記信頼度算出ステップにおいて、飽和画素閾値と、不足画素閾値と、コントラストと、一致度との少なくとも一方に基づいて、前記信頼度を算出する、ことを特徴とする請求項１に記載の自動焦点検出方法。

【請求項8】

瞳分割された一対の被写体像信号の画像をそれぞれ領域分割する領域分割部と、
前記一対の被写体像信号の画像の一方の各分割領域と、他方の対応する分割領域との相関演算を行う相関演算部と、
前記相関演算部による相関演算結果に基づいて、分割領域ごとのデフォーカス量を算出するデフォーカス量算出部と、
前記分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する前記分割領域が同じグループとなるようにグループ化するグループ化処理部と、
前記相関演算部による相関演算結果の信頼度を算出する信頼度算出部と、
グループごとに、前記信頼度算出部により算出された前記信頼度に基づいて、所定の条件を満たす分割領域を当該グループから除外する除外処理部と、を含む、ことを特徴とする自動焦点検出装置。

【請求項9】

プロセッサと、
プロセッサにより実行可能な命令を記憶するための記憶部と、を含み、
前記プロセッサは、前記記憶部に記憶されている命令を実行すると、請求項１～７のいずれか一項に記載の自動焦点検出方法を実行するように構成される、ことを特徴とする撮影装置。

【請求項10】

コンピュータプログラム命令が記憶されている不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～７のいずれか一項に記載の自動焦点検出方法を実現させる、ことを特徴とする不揮発性コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、デジタル映像分野に関し、特に自動焦点検出方法および装置、撮影装置、不揮発性コンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

カメラに搭載されている瞳分割位相差方式の自動焦点検出装置では、瞳分割された一対の被写体像の位相差（相対的な位置変化）からデフォーカス量を算出する構成である。瞳分割位相差方式の自動焦点検出装置では、撮影距離が異なる複数の被写体が存在する場合、複数の位相ずれ量が混在した値がセンサから出力されるため、被写体のデフォーカス量を高精度で算出することができない場合があるという課題があった。

【0003】

その課題を解消するために、例えば特許文献１（特開２０２１－１４８８４１号公報）に記載の瞳分割位相差方式の自動焦点検出装置は、センサより出力される画像信号列について相関演算を行って、相関演算結果から信頼性ありと判定されると、当該相関演算結果に基づいてデフォーカス量を算出し、相関演算結果から信頼性なしと判定されると、相関演算を行った画像信号列の始端側の画像信号に対する信頼性と終端側の画像信号に対する信頼性とを比較し、比較結果に基づいて画像信号列から始端側と終端側の少なくとも一方の画像信号を除外することにより、画像信号列を絞り込み、信頼性ありと判定されるまで、画像信号列の絞り込み及び絞り込み後の画像信号列の範囲に対する相関演算を繰り返す。

【0004】

特許文献１では、信頼性ありと判定されるまで、絞り込みと絞り込み後の画像信号列の範囲に対する相関演算を繰り返すことで、撮影距離が異なる被写体の信号を除外することにより、被写体のデフォーカス量を高精度で算出する。そのため、相関演算を繰り返し実行しなければならず、被写体に合焦できるまでに時間がかかる。

【発明の概要】

【0005】

本開示は、上記実情に鑑みて、撮影距離が異なる複数の被写体が存在する場合でも、高精度かつ高速で、撮影距離が異なる複数の被写体のいずれかに合焦させることができる自動焦点検出方法および装置、撮影装置、不揮発性コンピュータ読み取り可能な記憶媒体を提案する。

【0006】

本開示の一の態様によれば、瞳分割された一対の被写体像信号の画像をそれぞれ領域分割する領域分割ステップと、前記一対の被写体像信号の画像の一方の各分割領域と、他方の対応する分割領域との相関演算を行う相関演算ステップと、前記相関演算ステップで得られる相関演算結果に基づいて、分割領域ごとのデフォーカス量を算出するデフォーカス量算出ステップと、前記分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する前記分割領域が同じグループとなるようにグループ化するグループ化処理ステップと、前記相関演算ステップで得られる相関演算結果の信頼度を算出する信頼度算出ステップと、グループごとに、前記信頼度算出ステップで算出した前記信頼度に基づいて、所定の条件を満たす分割領域を当該グループから除外する除外処理ステップと、を含む自動焦点検出方法を提供する。

【0007】

本開示の別の態様によれば、瞳分割された一対の被写体像信号の画像をそれぞれ領域分割する領域分割部と、前記一対の被写体像信号の画像の一方の各分割領域と、他方の対応する分割領域との相関演算を行う相関演算部と、前記相関演算部による相関演算結果に基づいて、分割領域ごとのデフォーカス量を算出するデフォーカス量算出部と、前記分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する前記分割領域が同じグループとなるようにグループ化するグループ化処理部と、前記相関演算部による相関演算結果の信頼度を算出する信頼度算出部と、グループごとに、前記信頼度算出部により算出された前記信頼度に基づいて、所定の条件を満たす分割領域を当該グループから除外する除外処理部と、を含む自動焦点検出装置を提供する。

【0008】

本開示の別の態様によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するための記憶部と、を含み、前記プロセッサは、前記記憶部に記憶されている命令を実行すると、上述した自動焦点検出方法を実行するように構成される撮影装置を提供する。

【0009】

本開示の別の態様によれば、コンピュータプログラム命令が記憶されている不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上述した自動焦点検出方法を実現させる不揮発性コンピュータ読み取り可能な記憶媒体を提供する。

【0010】

本開示の別の態様によれば、コンピュータ読み取り可能なコード又はコンピュータ読み取り可能なコードを記憶する不揮発性コンピュータ読み取り可能な記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて動作すると、前記電子機器のプロセッサに上述した自動焦点検出方法を実行させるコンピュータプログラム製品を提供する。

【0011】

本開示の各態様の自動焦点検出方法および装置、撮影装置、不揮発性コンピュータ読み取り可能な記憶媒体によれば、被写体からの光束を瞳分割して異なるセンサや異なるセンサ領域に投影し、一対の被写体像の位相差からデフォーカス量を求めることが可能な装置において、センサから出力された瞳分割された一対の被写体像について、分割領域ごとの相関演算結果で算出されたデフォーカス量に基づいてグループ化を行い、各分割領域の画像情報を、グループごとに、同じ撮影距離の被写体の画像情報としてまとめ、外乱要因を除外することで、撮影距離が異なる複数の被写体が存在する場合でも、高精度かつ高速に被写体の自動焦点検出を行うことができる。また、各分割領域の画像情報を、グループごとに、同じ撮影距離の被写体の画像情報としてまとめることにより、撮影距離が異なる複数の被写体のうち、画角中央で面積が多い被写体や、最も撮影距離が近い被写体や、最も信頼度が高い被写体などの任意の被写体に対して、選択的に合焦させることが可能となる。

【0012】

以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び方面は明瞭になる。

【図面の簡単な説明】

【0013】

明細書の一部をなす図面は明細書と共に、本開示の例示的な実施例、特徴及び態様を示し、本開示の原理を解釈するために用いられる。

【図1】図１は本開示の一実施例に係る自動焦点検出方法のフローチャートを示す。

【図2】図２は本開示の別の実施例に係る自動焦点検出方法のフローチャートを示す。

【図3】図３は、イメージセンサから出力された瞳分割された一対の被写体像の画像を領域分割した様子を表す。

【図4】図４は信頼度に関連する類似度不足判定の一例を示す。

【図5】図５は信頼度に関連するコントラスト不足判定の一例を示す。

【図6】図６の（ａ）、（ｂ）は指標と信頼度との対応付けの例を示す。

【図7】図７はデフォーカス量に基づいて外れ値を特定する一例を示す。

【図8】図８は相関演算、信頼度算出、デフォーカス量算出、信頼度平均やデフォーカス量平均の算出において並列に処理を行う例を示す。

【図9】図９は例示的な実施例に係る自動焦点検出装置のブロック図である。

【図10】図１０は実施例に係る自動焦点検出装置を適用した撮影装置の構成例を示す。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面において、同じ符号は、機能が同じまたは類似する要素を表す。図面において実施例の様々な態様を示したが、特に明記されていない限り、図面は、必ずしも原寸に比例しているとは限らない。

【0015】

ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、必ずしも他の実施例より好ましい又は優れたものであると解釈されるとは限らない。

【0016】

また、本開示をより良く説明するために、以下の具体的な実施形態には多くの具体的な細部が示されている。当業者であれば、何らかの具体的な細部がなくても、本開示は同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、素子および回路について、詳細な説明を行わない。

【0017】

関連技術では、自動焦点検出手法として、信頼性ありと判定されるまで、絞り込みと絞り込み後の画像信号列の範囲に対する相関演算を繰り返すことにより、撮影距離が異なる被写体の信号を除外する手法が提案されているが、被写体に合焦できるまでに時間がかかるという課題がある。そのため、本開示では、瞳分割された一対の被写体像について、分割領域ごとの相関演算結果で算出されたデフォーカス量に基づいてグループ化を行い、撮影距離が異なる複数の被写体ごとに情報をまとめ、外乱要因を除外することで、上記の課題を解決した。

【0018】

本開示では、図１に示すように、携帯電話、産業用カメラ、セキュリティカメラ、オートモーティブカメラ、カメラモジュール等、カメラの焦点調節を行う機器製品で実行される自動焦点検出方法を提案する。

【0019】

図１に示す実施例では、自動焦点検出方法は以下のステップを含んでもよい。

【0020】

ステップＳ１１０（領域分割ステップ）：瞳分割された一対の被写体像信号の画像をそれぞれ領域分割する。

【0021】

本実施例では、被写体からの光束を瞳分割して異なるセンサや異なるセンサ領域に投影し、異なるセンサや異なるセンサ領域から出力される一対の被写体像信号の画像をそれぞれ領域分割する。領域の分割数は任意に設定できる。分割領域は、撮影距離が異なる複数の被写体による位相ずれ量が混在した信号が排除されやすいように出来る限り小さな領域とすることが望ましい。

【0022】

ステップＳ１２０（相関演算ステップ）：前記一対の被写体像信号の画像の一方の各分割領域と、他方の対応する分割領域との相関演算を行う。

【0023】

本実施例では、一対の被写体像信号の画像の各分割領域について、一対の被写体像信号の画像の一方の分割領域と他方の対応する分割領域との相関演算を行うことにより、相関値を得る。

【0024】

瞳分割された一対の被写体像信号の分割領域ごとに、一定のシフト範囲内において、所定量シフトさせながら画素データ毎の差及びそれらの絶対値の和を求める演算を実行し、所定量シフトさせて求めた差の絶対値の和から相関演算を実行して位相差を求めるのが好ましい。すなわち、一対の被写体像信号の一方の分割領域の画素データ群を固定して、他方の対応する分割領域の画素データ群を画素単位でシフトさせながら、位相差を求めるのがよい。そして、求めた位相差に基づき焦点調節装置の光学系の移動方向及び移動量を演算することが好ましい。

【0025】

１つの可能な実現形態では、前記一対の被写体像信号の画像の分割領域ごとに、相関演算を並列に行う。これにより、演算時間をさらに低減することができる。

【0026】

ステップＳ１３０（デフォーカス量算出ステップ）：前記相関演算ステップで得られる相関演算結果に基づいて、分割領域ごとのデフォーカス量を算出する。

【0027】

本実施例では、分割領域ごとの相関演算結果に基づいて、分割領域ごとのデフォーカス量を算出する。

【0028】

ピクセルをより細分化したサブピクセルの推定により、サブピクセル単位で相関値が最大になっている点を特定し、デフォーカス量を算出することがよい。

【0029】

１つの可能な実現形態では、一対の被写体像信号の画像の分割領域ごとに、相関演算結果に基づくデフォーカス量の算出を並列に行う。これにより、演算時間をさらに低減することができる。

【0030】

ステップＳ１４０（グループ化処理ステップ）：前記分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する前記分割領域が同じグループとなるようにグループ化する。

【0031】

本実施例では、算出した分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する分割領域が同じグループとなるようにグループ化する。つまり、分割領域の画像情報のそれぞれを、画角中央で面積が多い被写体または最も近い被写体などの画像情報にグループ分けする。

【0032】

ステップＳ１５０（信頼度算出ステップ）：前記相関演算ステップで得られる相関演算結果の信頼度を算出する。

【0033】

１つの可能な実現形態では、一対の被写体像信号の画像の分割領域ごとに、相関演算結果の信頼度の算出を並列に行う。これにより、演算時間をさらに低減することができる。

【0034】

瞳分割された一対の被写体像信号の画像の分割領域のコントラストや類似度など複数の要素から、信頼度を算出することが好ましい。１つの可能な実現形態では、飽和画素閾値と、不足画素閾値と、コントラストと、一致度との少なくとも一方に基づいて、信頼度を算出する。また、信頼度が最も高い場合を１．０、信頼度が最も低い場合を０．０とすることが望ましい。

【0035】

ステップＳ１６０（除外処理ステップ）：グループごとに、前記信頼度算出ステップで算出した前記信頼度に基づいて、所定の条件を満たす分割領域を当該グループから除外する。

【0036】

１つの可能な実現形態では、グループごとに、信頼度算出ステップで算出された信頼度に基づき閾値を設定し、閾値以下の信頼度の分割領域を当該グループから除外する。また、グループごとに、デフォーカス量算出ステップで算出したデフォーカス量が外れ値である分割領域も当該グループから除外してもよい。

【0037】

このように、本実施例によれば、被写体からの光束を瞳分割して異なるセンサや異なるセンサ領域に投影し、一対の被写体像の位相差からデフォーカス量を求めることが可能な装置において、センサから出力された瞳分割された一対の被写体像について、分割領域ごとの相関演算結果で算出されたデフォーカス量に基づいてグループ化を行い、各分割領域の画像情報を、グループごとに、同じ撮影距離の被写体の画像情報としてまとめ、外乱要因を除外することで、撮影距離が異なる複数の被写体が存在する場合でも、高精度かつ高速に被写体の自動焦点検出を行うことができる。また、各分割領域の画像情報を、グループごとに、同じ撮影距離の被写体の画像情報としてまとめることにより、撮影距離が異なる複数の被写体のうち、画角中央で面積が多い被写体や、最も撮影距離が近い被写体や、最も信頼度が高い被写体などの任意の被写体に対して、選択的に合焦させることが可能となる。

【0038】

図２は本開示の別の実施例に係る自動焦点検出方法のフローチャートを示す。図２に示すように、当該自動焦点検出方法は、以下のステップを含んでもよい。

【0039】

ステップＳ２１０：瞳分割された一対の被写体像信号の画像をそれぞれ領域分割する。

【0040】

瞳分割された一対の被写体像信号の画像のそれぞれを同様に領域分割する。つまり、瞳分割された一対の被写体像信号の画像同士の分割領域はサイズや形状が同じである。図３は、イメージセンサから出力された瞳分割された一対の被写体像の画像を領域分割した様子を表す。図３では、複数の矩形領域に分割されているが、これに限定されない。正方形領域などのほかの形状な領域であってもよい。分割された被写体像の各々の領域に対し、相関演算、信頼度算出、デフォーカス量算出を行う。また、分割領域は、撮影距離が異なる複数の被写体による位相ずれ量が混在した画像信号が排除されやすいように出来る限り小さな領域とすることが望ましい。

【0041】

ステップＳ２２０：一対の被写体像信号の画像の分割領域について相関演算を行う。

【0042】

相関演算の演算手段は、公知の方法により相関値を算出することができる。例えば、画素単位で所定量シフトさせながら、瞳分割された一対の被写体像の各画素データ毎の差及びそれらの絶対値の和を求める演算を実行し、所定量シフトさせて求めた差の絶対値の和から相関演算を実行して位相差を求める方法がある。一例として、瞳分割された右目画像をＲ、瞳分割された左目画像をＬ、画素位置をｎ、シフト量をｉとした場合、相関値を求めるための数式は以下の通りである。

【数1】

【0043】

また、相関演算について、分割領域ごとに演算できるので、図８のように（複数のＣＰＵコアによる）並列演算を可能とする。これにより、演算時間をさらに低減することができる。

【0044】

ステップＳ２３０：相関演算結果に基づいて分割領域ごとのデフォーカス量を算出する。

【0045】

デフォーカス量の演算手段は、公知の方法により、分割領域ごとの相関演算結果（位相値）について空間構造を利用したサブピクセル推定を行い、デフォーカス量を算出する。相関演算で算出された最小の相関値のシフト量の前後の相関値により、勾配情報を使用して折れ線近似や放物線近似する方法でサブピクセル推定を行う。一例として、最小の相関値のシフト量をｍｉｎとすると、放物線近似（パラボラフィッティング）方法の数式は以下の通りである。

【数2】

【0046】

デフォーカス量算出について、分割領域ごとに演算できるので、図８のように（複数のＣＰＵコアによる）並列演算を可能とする。これにより、演算時間をさらに低減することができる。

【0047】

ステップＳ２４０：分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する分割領域が同じグループとなるようにグループ化する。

【0048】

グループ化処理の演算手段は、公知の方法により、分割領域ごとのデフォーカス量について、例えばｋ平均法などを利用したクラスタリングによりグループ分けを行うことができる。

【0049】

ステップＳ２５０：相関演算結果の信頼度を算出する。

【0050】

信頼度の演算手段は、例えば、瞳分割された一対の被写体像の各画素の画素値の飽和判定と不足判定、類似度不足判定、コントラスト不足判定を行い、信頼度を算出する方法が考えられる。

【0051】

信頼度に関連する１つの指標として、分割領域ごとの各画素の画素値の飽和判定と不足判定では、飽和画素閾値と不足画素閾値を持ち、相関演算で使われた各画素のうち１画素でも飽和画素閾値を上回った場合や１画素でも不足画素閾値を下回った場合、信頼度０とする。

【0052】

信頼度に関連する１つの指標として、類似度不足判定では、図４で示したように、相関値の最小値を信頼度の指標として用いる。最小値が大きい場合、類似度が低いと考えられ、一致度が低く、信頼度が低いことを表す。

【0053】

信頼度に関連する１つの指標として、コントラスト不足判定の一例では、図５で示したように、相関値の最大値と最小値との差分を信頼度の指標として用いる。差分は相関値マップのレンジを表している。差分が小さい場合、コントラストが低いと考えられ、信頼度が低いことを示す。

【0054】

また、信頼度に関連する１つの指標として、コントラスト不足判定方法の別の例では、瞳分割された一対の被写体像の右目画像または左目画像の隣り合った画素の差分の絶対値の和を求め、その値が小さい場合、コントラストが低いと考えられ、信頼度が低いことを示す。瞳分割された右目画像をＲ、画素位置をｎとすると、右目画像コントラストを求めるための数式は以下の通りである。

【数3】

瞳分割された左目画像をＬ、画素位置をｎとすると、左目画像コントラストを求めるための数式は以下の通りである。

【数4】

【0055】

前記で説明した信頼度算出方法の結果は、そのまま信頼度として用いることができるが、例えば図６のように、指標と信頼度との対応付けを行い、信頼度が最も高い場合を１．０、最も低い場合を０．０とすることが望ましい。なお、対応付けは、図６（ａ）で示すように線形的に対応付けてもよいし、図６（ｂ）で示すように非線形的に対応付けてもよい。図６における指標とは、例えば類似度不足判定やコントラスト不足判定の値を指す。

【0056】

また、前記で説明したいくつかの信頼度算出方法は、１つ信頼度算出方法によるものを信頼度として用いることができるが、これら複数の信頼度算出方法を組み合わせて最終的な信頼度を算出することが望ましい。前記で説明した各信頼度算出方法において最も高い信頼度を１．０、最も低い信頼度を０．０とする場合、類似度不足判定とコントラスト不足判定に重み付けしてもよい。以下に最終的な信頼度の計算式の一例を示す。

【数5】

【0057】

信頼度算出について、分割領域ごとに演算できるので、図８のように（複数のＣＰＵコアによる）並列演算を可能とする。これにより、演算時間をさらに低減することができる。また、分割領域ごとに相関演算した結果で算出した信頼度に基づいて、グループ化後の信頼値を算出することを可能とする。

【0058】

ステップＳ２６０：グループごとに、外れ値や信号の信頼度の低い分割領域を当該グループから除外する。

【0059】

ステップＳ２５０で算出された信頼度に基づき閾値を設定し、分割領域の信頼度が閾値以下の場合、当該分割領域をグループから除外する。例えば、グループごとの分割領域の信頼度の平均を閾値として計算し、分割領域の信頼度が属するグループの閾値以下の場合、当該分割領域を当該グループから除外してもよい。

【0060】

また、分割領域のクラスタリングによりグループ化されたグループ毎の分割領域のデフォーカス量に基づいて、図７に示すように平均を閾値として設定して、グループの閾値に対して外れ値である分割領域を当該グループから除外してもよい。これにより、より高精度に被写体の自動焦点検出を行うことができる。

【0061】

ステップＳ２７０：被写体に対して選択的に合焦させる。

【0062】

グループごとに、外れ値や信号の信頼度の低い分割領域を除外した分割領域の信頼度平均やデフォーカス量平均を算出して、算出した信頼度平均やデフォーカス量平均に基づいて被写体に対して選択的に合焦させてもよい。信頼度平均やデフォーカス量平均の算出について、グループごとに演算できるので、図８のように（複数のＣＰＵコアによる）並列演算を可能とする。これにより、演算時間をさらに低減することができる。

【0063】

各グループごとに算出されたデフォーカス量が注目される場合、最も撮影距離が近い被写体に合焦させることが可能である。また、各グループの信頼度が注目される場合、最も信頼度が高い被写体に合焦させることも可能である。また、各グループの要素（分割された領域）数や位置が注目される場合、画角中央で面積が多い被写体に合焦させることも可能である。

【0064】

なお、デフォーカス量算出を実行してから信頼度算出を実行することを例として自動焦点検出方法を上記のように説明したが、当業者であれば、本開示はこれに限定されないことを理解できる。例えば、信頼度算出を実行してからデフォーカス量算出を実行してもよいし、信頼度算出とデフォーカス量算出を同時に実行してもよい。

【0065】

このように、本実施例によれば、被写体からの光束を瞳分割して異なるセンサや異なるセンサ領域に投影し、一対の被写体像の位相差からデフォーカス量を求めることが可能な装置において、センサから出力された瞳分割された一対の被写体像について、分割領域ごとの相関演算結果で算出されたデフォーカス量に基づいてグループ化を行い、各分割領域の画像情報を、グループごとに、同じ撮影距離の被写体の画像情報としてまとめ、グループに属さない外れ値や信頼度の低い信号を排除する。これにより、撮影距離が異なる複数の被写体が存在する場合、複数の被写体による位相ずれ量が混在した信号を排除または別グループに分け、近似のデフォーカス量や高い信頼度がある領域を同じグループに分け平均を取ることにより、高精度な自動焦点検出を行うことができる。また、分割領域ごとに並列で演算できるため、高速に自動焦点検出を行うことができる。

【0066】

図９は、例示的な実施例に係る自動焦点検出装置のブロック図である。図９に示すように、この自動焦点検出装置は、瞳分割された一対の被写体像信号の画像をそれぞれ領域分割する領域分割部９０１と、前記一対の被写体像信号の画像の一方の各分割領域と、他方の対応する分割領域との相関演算を行う相関演算部９０２と、前記相関演算部９０２による相関演算結果に基づいて、分割領域ごとのデフォーカス量を算出するデフォーカス量算出部９０３と、前記分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する前記分割領域が同じグループとなるようにグループ化するグループ化処理部９０４と、前記相関演算部９０２による相関演算結果の信頼度を算出する信頼度算出部９０５と、グループごとに、前記信頼度算出部９０５により算出された前記信頼度に基づいて、所定の条件を満たす分割領域を当該グループから除外する除外処理部９０６と、を含んでもよい。

【0067】

１つの可能な実現形態では、前記相関演算部９０２は、前記一対の被写体像信号の画像の分割領域ごとに、相関演算を並列に行う。

【0068】

１つの可能な実現形態では、前記デフォーカス量算出部９０３は、前記一対の被写体像信号の画像の分割領域ごとに、前記相関演算結果に基づくデフォーカス量の算出を並列に行う。

【0069】

１つの可能な実現形態では、前記信頼度算出部９０５は、前記一対の被写体像信号の画像の分割領域ごとに、前記相関演算結果の信頼度の算出を並列に行う。

【0070】

１つの可能な実現形態では、前記除外処理部９０６は、グループごとに、閾値以下の前記信頼度の分割領域を当該グループから除外し、前記閾値は、前記信頼度算出部９０５により算出された信頼度に基づき設定される。

【0071】

１つの可能な実現形態では、前記除外処理部９０６は、グループごとに、前記デフォーカス量が外れ値である分割領域を当該グループから除外する。

【0072】

１つの可能な実現形態では、前記信頼度算出９０５は、飽和画素閾値と、不足画素閾値と、コントラストと、一致度との少なくとも一方に基づいて、前記信頼度を算出する。

【0073】

上記の実施例における装置について、各ユニットが動作を実行する具体的な方法は、当該方法に係る実施例において詳細に説明されているため、ここでは詳細な説明を省略する。

【0074】

図１０は実施例に係る自動焦点検出装置を適用した撮影装置の構成例を示す。本撮影装置は、光学レンズ部１００１と、イメージセンサ部１００２と、画像データ生成部１００３と、レンズ駆動部１００４と、上記の自動焦点検出装置１００５と、を含む。

【0075】

光学レンズ部１００１は、被写体像をイメージセンサ部１００２に集光させる。また、光学レンズ部１００１はレンズ駆動部１００４からのフォーカス制御信号に基づいてフォーカスを移動させる。

【0076】

レンズ駆動部１００４は、自動焦点検出装置１００５から出力された情報からフォーカス制御信号を生成して光学レンズ部１００１に出力する。

【0077】

イメージセンサ部１００２は、光学レンズ部１００１により集光された被写体の光学像に応じた各画素のＲＡＷデータを生成して画像データ生成部１００３へ出力する。また、瞳分割された一対の被写体像を自動焦点検出装置１００５へ出力する。

【0078】

画像データ生成部１００３は、各画素のＲＡＷデータに所定の信号処理を行うことにより、画像データを生成して外部に出力する。

【0079】

自動焦点検出装置１００５は、以上のように、領域分割部９０１と、相関演算部９０２と、デフォーカス量算出部９０３と、グループ化処理部９０４と、信頼度算出部９０５と、除外処理部９０６と、を含む。自動焦点検出装置１００５は瞳分割された一対の被写体像信号に基づいて選択された被写体に合焦する情報をレンズ駆動部１００４に出力する。自動焦点検出装置１００５は、ハードウェアにより実現してもよいし、ソフトウェアにより実現してもよいし、ハードウェアとソフトウェアの連携により実現してもよい。

【0080】

本実施例によれば、被写体からの光束を瞳分割して異なるセンサや異なるセンサ領域に投影し、一対の被写体像の位相差からデフォーカス量を求めることが可能な装置において、センサから出力された瞳分割された一対の被写体像について、分割領域ごとの相関演算結果で算出されたデフォーカス量に基づいてグループ化を行い、各分割領域の画像情報を、グループごとに、同じ撮影距離の被写体の画像情報としてまとめ、外乱要因を除外することで、撮影距離が異なる複数の被写体が存在する場合でも、高精度かつ高速に被写体の自動焦点検出を行うことができる。また、各分割領域の画像情報を、グループごとに、同じ撮影距離の被写体の画像情報としてまとめることにより、撮影距離が異なる複数の被写体のうち、画角中央で面積が多い被写体や、最も撮影距離が近い被写体や、最も信頼度が高い被写体などの任意の被写体に対して、選択的に合焦させることが可能となる。

【0081】

本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上述した自動焦点検出方法を実現させるコンピュータ読み取り可能な記憶媒体をさらに提供する。コンピュータ読み取り可能な記憶媒体は、揮発性または不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。

【0082】

本開示の実施例は、プロセッサと、プロセッサにより実行可能な命令を記憶するための記憶部と、を含み、前記プロセッサは、前記記憶部に記憶されている命令を実行すると、上述した自動焦点検出方法を実行するように構成される電子機器をさらに提供する。

【0083】

本開示の実施例は、コンピュータ読み取り可能なコード又はコンピュータ読み取り可能なコードを記憶している不揮発性コンピュータ読み取り可能な記憶媒体を含み、前記コンピュータ読み取り可能なコードが電子機器のプロセッサにおいて動作すると、前記電子機器のプロセッサに上述した自動焦点検出方法を実行させるコンピュータプログラム製品をさらに提供する。

【0084】

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

【要約】      （修正有）

【解決手段】本開示は、自動焦点検出方法および装置、撮影装置、記憶媒体に関する。自動焦点検出方法は、瞳分割された一対の被写体像信号の画像をそれぞれ領域分割するステップと、一対の被写体像信号の画像の一方の各分割領域と、他方の対応する分割領域との相関演算を並列に行うステップと、相関演算の結果に基づいて、分割領域ごとのデフォーカス量を並列に算出するステップと、分割領域ごとのデフォーカス量に基づいて、同じ撮影距離の被写体に対応する分割領域が同じグループとなるようにグループ化するステップと、相関演算の結果の信頼度を並列に算出するステップと、グループごとに、算出した信頼度に基づいて、所定の条件を満たす分割領域を当該グループから除外するステップと、を含む。
【効果】撮影距離が異なる複数の被写体が存在する場合でも、高精度かつ高速で、撮影距離が異なる複数の被写体のいずれかに選択的に合焦させることができる。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】