特許 6537083 自動合焦のための方法および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6537083

(24)【登録日】2019年6月14日

(45)【発行日】2019年7月3日

(54)【発明の名称】自動合焦のための方法および撮像装置

(51)【国際特許分類】

   G02B 7/36 20060101AFI20190625BHJP

   G03B 13/36 20060101ALI20190625BHJP

   H04N 5/232 20060101ALI20190625BHJP

   H04N 5/238 20060101ALI20190625BHJP

【ＦＩ】

   G02B7/36

   G03B13/36

   H04N5/232 120

   H04N5/232 127

   H04N5/238

【請求項の数】11

【全頁数】19

(21)【出願番号】特願2017-510514(P2017-510514)

(86)(22)【出願日】2014年9月26日

(65)【公表番号】特表2017-532590(P2017-532590A)

(43)【公表日】2017年11月2日

(86)【国際出願番号】CN2014087546

(87)【国際公開番号】WO2016045086

(87)【国際公開日】20160331

【審査請求日】2017年3月3日

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】ユィ、リフ

(72)【発明者】

【氏名】ツァオ、ズーション

【審査官】 渡邉 勇

(56)【参考文献】

【文献】 米国特許出願公開第２００８／０３１６３５２（ＵＳ，Ａ１）

【文献】 特開２００３−１０７３３２（ＪＰ，Ａ）

【文献】 特開平０２−１５８７０５（ＪＰ，Ａ）

【文献】 特開平０１−１０５２２１（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０４０２３１７５（ＣＮ，Ａ）

【文献】 中国特許出願公開第１０３４２４９５３（ＣＮ，Ａ）

【文献】 特開２０１３−０８８４４０（ＪＰ，Ａ）

【文献】 特開２００７−００６０３３（ＪＰ，Ａ）

【文献】 特開平０２−１７８６４１（ＪＰ，Ａ）

【文献】 特開２００７−３１０００４（ＪＰ，Ａ）

【文献】 特開２００３−１０７３３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０１４６０７９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／２８ − ７／４０

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２２２− ５／２５７

(57)【特許請求の範囲】

【請求項1】

レンズを備えるカメラで自動合焦するための方法であって、
画像フレーム内の合焦窓に含まれる複数の画像合焦窓の中から一組の画像合焦窓を選択する段階と、
前記一組の画像合焦窓内のそれぞれの画像合焦窓に対するそれぞれの窓評価値、およびそれぞれの重み付けに基づいて、複数のレンズ位置の各レンズ位置に対して焦点測定値を計算する段階と、
前記複数のレンズ位置の複数の前記計算された焦点測定値を比較することで、最適なレンズ位置を選択する段階と、を備え、
前記一組の画像合焦窓を選択する段階は、
１または複数組の選択ルールに基づいて前記一組の画像合焦窓を選択する段階を備え、
前記１または複数組の選択ルールは、前記カメラに連結されることが可能な各レンズに固有の統計データから導出され、
前記統計データは、主撮像領域が前記画像フレームの各領域に含まれる確率、または特定の領域の全面積に対する前記主撮像領域の比率を含む、方法。

【請求項2】

前記合焦窓内の画像は、第１の被写体を含む前記主撮像領域と前記第１の被写体から一定の距離にある第２の被写体を含む背景撮像領域とを含む、請求項１に記載の方法。

【請求項3】

前記それぞれの画像合焦窓に対する前記それぞれの重み付けは、前記統計データに基づいて計算される、請求項１または２に記載の方法。

【請求項4】

前記焦点測定値を計算する段階は、
前記一組の画像合焦窓内の前記それぞれの画像合焦窓に対して、重み付けされた窓評価値を計算する段階と、
前記重み付けされた窓評価値を合計する段階と、をさらに備える、請求項１から３の何れか１項に記載の方法。

【請求項5】

前記一組の画像合焦窓の全面積で前記重み付けされた窓評価値の合計値を除算する段階をさらに備える、請求項４に記載の方法。

【請求項6】

前記レンズのモータを動作させることによって前記レンズ位置を変更する段階をさらに備える請求項１から請求項５の何れか１項に記載の方法。

【請求項7】

モータ位置を、最大焦点測定値に対応する前記レンズ位置で決定する段階をさらに備える請求項１から請求項６の何れか１項に記載の方法。

【請求項8】

レンズと、
前記レンズの複数の合焦動作を実行するコントローラと、を備え、
前記コントローラは、前記レンズを制御することによって、請求項１から請求項７の何れか１項に記載の方法を実行することが可能な撮像装置。

【請求項9】

自動合焦の可能な撮像装置であって、
前記撮像装置に連結されることが可能な各レンズに固有の統計データから導出される１または複数組の選択ルールに対するアクセスを有するコントローラを備え、
前記コントローラは、前記１または複数組の選択ルールで規定される各組の画像合焦窓に対応する１または複数組の重み付けに対するアクセスを有し、前記１または複数組の重み付けは前記統計データに基づいて計算され、
前記コントローラは画像フレーム内の合焦窓に含まれる複数の画像合焦窓の中から一組の画像合焦窓を選択するために前記１または複数組の選択ルールを用いることができ、
前記統計データは、第１の被写体を含む主撮像領域が前記画像フレームの各領域に含まれる確率、または特定の領域の全面積に対する前記主撮像領域の比率を含み、
前記コントローラは、写真を撮影するとき、複数のレンズ位置のそれぞれに対して焦点測定値を計算するために前記１または複数組の重み付けを用いることができる、撮像装置。

【請求項10】

前記複数のレンズ位置のそれぞれは、複数のレンズに関連付けられるモータの複数の異なる位置のうちの１つのモータ位置に対応する、請求項９に記載の撮像装置。

【請求項11】

前記コントローラは、特定の画像フレームに対して、最大焦点測定値に対応するモータ位置を選択する、請求項９に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

開示される複数の実施形態は、概して撮像の複数のシステムおよび複数の方法に関し、特には、限定はされないが、統計データに基づいて一組のレンズ合焦窓を選択し、かつ一組のレンズ合焦窓に対する重み付けされた窓評価値を計算することによる自動合焦のためのシステムおよび方法に関する。

【背景技術】

【0002】

多くの撮像装置には、自動合焦の複数の機能が備えられている。それらの機能においては、合焦処理は装置の操作者によるいかなる介入もなしに実行される。典型的な複数の画像装置は、カメラ、ビデオ記録装置、および、高機能携帯電話などの撮影機能または画像記録機能を備える他の装置を含む。

【0003】

カメラを例にとると、写真が撮られるとき、第１の段階は、撮影されている被写体に焦点を合わせることである。カメラの中には自動合焦機能が備えられているものがある。撮影または録画の際に被写体に対して自動的に合焦する場合、１つの画像フレームは、主撮像領域、副撮像領域、および背景撮像領域の３つの画像領域に分割され得る。合焦の主目的は、主撮像領域内の画像をできるだけ鮮明にすることである。

【0004】

合焦処理において、レンズは凸レンズとみなされ得る。ズームレンズのある焦点値に対して、または固定焦点レンズに対して、焦点距離は固定される。被写体距離と画像距離と焦点距離との関係は次式で表され得る。

【0005】

【数1】

式（１）

【0006】

ここで、uは被写体距離を指し、ｖは画像距離を指し、ｆは焦点距離を指す。焦点距離および被写体距離が固定される場合、合焦の主目的は、画像距離を、それが式（１）を満たすように変更することであることを、われわれは上記説明から理解し得る。

【0007】

特定の画像について、それの主撮像領域に対する空間的奥行き、それの副撮像領域に対する空間的奥行き、およびそれの背景領域に対する空間的奥行きは異なる。すなわちそれら３つに対する被写体距離は異なる。ゆえに、特定の時間において、およびある一定の焦点距離で、画像距離だけが、ただ１つの領域の画像距離に対して、式１を満たすべく調整がされ得る。

【0008】

鮮明な主撮像領域を有する写真を得るべく、主撮像領域は、正しく見つけられ、かつ適切な寸法にされた合焦窓内に正確に配置されるべきであり、そうするように正確に焦点を合わさせるようにする。

【0009】

既存の複数の技術において、複数の画像合焦窓を選択するための一般的な複数の方法は、中央選択手法および多領域選択手法を含む。それら２つのうちの中央選択手法は、合焦窓として画像フレームの中央においてＭ×Ｎ画素の小さい領域を取る。多領域選択手法は、複数の画像合焦窓として、複数の代表的な領域、例えば、水平軸または垂直軸に沿った４つの分割点を中心とするＭ×Ｎ画素を有する複数の領域、を取る。多領域選択手法はまた、複数の画像合焦窓として、２つの対角線に沿った４つの分割点を中心とするＭ×Ｎ画素を有する複数の領域も取り得る。

【0010】

撮像装置が画像に焦点を合わせるとき、そのような典型的な複数のシステムにはいくつかの課題が存在する。まず第１に、主撮像領域は常に上記複数の領域のうちの１つに入るわけではない。いくつかの状況において、主撮像領域は上記複数の領域に位置され、正確な合焦の目的はそれらの状況においては実現され得る。しかしながら、主撮像領域が上記複数の領域内に無い場合、合焦窓のための上記複数の手法は鮮明な主撮像領域を有する写真を保証し得ない。第２に、合焦窓の面積が主撮像領域よりも大きい場合、既存の複数の手法は計算量を増やすだけでなく、合焦の最終結果を劣化させることもある。質の劣化の理由は、それらが、遷移または接合場所において、十分鋭い合焦評価曲線をもたらさないためである。

【0011】

ゆえに、計算量を制御し、鋭い合焦評価曲線を保証し得る複数の画像合焦窓を自動的に選択するためのシステムおよび方法が必要である。

【0012】

【発明の概要】

【0013】

本明細書において開示される主題の第１の態様によると、レンズを備えるカメラによる自動合焦のための方法が提供される。当該方法は、複数のレンズ位置の各レンズ位置に対して焦点測定値を計算する段階と、最適なレンズ位置を選択すべく、複数のレンズ位置の複数の計算された焦点測定値を比較する段階とを備え、被写体が合焦されるかどうかを示すために用いられる複数の焦点測定値は、一組の画像合焦窓内の複数の画像合焦窓に対する複数の窓評価値のそれぞれおよびそれぞれの重み付けに基づいて計算される。

【0014】

いくつかの実施形態によると、当該方法は一組の画像合焦窓を選択する段階をさらに備える。

【0015】

当該方法のいくつかの実施形態によると、一組の画像合焦窓を選択する段階は、１または複数組の画像合焦窓選択ルールに基づいて一組の画像合焦窓を選択する段階を備え、当該１または複数組の画像合焦窓選択ルールは、カメラおよびレンズに固有の統計データから導出される内蔵ルールである。

【0016】

当該方法のいくつかの実施形態によると、複数の画像合焦窓のそれぞれに対するそれぞれの重み付けは当該統計データに基づいて計算される。

【0017】

いくつかの実施形態によると、焦点測定値を計算する段階は当該一組の画像合焦窓内の複数の画像合焦窓のそれぞれに対する重み付けされた窓評価値を計算する段階と、複数の窓評価値の合計値を提供すべく、複数の計算された重み付けされた窓評価値を合計する段階とをさらに備える。

【0018】

いくつかの他の実施形態によると、当該方法は、一組の画像合焦窓の全面積で複数の窓評価値の合計値を除算する段階をさらに備える。

【0019】

当該方法のいくつかの好適な実施形態によると、一組の画像合焦窓を選択する段階は、画像フレームの中央に配置される領域と、画像フレームの２本の水平方向の三等分線および２本の垂直方向の三等分線の交点を中心とする４つの周囲領域とから成る５つの画像合焦窓を選択する段階をさらに備える。

【0020】

いくつかの実施形態によると、中央領域の面積は複数の周囲領域のいずれの面積よりも大きい。

【0021】

いくつかの他の実施形態によると、中央領域の面積は複数の周囲領域のうちの任意の領域の面積の４倍である。

【0022】

いくつかの実施形態によると、焦点測定値を計算する段階は、５つの画像合焦窓のそれぞれに対する重み付けされた窓評価値を計算する段階と、複数の窓評価値の合計値を提供すべく計算された重み付けされた窓評価値を合計する段階と、５つの画像合焦窓の全面積で複数の窓評価値の合計値を除算する段階と、をさらに備える。

【0023】

いくつかの実施形態によると、画像フレームが１６の行および１６の列に分割されて、それぞれが一様な面積を有する２５６の副区域を形成するとき、中央領域は４つの副区域を取り、他の４つの領域のうちの任意の領域は、画像フレームの２５６の副区域のうちの１つの副区域を取る。

【0024】

いくつかの他の実施形態によると、当該方法は、レンズのモータを動作させることによってレンズ位置を変更する段階をさらに備える。

【0025】

いくつかの他の実施形態によると、当該方法は最大焦点測定値に対応するレンズ位置でモータ位置を決定する段階をさらに備える。

【0026】

本明細書において開示される本主題の第２の態様によると、撮像装置が提供される。撮像装置はレンズと、レンズの合焦動作を実行するために配置されるコントローラとを備える。コントローラは、レンズを制御することによって、複数の上記実施形態のうちの何れか１つに従って合焦動作を実行することができる。

【0027】

本明細書において開示される本主題の第３の態様によると、自動合焦の可能なカメラを製造するための方法が提供される。当該方法は、複数の画像合焦窓選択ルールと、複数の画像合焦窓選択ルールによって規定される複数の画像合焦窓に対するそれぞれの重み付けとをカメラにロードする段階と、カメラが、各レンズ位置において一組の画像合焦窓を選択する際に複数の画像合焦窓選択ルールを使用できるようにする段階と、カメラで写真を撮影するとき、カメラが、複数の焦点測定値を計算するためにそれぞれの重み付けを使用できるようにする段階と、を備える。

【0028】

いくつかの他の実施形態において、当該方法は、カメラと、カメラと連結され得る各レンズとについての統計データを収集する段階と、統計データに基づいて複数の画像合焦窓選択ルールを導出する段階とをさらに備える。

【0029】

いくつかの他の実施形態において、当該方法は、統計データに基づいて、複数の画像合焦窓選択ルールによって規定される複数の画像合焦窓に対してそれぞれの重み付けを計算する段階をさらに備える。

【0030】

いくつかの実施形態において、複数のレンズ位置のそれぞれは、レンズに関連付けられるモータの複数の異なる位置のうちの１つのモータ位置に対応する。

【0031】

いくつかの他の実施形態において、当該方法は、カメラが、写真に対する選択されたレンズ位置として最大焦点測定値に対応するモータ位置を選択できるようにする段階をさらに備える。

【0032】

本主題の第４の態様によると、自動合焦の可能な撮像装置が提供される。当該撮像装置は、撮像装置と複数のレンズのそれぞれとに固有の統計データから導出される１または複数組の画像合焦窓選択ルールに対するアクセスを有するコントローラを備え、当該コントローラは１または複数組の画像合焦窓選択ルールで規定される各組の画像合焦窓に対応する１または複数組の重み付けに対するアクセスを有し、１または複数組の重み付けは統計データに基づいて計算され、当該コントローラは複数の画像合焦窓を選択するため複数の画像合焦窓選択ルールを用いることができ、当該コントローラは、写真を撮影するとき、複数のレンズ位置のそれぞれに対して焦点測定値を計算するために１または複数組の重み付けを用いることができる。

【0033】

いくつかの実施形態において、複数のレンズ位置のそれぞれは、レンズに関連付けられるモータの複数の異なる位置のうちの１つのモータ位置に対応する。

【0034】

いくつかの他の実施形態において、当該コントローラは、特定の画像フレームに対して最大焦点測定値に対応するモータ位置を選択する。

【図面の簡単な説明】

【0035】

【図1】光学レンズを通した主要被写体および背景の複数の撮像関係を示す図面である。

【0036】

【図2】主撮像領域内の複数の画素の複数の平均焦点値、背景領域内の複数の画素の複数の平均焦点値、およびそれらと画像フレームの全画素の複数の平均焦点値との関係を示す図面である。

【0037】

【図3】実際の被写体およびそれの背景を示す図面である。

【0038】

【図4】本開示に含まれる手法と従来の多領域手法との間の結果的な差を示す図面である。

【0039】

【図5】複数の画像合焦窓を選択し、複数の焦点測定値を計算することによる自動合焦機能を備えるカメラの実施形態を示す例示的なトップレベルのブロック図である。

【0040】

【図6】図５の自動合焦のための方法の実施形態を示す例示的なトップレレベルのフローチャートである。

【0041】

【図7】図６の方法の代替的実施形態を示す例示的なフローチャートである。各レンズ位置に対して焦点測定値を計算するための実施形態を示すべく、詳細が追加されている。

【0042】

【図8】図６の方法の代替的実施形態を示す例示的なフローチャートである。本開示の方法の複数の特有の特徴を示すべく詳細が追加される。

【0043】

【図9】複数の画像合焦窓の特定の選択を有する、図６の方法の別の代替的実施形態を示す例示的なフローチャートである。

【0044】

【図10】図６、図８、または図９において示される自動合焦機能を備える撮像装置を製造するための方法の実施形態を示す例示的なトップレレベルのフローチャートである。

【0045】

図面は縮尺通りには描かれておらず、図面を通して例示するために、同様な構造または機能の要素は、概して同様の参照番号によって表されることに留意されたい。また、図面は好適な実施形態の説明を容易にすることのみが意図されることにも留意されたい。図面は、説明される実施形態の全ての態様を示すものではなく、本開示の範囲を制限しない。

【0046】

【発明を実施するための形態】

【0047】

背景技術において述べられたような複数の課題に対処すべく、図１に示されるような以下の複数の関係から本開示は導き出される。

【0048】

【数2】

式（２）

【0049】

【数3】

式（３）

【0050】

ここで、Ｐａは主要撮像被写体Ａとレンズ１１２との間の被写体距離を表し、Ｐｂは背景被写体Ｂとレンズ１１２との間の被写体距離を表し、Ｐａ´は、レンズ１１２と、主要撮像被写体Ａによって形成される画像Ａ´との間の画像距離を表し、Ｐｂ´は、レンズ１１２と、背景の撮像被写体Ｂによってセンサ上に形成される画像Ｂ´との間の画像距離を表し、ｆはレンズ１１２の焦点距離を表す。

【0051】

Ｍ×Ｎ画素の画像フレームについて、われわれは次のように平均評価関数ＭＥ（Ｉ）を定義する。

【0052】

【数4】

式（４）

【0053】

ここで、Ｅ（Ｉ）は一般的な合焦評価関数であり、Ｉは処理されている画像を表し、ＭＮは画像フレームのエリア内の合計画素数を指す。

【0054】

式（４）からわれわれは、ＭＥ（Ｉ）がＥ（Ｉ）と同一の複数の特性を有すると結論付け得る。それらの特性は以下を含む。

【0055】

ａ．当該関数は、単一の撮像被写体の一連の画像の曲線を計算するための単峰型関数であり、その最大値はそれの最も鮮明な画像に対応する。

【0056】

ｂ．当該関数は曲線のピークの両側において、単調増加するか、または単調減少する。

【0057】

ｃ．曲線のピークの両側における傾斜率の複数の絶対値はより大きいはずである。

【0058】

ここで、図１は合焦窓内の撮像シナリオを示すとさらに仮定する。

【0059】

ａ．合焦窓内の画像ＩはＭ×Ｎ画素を含み、当該画像は、主撮像領域Ａ´および背景撮像領域Ｂ´から成る。

【0060】

ｂ．Ｐａは主要撮像被写体Ａからレンズ１１２までの距離を表し、Ｐｂは背景被写体Ｂからレンズ１１２までの距離を表す。

【0061】

ｃ．撮像処理の間、主要撮像被写体Ａの被写体距離および背景被写体Ｂの被写体距離は、妥当な距離に維持され、一定に保たれる。

【0062】

次に、式（４）は以下のようにさら導き出され得る。

【0063】

【数5】

【0064】

【数6】

【0065】

【数7】

式（５）

【0066】

ここで、Ｓ（Ａ´）は、主撮像領域Ａ´の面積、すなわち主撮像領域Ａ´中の画素数を表し、Ｓ（Ｂ´）は、背景領域Ｂ´の面積、すなわち、背景撮像領域Ｂ´中の画素数を表し、ｐは合焦窓によって画定されるＭ×Ｎ画像の全面積に対する複数の主撮像領域Ａ´の比を表わす。

【0067】

式（５）によって、われわれは、平均評価関数ＭＥ（Ｉ）が主撮像領域関数および背景撮像領域関数の両方に対する重み付けされた画素平均関数から成るということを理解し得る。それらの重み付け値は、それぞれの領域内の画素数に正比例する。加えて、主撮像領域に対する重み付けおよび背景に対する重み付けは互いに排他的であり得る。全ての画像画素に対する平均化関数と、主撮像領域に対する平均化評価関数と、背景撮像領域に対する平均化評価関数との間の複数の関係は、図２において示される。

【0068】

図２を参照すると、撮像センサがＡ´またはＢ´にあるとき、ＭＥ（Ａ´）またはＭＥ（Ｂ´）はそれぞれ、それの最大値に達する。ｐが１に等しくない場合、撮像センサがＡ´とＢ´との間のＣ´にあるときだけ、ＭＥ（Ｉ）はそれの最大値に達し得る。この場合、撮像センサがＣ´平面内にあれば、主要撮像被写体も背景被写体も正確に合焦され得ない。ここで、正確に合焦され得る被写体は図１に示されるようにＣ平面内にある。

【0069】

図１において、Ｒはレンズ１１２の半径であると仮定すると、ｒａおよびｒｂ（図には示されない）は、撮像センサがＣ´にあるとき、主要撮像被写体Ａと背景の撮像被写体Ｂとの間から得られる複数の焦点外画像の１つの点に対応するファジー半径を表す。そのとき、

【0070】

【数8】

式（６）

【0071】

【数9】

式（７）

【0072】

上記式（５）、（６）、および（７）から、われわれは、ｐ値が大きければ大きいほど、すなわち、合焦窓内のＭ×Ｎ画像の全撮像面積に対する複数の主撮像領域Ａ´の比が大きければ大きいほど、ＭＥ（Ｉ）に対するＭＥ（Ａ´）の比率は大きくなるということが分かる。図２において示されるように、ＭＥ（Ｉ）のピーク点がＡ´に近づけば近づくほど、すなわち、

【数10】

の値が小さければ小さいほど、ファジー半径ｒａは小さくなる。これは、主撮像領域内の画像がより鮮明になることを意味する。

【0073】

結論として、複数の画像合焦窓を選択する目的は、主撮像領域内の画素数と合焦窓内の合計画素数との間の比率をできるだけ大きくすることである。本明細書において開示されるいくつかの実施形態の下では、比率をできるだけ大きくする可能性を高めるべく、複数の画像合焦窓の複数の選択は統計データに基づいて成され得る。

【0074】

複数の画像合焦窓の選択の例として、複数の補助的な構図線が考えられる。カメラ１００に関して行われる統計データに基づいて、われわれは、中央領域Ａ_０と、画像の２本の水平方向の三等分線および２本の垂直方向の三等分線の交点を中心とする４つの領域Ａ_１、Ａ_２、Ａ_３、およびＡ_４と、を選択する。一方で、それら５つの領域における複数の主撮像領域の外観の統計的特徴を考慮し、われわれは中央領域に対する重み付けを
ω_０、
および他の４つの領域に対する重み付けを、それぞれ
ω_１、
ω_２、
ω_３、および
ω_４、と仮定する。

【0075】

レンズ１１２の焦点位置がｊのとき、合焦窓内の複数の画素に対する平均焦点測定値は次のように表され得る。

【0076】

【数11】

式（８）

【0077】

焦点評価関数の特性である、「ｃ．ピークの両側の傾斜率の絶対値はより大きいはずである」に従って、以下の評価インデックスが得られ得る。

【0078】

【数12】

式（９）

【0079】

上記のように、目的は、式（９）において表されるインデックスの最大値を得ることである。

【0080】

統計的に、主撮像領域内の異なる複数の位置における様々な合焦画像に関する一連の焦点評価を通して、５つの重み付け値、
ω_０
＝０．３８、
ω_１
＝０．１８、
ω_２
＝０．１４、
ω_３
＝０．１７、および
ω_４
＝０．１３、が特定される。

【0081】

上記例示的な複数のインデックスに従って、本明細書において開示される手法および一般的な多領域選択手法が、図３に示される被写体に対してそれらの焦点評価関数に曲線を描かせるべくそれぞれ適用される。その結果が図４に示される。図４は、本開示に含まれる当該手法による結果的に得られる焦点曲線が、一般的な多領域選択手法によって得られる焦点曲線よりはるかに鋭いことを示す。

【0082】

上記自動合焦手法は、図５において示されるカメラ１００において実装される。図５において、カメラ１００はカメラ本体１２０と、ズームレンズまたは単焦点レンズの何れかであり得るレンズ１１０とを有するように示される。レンズ１１０は、一組の光学レンズ１１２と、一組の光学レンズ１１２とセンサ１８０との間で、レンズ位置を通して、画像距離を調整すべく一組の光学レンズ１１２の複数の位置を制御するよう構成されるモータ１１４と、を含む。光学レンズ１１２は、主要撮像被写体および背景を含み得る被写体１９０を表わす光１５０を受ける。光１５０は、一組の光学レンズ１１２を通って屈折し、光信号１５２によってセンサ１８０上に画像を形成する。センサ１８０はレンズ１１０からの光信号１５２をアナログデータフロー１６０に変換し、アナログデータフロー１６０は次にデジタル信号プロセッサ（ＤＳＰ）１３０によってデジタルデータフロー１６２に変換される。データフロー１６２中のデジタルデータは、コントローラ１４０に渡され、コントローラ１４０は上述したように、焦点測定値の複数の計算および複数の比較を実行する。焦点測定値の複数の計算はまた、複数の窓評価値の複数の計算も含む。コントローラ１４０は、一組の光学レンズ１１２とセンサ１８０との間の画像距離を変更すべく、レンズ１１２の位置を変更するためにモータ１１４に制御信号１７０を送信する。画像はデータフロー１６０によってＤＳＰ１３０に送信され、ＤＳＰ１３０はコントローラ１４０へのデータフロー１６２を生成する。コントローラ１４０は新しい画像データに従って、複数の焦点測定値を計算する。この処理は、画像に焦点を合わせるための閉ループ制御システムを形成する。

【0083】

コントローラ１４０はいくつかのレンズ位置に対して複数の焦点測定値を計算しかつ比較して、最適な焦点測定値に対応する１つのモータ１１４の位置、或いはレンズ位置を選択する。

【0084】

ここで、カメラ１００（図５に示される）が画像を処理する一態様が図６に示される。それは、カメラ１００が複数の画像合焦動作を自動的に実行できるようにするための方法５００を示す。まず、合焦するとき、複数の焦点測定値を計算し、レンズ位置を決定すべく、５１０において、コントローラ１４０（図５に示される）は一組の画像合焦窓を選択し得る。背景技術において述べたような複数の既存の手法とは異なり、本明細書において開示される複数の実施形態は、統計データに基づいて複数の画像合焦窓を選択し得る。一組の画像合焦窓が画像フレームに焦点を合わせために選択されるとき、５２０において、コントローラ１４０は、カメラ１００（図５に示される）に連結されたレンズ１１０（図５に示される）のモータ１１４（図５に示される）を動作させることによってレンズ位置を変更する。それぞれのそのようなレンズ位置について、５３０において、コントローラ１４０はそれのモータ１１４の位置を記憶し、複数の選択された画像合焦窓のそれぞれに対して複数の窓評価値を計算する。５３０においてまた、コントローラ１４０は、複数の画像合焦窓のそれぞれに対する複数の計算された窓評価値およびそれぞれの重み付けに基づいて複数のレンズ位置のそれぞれに対する複数の焦点測定値を計算する。複数の計算された焦点測定値は、被写体が合焦されるかどうかを示すために用いられ、より大きな焦点測定値はより鮮明な画像を表わす。複数の画像合焦窓のそれぞれに対する重み付けは、カメラ１００、およびカメラ１００に連結されたレンズ１１０に固有の統計データによって決定される。５４０において、レンズ１１０の最適なレンズ位置、およびそれの対応するモータ１１４の位置を決定すべく、複数の焦点測定値が比較される。

【0085】

図７は、連結式の機能ブロック５３０を備える方法５００の代替的実施形態を示す。モータ１１４（図５に示される）を動作させることによってレンズ位置を変更した後、５３１において、コントローラ１４０（図５に示される）は１つの画像合焦窓に対して窓評価値を計算する。５３２において、当該画像合焦窓に対する重み付けされた窓評価値を提供すべく、当該画像合焦窓に対する計算された窓評価値には当該画像合焦窓に固有のそれぞれの重み付けが適用され得る。次に、５３３において、コントローラ１４０は、全ての選択された画像合焦窓に対して窓評価値が計算されるかどうか確認する。全ての画像合焦窓が計算されていない場合、コントローラ１４０は次の画像合焦窓に移動し、本段落において先に説明されたように、その画像合焦窓に対して窓評価値を計算する。全ての選択された画像合焦窓が計算されると、レンズ位置に対する複数の窓評価値の合計値を提供すべく、コントローラ１４０は複数の選択された画像合焦窓に対する複数の重み付けされた窓評価値を合計する。別の実施形態においては、機能ブロック５３２および５３４は新しい機能ブロック５３４に組み合わされ得る。その場合、単一の段階で複数の窓評価値の合計値を提供すべく、複数の選択された画像合焦窓に対する複数の窓評価値を合計するとき、それぞれの重み付けが適用される。

【0086】

方法５００のいくつかの他の実施形態において、５３５において、コントローラ１４０はさらに、複数の窓評価値の平均合計値を得るべく、複数の計算された画像合焦窓の全面積で複数の窓評価値の合計値を除算する。これによりコントローラ１４０は、焦点測定値として複数の窓評価値の平均合計値を有利に見なし得る。方法５００の代替的実施形態において、コントローラ１４０は焦点測定値として複数の窓評価値の合計値を使用し得る。換言すると、機能ブロック５３５は任意で用いられ、方法５００から省略され得る。

【0087】

次にコントローラは、全ての選択されたレンズ位置が計算されたかどうかを確認する。全てが計算されていない場合、コントローラ１４０はモータ１１４（図５に示される）を動作させることによってレンズ位置を変更し、上記のように別の焦点測定値を計算する。全ての選択されたレンズ位置が計算されている場合、コントローラは、最適なモータ位置に対応する最適なレンズ位置を得るべく、複数の焦点測定値を比較する。

【0088】

図６または図７の方法５００の代替的実施形態が図８に示される。図８に示されるように、５１０における複数の画像合焦窓の選択は、１または複数組の内蔵ルールに基づいて行われ得る。それらの内蔵ルールは、カメラ１００（図５に示される）に固有の、および／または、カメラ１００に連結されたレンズ１１０（図５に示される）に固有の統計データから導出され得る。加えて、５３０において、焦点測定値を計算するとき、適用される複数の重み付け（図７に示される）はまた、カメラ１００、および／または、カメラ１００に連結されたレンズ１１０に固有の統計データから計算され得る。

【0089】

さらに、図８において示される方法５００は、複数の計算された焦点測定値の中から最大焦点測定値を選択することによって、レンズ位置とそれの対応するモータ位置とを決定すべく、機能ブロック５５０を含み得る。上述されたように、最大焦点測定値は最も鮮明な画像のレンズ位置を表わす。最大焦点測定値は複数の窓評価値の最大和を表し、それは、複数の画像合焦窓の全てに対する、最も良好に組み合わされた鮮明度を意味する。複数の窓評価値を合計するときに適用される複数の重み付けは、統計学的に主撮像領域に特別な注意を払い得る。

【0090】

図９は、図６、図７、または図８の方法５００の別の代替的実施形態を示す。図９において、複数の画像合焦窓を選択するとき、画像フレームの中央にある１つと、その中央領域を囲んで配置される他の４つとを含む一組の５つの内蔵領域が、一組の画像合焦窓として選択される。好ましくは、４つの周囲の画像合焦窓は、画像フレームの２本の水平方向の三等分線および２本の垂直方向の三等分線の交点を中心とする。統計学的に、主要撮像被写体はそれらの５つの領域のうちの１または複数において見つけられる可能性が高い。

【0091】

図９の方法５００の実施形態において、コントローラ１４０（図５に示される）は、５３０において複数の焦点測定値を計算する。５３０において、図７を参照して上述された態様で複数の焦点測定値が計算され得る。図７に戻って参照すると、例えば、５３０において複数の計算を実行するとき、コントローラ１４０は、５３１および５３２において、５つの画像合焦窓のそれぞれに対して窓評価値を計算し、それぞれの重み付けを適用する。次に、複数の窓評価値の合計値を提供すべく、５３４において、コントローラ１４０は、５つの画像合焦窓に対する重み付けされた窓評価値を合計し得る。５３５において、レンズ位置に対する焦点測定値を提供すべく、複数の窓評価値の合計値は、５つの画像合焦窓の全面積で除算され得る。

【0092】

方法５００の好適な実施形態において、画像フレームは１６の行および１６の列（１６×１６）に分割されて、それぞれが一様な面積を有する２５６の副区域を形成する。中央に配置された画像合焦窓は、それら２５６の副区域のうちの４つを取り、他の４つの画像合焦窓のうちのどれもが１つの副区域を取る。例えば、典型的な４０９６×２０４８（４０９６×２０４８）画素の画像フレームにおいて、中央の画像合焦窓は、好ましくは５１２×２５６（５１２×２５６）画素を有するように選択される。他の４つの画像合焦窓のどれもが、２５６×１２８（２５６×１２８）画素を有するように選択される。

【0093】

図４を参照して説明されたように、複数の好適な実施形態の手法による結果的に得られる焦点曲線は、一般的な多領域選択手法により得られる焦点曲線よりはるかに鋭い。加えて、本手法は複数の選択された画像合焦窓に対してだけ計算が行われるので、計算量が制御され、かつ限定され得て、そのことが、それらの実施形態を複数のビデオ用途に対して適用可能にする。

【0094】

本開示の別の態様は、図１０に示されるように、カメラ１００（図５に示される）を製造するための方法８００である。方法８００の第１の段階は、８１０において、複数のレンズ１１０（図５に示される）のそれぞれに対してカメラ１００に固有の統計データを収集することである。当該統計データは、主撮像領域が画像フレームの各領域に含まれる確率、および／または、特定の領域の全面積に対する主撮像領域の比率を含む。次に、８２０において、複数の画像合焦窓を選択するための１または複数組のルールは、収集された統計データから集約され、かつ導出される。加えて、８２０において、各組の画像合焦窓内の複数の画像合焦窓のそれぞれに関連付けられる複数の重み付けはまた、同一の統計データに基づいて計算される。

【0095】

図１０の８３０において、複数の導出された選択ルールおよび複数の計算された重み付けはカメラ１００（図５に示される）にロードされる。次に、８４０において、合焦動作を実行するとき複数の画像合焦窓を選択すべく、コントローラ１４０によってカメラ１００は複数のロードされた選択ルールを使用することができるようにされる。機能ブロック８４０は、コントローラ１４０（図５に示される）が複数のロードされた選択ルールを使用する機能を持たせるべく、必要なハードウェアおよび／またはソフトウェアを追加することを含む。最後に、８５０において、合焦動作を実行するとき複数の焦点測定値を計算すべく、コントローラ１４０によってカメラ１００は複数のロードされた重み付けを使用することができるようにされる。機能ブロック８５０は、合焦動作を実行するときコントローラ１４０（図５に示される）に複数のロードされた重み付けを使用する機能を持たせるべく、必要なハードウェアおよび／またはソフトウェアを追加することを含む。

【0096】

本開示の最後の態様は、図５に示されるように、図６、図７、図８、または図９において示される複数の実施形態のうちのいずれか用いるカメラ１００である。カメラ１００はレンズ１１０と連結することが可能である。カメラ１００のコントローラ１４０は、１または複数組の画像合焦窓選択ルールに対するアクセスを有する。それらのルールは、カメラ１００、およびカメラ１００と連結されることが可能な各レンズ１１０に固有の統計データから集約され、かつ／または導出される。コントローラ１４０は、写真の焦点を合わせるとき一組の画像合焦窓を選択する際、１または複数組の画像合焦窓選択ルールを使用し得る。好適な実施形態において、コントローラ１４０はまた、各レンズ位置に対して焦点測定値を計算する際、統計データに基づいて計算された一組または複数組の重み付けに対するアクセスを有する。各レンズ位置は、複数の異なるモータ位置から選択される１つのモータ位置に対応する。別の好適な実施形態においては、コントローラ１４０は、全ての計算された焦点測定値の最大焦点測定値に対応する１つのモータ位置を選択し得る。

【0097】

例示の目的だけのためにシステムおよび方法がカメラを参照して説明されてきたが、複数の上記実施形態は、レンズによって自動画像合焦可能ないかなる従来型の、または非従来型の撮像装置にも適用され得る。レンズは光学レンズまたは電子レンズの何れかであり得る。典型的な複数の撮像装置は、複数のレンズに連結され得る複数のカメラと、複数の自動合焦機能を備える複数のビデオ記録装置とを含む。しかしながら、本開示の複数の実施形態はそれら特定の用途に限定されない。

【0098】

説明された実施形態は様々な変更形態および代替形態を生じやすく、それらの具体例が図面において例示を目的として示され、本明細書において詳細に記載される。しかしながら、説明された実施形態は開示された特定の形態または方法に限定されるものではなく、反対に、本開示は全ての変更形態、均等物、代替形態を網羅することが理解されるべきである。
［項目１］
レンズを備えるカメラで自動合焦するための方法であって、
複数のレンズ位置の各レンズ位置に対して焦点測定値を計算する段階と、
最適なレンズ位置を選択すべく、上記複数のレンズ位置の複数の上記計算された焦点測定値を比較する段階と、を備え、
被写体が合焦されるかどうかを示すために用いられる複数の上記焦点測定値は、一組の画像合焦窓内の複数の画像合焦窓に対する複数の窓評価値のそれぞれ、およびそれぞれの重み付けに基づいて計算される
方法。
［項目２］
上記一組の画像合焦窓を選択する段階をさらに備える
項目１に記載の方法。
［項目３］
上記一組の画像合焦窓を選択する上記段階は、
１または複数組の画像合焦窓選択ルールに基づいて上記一組の画像合焦窓を選択する段階を備え、
上記１または複数組の画像合焦窓選択ルールは、上記カメラおよび上記レンズに固有の統計データから導出される複数の内蔵ルールである
項目２に記載の方法。
［項目４］
上記複数の画像合焦窓のそれぞれに対する上記それぞれの重み付けは、上記統計データに基づいて計算される
項目３に記載の方法。
［項目５］
焦点測定値を計算する上記段階は、
上記一組の画像合焦窓内の上記複数の画像合焦窓のそれぞれに対して、重み付けされた窓評価値を計算する段階と、
複数の窓評価値の合計値を提供すべく、複数の上記計算された重み付けされた窓評価値を合計する段階と、をさらに備える
項目１から４の何れか１項に記載の方法。
［項目６］
上記一組の画像合焦窓の全面積で上記複数の窓評価値の合計値を除算する段階をさらに備える
項目５に記載の方法。
［項目７］
上記一組の画像合焦窓を選択する上記段階は
画像フレームの中央に配置される領域と、上記画像フレームの２本の水平方向の三等分線および２本の垂直方向の三等分線の交点を中心とする４つの周囲領域とから成る５つの画像合焦窓を選択する段階をさらに備える
項目２に記載の方法。
［項目８］
上記中央の領域の面積は複数の上記周囲領域のいずれの面積よりも大きい
項目７に記載の方法。
［項目９］
上記中央の領域の上記面積は、複数の上記周囲領域の任意の領域の上記面積の４倍である
項目８に記載の方法。
［項目１０］
焦点測定値を計算する上記段階は、
上記５つの画像合焦窓のそれぞれに対して重み付けされた窓評価値を計算する段階と、
複数の窓評価値の合計値を提供すべく、複数の上記計算された重み付けされた窓評価値を合計する段階と、
上記５つの画像合焦窓の全面積で上記複数の窓評価値の合計値を除算する段階と、をさらに備える
項目７から９の何れか１項に記載の方法。
［項目１１］
上記画像フレームが１６の行および１６の列に分割されて、それぞれが一様な面積を有する２５６の副区域を形成するとき、上記中央の領域は４つの副区域を取り、
他の上記４つの周囲領域のうちの任意の領域は、上記画像フレームの上記２５６の副区域のうちの１つの副区域を取る
項目７から１０の何れか１項に記載の方法。
［項目１２］
上記レンズのモータを動作させることによって上記レンズ位置を変更する段階をさらに備える
項目１から１１の何れか１項に記載の方法。
［項目１３］
モータ位置を、最大焦点測定値に対応する上記レンズ位置で決定する段階をさらに備える
項目１から１２の何れか１項に記載の方法。
［項目１４］
レンズと、
上記レンズの複数の合焦動作を実行するために配置されるコントローラと、を備え、
上記コントローラは、上記レンズを制御することによって、項目１から１３の何れか１項に記載の方法を実行することが可能な
撮像装置。
［項目１５］
自動合焦の可能なカメラを製造するための方法であって、
複数の画像合焦窓選択ルールと、上記複数の画像合焦窓選択ルールによって規定される複数の画像合焦窓に対するそれぞれの重み付けとを上記カメラにロードする段階と、
各レンズ位置において一組の画像合焦窓を選択する際、上記カメラが上記複数の画像合焦窓選択ルールを使用できるようにする段階と、
上記カメラで写真を撮影するとき複数の焦点測定値を計算すべく、上記カメラが上記それぞれの重み付けを使用できるようにする段階と、を備える
方法。
［項目１６］
上記カメラと、上記カメラと連結され得る各レンズとについての統計データを収集する段階と、上記統計データから上記複数の画像合焦窓選択ルールを導出する段階と、をさらに備える
項目１５に記載の方法。
［項目１７］
上記統計データに基づいて上記複数の画像合焦窓選択ルールによって規定される複数の画像合焦窓に対して上記それぞれの重み付けを計算する段階をさらに備える
項目１６に記載の方法。
［項目１８］
複数の上記レンズ位置のそれぞれは、上記レンズに関連付けられるモータの複数の異なる位置のうちの１つのモータ位置に対応する
項目１５から１７の何れか１項に記載の方法。
［項目１９］
上記写真のための選択されたレンズ位置として、上記カメラが、最大焦点測定値に対応するモータ位置を選択できるようにする段階をさらに備える
項目１８に記載の方法。
［項目２０］
自動合焦の可能な撮像装置であって、
上記撮像装置と複数のレンズのそれぞれとに固有の統計データから導出される１または複数組の画像合焦窓選択ルールに対するアクセスを有するコントローラを備え、
上記コントローラは、上記１または複数組の画像合焦窓選択ルールで規定される各組の画像合焦窓に対応する１または複数組の重み付けに対するアクセスを有し、上記１または複数組の重み付けは上記統計データに基づいて計算され、
上記コントローラは複数の画像合焦窓を選択するために上記１または複数組の画像合焦窓選択ルールを用いることができ、
上記コントローラは、写真を撮影するとき、複数のレンズ位置のそれぞれに対して焦点測定値を計算するために上記１または複数組の重み付けを用いることができる
撮像装置。
［項目２１］
上記複数のレンズ位置の上記それぞれは、上記複数のレンズに関連付けられるモータの複数の異なる位置のうちの１つのモータ位置に対応する
項目２０に記載の撮像装置。
［項目２２］
上記コントローラは、特定の画像フレームに対して、最大焦点測定値に対応するモータ位置を選択する
項目２１に記載の撮像装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】