ホーム > 特許ランキング > Ａｐｐｌｅ Ｉｎｃ．
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023041663
(43)【公開日】2023-03-24
(54)【発明の名称】マルチカメラシステムのためのカメラ切替制御技法
(51)【国際特許分類】
H04N 23/67 20230101AFI20230316BHJP
H04N 23/45 20230101ALI20230316BHJP
G03B 13/36 20210101ALI20230316BHJP
G03B 13/30 20210101ALI20230316BHJP
G02B 7/28 20210101ALI20230316BHJP
【ＦＩ】
H04N5/232 120
H04N5/225 800
G03B13/36
G03B13/30
G02B7/28 Z
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022145616
(22)【出願日】2022-09-13
(31)【優先権主張番号】63/243,611
(32)【優先日】2021-09-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/479,426
(32)【優先日】2021-09-20
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/479,584
(32)【優先日】2021-09-20
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．
【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100210239
【弁理士】
【氏名又は名称】富永 真太郎
(72)【発明者】
【氏名】アビシェク ダンダ
(72)【発明者】
【氏名】パトリック エイ キャロル
(72)【発明者】
【氏名】ヨンジュン リ
(72)【発明者】
【氏名】グレゴリー グヨマルク
(72)【発明者】
【氏名】マーク エヌ ガマディア
【テーマコード（参考）】
2H011
2H151
5C122
【Ｆターム（参考）】
2H011BB03
2H151CE31
2H151DB01
5C122DA09
5C122EA01
5C122EA67
5C122FA18
5C122FD01
5C122FD03
5C122HB01
(57)【要約】
【課題】マルチカメラシステムを使用した対象オブジェクトまでの１つ以上の距離の推定、当該マルチカメラシステムを使用してマルチカメラシステムのためのプライマリカメラの選択、及び／又はカメラのフォーカシングに関する。
【解決手段】本明細書に開示される様々な実施形態は、複数のカメラシステムを動作させる技法を含む。いくつかの実施形態では、プライマリカメラは、複数のカメラのうちの一部又は全部についてのオブジェクト距離推定値、距離誤差情報、及び最小オブジェクト距離を使用して複数のカメラから選択され得る。他の実施形態では、カメラは、デフォーカス情報を使用して、カメラの最小オブジェクト距離よりも近い対象オブジェクトまでのオブジェクト距離推定値を取得するように構成され得る。このオブジェクト距離推定値は、マルチカメラシステムの別のカメラのフォーカシングを支援するために使用され得る。
【選択図】図１Ａ
【解決手段】本明細書に開示される様々な実施形態は、複数のカメラシステムを動作させる技法を含む。いくつかの実施形態では、プライマリカメラは、複数のカメラのうちの一部又は全部についてのオブジェクト距離推定値、距離誤差情報、及び最小オブジェクト距離を使用して複数のカメラから選択され得る。他の実施形態では、カメラは、デフォーカス情報を使用して、カメラの最小オブジェクト距離よりも近い対象オブジェクトまでのオブジェクト距離推定値を取得するように構成され得る。このオブジェクト距離推定値は、マルチカメラシステムの別のカメラのフォーカシングを支援するために使用され得る。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
対象オブジェクトの画像キャプチャ中にプライマリカメラとしてマルチカメラシステムの第１のカメラと第２のカメラであって、前記第１のカメラは第１の最小オブジェクト距離を有し、第２のカメラは第２の最小オブジェクト距離を有する、第１のカメラと第２のカメラとの間で選択する方法であって、
前記第１のカメラを使用して前記対象オブジェクトの第１のオブジェクト距離推定値であって、前記第１のオブジェクト距離推定値は第１の距離誤差情報に関連付けられている、第１のオブジェクト距離推定値を決定することと、
前記第２のカメラを使用して前記対象オブジェクトの第２のオブジェクト距離推定値であって、前記第２のオブジェクト距離は第２の距離誤差情報と関連付けられている、第２のオブジェクト距離推定値を決定することと、
カメラ選択ロジックを使用して、前記第１のオブジェクト距離推定値、前記第２のオブジェクト距離推定値、前記第１の距離誤差情報、前記第２の距離誤差情報、及び前記第２の最小オブジェクト距離を使用して、前記第１のカメラ及び前記第２のカメラのうちの１つを前記プライマリカメラとして選択することと、
を含む、方法。
前記第１のカメラを使用して前記対象オブジェクトの第１のオブジェクト距離推定値であって、前記第１のオブジェクト距離推定値は第１の距離誤差情報に関連付けられている、第１のオブジェクト距離推定値を決定することと、
前記第２のカメラを使用して前記対象オブジェクトの第２のオブジェクト距離推定値であって、前記第２のオブジェクト距離は第２の距離誤差情報と関連付けられている、第２のオブジェクト距離推定値を決定することと、
カメラ選択ロジックを使用して、前記第１のオブジェクト距離推定値、前記第２のオブジェクト距離推定値、前記第１の距離誤差情報、前記第２の距離誤差情報、及び前記第２の最小オブジェクト距離を使用して、前記第１のカメラ及び前記第２のカメラのうちの１つを前記プライマリカメラとして選択することと、
を含む、方法。
【請求項2】
前記マルチカメラシステムは深度センサを含み、前記深度センサを使用して前記対象オブジェクトの第３のオブジェクト距離推定値を決定することを更に含む、請求項１に記載の方法。
【請求項3】
前記第３のオブジェクト距離推定値が第１の閾値距離未満であるときに前記第２のカメラのフォーカス位置を所定の位置に保持することを更に含む、請求項２に記載の方法。
【請求項4】
前記第１のカメラ及び前記第２のカメラのうちの１つを前記プライマリカメラとして選択することは、前記第１の距離誤差情報、前記第２の距離誤差情報、及び前記第２の最小オブジェクト距離を使用して第１の切替閾値距離を設定することを含む、請求項１に記載の方法。
【請求項5】
前記第１のカメラ及び前記第２のカメラのうちの１つを前記プライマリカメラとして選択することは、前記第１のオブジェクト距離推定値又は前記第２のオブジェクト距離推定値のいずれかが前記第１の切替閾値距離未満であるときに前記第１のカメラを前記プライマリカメラとして選択することを含む、請求項４に記載の方法。
【請求項6】
前記第１のカメラ及び前記第２のカメラのうちの１つを前記プライマリカメラとして選択することは、前記第１の切替閾値距離よりも長い第２の切替閾値距離を設定することを含み、前記第１のオブジェクト距離推定値及び前記第２のオブジェクト距離推定値のいずれもが前記第２の切替閾値距離よりも大きいときに前記第２のカメラを前記プライマリカメラとして選択することを更に含む、請求項４に記載の方法。
【請求項7】
前記第２の最小オブジェクト距離は、前記第２のカメラの計算された向きに基づいて動的に変化する、請求項１に記載の方法。
【請求項8】
第１の最小オブジェクト距離及び第１の視野を有する第１のカメラと、第２の最小オブジェクト距離及び第２の視野を有する第２のカメラと、を含むマルチカメラシステムと、
前記第１のカメラ又は前記第２のカメラのいずれかをプライマリカメラとして選択するように構成されたカメラ選択ロジックと、を備え、
前記カメラ選択ロジックは、
前記第１のカメラからの第１のオブジェクト距離インスタンス及び前記第１のオブジェクト距離推定値に関連付けられた第１の距離誤差情報を受信し、
前記第２のカメラからの第２のオブジェクト距離インスタンス及び前記第２のオブジェクト距離推定値に関連付けられた第２の距離誤差情報を受信し、
前記第２の最小オブジェクト距離を受信し、
前記第１のオブジェクト距離推定値、前記第２のオブジェクト距離推定値、前記第１の距離誤差情報、前記第２の距離誤差情報、及び前記第２の最小オブジェクト距離を使用して前記プライマリカメラを選択する、ように更に構成されている、デバイス。
前記第１のカメラ又は前記第２のカメラのいずれかをプライマリカメラとして選択するように構成されたカメラ選択ロジックと、を備え、
前記カメラ選択ロジックは、
前記第１のカメラからの第１のオブジェクト距離インスタンス及び前記第１のオブジェクト距離推定値に関連付けられた第１の距離誤差情報を受信し、
前記第２のカメラからの第２のオブジェクト距離インスタンス及び前記第２のオブジェクト距離推定値に関連付けられた第２の距離誤差情報を受信し、
前記第２の最小オブジェクト距離を受信し、
前記第１のオブジェクト距離推定値、前記第２のオブジェクト距離推定値、前記第１の距離誤差情報、前記第２の距離誤差情報、及び前記第２の最小オブジェクト距離を使用して前記プライマリカメラを選択する、ように更に構成されている、デバイス。
【請求項9】
前記第１の最小オブジェクト距離は、前記第２の最小オブジェクト距離よりも短く、第１の視野は前記第２の視野を完全に包含する、請求項８に記載のデバイス。
【請求項10】
前記マルチカメラシステムは、第３のオブジェクト距離推定値を生成するように構成された深度センサを更に含む、請求項８に記載のデバイス。
【請求項11】
前記マルチカメラシステムは、前記第３のオブジェクト距離推定値が第１の閾値距離未満であるときに、前記第２のカメラのフォーカス位置を所定の位置に保持するように構成されている、請求項１０に記載のデバイス。
【請求項12】
前記プライマリカメラを選択することは、前記第１の距離誤差情報、前記第２の距離誤差情報、及び前記第２の最小オブジェクト距離を使用して第１の切替閾値距離を設定することを含む、請求項８に記載のデバイス。
【請求項13】
前記プライマリカメラを選択することは、前記第１のオブジェクト距離推定値又は前記第２のオブジェクト距離推定値のいずれかが前記第１の切替閾値距離未満であるときに、前記第１のカメラを前記プライマリカメラとして選択することを含む、請求項１２に記載のデバイス。
【請求項14】
前記プライマリカメラを選択することは、前記第１の切替閾値距離よりも長い第２の切替閾値距離を設定することを含み、前記第１のオブジェクト距離推定値及び前記第２のオブジェクト距離推定値のいずれもが前記第２の切替閾値距離よりも大きいときに、前記第２のカメラを前記プライマリカメラとして選択することを更に含む、請求項１２に記載のデバイス。
【請求項15】
対象オブジェクトの画像キャプチャ中に、プライマリカメラとしてマルチカメラシステムの複数のカメラであって、前記複数のカメラのそれぞれは個別の最小オブジェクト距離を有する、複数のカメラの間で選択する方法であって、
前記複数のカメラのうちの少なくとも１つを使用して前記対象オブジェクトの少なくとも１つのオブジェクト距離推定値であって、前記少なくとも１つのオブジェクト距離推定値のそれぞれは個別の距離誤差情報に関連付けられている、少なくとも１つのオブジェクト距離推定値を決定することと、
カメラ選択ロジックを使用して、
前記少なくとも１つのオブジェクト距離推定値、
前記少なくとも１つのオブジェクト距離推定値のそれぞれに関連付けられた前記個別の距離誤差情報、及び
前記複数のカメラの前記それぞれの最小オブジェクト距離のうちの少なくとも１つ、を使用して、前記複数のカメラから前記プライマリカメラを選択すること、を含む、方法。
前記複数のカメラのうちの少なくとも１つを使用して前記対象オブジェクトの少なくとも１つのオブジェクト距離推定値であって、前記少なくとも１つのオブジェクト距離推定値のそれぞれは個別の距離誤差情報に関連付けられている、少なくとも１つのオブジェクト距離推定値を決定することと、
カメラ選択ロジックを使用して、
前記少なくとも１つのオブジェクト距離推定値、
前記少なくとも１つのオブジェクト距離推定値のそれぞれに関連付けられた前記個別の距離誤差情報、及び
前記複数のカメラの前記それぞれの最小オブジェクト距離のうちの少なくとも１つ、を使用して、前記複数のカメラから前記プライマリカメラを選択すること、を含む、方法。
【請求項16】
前記それぞれの最小オブジェクト距離のうちの前記少なくとも１つの第１の最小オブジェクト距離を更新し、前記更新された第１の最小オブジェクト距離を使用して前記プライマリカメラを選択することを更に含む、請求項１５に記載の方法。
【請求項17】
前記少なくとも１つのオブジェクト距離推定値のそれぞれに関連付けられた前記個別の距離努力情報の第１の距離誤差情報を更新し、前記更新された第１の距離誤差情報を使用して前記プライマリカメラを選択することを更に含む、請求項１５に記載の方法。
【請求項18】
前記マルチカメラシステムは深度センサを更に含み、前記カメラ選択ロジックを使用して前記プライマリカメラを選択することは、前記深度センサからの第１のオブジェクト距離推定値を使用して前記プライマリカメラを選択することを更に含む、請求項１５に記載の方法。
【請求項19】
前記第１のオブジェクト距離推定値が第１の閾値距離未満であるときに、前記複数のカメラのうちの第１のカメラのフォーカス位置を所定の位置に保持することを更に含む、請求項１８に記載の方法。
【請求項20】
前記カメラ選択ロジックを使用して、前記複数のカメラのそれぞれについて、フォーカス位置を設定することを更に含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年９月１３日に出願された米国仮特許出願第６３／２４３，６１１号の米国特許法第３５条１１９（ｅ）項の下での利益を主張するものであり、その内容は、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年９月１３日に出願された米国仮特許出願第６３／２４３，６１１号の米国特許法第３５条１１９（ｅ）項の下での利益を主張するものであり、その内容は、その全体が参照により本明細書に組み込まれる。
【0002】
記載する実施形態は概して、マルチカメラシステムを使用した対象オブジェクトまでの１つ以上の距離の推定、当該マルチカメラシステムを使用してマルチカメラシステムのためのプライマリカメラの選択、及び／又はカメラのフォーカシングに関する。
【背景技術】
【0003】
カメラは、スマートフォン、タブレット、及びコンピュータなどの家庭用電子デバイスの重要な特徴であり続けている。これらの消費者用電子デバイスは、従来、単一のカメラか、又は反対方向に向いた２つのカメラのいずれかを有していたが、現在、多くのデバイスは、少なくとも部分的に重複する視野を有する２つ以上のカメラを持つ複数のカメラシステムを有している。これらの複数のカメラシステムにおける様々なカメラを、様々なシナリオで有利に利用することができ、複数の視野を有することにより、デバイス全体は、大型かつ複雑なズームレンズを持つカメラを必要とせずに異なるレベルの光学ズームを提供することが可能になり得る。異なる画像モードにわたって選択的に使用され得る複数のカメラでは、適切なカメラ又は複数のカメラが様々な場合において使用される（及び効果的に使用される）ことを確保するのは困難な場合がある。
【発明の概要】
【0004】
本開示は、マルチカメラシステムに関する。いくつかの変形例では、実施形態は、マルチカメラシステム及びマルチカメラシステムからプライマリカメラを選択する関連方法を含む。具体的には、いくつかの実施形態は、対象オブジェクトの画像キャプチャ中にプライマリカメラとしてマルチカメラシステムの第１のカメラと第２のカメラとの間で選択する方法を含み、第１のカメラは第１の最小オブジェクト距離を有し、第２のカメラは第２の最小オブジェクト距離を有する。これらの方法は、第１のカメラを使用して対象オブジェクトの第１のオブジェクト距離推定値であって、第１のオブジェクト距離推定値は、第１の距離誤差情報と関連付けられている、第１のオブジェクト距離推定値を決定することと、第２のカメラを使用して対象オブジェクトの第２のオブジェクト距離推定値であって、第２のオブジェクト距離が第２の距離誤差情報と関連付けられている、第２のオブジェクト距離推定値を決定することと、第１のオブジェクト距離推定値、第２のオブジェクト距離推定値、第１の距離誤差情報、第２の距離誤差情報、及び第２の最小オブジェクト距離を使用して、プライマリカメラとして、第１のカメラ及び第２のカメラのうちの１つを、カメラ選択ロジックを使用して、選択すること、を含むことができる。
【0005】
これらの変形例のいくつかでは、マルチカメラシステムは、深度センサを含むことができ、方法は、深度センサを使用して対象オブジェクトの第３のオブジェクト距離推定値を決定することを更に含むことができる。これらの実施形態のいくつかでは、方法は、第３のオブジェクト距離推定値が第１の閾値距離未満であるときに第２のカメラのフォーカス位置を所定の位置に保持することを更に含み得る。他の実施形態では、プライマリカメラとして第１のカメラ及び第２のカメラのうちの１つを選択することは、第１の距離誤差情報、第２の距離誤差情報、及び第２の最小オブジェクト距離を使用して第１の切替閾値距離を設定することを含む。これらの変形例のいくつかでは、第１のカメラ及び第２のカメラのうちの１つをプライマリカメラとして選択することは、第１のオブジェクト距離推定値又は第２のオブジェクト距離推定値のいずれかが第１の切替閾値距離未満であるときに、第１のカメラをプライマリカメラとして選択することを含む。これらの変形例のその他では、プライマリカメラとして第１のカメラ及び第２のカメラのうちの１つを選択することは、第１の切替閾値距離よりも長い第２の切替閾値距離を設定することを含み、方法は、第１のオブジェクト距離推定値及び第２のオブジェクト距離推定値のいずれもが第２の切替閾値距離よりも大きいときに、第２のカメラをプライマリカメラとして選択することを更に含む。いくつかの変形例では、第２の最小オブジェクト距離は、第２のカメラの計算された向きに基づいて動的に変化する。
【0006】
他の実施形態は、マルチカメラシステムを備えるデバイスを含み、マルチカメラシステムは、第１の最小オブジェクト距離及び第１の視野を有する第１のカメラと、第２の最小オブジェクト距離及び第２の視野を有する第２のカメラと、第１のカメラ又は第２のカメラのいずれかをプライマリカメラとして選択するように構成されたカメラ選択ロジックと、を備える。カメラは、第１のカメラからの第１のオブジェクト距離インスタンスと、第１のオブジェクト距離推定値に関連付けられた第１の距離誤差情報を受信し、第２のカメラからの第２のオブジェクト距離インスタンスと、第２のオブジェクト距離推定値に関連付けられた第２の距離誤差情報を受信し、第２の最小オブジェクト距離を受信し、第１のオブジェクト距離推定値、第２のオブジェクト距離推定値、第１の距離誤差情報、第２の距離誤差情報、及び第２の最小オブジェクト距離を使用して、プライマリカメラを選択するように更に構成されている。
【0007】
これらの変形例のいくつかでは、第１の最小オブジェクト距離は、第２の最小オブジェクト距離よりも短く、第１の視野は第２の視野を完全に包含する。追加的又は代替的に、マルチカメラシステムは、第３のオブジェクト距離推定値を生成するように構成された深度センサを更に備える。これらの変形例のいくつかでは、マルチカメラシステムは、第３のオブジェクト距離推定値が第１の閾値距離未満であるときに、第２のカメラのフォーカス位置を所定の位置に保持するように構成されている。他の変形例では、プライマリカメラを選択することは、第１の距離誤差情報、第２の距離誤差情報、及び第２の最小オブジェクト距離を使用して、第１の切替閾値距離を設定することを含む。これらの変形例のいくつかでは、プライマリカメラを選択することは、第１のオブジェクト距離推定値又は第２のオブジェクト距離推定値のいずれかが第１の切替閾値距離未満であるときに、第１のカメラをプライマリカメラとして選択することを含む。これらの変形例では、プライマリカメラを選択することは、第１の切替閾値距離よりも長い第２の切替閾値距離を設定することを含み、第１のオブジェクト距離推定値及び第２のオブジェクト距離推定値のいずれもが第２の切替閾値距離よりも大きいときに、第２のカメラをプライマリカメラとして選択することを更に含む。
【0008】
別の実施形態では、対象オブジェクトの画像キャプチャ中にプライマリカメラとしてマルチカメラシステムの複数のカメラであって、複数のカメラのそれぞれは個別の最小オブジェクト距離を有する、複数のカメラの間で選択する方法は、複数のカメラのうちの少なくとも１つを使用して対象オブジェクトの少なくとも１つのオブジェクト距離推定値であって、少なくとも１つのオブジェクト距離推定値のそれぞれは、個別の距離誤差情報と関連付けられている、少なくとも１つのオブジェクト距離推定値を決定することと、カメラ選択ロジックを使用して、複数のカメラからプライマリカメラを選択することと、を含み得る。プライマリカメラを選択することで、カメラロジックは、少なくとも１つのオブジェクト距離推定値、少なくとも１つのオブジェクト距離推定値の各々に関連付けられた個別の距離誤差情報、及び複数のカメラのそれぞれの最小オブジェクト距離のうちの少なくとも１つを使用し得る。いくつかの例では、方法は、それぞれの最小オブジェクト距離のうちの少なくとも１つの第１の最小オブジェクト距離を更新し、更新された第１の最小オブジェクト距離を使用してプライマリカメラを選択することを含み得る。他の例では、方法は、少なくとも１つのオブジェクト距離推定値のそれぞれに関連付けられた個別の距離努力情報の第１の距離誤差情報を更新し、更新された第１の距離誤差情報を使用してプライマリカメラを選択することを含み得る。
【0009】
いくつかの例では、マルチカメラシステムは、深度センサを更に含み、カメラ選択ロジックを使用してプライマリカメラを選択することは、深度センサからの第１のオブジェクト距離推定値を使用してプライマリカメラを選択することを更に含む。これらの変形例のいくつかでは、方法は、第１のオブジェクト距離推定値が第１の閾値距離未満であるときに、複数のカメラのうち第１のカメラのフォーカス位置を所定の位置に保持することを更に含み得る。いくつかの場合では、方法は、カメラ選択ロジックを使用して、複数のカメラのうちの１つ以上（いくつかの実施形態では、複数のカメラのそれぞれ）に対して、フォーカス位置を設定することを含み得る。
【0010】
いくつかの変形例では、実施形態は、マルチカメラシステム及びマルチカメラシステムのカメラをフォーカスさせる関連する方法を含む。いくつかの実施形態では、デバイスは、オートフォーカス機能を備えて構成されており、第１の最小オブジェクト距離を有する第１のカメラと、オートフォーカス機能を備えて構成されており、第２の最小オブジェクト距離を有する第２のカメラと、を含む、マルチカメラシステムを備え得る。デバイスは、第２のカメラに、所定のフォーカス位置での対象オブジェクトのデフォーカス情報を測定させ、デフォーカス情報を使用して外挿されたフォーカス位置を決定させ、外挿されたフォーカス位置に少なくとも部分的に基づいて第１のカメラを対象オブジェクトにフォーカスさせるように構成されたフォーカス制御ロジックを更に備える。いくつかの変形例では、所定のフォーカス位置は、第２のカメラの最小オブジェクト距離に対応する。他の変形例では、フォーカス制御ロジックは、１つ以上の所定のロック基準が満たされたときに、第１のカメラを所定のフォーカス位置にロックさせる。これらの変形例のいくつかでは、マルチカメラシステムは、深度センサを更に備え、１つ以上の所定の基準は、対象オブジェクトのオブジェクト距離推定値が閾値ロック距離未満であることを含む。
【0011】
いくつかの変形例では、第１の最小オブジェクト距離は第２の最小オブジェクト距離よりも短い。デバイスは、第１のカメラ又は第２のカメラのいずれかをプライマリカメラとして選択するように構成されたカメラ選択ロジックを更に含み得、フォーカス制御ロジックは、第１のカメラがプライマリカメラとして選択されたときに、第２のカメラに、所定のフォーカス位置における対象オブジェクトのデフォーカス情報を測定させるように更に構成されている。他の変形例では、外挿されたフォーカス位置に少なくとも部分的に基づいて第１のカメラを対象オブジェクトにフォーカスさせることは、外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たすときに、外挿されたフォーカス位置間の所定の関係に基づいて第１のカメラの対象フォーカス位置を設定することを含む。
【0012】
本明細書に記載の他の実施形態は、マルチカメラシステムの第２のカメラを使用してマルチカメラシステムの第１のカメラをフォーカスさせる方法であって、所定のフォーカス位置での第１のカメラを使用して対象オブジェクトのデフォーカス情報を測定することと、デフォーカス情報を使用して外挿されたフォーカス位置を決定することと、外挿されたフォーカス位置に少なくとも部分的に基づいて第１のカメラを対象オブジェクトにフォーカスさせることを含む方法を含む。いくつかの例では、所定のフォーカス位置は、第２のカメラの最小オブジェクト距離に対応する。他の場合には、方法は、１つ以上の所定のロック基準が満たされたときに、第１のカメラを所定のフォーカス位置にロックすることを含み得る。これらの変形例のいくつかでは、方法は、マルチカメラシステムの深度センサを使用して対象オブジェクトのオブジェクト距離推定値を計算することと、オブジェクト距離推定値を閾値ロック距離と比較することとを含み得、所定のロック基準は、オブジェクト距離推定値が閾値ロック距離未満であるときに満たされる。
【0013】
いくつかの変形例では、第１のカメラを使用して所定のフォーカス位置での対象オブジェクトのデフォーカス情報を測定することは、第１のカメラがプライマリカメラとして選択されている間にデフォーカス情報を測定することを含む。他の変形例では、外挿されたフォーカス位置に少なくとも部分的に基づいて第１のカメラを対象オブジェクトにフォーカスさせることは、外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たすときに、外挿されたフォーカス位置間の所定の関係に基づいて第１のカメラの対象フォーカス位置を設定することを含む。これらの変形例のいくつかでは、外挿されたフォーカス位置に少なくとも部分的に基づいて第１のカメラを対象オブジェクトにフォーカスさせることは、外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たさないときに、外挿されたフォーカス位置に基づいて部分スキャンを実行することを含む。
【0014】
本明細書で論じられる他の実施形態は、第１のカメラ及び第２のカメラを備えるマルチカメラシステムを使用して、対象オブジェクトまでのオブジェクト距離推定値を計算する方法を含む。方法は、第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することと、第２のカメラが所定のフォーカス位置に維持されているとの判定に応答して、第２のカメラが所定のフォーカス位置に維持されている間の対象オブジェクトのデフォーカス情報を測定することと、デフォーカス情報及び所定のフォーカス位置を使用してオブジェクト距離推定値を計算することと、を含む。これらの方法のいくつかでは、第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することは、第２のカメラが所定のフォーカス位置にロックされていると判定することを含む。他の変形例では、所定のフォーカス位置は、第２のカメラのマクロフォーカス位置であり、第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することは、対象オブジェクトが第２のカメラの最小オブジェクト距離よりも近いと判定することを含む。
【0015】
いくつかの変形例では、方法は、オブジェクト距離推定値を使用して、第２のカメラの外挿されたフォーカス位置を計算することを更に含み得る。これらの変形例のいくつかでは、方法は、第２のカメラの外挿されたフォーカス位置に少なくとも部分的に基づいて、第１のカメラをフォーカスさせることを含み得る。これらの変形例のいくつかでは、外挿されたフォーカス位置に少なくとも部分的に基づいて第１のカメラをフォーカスさせることは、第２のカメラのフォーカス位置と第１のカメラのフォーカス位置との所定の関係に基づいて、第１のカメラの対象フォーカス位置を選択することを含む。
【0016】
上記の例示的な態様及び実施形態に加えて、更なる態様及び実施形態が、図面を参照し、以下の説明を検討することによって明らかになるであろう。
【0017】
同様の参照番号が同様の構造的要素を指定する添付図面と併せて、以下の詳細な説明によって開示が容易に理解されよう。
【図面の簡単な説明】
【0018】
【図1A】マルチカメラシステムを備えるデバイスの背面図を示す。
【図2】本明細書に記載のマルチカメラシステムと共に使用され得るカメラの例示的な例の断面側面図を示す。
【図3】プライマリカメラとして第１のカメラと第２のカメラとの間で選択するために使用され得るカメラ選択ロジックの変形例を示す。
【図4】プライマリカメラを選択する方法の実施形態を表すフローチャートを示す。
【図5】マルチカメラシステムの第２のカメラからの情報に少なくとも部分的に基づいて、マルチカメラシステムの第１のカメラのフォーカス位置を設定するために使用され得るフォーカス制御ロジックの変形例を示す。
【図6】デフォーカス情報を使用して対象オブジェクトまでの距離を計算し、第２のカメラからの情報に少なくとも部分的に基づいて対象オブジェクトに第１のカメラをフォーカスさせる方法の実施形態を表すフローチャートを示す。
【0019】
種々の特徴及び要素（並びにそれらの集合及び群）の割合及び寸法（相対的であれ絶対的であれ）、並びにそれらの間に提示される境界、分離点及び位置関係は、単に本明細書に述べられる種々の実施形態の理解を容易にするために添付の図に提供されるものであり、したがって必ずしも縮尺通りに提示又は図示されていない場合があり、図示される実施形態についての任意の選好又は要件を、それを参照して述べられる実施形態を除外して示す意図はないことを理解されたい。
【0020】
方向を示す用語、例えば、「上部（top）」、「底部（bottom）」、「上側（upper）」、「下側（lower）」、「前部（front）」、「後部（back）」、「～の上方（over）」、「～の下方（under）」、「～の上方（above）」、「～の下方（below）」、「左（left）」、「右（right）」、「垂直（vertical）」、「水平（horizontal）」などは、以下に記載するいくつかの図面における構成要素のいくつかの向きを参照して使用され、限定することを意図するものではない。種々の実施形態における構成要素は、多くの異なる向きに配置され得るので、方向を示す用語は、例示を目的として使用されているに過ぎず、いかなる方法でも制限するものではない。方向を示す用語は、広く解釈されることを意図しており、そのため、異なる様式で配置される構成要素を除外すると解釈すべきではない。また、本明細書で使用するとき、一連の項目に先行する「少なくとも１つ」というフレーズは、項目のいずれかを分離する「及び」又は「又は」という用語と共に、リストの各要素ではなく、全体としてリストを修飾する。「少なくとも１つ」というフレーズは、リスト化された各項目の少なくとも１つの選択を必要とはせず、むしろ、そのフレーズは、項目のうちのいずれかを最少で１つ、及び／又は項目の組み合わせのうちのいずれかを最少で１つ、及び／又は項目のそれぞれを最少で１つ、含む意味を可能にする。例として、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、又はＣのうちの少なくとも１つ」というフレーズは、それぞれが、Ａのみ、Ｂのみ、又はＣのみ、Ａ、Ｂ、及びＣの任意の組み合わせ、並びに／又は、Ａ、Ｂ、及びＣのそれぞれを１つ以上、を指す。同様に、本明細書で提供される結合リスト又は分離リストのために提示される要素の順序は、本開示を提供されるその順序のみに限定するものとして解釈されるべきではないことを理解することができる。
【発明を実施するための形態】
【0021】
ここで、添付図面に図示される代表的な実施形態が詳細に説明される。以下の説明は、これらの実施形態を１つの好ましい実施形態に限定することを意図するものではないことを理解されたい。反対に、以下の説明は、添付の特許請求の範囲により定義される記載された実施形態の趣旨及び範囲に含むことができるような、代替形態、修正形態及び均等物を包含することを意図している。
【0022】
以下の開示は、複数のカメラ（「マルチカメラ」）システム及びこれらのマルチカメラシステムを動作させる方法に関する。いくつかの実施形態では、マルチカメラシステムは、マルチカメラシステムの複数のカメラからプライマリカメラを選択するように構成することができ、マルチカメラシステムは、第２のカメラの最小オブジェクト距離又はその近くでプライマリカメラとして第１のカメラと第２のカメラとの間でプライマリを切り替えるように構成されている。他の実施形態では、マルチカメラシステムは、対象オブジェクトがカメラの最小オブジェクト距離よりも近くに配置される状況において、マルチカメラシステムのカメラを使用して対象オブジェクトまでのオブジェクト距離推定値を計算することができる。これらの実施形態のいくつかでは、このオブジェクト距離推定を使用して、マルチカメラシステムの異なるカメラのフォーカス位置を設定するのを助けることができる。好ましくは、カメラは、対象オブジェクトに関連付けられたデフォーカス情報を使用して、外挿されたフォーカス位置を計算することができ、それは、対象オブジェクトに別のカメラをフォーカスさせる際に使用され得る。以下に、これらの実施形態及び他の実施形態について、図１Ａ～図６を参照して論じる。しかしながら、当業者であれば、これらの図に関して本明細書に与えられた発明を実施するための形態は説明を目的とするものに過ぎず、限定するものとして解釈されるべきではないことを容易に理解するであろう。
【0023】
図１Ａは、本明細書に記載の様々な実施形態と共に使用するのに適したマルチカメラシステム１０２を備えるデバイス１００の背面図を示す。一般に、マルチカメラシステム１０２は第１のカメラ１０４と第２のカメラ１０６を含む。マルチカメラシステム１０２は任意選択的に、１つ以上の追加のカメラ（例えば、図１Ａに示す第３のカメラ１０８）及び／又は１つ以上の深度センサ（例えば、図１Ａに示す深度センサ１１０）を含み得る。本出願の目的のために、少なくとも第１のカメラ１０４及び第２のカメラ１０６は、以下でより詳細に説明するように、オートフォーカス機能を有するように構成されている。
【0024】
いくつかの実施形態では、デバイス１００は、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル多機能電子デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチセンシティブ面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップコンピュータ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチセンシティブ面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有することができるデスクトップコンピュータであることも理解されたい。いくつかの実施形態では、電子デバイスは、表示生成構成要素と通信している（例えば、有線通信を介して、無線通信を介して）コンピュータシステムである。表示生成構成要素は、ＣＲＴディスプレイを介した表示、ＬＥＤディスプレイを介した表示、又は画像投影を介した表示などの視覚的な出力を提供するように構成されている。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムと一体化される。いくつかの実施形態では、表示生成構成要素は、コンピュータシステムとは別個である。本明細書で使用するとき、コンテンツを「表示すること」は、コンテンツを視覚的に生成するために、有線又は無線接続で、データ（例えば、画像データ又はビデオデータ）を一体型又は外部の表示生成構成要素に送信することによって、コンテンツを表示させることを含む。
【0025】
図１Ｂは、デバイス１００の例示的な構成要素を示す。いくつかの実施形態では、デバイス１００は、Ｉ／Ｏセクション１３４を１つ以上のコンピュータプロセッサ１３６及びメモリ１３８に動作可能に結合するバス１２６を有する。Ｉ／Ｏセクション１３４は、ディスプレイ１２８に接続することができ、ディスプレイ１２８は、タッチ感知式構成要素１３０と、任意選択的に強度センサ１３２（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション１３４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（near field communication、ＮＦＣ）、セルラー、及び／又は他の無線通信技術を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット１４０と接続することができる。デバイス１００は、入力メカニズム１４２及び／又は１４４を含むことができる。入力メカニズム１４２は、任意選択的に、例えば、回転可能入力デバイス又は押下可能かつ回転可能入力デバイスである。いくつかの実施例では、入力メカニズム１４８は、任意選択的にボタンである。デバイス１００は、任意選択的に、ＧＰＳセンサ１４６、加速度計１４８、方向センサ１５０（例えば、コンパス）、ジャイロスコープ１５２、動きセンサ１５４、及び／又はそれらの組み合わせなどの様々なセンサを含み、それらは全て、Ｉ／Ｏセクション１３４に動作可能に接続することができる。
【0026】
デバイス１００のメモリ１３８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的なコンピュータ可読記憶媒体を含むことができ、コンピュータ実行可能命令は、例えば、１つ以上のコンピュータプロセッサ１３６によって実行されると、コンピュータプロセッサに、本明細書に記載される技法（カメラ選択ロジック、フォーカス制御ロジック、及び以下で詳細に論じるそれに関連付けられた様々なコントローラ及びモジュールによって実行されるものなど）を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又は命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気記憶装置、光学記憶装置、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの永続性ソリッドステートメモリなどが挙げられる。
【0027】
プロセッサ１３６は、例えば、本明細書で定義されるような専用ハードウェア、本明細書で定義されるようなコンピューティングデバイス、プロセッサ、マイクロプロセッサ、プログラマブルロジックアレイ（programmable logic array、ＰＬＡ）、プログラマブルアレイロジック（programmable array logic、ＰＡＬ）、汎用アレイロジック（generic array logic、ＧＡＬ）、複合プログラマブルロジックデバイス（complex programmable logic device、ＣＰＬＤ）、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、又はデバイス１００のオペレーティングシステム及びアプリケーションを実行するように、並びに本明細書に記載される画像をキャプチャすることを容易にするように構成可能な任意の他のプログラマブルロジックデバイス（programmable logic device、ＰＬＤ）を含むことができる。デバイス１００は、図１Ｂの構成要素及び構成に限定されず、他の又は追加の構成要素を複数の構成で含むことができる。
【0028】
図１Ａに戻ると、マルチカメラシステム１０２内のカメラは、互いに少なくとも部分的に重なる視野を有する。言い換えれば、デバイス１００は、追加のカメラ（単数又は複数）の視野（単数又は複数）がマルチカメラシステム１０２内の少なくとも１つのカメラの視野と少なくとも部分的に重複重ならない場合、マルチカメラシステム１０２の一部と見なされない追加のカメラ（単数又は複数）（図示せず）を含むことができる。例えば、デバイス１００は、第１のカメラ１０４及び第２のカメラ１０６（並びにマルチカメラシステム１０２の任意の他のカメラ）とは反対方向を向いている、したがって、マルチカメラシステム１０２の一部と見なされない前面カメラ（図示せず）を備えることができる。
【0029】
同様に、深度センサ１１０は、深度センサ１１０がマルチカメラシステム１０２のカメラのうちの１つ以上のカメラの視野内の１つ以上の点で深度情報を取得することができるようにデバイス１００内に配置及び構成されている場合、マルチカメラシステム１０２の一部と見なすことができる。デバイス１００は、１つ以上の深度センサ（例えば、マルチカメラシステム１０２のカメラの反対方向に向く、したがってマルチカメラシステム１０２の一部とは見なされないデバイスの前面上の深度センサ）を備えることができる。デバイスは、２つ以上のマルチカメラシステム（例えば、デバイスの１つの側上の第１のマルチカメラシステム及びデバイスの第２の側上の第２のマルチカメラシステム）を含むことができ、それらのそれぞれは任意選択的に、個別の深度センサを備えることができ、マルチカメラシステムの一部又は全ては、本明細書で記載の様々な方法及び技法を利用するように構成され得ることを理解されたい。
【0030】
マルチカメラシステム１０２のカメラは、異なる焦点距離を有してもよく、これにより、異なる視野サイズを有するカメラをもたらすことができる。例えば、図１Ｃは、図１Ａに示すマルチカメラシステム１０２のカメラの例示的な視野を示す。第１のカメラ１０４は、第１の視野１１２を有することができ、第２のカメラは、第２の視野１１４を有することができ、第３のカメラ１０８は、第３の視野１１６を有することができる。そこに示すように、第１のカメラ１０４の視野１１２は、第２のカメラ１０６の視野１１４及び第３のカメラ１０８の視野１１６の両方よりも広い（すなわち、より大きい）視野を有することができる。好ましくは、第１の視野１１２は、第２の視野１１４及び第３の視野１１６の両方を完全に包含する（すなわち、その結果、第１の視野１１２の一部でもない第２の視野１１４又は第３の視野１１６の部分がない）が、そうである必要はない。同様に、第２のカメラ１０６の視野１１４は、第３のカメラ１０８の視野１１６を完全に包含することができる。図１Ｃに示す第１の視野１１２、第２の視野１１４、及び第３の視野１１６は、第１のカメラ１０４、第２のカメラ１０６、及び第３のカメラ１０８の各々について固定焦点距離を仮定しているが、場合によっては、マルチカメラシステムのカメラのうちの１つ以上は、なんらかのレベルの光学ズーム能力を有することができる（これにより、ズームレベルに基づいてサイズが変化する視野をもたらすことができる）ことを理解されたい。本出願の目的のために、図１Ｃに示す視野の配置は、各カメラについて最も広い可能な視野であると仮定することができる。
【0031】
一般に、カメラの視野のサイズは、カメラの焦点距離に反比例する。言い換えれば、焦点距離が長いほど、カメラの視野が狭くなる。カメラの視野の選択は、特定のカメラが有用であり得る状況に影響を及ぼし得る。例えば、より長い焦点距離（及びより狭い視野）を有するカメラは、より遠い距離で被写体の倍率を増加させることが望ましい望遠撮影に使用されることが多く、より短い焦点距離（及びより広い視野）を有するカメラは、シーンのより多く（例えば、横方向写真）をキャプチャすることが望ましい場合に使用されることが多い。
【0032】
また、深度センサ１１０についてのカバレッジ領域１１８を図１Ｃに示し、これは、深度センサ１１０がシーンの深度情報を計算することができるシーン内のエリアを包含する。（以下でより詳細に論じられるように）深度センサ１１０の設計に応じて、深度センサ１１０は、カバレッジ領域１１８内の全ての点の深度値を計算しなくてもよいことを理解されたい。代わりに、カバレッジ領域１１８は、深度センサが深度情報を提供することができる最も広い横方向の範囲を反映することを意図している。本出願の目的のために、カバレッジ領域１１８は、長方形で表され、深度センサ１１０は、長方形の各辺上の少なくとも１つの点についての深度情報を提供することができる。
【0033】
上述のように、深度センサ１１０についてのカバレッジ領域１１８は、マルチカメラシステム１０２のカメラの視野の一部又は全てと少なくとも部分的に重なる。いくつかの変形例では、カバレッジ領域１１８に１つ以上のカメラの視野を完全に包含させることが望ましい場合がある。例えば、図１Ｃに示す実施例では、深度センサ１１０のカバレッジ領域１１８は、第２のカメラ１０６の視野１１４（並びに第３のカメラ１０８の視野１１６）を完全に包含することができる一方で、第１のカメラ１０４の視野１１２を完全には包含しない。他の変形例では、カバレッジ領域１１８は、マルチカメラシステム１０２内の全てのカメラの視野を完全に包含することができる（図１Ａに示すデバイス１００の変形例では、第１のカメラ１０４、第２のカメラ１０６、及び第３のカメラ１０８の各々の視野を含む）。更に他の変形例では、カバレッジ領域１１８は、単一のカメラの視野（例えば、図１Ｃに示すマルチカメラシステム１０２の変形例における第３のカメラ１０８の視野１１６）を完全に包含することができる一方で、残りのカメラの視野を完全には包含しない。
【0034】
深度センサ１１０は、深度センサ１１０とシーン内の様々な点との間の距離を計算することができる任意の好適なシステムであってもよい。深度センサは、これらの計算された距離を含む深度マップを生成することができ、その一部又は全部は、以下に記載する様々な技法で使用され得る。深度情報は、任意の好適な方法で計算することができる。１つの非限定的な実施例では、深度センサは、２つの画像が異なる位置から取られるステレオ撮像を利用することができ、２つの画像内の対応するピクセル間の距離（視差）を使用して、深度情報を計算することができる。別の実施例では、深度センサは、構造化光撮像を利用することができ、それによって、既知のパターン（典型的には赤外線照明を使用する）をシーンに向かって投影している間に、深度センサは、シーンを撮像することができ、次いで、パターンがシーンによってどのように歪んでいるかを見て、深度情報を計算することができる。更に別の実施例では、深度センサは、深度センサから放出された光（典型的には赤外線）がシーンから戻るのにかかる時間に基づいて深度を計算する、飛行時間感知を利用することができる。飛行時間型深度センサは、直接的な飛行時間又は間接的な飛行時間を利用してもよく、一度にカバレッジ領域１１８全体を照明することができ、又は（例えば、１つ以上のスポット、ストライプ、又は固定することができる、若しくはカバレッジ領域１１８にわたって走査することができる、のいずれかである他のパターンにより）所与の時間にカバレッジ領域１１８のサブセットのみを照明することができる。
【0035】
実際には、深度センサ１１０は、限定された動作範囲（すなわち、深度センサ１１０が深度情報を提供することが可能であり得るシーン深度の範囲）を有し得る。一般に、深度センサ１１０の動作範囲は、深度センサ１１０が出力することができる最小距離及び最大距離（例えば、深度センサ１１０は、最小距離よりも近い又は最大距離よりも遠いオブジェクトについての距離値を返さない）を含むが、いくつかの場合には、最小距離がゼロであり得ることを理解されたい（すなわち、深度センサ１１０は、デバイス１００及び／又は深度センサ１１０の一部分と接触しているオブジェクトを識別することができる場合がある）。いくつかの場合には、深度センサ１１０は、深度情報に関連付けられた信頼情報を提供するように構成され得、それは深度センサによって提供される深度情報の相対的な精度を表す。深度情報の精度の指標を与えることにより、深度センサ１１０は、動作範囲を拡張して、深度の計算の信頼性が低くなる場合があるより短い距離を含めることができる。これらの場合には、信頼情報により、デバイス内の様々なシステムが、深度情報を受信するときに動作範囲のどの部分を使用するかを選択することが可能になり得る。例えば、デバイス１００は、いくつかのコンテキストでは深度センサ１１０の完全な動作を使用するように構成され得るが、他のコンテキストでは動作範囲のサブセット（例えば、より高い信頼値に関連付けられた動作範囲の一部）しかを使用できない場合がある。
【0036】
いくつかの変形例では、深度情報がシーン内の所与の点の深度値を含まないが、代わりに深度範囲を含む深度センサ１１０の動作範囲の一部分が存在する場合がある。言い換えれば、オブジェクトが特定の距離範囲内に配置される場合、深度センサ１１０は、オブジェクトがその距離範囲内に配置されていることを、その範囲内の特定の深度を指定することなく、示すことができる（例えば、非限定的な例では、深度センサ１１０は、オブジェクトが深度センサ１１０の２０ｃｍ以内にあるシーン内の任意の点に対して「２０ｃｍ未満」を出力するように構成され得る）。
【0037】
同様に、各カメラは、（最小フォーカス距離としても知られている）最小オブジェクト距離を有し、それは、カメラがフォーカスすることができるシーン内の最短距離を表す（したがって、オブジェクトを、依然としてフォーカスさせながら、カメラに最も近づけることができる）。図１Ｄは、マルチカメラシステム１０２の各カメラの範囲の例を示す。図に示すように、第１のカメラ１０４、第２のカメラ１０６、及び第３のカメラ１０８は、それぞれ、第１の最小オブジェクト距離１２０、第２の最小オブジェクト距離１２２、及び第３の最小オブジェクト距離１２４を有し得る。一般に、第１のカメラ１０４の最小オブジェクト距離１２０は、第２のカメラ１０６の最小オブジェクト距離１２２よりも短い。次いで、第２のカメラ１０６の最小オブジェクト距離１２２は、第３のカメラ１０８の最小オブジェクト距離１２４よりも短い場合がある。図１Ｄに示すグラフでは、第１のカメラ１０４、第２のカメラ１０６、及び第３のカメラ１０８のそれぞれは、オートフォーカス機能を有し、無限までフォーカスすることができることが想定されており、それは、各カメラがそのカメラの最小オブジェクト距離から無限大までの範囲のオブジェクトに選択的にフォーカスすることを可能にする。これらの場合には、各カメラは、フォーカス位置範囲にわたって移動可能であり得、範囲の一端（本明細書では「マクロフォーカス位置」と称される）は、そのカメラの最小オブジェクト距離に対応する。
【0038】
マルチカメラシステム１０２のカメラの全てが調整可能なフォーカス機能を有する必要はなく、いくつかの場合には、１つ以上の固定フォーカスカメラを含み得ることを理解されたい。しかしながら、以下でより詳細に論じるように、少なくとも２つのカメラがオートフォーカス機能を有することが好ましい。マルチカメラシステムのカメラがオートフォーカス機能を備えて構成されているとき、そのカメラは、当業者に容易に明らかであるように、任意の好適な様式で構成され得る。一般に、マルチカメラシステム１０２の各カメラは、画像センサ及びレンズを備えることができ、それは、カメラによって受信された光を画像センサに向けるように構成された１つ以上のレンズ素子を含む（レンズはレンズ素子の一部又は全部を収容するレンズバレルを更に含んでもよい）。カメラがオートフォーカス機能を備えて構成されている場合には、カメラは、（例えば、画像センサ及び／又はレンズの１つ以上のレンズ素子の移動によって）レンズの光軸に沿って画像センサとレンズの１つ以上のレンズ素子との間で相対移動を生じさせるように構成され得るアクチュエータを備え得る。追加的又は代替的に、レンズ１０６は、可変フォーカスレンズ素子（例えば、液体レンズ）を含むことができ、これは、レンズ素子の光電力を調整するように作動され得る。本出願の目的のために、カメラの「フォーカス位置」は、カメラのフォーカスを変更するように能動的に移動又は調整され得る構成要素の相対位置及び／又は構成を指す場合がある。更に、カメラは任意選択的に、光学画像安定化を提供するように更に構成されてもよく、カメラの１つ以上の光学部品（例えば、画像センサ、レンズ又はその１つ以上のレンズ素子、１つ以上のプリズム又はミラー）が光軸に対して横方向に移動する。
【0039】
図２は、本明細書に記載のマルチカメラシステムと共に使用され得るカメラ２００の例示的な例の断面側面図を示す。カメラ２００は、レンズ２０２、画像センサ２２０、及びハウジング２０４を備えることができ、また、カメラの光軸に沿ってレンズ２０２を移動させてカメラのフォーカスを調整し、光軸を横切って画像センサ２２０を移動させて光学画像安定化を行うように構成されたアクチュエータを含んでもよい。レンズ２０２（上記に論じたような、１つ以上のレンズ素子及びレンズバレルを含み得る）を移動させるために、レンズ２０２は、（例えば、レンズ２０２及びコイル２１２の両方を保持するように構成された、レンズキャリア２１０を介して）コイル２１２に取り付けることができる。レンズ２０２及びレンズキャリア２１０を、１つ以上のフレクシャ（例えば、板バネ（単数又は複数）、サスペンションワイヤ（単数又は複数）、フレクシャーアーム（単数又は複数）など）及び／又は１つ以上のベアリング（例えば、ボールベアリング（単数又は複数）、ローラベアリング（単数又は複数）など）など、１つ以上のサスペンション要素（図示せず）を介して、（磁石ホルダ２０６に対して）カメラ２００の静止部分に対して吊り下げてもよい。磁石ホルダ２０６は１つ以上の磁石２０８を保持することができ、コイル２１２は、磁石２０８の磁場内に配置することができるので、電流がコイル２１２を通って駆動されると、コイル２１２と磁石２０８との間の相対移動を生じさせることができるローレンツ力が生成され、これにより、カメラの光軸に沿ってレンズ２０２を移動させることができる。
【0040】
画像センサ２２０を光軸に垂直な１つ以上の方向に移動させるために、カメラ２００は、（ハウジング２０４に対して固定され得る）静止ベース２１４と、複数のフレクシャ２２６を介して画像センサ２２０をベース２１４に移動可能に接続するフレーム２２２と、を備え得る。いくつかの場合には、フレクシャ２２６は、電気トレース２２４を支持し得、これは、画像センサ２２０に、またそこから信号を伝達するために使用され得る。また、（レンズキャリア２１０によって保持されるコイル２１２とは別個の）１つ以上のコイル２１６を保持するプリント回路２１８が示されている。コイル２１６は、１つ以上の磁石（例えば、図２に示す変形例の磁石２０８）の磁場内に配置され得るので、電流がコイル２１６を通って駆動されると、コイル２１６と磁石２０８との間で相対移動を生じさせることができるローレンツ力が生成され、これにより、カメラの光軸と垂直に画像センサ２２０を移動させることができる。
【0041】
カメラ２００は、位置センサ２２８を更に備えることができ、これは、カメラ２００内のレンズ２０２の相対位置を検出するように構成されている。例えば、位置センサは、カメラ２００内の磁石（例えば、図２に示すようなプローブ磁石２３０）の磁場を測定するように配置された磁気センサ（例えば、ホール効果センサ、トンネル磁気抵抗（ＴＭＲ）センサなど）を含み得る。位置センサ２２８は、（例えば、レンズキャリア２１０によって保持される）レンズ２０２に対して固定されてもよく、プローブ磁石２３０は磁石ホルダ２０６に対して固定されてもよく、又はその逆であってもよい。レンズ２０２がカメラ２００のフォーカスを調整するように移動すると、位置センサ２２８は、プローブ磁石２３０に対して移動し、プローブ磁石２３０の磁場を通って移動するにつれて磁束の変化の変化を測定する。これは、次いで、カメラ２００内のレンズ２０２の相対位置を測定することができる。位置センサ２２８は、移動するレンズ２０２の位置を検出するものとして上記に論じたが、本明細書に記載のマルチカメラシステムのカメラは、そのカメラの移動する構成要素（例えば、画像センサ、レンズ、及び／又はレンズのレンズ素子）のいずれか又は全ての位置を測定する位置センサを含み得ることを理解されたい。
【0042】
本明細書に記載のマルチカメラシステムのカメラがオートフォーカス機能を備えて構成されているとき、そのカメラはカメラのフォーカス位置を自動的に設定することができる場合があり、それに応じてカメラの１つ以上の光学部品の位置及び／又は構成を調整することができる。フォーカス位置は、任意の好適な様式でカメラによって決定され得る。いくつかの場合には、カメラは、位相差検出オートフォーカス（phase detect autofocus：ＰＤＡＦ）を実行するように構成されてもよく、画像センサのピクセルの少なくとも一部は、それらのピクセルによって収集され得る入射角の範囲を制限するように構成されている。これらの「非対称」ピクセルは、カメラピクセルを複数の別個のフォトダイオードに分割するか、又はピクセルのフォトダイオードの一部分を選択的にマスキングすることによって形成され得る。各非対称ピクセルは、所与の方向から優先的に受光し、共通の方向に関連付けられたピクセルをグループ化することができる。ピクセルの１つのグループは、画像がフォーカスされていないとき、ピクセルの別のグループとは異なる信号を有するが、画像がフォーカスされているときには十分に整合した信号を有する。したがって、ピクセルのグループは、（例えば、ピクセルのグループ間の位相差を使用して）画像のフォーカスを調整するためにカメラによって使用され得る情報を提供することができる。モバイルデバイス上で使用されるＰＤＡＦの例は、「Ｉｍａｇｅ ｃａｐｔｕｒｅ ｄｅｖｉｃｅ，ｐｉｘｅｌ，ａｎｄ ｍｅｔｈｏｄ ｐｒｏｖｉｄｉｎｇ ｉｍｐｒｏｖｅｄ ｐｈａｓｅ ｄｅｔｅｃｔｉｏｎ ａｕｔｏ－ｆｏｃｕｓ ｐｅｒｆｏｒｍａｎｃｅ」と題する米国特許第１０，４４０，３０１号に記載されており、これは、その全体が参照により本明細書に組み込まれる。
【0043】
追加的又は代替的に、カメラは、コントラストベースのオートフォーカス（contrast based autofocus：ＣＢＡＦ）を使用してフォーカス位置を選択するように構成されてもよく、画像センサの近くのピクセル間の強度差はフォーカス位置の関数として比較される。オブジェクトがフォーカスに移動すると、近くのピクセル間の強度差が増加するため、最大の（又は最大付近の）コントラストが画像センサの対象領域に対して決定されるまで、フォーカス位置が調整され得る。カメラは、複数のオートフォーカス技法を実行することができ、以下でより詳細に論じるように、シーン条件に応じて異なる技法から選択することができることを理解されたい。
【0044】
カメラのオートフォーカス技法を使用してカメラのフォーカス位置を設定することができるが、シーン内の１つ以上のオブジェクトの距離を推定するためにも使用され得る。例えば、カメラがシーン内のオブジェクトにフォーカスされている場合、カメラのフォーカス位置（例えば、図２に関して上記したカメラ２００の変形例におけるレンズ２０２の位置）は、（例えば、図２に関して上記した位置センサ２２８などの位置センサを介して）測定されることができ、フォーカス位置とシーン距離との間の所定の関係を使用してオブジェクト距離を推定することができる。
【0045】
図１Ａに戻ると、マルチカメラシステム１０２は、１つ以上の撮影モード（例えば、静止画像をキャプチャできる写真モード、ビデオをキャプチャできるビデオモード、パノラマ写真をキャプチャできるパノラマモード、人工ボケを適用した静止写真をキャプチャできるポートレートモードなど）中に画像をキャプチャするために使用され得る。一般に、これらのモード中に、デバイス１００は、「ライブプレビュー」を表示するカメラユーザインターフェースを表示することができる。ライブプレビューは、マルチカメラシステムのカメラによってキャプチャされた画像のストリームであり、カメラがメディアキャプチャイベントを開始するときにキャプチャされる視野（カメラのうちの１つの視野のサブセットであり得る）を表す。言い換えれば、ライブプレビューにより、ユーザは現在どんなシーンの部分が撮像されているかを見ることができ、写真又はビデオをいつキャプチャするべきかを決定することができる。
【0046】
カメラがメディアキャプチャイベントを開始する（例えば、いくつかの所定の条件下で、又はユーザの相互作用がユーザインターフェース上のシャッター制御と相互作用することによって、デバイス上の指定ボタンを押圧することによって、音声コマンドを与えること等によって、コマンドを与える）とき、カメラは現在のカメラモードに応じてメディアをキャプチャし（例えば、写真モードのとき、写真をキャプチャし、又はビデオモードのときにビデオをキャプチャし）、次いで、デバイス１００にローカルに記憶され得る、又は記憶のために、リモートサーバに送信され得る。いくつかの場合には、マルチカメラシステム１０２によってキャプチャされた画像フレームのフレームバッファが存在してもよく、メディアキャプチャイベントの開始前に収集されたいくつかのフレームは、記憶又は送信されるキャプチャされたメディアを生成する際に使用されてもよいことを理解されたい。
【0047】
これらの撮影モード中に、マルチカメラシステム１０２の１つ以上のカメラは、所与の期間中に画像フレームを能動的にキャプチャすることができ、また、マルチカメラシステム１０２は、「プライマリ」カメラを指定することができる（任意の他のアクティブカメラは、「セカンダリ」カメラと称される）。ある時刻に単一のカメラのみがアクティブである場合、当該カメラはプライマリカメラになる。しかし、２つ以上のカメラが同時にアクティブであることが望ましい場合があり、典型的には、プライマリカメラは１つ以上の方法で優先順位付けされる。しかし、本出願の目的のために、プライマリカメラは、ライブプレビューが生成されるカメラであると見なされる（すなわち、カメラによってキャプチャされたフレームは、ライブプレビューの画像として使用されるが、これらのフレームは、ライブプレビューを生成するときにトリミング又は別の方法で修正され得る）。
【0048】
いくつかの変形例では、プライマリカメラは、セカンダリカメラのフレームレートよりも高いフレームレートで画像フレームをキャプチャするように構成され得る。追加的又は代替的に、メディアキャプチャイベントが開始されると、プライマリカメラによってキャプチャされた画像フレームが、キャプチャされたメディアを生成するために使用される。いくつかの場合には、セカンダリカメラからの情報（１つ以上のセカンダリカメラによってキャプチャされたフレームを含む）を使用して、プライマリカメラの動作を支援し、かつ／又はプライマリカメラによってキャプチャされた画像フレームを修正することができる。非限定的な例として、セカンダリカメラからの画像フレームは、（参照フレームとして作用する）プライマリカメラからの画像フレームと画像統合動作の一部として組み合わされて、単一の複合画像を提供することができる。
【0049】
カメラ切替え技法
【0050】
一般に、マルチカメラシステム１０２は、所望のキャプチャモード及び／又はシーン条件に応じて、異なるプライマリカメラ間で切り替えることができる。例えば、参照によりその全体が本明細書に組み込まれる「Ｓｗｉｔｃｈｏｖｅｒ ｃｏｎｔｒｏｌ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｄｕａｌ－ｓｅｎｓｏｒ ｃａｍｅｒａ ｓｙｓｔｅｍ」と題する米国特許第１０，７０１，２５６号は、所望のズーム値、推定シーン輝度、及び／又は推定フォーカス距離に基づいてマルチカメラシステム内のカメラ間で切り替える技法を論じている。これらの技法は、多くの場合に有用であり得る（また、本明細書で記載する切替え技法と併せて使用されてもよい）が、プライマリカメラによって撮像されている対象オブジェクトがプライマリカメラの最小オブジェクト距離よりも近くに移動するときに、プライマリカメラから切り離すことが望ましい場合があり、そうでなければ、対象オブジェクトは、プライマリカメラによってキャプチャされた任意の画像にフォーカスが合っていないであろう。
【0051】
したがって、対象オブジェクトがカメラの最小オブジェクト距離よりも近い場合、マルチカメラシステムは、プライマリカメラをより短い最小オブジェクト距離を有する別のカメラに変更するように構成されてもよく、これにより、マルチカメラシステムが（例えば、新しいプライマリカメラを介して）より近い距離で対象オブジェクトに継続してフォーカスすることができるようにすることを可能にし得る。例えば、図１Ａ～図１Ｄに関して上記したマルチカメラシステム１０２では、第２のカメラ１０６は、特定の状況下で対象オブジェクトを撮像している間、プライマリカメラとして選択され得る。対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２よりも近い距離に移動する場合、第１のカメラ１０４をプライマリカメラとして選択することにより、第１のカメラ１０４は、フォーカスされた対象オブジェクトを有する画像をキャプチャすることが可能になり得る（第２のカメラ１０６はもはや対象オブジェクトにフォーカスさせることができない）。
【0052】
円滑なユーザ体験を提供するために、新しいプライマリカメラを選択するときに、一貫したズームレベルを維持することが望ましい場合がある。第１のカメラ１０４は第２のカメラ１０６の視野１１４よりも広い視野１１２を有するため、第１のカメラからの画像を、第２のカメラ１０６によってキャプチャされた画像の視野に一致するようにトリミングすることが必要な場合があり得る（これは、第２のカメラ１０６の全視野１１４又はそのトリミングされたバージョンに対応し得る）。しかし、第１のカメラ１０４からのトリミングされた画像の画質は、同じ視野を有する第２のカメラ１０６によってキャプチャされた画像よりも悪くなる場合がある。したがって、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２に到達するまで、第２のカメラ１０６をプライマリカメラとして維持することが望ましい場合がある。
【0053】
しかし、実際には、マルチカメラシステム１０２は対象オブジェクトまでの距離を完全に計算できない場合があり（特に、深度センサ１１０などの深度センサからの深度情報の信頼性が低いか、又はまるで利用できないシーン深度では）、これにより、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２よりも近くにあるが、マルチカメラシステム１０２は対象オブジェクトが最小オブジェクト距離１２２より遠いと誤って計算する状況が生じる可能性がある。そのような状況では、（第１のカメラ１０４がその距離で対象オブジェクトを撮像するのにより適していても）第２のカメラ１０６がプライマリカメラとして維持されてもよく、これにより、対象オブジェクトがライブプレビュー及び第２のカメラ１０６によってキャプチャされたあらゆるメディア内でフォーカスから外れたものとなり得る。したがって、本発明の一態様では、マルチカメラシステム１０２は、対象オブジェクトまでの距離を計算する際の潜在的な誤差を考慮しながら、カメラの最小オブジェクト距離近くの対象オブジェクトを撮像するときに、プライマリカメラを切り替えるように構成されてもよい。
【0054】
したがって、本明細書に記載のデバイスは、マルチカメラシステムの複数のカメラからプライマリカメラを選択するようにプログラムされたカメラ選択ロジックを含み得る。マルチカメラシステムが３つ以上のカメラを備える場合には、全てのカメラからプライマリカメラを選択する単一のカメラ選択ロジックが存在してもよいし、又はマルチカメラシステムの異なる対のカメラの間で切り替えをそれぞれ制御する複数のカメラ選択ロジックが存在してもよい。例えば、第１のカメラ選択ロジックは、プライマリカメラとして、第１のカメラと第２のカメラとの間で選択することができ、第２のカメラ選択ロジックは、プライマリカメラとして、第２のカメラと第３のカメラとの間で選択することができる。いくつかの場合には、第１のカメラ選択ロジックと第２のカメラ選択ロジックは、異なる時間にアクティブであり得る。追加的又は代替的に、第１のカメラ選択ロジックと第２のカメラ選択ロジックは、第２のカメラがプライマリカメラであるときなど、特定の状況ではいずれもアクティブであり、第２のカメラから第１のカメラ又は第３のカメラのいずれかにプライマリカメラを切り替えるかどうかをそれぞれ判定することができる。
【0055】
一般に、カメラ選択ロジックは、マルチカメラシステム内の少なくとも１つのカメラからのオブジェクト距離推定値、各オブジェクト距離推定に関連付けられた個別の距離誤差情報、及びマルチカメラシステム内の少なくとも１つのカメラの最小オブジェクト距離を含む複数の入力を受信する。マルチカメラシステムが深度センサを備える場合には、複数のカメラ入力は任意選択的に、深度センサからのオブジェクト距離推定値を更に含むことができる（これらの変形例のいくつかでは、深度センサからの距離推定値に関連付けられた深度誤差情報を更に含むことができる）。カメラ選択ロジックは、これらの入力に少なくとも部分的に基づいて、プライマリカメラとしてマルチカメラシステムのカメラを選択する。
【0056】
例えば、図３は、マルチカメラシステムの複数のカメラからプライマリカメラを選択するために使用され得るカメラ選択ロジック３００の変形例を示す。例示として、カメラ選択ロジック３００は、（図１Ａ～図１Ｄに関して上記した）マルチカメラシステム１０２の第１のカメラ１０４又は第２のカメラ１０６のうち１つを選択するために使用されるものとして説明されているが、カメラ選択ロジック３００は、プライマリカメラとして３つ以上のカメラ（例えば、マルチカメラシステム１０２の第１のカメラ１０４、第２のカメラ１０６、及び第３のカメラ１０８）の間で選択するように構成されてもよいことを理解されたい。更に、カメラ選択ロジック３００は、対象オブジェクトが第２のカメラの最小オブジェクト距離の近くにあるときに、プライマリカメラとして第１及び第２のカメラ間で切り替えるように構成され得る。最小オブジェクト距離の「近くにある」と見なされるものは、以下でより詳細に論じるように、プライマリカメラを選択するために使用されるオブジェクト距離推定値の精度に依存することを理解されたい。
【0057】
図に示すように、カメラ選択ロジック３００は、第１のカメラ１０４を使用して計算された対象オブジェクトまでの第１のオブジェクト距離推定値３０２と、第２のカメラ１０６を使用して計算された対象オブジェクトまでの第２のオブジェクト距離推定値３０４を受信することができる。カメラ選択ロジック３００は追加的に、第１のオブジェクト距離推定値３０２に関連付けられた第１の距離誤差情報３０６と、第２のオブジェクト距離推定値３０４に関連付けられた第２の距離誤差情報３０８を受信することができる。カメラ選択ロジック３００は、第２のカメラ１０６の最小オブジェクト距離１２２を更に受信することができる。任意選択的に、カメラ選択ロジック３００は、第３のカメラ１０８から対象オブジェクトまでの第３のオブジェクト距離推定値３１０、並びに第３のオブジェクト距離推定値３１２に関連付けられた第３の距離誤差情報３１２を受信することができる。カメラ選択ロジック３００はまた、入力として、（カメラ選択ロジック３００は、第３のカメラ１０８からのオブジェクト距離推定値３１０を受信する変形例では）第１のカメラ１０４の最小オブジェクト距離１２０及び／又は第３のカメラ１０８の最小オブジェクト距離１２４を受信することができる。追加的又は代替的に、深度センサ１１０はまた、対象オブジェクトのオブジェクト距離推定値（例えば、図３に示す第４のオブジェクト距離推定値３１４）、及びオブジェクト距離推定値に関連付けられた距離推定誤差（例えば、第４の距離誤差情報３１６）を提供することができる。
【0058】
これらの入力を使用して、カメラ選択ロジック３００は、（図３の第１の出力３１８によって示されるように）プライマリカメラとして第１のカメラ１０４及び第２のカメラ１０６のうち１つを選択するように構成され得る。更に、カメラ選択ロジック３００は、オブジェクト距離推定値入力（例えば、第１のオブジェクト距離推定値３０２、第２のオブジェクト距離推定値３０４、第３のオブジェクト距離推定値３１０、及び第４のオブジェクト距離推定値３１４の一部又は全部）、並びに、これらの距離推定値入力に関連付けられた距離誤差情報入力を使用して、（出力３２０によって示される）マルチカメラシステム１０２のカメラのうち１つ以上のフォーカス位置を選択するように任意選択的に構成され得る。追加的又は代替的に、カメラ選択ロジックは任意選択的に、（出力３２２によって示されるように）選択されたプライマリカメラのズームレベルを選択するように更に構成され得る。例えば、第２のカメラ１０６から第１のカメラ１０４にプライマリカメラを切り替えるときに、第２のカメラ１０６がプライマリカメラであったときに設定された同じズームレベルを維持するように構成され得る（また、逆も同様である）。これらの場合では、カメラ選択ロジックは、第２のカメラがプライマリカメラであったときに第２のカメラに選択されたズームレベルと一致する第１のカメラのズームレベルを選択するように構成されてもよい。第１のカメラ１０４は第２のカメラ１０６よりも大きい視野を有するため、これは、選択されたズームレベルを達成するために第１のカメラ１０４によってキャプチャされた画像をトリミングすることを伴うことがあり、デバイス１００は、第１のカメラ１０４がプライマリカメラになるときに、ライブプレビュー中に第１のカメラ１０４によってキャプチャされた画像のトリミングされたバージョンを表示することができる。ズームレベルはまた、他のカメラ動作に応答して（例えば、ズームレベルを変更するユーザ入力を受信した後、又は撮影モードを変更する後）調整され得ること、及び、それに応じて、カメラ選択ロジック３００の出力３２２は調整され得ることを理解されたい。
【0059】
カメラ選択ロジック３００への様々な入力、並びにカメラ選択ロジック３００がこれらの入力をどう使用し得るかについては、以下でより詳細に論じる。
【0060】
対象オブジェクト
【0061】
上述のように、カメラ選択ロジック３００は、対象オブジェクトまでの１つ以上のオブジェクト距離推定値を受信することができる。具体的には、対象オブジェクトは、関心領域（ＲＯＩ）としてデバイスによって選択されるシーンの一部分に対応し得る。マルチカメラシステムの１つ以上のカメラによってキャプチャされた１つ以上の画像（及び任意選択的に深度情報）を分析して、対象オブジェクトとして作用するＲＯＩを識別することができる。いくつかの場合には、ＲＯＩは、マルチカメラシステムの１つのカメラによってキャプチャされた画像（又は複数の画像）から選択され、対応するＲＯＩは、マルチカメラシステムの残りのカメラ（及び任意の深度センサ）に対して選択される。これらの場合には、対応するＲＯＩは、フィールド曲率の違い並びに／又はデバイス内のカメラ及び深度センサの配置の相対を考慮するように調整され得る。本出願の目的のために、対象オブジェクトに関連付けられたカメラ及び深度センサのそれぞれに対して選択された個々のＲＯＩは、対象オブジェクトのＲＯＩと総称される。
【0062】
いくつかの場合には、オブジェクト検出アルゴリズムを使用して、シーン内の１つ以上のオブジェクト及び／又は顔を識別することができ、マルチカメラシステムは、検出されたオブジェクト及び／又は顔のうちの１つ以上に関連付けられたＲＯＩを対象オブジェクトとして選択することができる。複数のオブジェクトが検出される場合、マルチカメラシステムは、２つ以上のオブジェクトを包含するＲＯＩを選択することができ（ＲＯＩは、隣接する必要はない２つのセクションを含み得ることに理解されたい）、又は（１つ以上の所定の基準に基づいて複数のオブジェクトから選択され得る）単一のオブジェクトに対応するＲＯＩを選択することができる。いくつかの場合には、対象オブジェクトのＲＯＩは、ユーザ入力に少なくとも部分的に基づいて選択され得る（例えば、ユーザはスクリーンの一部分をタップして、対象オブジェクトとしてオブジェクト及び／又はシーンの一部を指定することができる）。検出されたオブジェクト／顔及び／又はユーザ入力がない場合、マルチカメラシステムは、デフォルトのＲＯＩを対象オブジェクトとして設定することができる。シーンが変更する、かつ／又は新しいユーザ入力が受信されると、対象オブジェクトが経時的に変化し得ることを理解されたい。
【0063】
オブジェクト距離推定値
【0064】
対象オブジェクトが選択されると、マルチカメラシステムのカメラの一部又は全てを使用して、マルチカメラシステムから対象オブジェクトまでの距離を推定することができる。例えば、各カメラからのオートフォーカス情報を使用して、対象オブジェクトの個別のオブジェクト距離推定値を計算することができる。具体的には、カメラは、１つ以上のオートフォーカス技法を使用して、（上記でより詳細に論じたように）対象オブジェクトにフォーカスさせることができ、カメラが対象オブジェクトにフォーカスされるフォーカス位置を（例えば、上記に論じた位置センサを介して）測定することができる。フォーカス位置とオブジェクト距離との間の所定の関係（各カメラに固有であり得る）を利用することで、測定されたフォーカス位置を使用して、対象オブジェクトのオブジェクト距離推定値を計算することができる。カメラ選択ロジックがカメラからオブジェクト距離推定値を受信するものとして説明されている場合、カメラ選択ロジックは、距離オブジェクト推定値として、距離値又はフォーカス位置値（後に、所望の場合には、フォーカス位置と当該カメラのオブジェクト距離との所定の関係を使用して、距離値に変換され得る）を受信することができることを理解されたい。
【0065】
対象オブジェクトがカメラの最小オブジェクト距離よりも近くなる場合、そのカメラは、もはや対象オブジェクトにフォーカスさせることができない場合がある。いくつかの場合には、カメラ選択ロジックは、そのカメラからオブジェクト距離推定値を能動的に受信しなくてもよいし、対象オブジェクトがカメラの最小オブジェクト距離未満にあることを受信及び指示してもよい。他の場合には、カメラ選択ロジックは、カメラから外挿されたオブジェクト距離推定値を受信することができる。このオブジェクト距離推定値は、対象オブジェクトがフォーカスされていない場合がある所定のフォーカス位置でカメラによって測定されたデフォーカス情報を使用して計算され得る。カメラは、カメラを対象オブジェクトにフォーカスさせることができるフォーカス位置を達成することができない可能性があるため、オブジェクト距離推定値は、カメラが対象オブジェクトにフォーカスすることができる仮想フォーカス位置を表す、外挿されたフォーカス位置に関連付けられ得る。外挿されたフォーカス位置とオブジェクト距離推定値との所定の関係が（上記の考察と同様に）存在し得るので、カメラ選択ロジックは、距離値又はフォーカス位置値のいずれかを距離オブジェクト推定値として受信することができる。外挿されたフォーカス位置及びそれらの対応するオブジェクト距離推定値を、図５及び図６に関してより詳細に以下に説明する。
【0066】
マルチカメラシステムが深度センサを備える場合には、マルチカメラシステムの深度センサを使用して、マルチカメラシステムから対象オブジェクトまでの距離を推定することができる。これらの場合では、深度センサは、対象オブジェクトのＲＯＩに対応するカバレッジの分野の一部分についての深度情報を計算することができる。深度情報がＲＯＩ内の複数の点について利用可能である場合、ｉ）これらの複数の点の深度情報がカメラ選択ロジックに提供され得るか、又はｉｉ）この深度情報は、下方選択、平均化、又は別の方法で処理されて、低減された数の距離値（例えば、深度センサからのオブジェクト距離推定値を表す単一の距離値）を生成することができることを理解されたい。
【0067】
距離誤差情報
【0068】
上述のように、マルチカメラシステムのカメラ及び深度センサからのオブジェクト距離推定値は完全に正確ではない場合があり、これらのオブジェクト距離推定値の精度は、シーン、ユニットごと、及び所与の時間単位に応じて変化し得る。例えば、位置センサ測定値を使用して、上記に論じたようにカメラのフォーカス位置を計算する場合、位置センサ測定値に関連する不正確さが存在し得るので、測定されたフォーカス位置は、カメラの実際のフォーカス位置を反映しない場合がある（次いで、対応するオブジェクト距離推定値は、対象オブジェクトまでの実際の距離を反映しない場合がある）。したがって、デバイスは、各カメラの距離誤差情報を維持するように構成されてもよく、それは、プライマリカメラを選択するときにカメラ選択ロジックによって使用され得る。
【0069】
距離誤差情報は、そのカメラのオブジェクト距離推定の精度の指標を与える任意の好適なメトリック又は複数のメトリックであり得る。この距離誤差情報は典型的には、所与のカメラのオブジェクト距離推定値とともに変化する。例えば、フォーカス位置と所与のオブジェクト距離推定値との所定の関係は非線形であってもよいので、２つの異なるフォーカス位置における同じ不正確さは、対応するオブジェクト距離推定値の依存に異なる影響を与える。一般に、この所定の関係により、フォーカス位置がカメラの最小オブジェクト距離に関連して位置付けられたマクロフォーカスに近づくにつれて、カメラからのオブジェクト距離推定値をより正確になる。
【0070】
いくつかの場合には、カメラの距離誤差情報は、所与のフォーカス位置測定値について発生する異なる測定誤差の確率を表すフォーカス位置誤差分布を含み得る。この誤差分布は、（例えば、既知の距離で対象オブジェクトにオートフォーカスさせるときに複数のフォーカス位置測定値を取得することによって）工場較正中に最初に生成され得る。いくつかの変形例では、フォーカス位置誤差分布（したがって距離誤差情報）は、デバイスの動作中に位置誤差分布が更新されないという点で、静的と考えることができる（しかし、その後の較正イベント中に新しいフォーカス位置誤差分布が生成される場合がある）。他の変形例では、フォーカス位置誤差分布（したがって、距離誤差情報）は、デバイスの動作中に動的に更新され得る。例えば、マルチカメラシステムが深度センサを備える場合、所定の精度／信頼閾値を満たす深度センサからの測定値は、対象オブジェクトのグラウンドトゥルース（ground truth）距離として扱われてもよく、これは、カメラによって測定又は外挿されたフォーカス位置を使用して、対象オブジェクトの計算されたオブジェクト距離推定値と比較されることができ、この比較の結果は、フォーカス位置誤差分布を更新するために使用され得る。
【0071】
上記の距離誤差情報の例は、所与のフォーカス位置測定値のフォーカス位置誤差分布を含むが、これは、（例えば、所与のカメラのフォーカス位置とオブジェクト距離推定値との所定の関係を使用して）所与のオブジェクト距離推定値のオブジェクト距離誤差分布に変換され得ることを理解されたい。カメラ選択ロジックは、入力としてフォーカス位置誤差分布（その後、所望の場合には、そのカメラのフォーカス位置とオブジェクト距離推定値との所定の関係を使用して、オブジェクト距離誤差分布に変換され得る）、又はオブジェクト距離誤差分布のいずれかを受信することができることを理解されたい。追加的又は代替的に、デバイスは、誤差分布（例えば、フォーカス位置誤差分布又はオブジェクト距離誤差分布）を維持することができるが、カメラ選択ロジックは、その誤差分布（例えば、分布の平均及び標準偏差）から導出された１つ以上のメトリックを入力として受信することができる。
【0072】
同様に、深度センサが対象オブジェクトのオブジェクト距離推定値を提供するために使用される場合、オブジェクト距離推定値は、対応する距離誤差情報に関連付けられてもよく、これは、深度センサによって提供されるオブジェクト距離推定値の精度を表すことができる。距離誤差情報は、上記により詳細に説明した、１つ以上の信頼値などの信頼情報を含み得る。
【0073】
最小オブジェクト距離
【0074】
カメラの最小オブジェクト距離は、ユニットごとに変化する場合があり、いくつかの場合には、カメラの動作中に変化する場合がある。所与のカメラの最小オブジェクト距離は最初に、工場較正中に測定されてもよく、また、入力としてカメラ選択ロジックによって使用されてもよい。カメラ選択ロジックによって受信されるカメラの最小オブジェクト距離の値は、カメラの最小オブジェクト距離であると想定されるが、実際には、この値は、実際の最小オブジェクト距離とは異なる場合（例えば、最小オブジェクト距離が測定された後に、ドロップイベントすなわち他の信頼性が、カメラの画像センサとレンズとの間の相対位置に永久的な変化を引き起こす場合）があることを理解されたい。
【0075】
いくつかの変形例では、カメラの最小オブジェクト距離は、最小オブジェクト距離がデバイスの動作中に更新されないという点で、静的と考えることができる（しかし、その後の較正イベント中に新しい最小オブジェクト距離が測定される場合がある）。他の変形例では、最小オブジェクト距離は、デバイスの動作中に動的に変化する場合がある。例えば、カメラがカメラの光軸を横断して画像センサを移動させるように構成されているいくつかの変形例では、デバイス動作中の光軸に沿った画像センサの意図しない移動により、カメラの最小オブジェクト距離が変化する場合がある。例えば、図２に関して上記したカメラ２００の変形例では、重力は、カメラの向きに応じて、（例えば、フレーム２２２のフレクシャ２２６の垂れを介して）画像センサ２２０を光軸に沿って移動させることがあり、これにより、カメラ２００の最小オブジェクト距離が変更することがある。これらの場合には、マルチカメラシステム１０２は、（例えば、デバイスのジャイロスコープなどによって測定される）カメラ２００の向きの変化を監視し、カメラの向きのこれらの変化に基づいて、デバイス動作中に最小オブジェクト距離を更新してもよい。他の場合には、カメラは、オートフォーカス動作中にフォーカス位置の低減された範囲を使用する異なる動作モードに変更してもよい。これらの場合には、利用可能なフォーカス位置の範囲の変化も、そのカメラの最小オブジェクト距離を変更することがあり、これは、カメラ選択ロジックへの入力に反映される場合がある。任意選択的に、デバイスは、カメラの最小オブジェクト距離に関連付けられた精度情報を決定するように構成されてもよく、これは、デバイスによって維持された最小オブジェクト距離の値がカメラの実際の最小オブジェクト距離を反映する可能性を表す。この精度情報は、カメラ選択ロジック３００への入力（図示せず）として使用されて、プライマリカメラの選択を支援することができる。
【0076】
カメラ選択ロジックへの上記の入力の一部又は全ては、経時的に変化することがあり、カメラ選択ロジックを使用してプライマリカメラを選択する方法は、カメラ選択ロジックへの入力が変化する際に繰り返され得ることを理解されたい。例えば、カメラ選択ロジックは、１つ以上のオブジェクト距離推定値の入力が変化する際に（これはデバイスとシーンとの間に相対移動があるときに更新され得る）、所与のオブジェクト距離推定値の距離誤差情報の入力が変化する際に、かつ／又は所与のカメラの最小オブジェクト距離入力が変化する際に、複数の反復において繰り返され得る。
【0077】
一般に、カメラ選択ロジックは、対象オブジェクトがカメラの最小オブジェクト距離よりも近いときにあるカメラがプライマリカメラとして選択される確率を閾値未満にしつつ、カメラの最小オブジェクト距離近くにプライマリカメラを変更するように構成され得る。非限定的な例として、上記に論じたカメラ選択ロジック３００が、第１のカメラ１０４と第２のカメラ１０６との間からプライマリカメラを選択するために使用される場合には、カメラ選択ロジック３００は、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２よりも近くにあるときに、第２のカメラ１０６をプライマリカメラとして選択するであろうチャンスが０．０５％未満（又は任意の他の適切な所定の確率）存在するように構成され得る。このように、マルチカメラシステムのカメラからのオブジェクト距離値の距離誤差情報は、カメラ選択ロジックが切り替え前に対象オブジェクトを最小オブジェクト距離に到達させる距離を考慮に入れることができる。言い換えれば、オブジェクト距離推定値が非常に正確である場合、カメラ選択ロジックは、（オブジェクト距離推定値の不正確さにより、対象オブジェクトが最小オブジェクト距離よりも遠くに配置されているという不正確な判定を引き起こす可能性が低いため）最小オブジェクト距離により近いプライマリカメラに切り替えることが可能になる。これは、異なるユニット間、又は時間単位内の異なる切替閾値を可能にすることができ、マルチカメラシステムの深度センサが、対象オブジェクトが配置される距離の信頼性のある深度情報を提供できない場合に特に有利であり得る。
【0078】
カメラ選択ロジック３００は、上記に論じた入力からプライマリカメラを選択する任意の好適な技法を使用することができる。例えば、いくつかの変形例では、カメラ選択ロジック３００は、最小オブジェクト距離（単数又は複数）、オブジェクト距離推定値（単数又は複数）、及び関連する距離誤差情報を取得し、プライマリカメラ選択を出力するように訓練されたニューラルネットワークを含み得る。
【0079】
別の例として、図４は、図３のカメラ選択ロジック３００がマルチカメラシステムの複数のカメラからプライマリカメラを選択するために使用することができる例示的な方法４００を表すフローチャートを示す。第１のカメラ及び第２のカメラのうち１つをプライマリカメラとして選択することが示されているが（第２のカメラが第１のカメラよりも長い最小オブジェクト距離を有する）、方法４００の説明を拡張して、３つ以上のカメラの間からプライマリカメラを選択することができることを理解されたい。
【0080】
図４に示すように、カメラ選択ロジック３００は、ステップ４０２で初期プライマリカメラ判定を行うように構成されてもよい。これは、マルチカメラシステムが最初に初期化されて、画像キャプチャ動作を開始する場合、又はマルチカメラシステムが異なる撮影モード（上記でより詳細に説明されるものなど）間で切り替える場合に生じ得る。いくつかの場合には、常に選択されるデフォルトのカメラ（例えば、第２のカメラ）（又は、各撮影モードのための個別のデフォルトのカメラ）が存在し得る。他の例では、初期選択はシーンコンテンツに依存し得る。例えば、マルチカメラシステムは、１つ以上のカメラが（例えば、シーン内の対象オブジェクトを識別するために、初期オートフォーカス、色バランシング、及び／又は露光設定などを設定するために）ライブプレビューを開始する前に１つ以上の予備画像をキャプチャする起動動作を実行することができ、また、最初のプライマリカメラ選択は、（例えば、対象オブジェクトまでの１つ以上のオブジェクト距離推定値を見ることによって）この起動中に行われ得る。
【0081】
ステップ４０４で、カメラ選択ロジック３００は、カメラ選択ロジック３００への入力のうちの１つ以上に基づいて、１つ以上の切替閾値を決定することができ、これは、プライマリカメラを選択する際に使用され得る。カメラ選択ロジック３００は、少なくともｉ）少なくとも１つのカメラの最小オブジェクト距離（例えば、第２のカメラ１０６の最小オブジェクト距離）及びｉｉ）オブジェクト距離推定値のうちの少なくとも１つに関連付けられた距離誤差情報を使用して、（例えば、ルックアップテーブル、入力と切替閾値（単数又は複数）との所定の関係などを使用して）切替閾値を決定する。カメラ選択ロジック３００は、単一のオブジェクト距離推定値に関連付けられた距離誤差情報を使用して、所与の切替閾値を決定することができるが、いくつかの場合には、所与の切替閾値を計算するときに、２つ以上のオブジェクト距離推定値に関連付けられた距離精度情報を使用することが好ましい場合がある。いくつかの場合には、第２の閾値は、事前定義された修正を使用して第１の閾値に設定することができるが、本出願の目的のために、第２の閾値は、第１の閾値を決定するために使用されたものと同じ入力を使用して決定されているものと考えられるであろう。カメラの距離精度情報及び最小オブジェクト距離を利用することにより、切替閾値（単数又は複数）の選択は、上記に論じたように、対象オブジェクトがカメラの最小オブジェクト距離よりも近くにあるときに、カメラがプライマリカメラとして選択される確率を閾値未満にしつつ、最小オブジェクト距離近くでの切替を達成するように仕立てられてもよい。
【0082】
いくつかの場合には、カメラ選択ロジック３００は、複数のセットの切替閾値を計算するように構成されてもよく、切替閾値の各セットは、プライマリカメラとしてマルチカメラシステム１０２の２つのカメラ間で異なる切替を制御するために使用される。例えば、ステップ４０４で計算された切替閾値は、プライマリカメラを第２のカメラから第１のカメラに変更するかどうかを判定するために使用され得る第１のセットの切替閾値と、プライマリカメラを第１のカメラから第２のカメラに変更するかどうかを判定するために使用され得る第２のセットの切替閾値を含み得る。ステップ４０６では、カメラ選択ロジック３００は、マルチカメラシステムのどのカメラが現在プライマリカメラであるかを判定することができる。第２のカメラがプライマリカメラである場合、方法は、第２のカメラをプライマリカメラとして維持するか、それともプライマリカメラとして第１のカメラに切り替えるかを判定することができる。第１のカメラがプライマリカメラである場合、方法は、第１のカメラをプライマリカメラとして維持するか、それともプライマリカメラとして第２のカメラに切り替えるかを判定することができる。
【0083】
具体的には、第２のカメラがプライマリカメラである場合、カメラ選択ロジック３００は、１つ以上の被写体距離推定値をステップ４０８での第１のセットの切替閾値と比較することができる。この比較が（ステップ４１０に示す）第１の切替基準を満たす場合、カメラ選択ロジック３００は、プライマリカメラを異なるカメラに切り替えることができる（例えば、ステップ４１２に示すように、第１のカメラをプライマリカメラとして選択する）。比較が第１の切替基準を満たすことができない場合、カメラ選択ロジック３００は、（ステップ４１４に示すように）第２のカメラをプライマリカメラとして維持することができる。カメラ選択ロジック３００が、プライマリとして第１のカメラを選択するか、それとも選択されたプライマリカメラとして第２のカメラを維持した後、カメラ選択ロジック３００は、カメラ選択ロジック３００への入力のうちの１つ以上が、方法４００の新しい反復がステップ４０４で再び開始され得る時点において（ステップ４１６で）更新されるまで、選択されたプライマリカメラとして当該カメラを維持することができる。
【0084】
１つの好ましい実施形態では、第１のセットの切替閾値は、第２のカメラ１０６の最小オブジェクト距離１２２を使用して決定される単一の切替閾値と、第１のカメラ１０４を使用して計算された対象オブジェクトの第１のオブジェクト距離推定値３０２に関連付けられた第１の距離精度情報３０６と、第２のカメラ１０６を使用して計算された対象オブジェクトの第２のオブジェクト距離推定値３０４に関連付けられた第２の距離精度情報３０８と、を含む。これらの変形例では、第１のオブジェクト距離推定値３０２及び第２のオブジェクト距離推定値３０４のそれぞれを、（例えば、ステップ４０８で）この切替閾値と比較することができ、第１のオブジェクト距離推定値３０２及び第２のオブジェクト距離推定値３０４のうちの少なくとも１つが切替閾値未満である場合、カメラ選択ロジック３００は、第１の切替基準が満たされている（それによって、プライマリカメラを第１のカメラ１０４に切り替える）と判定することができる。
【0085】
他の実施形態では、第１のセットの切替閾値は複数の閾値を含み得る。これらの実施形態では、異なるオブジェクト距離推定値を、第１のセットの切替閾値のうち異なる切替閾値と比較することができる。例えば、第１のオブジェクト距離推定値３０２は、第１の切替閾値と比較することができ、第２のオブジェクト距離推定値３０４は、第２の切替閾値と比較することができる。カメラ選択ロジック３００は、第１のオブジェクト距離推定値３０２が第１の切替閾値未満であるか、それとも第２のオブジェクト距離推定値３０４が第２の切替閾値未満である（又はそれらのいずれもがそれらの対応する切替閾値未満である）場合、第１の切替基準が満たされている（それによって、プライマリカメラを第１のカメラに切り替える）と判定することができる。第３のカメラ１０８及び／又は深度センサ１１０がオブジェクト距離推定値を生成するために使用される場合、これらのオブジェクト距離推定値はまた、ステップ４０８において、第１のセットの切替閾値のうちの１つ以上と比較することができ、これは、ステップ４１０において第１の切替基準が満たされるかどうかを判定するために更に使用され得ることを理解されたい。
【0086】
同様に、第１のカメラ１０４がステップ４０６でプライマリカメラである場合、カメラ選択ロジック３００は、ステップ４２０において１つ以上の被写体距離推定値を第２のセットの切替閾値と比較することができる。この比較が（ステップ４２２に示す）第２の切替基準を満たす場合、カメラ選択ロジック３００は、プライマリカメラを異なるカメラに切り替える（例えば、ステップ４２４に示すように、第２のカメラ１０６をプライマリカメラとして選択する）ことができる。比較が第１の切り替え基準を満たすことができない場合、カメラ選択ロジック３００は、（ステップ４１４に示すように）第１のカメラ１０４をプライマリカメラとして維持することができる。カメラ選択ロジック３００が、プライマリとして第２のカメラ１０６を選択するか、それとも選択されたプライマリカメラとして第１のカメラ１０４を維持した後、カメラ選択ロジック３００は、カメラ選択ロジック３００への入力のうちの１つ以上が、方法４００の新しい反復がステップ４０４で再び開始され得る時点において（ステップ４１６で）更新されるまで、選択されたプライマリカメラとして当該カメラを維持することができる。
【0087】
第２のセットの切替閾値は、上記でより詳細に論じたような、単一の切替閾値又は複数の切替閾値を含み得る。例えば、ステップ４２０は、第１のオブジェクト距離推定値３０２及び第２のオブジェクト距離推定値３０４を、第２のセットの切替閾値のうちの第１の切替閾値と比較することを含み得る。これらの変形例のいくつかでは、第１のオブジェクト距離推定値３０２と第２のオブジェクト距離推定値３０４のいずれもが第１の切替閾値を上回る場合、第２の切替基準が満たされる（又は代替的に、第１のオブジェクト距離推定値３０２及び第２オブジェクト距離推定値３０４の少なくとも１つが第１の切替閾値を上回る場合、第２の切替基準が満たされる）。他の変形例では、第２のセットの切替閾値は、複数の閾値を含むことができ、第１のオブジェクト距離推定値３０２は、第２のセットのうち第１の切替閾値と比較され、第２のオブジェクト距離推定値３０４は、第２のセットのうち第２の切替閾値と比較される。
【0088】
第１のセットのうち１つ以上の切替閾値は、第２のセットのうち１つ以上の切替閾値と同じであり得るが、第１のセットと第２のセットとの間で異なる切替閾値を選択して、切替行動にヒステリシス（履歴現象）を追加することが望ましい場合がある。例えば、第１のセットに属する第１の切替閾値（第１のセットのうち唯一の切替閾値であり得る）と、第２のセットに属する第２の切替閾値（第２のセットのうち唯一の切替閾値であり得る）は、それらが所定の分離量だけ分離されるように選択されてもよい。これらの場合のいくつかにおいて、第１の切替閾値は、上記に論じたように（例えば、少なくとも１つの最小オブジェクト距離と少なくとも１つのオブジェクト距離推定値からの距離誤差情報を使用して）決定されてもよく、第２の切替閾値は、所定の分離量を第１の切替閾値に追加することによって決定されてもよい。所定の分離量は静的であってもよいし、経時的に変化してもよいことを理解されたい。例えば、所定の分離量は、デバイスの動き（例えば、切替閾値を計算する前の所定の期間に測定され得るデバイスの量）に基づいて調整され得る。このようにして、切替行動は、デバイスの動きがより小さい場合（例えば、デバイスが三脚上に配置されている場合）と比較して（例えば、手振れを介して）デバイスの動きがより大きい場合に、より多くのヒステリシスを有するように構成され得る。
【0089】
カメラ選択ロジックは、異なる状況下で、マルチカメラシステムのカメラからプライマリカメラを選択する異なる方法を選択及び実行するように構成され得ることを理解されたい。例えば、カメラ選択ロジックは、（図４に関して上記に論じたような）入力としてマルチカメラシステムの複数のカメラからのオブジェクト距離推定値を使用するいくつかの状況下では、第１の方法を選択するように構成され得る。カメラのうちの１つが対応するオブジェクト距離推定値を提供することができない場合、例えば、そのカメラの位置センサが意図するように動作していない場合（例えば、特定の量の外部磁気干渉を経験している場合）、カメラ選択ロジックは、そのカメラからオブジェクト距離推定値を必要としない第２の方法を選択するように構成され得る。
【0090】
図４に戻ると、第２のカメラ１０６以外のカメラがプライマリカメラである場合、第２のカメラ１０６は任意選択的に、所定のフォーカス位置にロックされ得る。これは、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２以下にある場合に望ましい場合があり、その結果、第２のカメラ１０６は、マクロフォーカス位置近くのフォーカス位置に維持され得る。これにより、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２を超えて移動する際に、第２のカメラ１０６を好ましい位置にあるようにさせることができ、カメラ選択ロジック３００は再び、第２のカメラ１０６がプライマリカメラとして選択する。これらの場合には、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２を下回ったままであっても、例えば、第２のカメラ１０６のオートフォーカス機能が、第２のカメラ１０６のフォーカス位置を、マクロフォーカス位置から離れて移動すると誤って計算する場合に、第２のカメラ１０６が所定のフォーカス位置から離れるように移動することを防止することができる。
【0091】
ステップ４０６の後に発生するものとして図４のステップ４１８として示されているが、このロックは、異なるカメラ（例えば、第１のカメラ１０２）が（例えば、ステップ４１２の直後に）プライマリカメラとして選択された後のいつでも発生し得ることを理解されたい。第２のカメラ１０６が所定のフォーカス位置にロックされると、この所定のフォーカス位置は好ましくは、第２のカメラ１０６のマクロフォーカス位置（すなわち、第２のカメラの最小オブジェクト距離に関連付けられたフォーカス位置）であるが、他の所定のフォーカス位置を使用してもよい。第２のカメラは、第２のカメラ１０６がプライマリカメラであることを停止するとき（例えば、第１のカメラ１０４がプライマリカメラとして選択されるとき）、所定のフォーカス位置に自動的にロックされてもよいし、又は第２のカメラ１０６がプライマリカメラであることを停止することに加えて１つ以上のロック基準が満たされる場合にのみロックされてもよい。例えば、いくつかの変形例では、深度センサ１１０からのオブジェクト距離推定値３１４が閾値ロック距離未満であるとき、１つ以上のロック基準が満たされ得る（また、第２のカメラ１０６は、所定のフォーカス位置にロックされ得る）。これらの変形例のいくつかでは、第２のカメラ１０６が再びプライマリカメラとして選択され（したがって、フォーカス位置は、対象オブジェクトにフォーカスされるように調整され得）、かつ／又は１つ以上の解放基準が満たされているまで、第２のカメラ１０６は、所定のフォーカス位置から解放されない場合がある。例えば、深度センサ１１０からの深度オブジェクト推定値３１４が閾値ロック解除距離を超える場合、第２のカメラ１０６は、（プライマリカメラではない間であっても）所定のフォーカス位置から解放され得る。いくつかの場合には、閾値ロック距離と閾値ロック解除距離との間に所定の分離が存在する場合があり、これにより第２のカメラのロック行動にヒステリシスを追加し得る。
【0092】
カメラ選択ロジック３００がプライマリカメラとして新しいカメラを選択する場合、いくつかの場合には、プライマリカメラ間に瞬間的な切替がない場合があることを理解されたい。具体的には、上記に論じた方法４００のステップ４１２又は４２４のいずれか（又はステップ４１２及びステップ４２４の両方）は、現在のプライマリカメラから新たに選択されたプライマリカメラに遷移する遷移サブステップを含み得る。これは、新たに選択されたプライマリカメラが（プライマリカメラが新しく選択されたプライマリカメラに切り替えられる時点における）１つ以上の遷移基準を満たすまで、現在のプライマリカメラをプライマリカメラとして維持することを含み得る。いくつかの変形例では、プライマリカメラは、遷移ステップ中に対象オブジェクトにフォーカスするように向けられ、遷移基準は、新たに選択されたプライマリカメラが対象オブジェクトにフォーカスしているかどうか（又は現在のプライマリカメラよりも対象オブジェクトによりぴったりフォーカスしているか）を判定することを含み得る。
【0093】
例としてステップ４１２を使用すると、カメラ選択ロジック３００が第１のカメラ１０４がプライマリカメラであると判定した瞬間に、第１のカメラ１０４はまだ対象オブジェクトに（又はその付近にさえも）フォーカスされていない場合があり得る。仮にカメラ選択ロジック３００がプライマリカメラとして第１のカメラ１０４に瞬時に切り替わるとすると、ライブプレビュー内の対象オブジェクトは、ライブプレビューが第２のカメラ１０６から画像フレームを継続して示す場合よりボヤける場合があり、これは望ましくないユーザ体験であり得る。これに対処するために、選択ロジック３００は、第１のカメラ１０４が遷移基準を満たすまで、第２のカメラ１０６がプライマリカメラとして維持される遷移ステップを開始してもよく、基準を満たす時点で、プライマリカメラが第１のカメラ１０４に切り替わる。いくつかの変形例では、この遷移基準は、（対象オブジェクトが第２のカメラ１０６によって撮影された画像内にあるように第１のカメラ１０４からの画像内で少なくともフォーカスされているという意図で）第１のカメラ１０４が第２のカメラ１０６の現在のフォーカス位置に対応するフォーカス位置を達成しているかどうかであってもよい。他の変形例では、遷移基準は、第１のカメラ１０４が対象オブジェクトに対応するフォーカス位置を達成しているかどうか（すなわち、第１のカメラ１０４が対象オブジェクトにフォーカスされているかどうか）であり得る。
【0094】
この遷移ステップ中に、新たに選択されたプライマリカメラは、任意の好適な様式で対象オブジェクト上の対象にフォーカスし得ることを理解されたい。いくつかの場合には、新たに選択されたプライマリカメラは、そのカメラのオートフォーカス機能を使用して（例えば、上記のステップ４１２で論じた第１のカメラ１０４のオートフォーカス機能を使用して）対象オブジェクトにフォーカスしてもよい。他の場合には、新たに選択されたプライマリカメラは、図５及び図６に関して以下で論じるオートフォーカス支援技法のうちの１つ以上を使用して、新たに選択されたプライマリカメラをフォーカスさせることができる。具体的には、以下でより詳細に論じるように、（フォーカス関係モジュールと共に使用され得る）深度デフォーカス（depth-from-defocus）を使用して外挿されたフォーカス位置を計算することは、他のオートフォーカス技法が利用できない場合がある短い被写体距離では特に有用性を有する場合がある。例えば、いくつかの場合には、これらのオートフォーカス支援技法は、新しく選択されたカメラのフォーカス位置を設定するために使用されてもよいし、部分スキャンを実行するようにカメラに促すために使用されてもよく、この場合、部分スキャンのパラメータは、（以下で詳しく論じる）オートフォーカス支援技法から少なくとも一部に基づくものである。
【0095】
遷移ステップ中に、現在のプライマリカメラが所定のフォーカス位置にロックされ得ることも理解されたい。例えば、プライマリカメラとして第２のカメラ１０６から第１のカメラ１０４に遷移するとき、第２のカメラ１０６は、第１のカメラ１０４が上記に論じた遷移基準を満たすまで、所定のフォーカス位置（好ましくは、第２のカメラ１０６のマクロフォーカス位置であり得る）にロックされてもよい。遷移ステップが完了した（また、第２のカメラ１０６がもはやプライマリカメラではない）場合には、第２のカメラ１０６は解放されてもよいし、第２のカメラ１０６は、ステップ４１８に関して上記に論じた所定のフォーカス位置にロックされてもよい。第２のカメラ１０６が遷移ステップ中にロックされる所定のフォーカス位置は、第１のカメラ１０４がプライマリカメラになった後に第２のカメラ１０６がロックされる所定のフォーカス位置と同じであってもよいし、異なっていてもよい。
【0096】
フォーカス関係オートフォーカス
【0097】
また、ここでは、対象オブジェクトがカメラの最小オブジェクト距離よりも近くに配置されている場合に、マルチカメラシステムのカメラを使用して対象オブジェクトまでのオブジェクト距離推定値を計算する技法も説明する。距離オブジェクト推定値は、カメラが所定のフォーカス位置に保持されている間に、対象オブジェクトに関連付けられたデフォーカス情報を測定することによって計算され得る。いくつかの場合には、この距離オブジェクト推定値は、上記でより詳細に説明したように、マルチカメラシステムのプライマリカメラを選択するためのカメラ選択ロジックへの入力として使用され得る。追加的又は代替的に、距離オブジェクト推定値は、（上述のような）外挿されたフォーカス位置を決定するために使用され得、これは、次に、マルチカメラシステムの異なるカメラのフォーカス位置を設定するのを助けるために使用され得る。
【0098】
例えば、（例えば、上記に論じたようにライブプレビューを生成する、かつ／又は媒体をキャプチャするために）プライマリカメラで画像をキャプチャするとき、プライマリカメラのオートフォーカス機能は、特定の状況において限定された適用性を有し得る。例えば、コントラストベースのオートフォーカス技法は典型的には、フォーカス位置の範囲を通してカメラをスキャンすることが必要であり、これは、ユーザ体験を破壊する場合があり、ＰＤＡＦのような他のオートフォーカス技法と比較した場合、比較的遅くなる場合がある。一方、ＰＤＡＦは、（異なる非対称ピクセル間の位相差を測定することを困難にし得る）低光条件において、又は対象オブジェクトが平坦なテクスチャを有する場合に、困難に遭遇することがある。したがって、これらの場合には、プライマリカメラのフォーカス位置を設定するのを支援し得る追加情報を取得することが望ましい場合がある。
【0099】
例えば、いくつかの場合では、深度センサ（例えば、図１Ａ～図１Ｄに関して上記したマルチカメラシステム１０２の深度センサ１１０）からの深度情報は、（上記でより詳細に論じたような）対象オブジェクトのオブジェクト深度推定値を提供するために使用されてもよく、これは、次に、プライマリカメラのフォーカス位置を設定する際に使用され得る。プライマリカメラが、深度センサの動作範囲の最小距離未満又はその付近である対象オブジェクトを撮像する場合、深度情報は、プライマリカメラのフォーカス位置を設定する際に利用できないか、又は使用するのに十分なほど信頼できない場合がある。
【0100】
他の場合には、第１のカメラからのフォーカス位置情報を使用して、第２のカメラのフォーカス位置を設定するのを支援することが望ましい場合がある。例えば、参照によりその全体が本明細書に組み込まれる「Ｐｒｉｍａｒｙ－ｓｕｂｏｒｄｉｎａｔｅ ｃａｍｅｒａ ｆｏｃｕｓ ｂａｓｅｄ ｏｎ ｌｅｎｓ ｐｏｓｉｔｉｏｎ ｓｅｎｓｉｎｇ」と題する米国特許第ＵＳ１０，４２９，６０８号は、第１のカメラを使用して第１のフォーカス位置で被写体にフォーカスさせ、次いで、（第１のカメラと第２のカメラとの間の「フォーカス関係」を使用するような）第１のフォーカス位置に少なくとも部分的に基づいて第２のカメラの第２のフォーカス位置を選択することを論じている。この技法は、多くの場合に有益であり得るが、被写体が第１のカメラの最小オブジェクト距離未満である場合（したがって、第１のカメラは被写体にフォーカスできない）場合には利用できない場合がある。したがって、本明細書に記載の技法は、これらの他のオートフォーカス支援技法が利用可能でない場合において特定の効用を有し得る。
【0101】
図５は、第２のカメラによって測定されたデフォーカス情報を少なくとも部分的に基づいて、第１のカメラを対象オブジェクトにフォーカスさせることができるフォーカス制御ロジック５００の実施形態を示す。例示のために、このフォーカス制御ロジック５００は、マルチカメラシステム１０２の第１のカメラ１０４及び第２のカメラ１０６と共に使用されるものとして本明細書で論じられる。図に示すように、第２のカメラ１０６は、ＰＤＡＦを実行するように構成されてもよく、また、第２のカメラ１０６の視野１２２内の複数の点に関連付けられたフォーカス情報を生成するように構成され得るＰＤＡＦ処理モジュール５０２を備えることができる。このフォーカス情報は、どれくらいフォーカス／デフォーカスされた入射光がシーン内の所与の点にあるかを表すフォーカス値を含み得る。
【0102】
いくつかの場合には、ＰＤＡＦ処理モジュール５０２からのフォーカス情報を使用して、フォーカス位置コントローラ５０４を使用して第２のカメラ１０６のフォーカス位置を設定することができる。具体的には、フォーカス位置コントローラ５０４は、（例えば、アクチュエータを制御して第２のカメラ１０６の画像センサ及び／又はレンズを移動させることによって）第２のカメラ１０６のフォーカス位置を制御することができ、また、第２のカメラ１０６の現在のフォーカス位置も測定することができる。フォーカス位置コントローラ５０４は、第２のカメラ１０６を対象オブジェクトにフォーカスさせるために、ＰＤＡＦ処理モジュール５０２からのフォーカス情報を使用して、第２のカメラ１０６のフォーカス位置を調整するようにＰＤＡＦを実行するように構成され得る。
【0103】
フォーカス位置コントローラ５０４は、測定されたフォーカス位置（又はそこから導出されたオブジェクト距離）を入力としてカメラ選択ロジックに提供することができ、それは、例えば、図３（また、図５の部分的に複写される）に関して上記され、また（出力３１８で）プライマリカメラを選択するために使用されたカメラ選択ロジック３００によって受信された第２のオブジェクト距離推定値３０４であり得ることを理解されたい。次に、カメラ選択ロジック３００は、（出力３２０で）対象フォーカス位置をフォーカス位置コントローラ５０４に提供することができ、これは、第２のカメラを対象フォーカス位置に設定することができる。これは、例えば、カメラ選択ロジックが、図４に関して上記に論じたように、第２のカメラを所定のフォーカス位置にロックするように構成されている場合に完了され得る。
【0104】
第２のカメラ１０６は、深度デフォーカス（depth-from-defocus）モジュール５０６を更に備えることができ、これは、ＰＤＡＦ処理モジュール５０２からフォーカス情報を、フォーカス位置コントローラ５０４から現在のフォーカス位置を受信し、また、ＰＤＡＦ処理モジュールから受信したフォーカス情報内のデフォーカス量に基づいて、深度マップなどの距離情報を生成することができる。具体的には、第２のカメラ１０６の各フォーカス位置については、デフォーカスとシーン距離との所定の関係が存在し得る。デバイス較正中に実験的に決定され得る、このような所定の関係は、シーン内のある点のデフォーカス情報をシーン内の当該点の距離に変換するために使用され得る。
【0105】
いくつかの場合には、深度デフォーカスモジュール５０６は、対象オブジェクトに関連付けられた距離情報を生成するために使用され得、これは、カメラ選択ロジック３００に、第２のカメラ１０６からのオブジェクト距離推定値３０４として提供され得、これはプライマリカメラを選択する際にカメラ選択ロジックによって使用され得る。同様に、深度デフォーカスモジュール５０６は、深度デフォーカスモジュール５０６によって生成された（図３に関して上記で詳細に論じたような）深度情報に関連付けられた距離誤差情報を出力するように構成され得る。この距離誤差情報は、（図５Ａには示されていない）入力としてカメラ選択ロジック３００によって受信される第２のカメラ１０６からのオブジェクト距離推定値３０４に関連付けられた深度誤差情報３０８であり得る。
【0106】
他の場合には、デフォーカスモジュール５０６は、距離情報をフォーカス制御ロジック５００に出力することができる。図に示すように、フォーカス制御ロジック５００は、マルチカメラシステムの１つ以上のカメラのフォーカシングを支援し得る複数のモジュールを含み得る。例えば、図５に示すフォーカス制御ロジック５００の変形例では、フォーカス制御ロジック５００は、対象フォーカス位置及び／又は１つ以上のフォーカス命令を第１のカメラ１０４のフォーカス位置コントローラ５１２に提供することができる。２つのモジュール（深度センサ支援モジュール５０８及びフォーカス関係モジュール５１０）を図５に示すが、フォーカス制御ロジック５００は、より多くのモジュールを含んでもよいし、より少ないモジュールしか含まなくてもよいことを理解されたい。フォーカス制御ロジック５００は、異なる状況下で異なるモジュールを利用してもよく、ターゲットフォーカス位置及び／又は１つ以上のフォーカス命令を第１のカメラ１０４のフォーカス位置コントローラ５１２に提供する際に、様々なモジュールの出力を優先順位付けしてもよいし、それらを組み合わせてもよい。加えて、フォーカス制御ロジック５００は、第１のカメラ１０４のフォーカシングのみを支援するために図５に示されているが、フォーカス制御ロジック５００（又は異なるフォーカス制御ロジック）は、マルチカメラシステム１０２の他のカメラのフォーカシングを支援するために使用され得ることを理解されたい。
【0107】
フォーカス制御ロジック５００が深度センサ支援モジュール５０８を備える変形例では、深度センサ支援モジュール５０８は、深度センサ１１０から距離情報（例えば、対象オブジェクトまでのオブジェクト距離推定値）を受信することができ、深度センサ支援モジュール５０８は、深度センサ１１０から受信した距離情報に対応する第１のカメラ１０４の対象フォーカス位置を選択することができる。
【0108】
フォーカス制御ロジック５００がフォーカス関係モジュール５０８を備える変形例では、第２のカメラ１０６は、（例えば、より詳細に上記したようなオートフォーカス技法を使用して）対象オブジェクトにフォーカスし、また、対象オブジェクトがフォーカスされているときはフォーカス位置コントローラ５０４を使用してフォーカス位置を測定することができる。第２のカメラ１０６のこのように測定されたフォーカス位置は、フォーカス関係モジュール５０８に提供され得、これは、第１のカメラ１０４の対象フォーカス位置を選択して、第１のカメラ１０４を対象オブジェクトにフォーカスさせることができる。フォーカス関係モジュールは、第２のカメラのフォーカス位置を、第１のカメラ上のそれぞれの対象フォーカス位置にマッピングする所定の関係（その全体が参照により以前に組み込まれた、米国特許第１０，４２９，６０８号で論じられたフォーカス関係など）を使用することができる。
【0109】
上述のように、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２未満である場合、第２のカメラ１０６は、対象オブジェクトにフォーカスさせることができないので、フォーカス位置コントローラ５０４によって測定されたあらゆるフォーカス位置は、フォーカス関係モジュール５１０を使用して第１のカメラ１０４の対象フォーカス位置を生成するほど正確ではないであろう。これに対処するために、深度デフォーカスモジュール５０６によって生成される（上記に論じたように、ＰＤＡＦ処理モジュール５０２からのフォーカス情報及びフォーカス位置コントローラ５０４からの測定されたフォーカス位置から生成される）対象オブジェクトの距離情報は、外挿されたフォーカス位置（それは、上記に論じたように、カメラが対象オブジェクトにフォーカスすることができるであろう仮想フォーカス位置を表す）を生成するために使用され得る。次いで、このように外挿されたフォーカス位置（マクロフォーカス位置を超えることがあるので、第２のカメラ１０６によって達成可能なフォーカス位置ではない場合がある）は、フォーカス位置コントローラ５０４からの測定されたフォーカス位置の代わりにフォーカス関係モジュール５１０によって使用されて、第１のカメラ１０４の対象フォーカス位置を生成することができる。フォーカス関係モジュール５１０はまた、深度デフォーカスモジュール５０６から距離精度情報を受信することができ、これは、図６に関して以下に説明するように、フォーカス関係モジュール５１０が第１のカメラのフォーカシングを支援する方法に影響を与える場合がある。
【0110】
図６は、マルチカメラシステムのカメラからのデフォーカス情報を使用して、対象オブジェクトまでのオブジェクト距離推定値を計算する方法６００の実施形態を表すフローチャートを示す。方法６００は、カメラからのオブジェクト距離推定値を更に使用して、マルチカメラシステムの別のカメラのフォーカシングを支援することができる。説明の目的上、方法６００は、図１Ａ～図１Ｄに関して上記に論じたマルチカメラシステム１０２の第１のカメラ１０４及び第２のカメラ１０６のコンテキストで説明する。
【0111】
方法６００は最初に、ステップ６０２において第２のカメラ１０６のフォーカス位置が所定のフォーカス位置に維持されているかどうかを判定することができる。いくつかの場合には、これは、（上記により詳細に論じたように）第２のカメラ１０６がプライマリカメラではないときに、カメラ選択ロジック３００が、第２のカメラ１０６のフォーカス位置をロックする場合など、第２のカメラ１０６がフォーカス位置にロックされていること（すなわち、その結果、フォーカス位置がシーンの変化の関数として変化しないこと）を判定することを含み得る。他の場合には、所定のフォーカス位置は、第２のカメラ１０６のマクロフォーカス距離であり、第２のカメラ１０６が所定のフォーカス位置に維持されているかどうかを判定することは、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２よりも近くにあるかどうかを判定することを含む。例えば、第２のカメラ１０６のオートフォーカス動作は、第２のカメラ１０６の最小オブジェクト距離１２２よりも近い対象オブジェクトにフォーカスしようとする際に第２のカメラ１０６をマクロフォーカス位置に設定することができ、また、第２のカメラ１０６は、対象オブジェクトが第２のカメラ１０６の最小オブジェクト距離１２２よりも近くにある間、マクロフォーカス位置に留まることができる。
【0112】
第２のカメラ１０６が所定のフォーカス位置に維持されていない場合、第２のカメラ１０６は、ステップ６０４でのオートフォーカス技法を使用して、対象オブジェクトにフォーカスすることができる。第２のカメラ１０６が対象オブジェクトにフォーカスされている場合、第２のカメラ１０６のフォーカス位置は、ステップ６０６で決定され得る。このフォーカス位置は、ステップ６０８においてなど、第１のカメラ１０４のフォーカシングを支援するために使用される場合があり、第１のカメラは、ステップ６０６で決定されたフォーカス位置に少なくとも部分的に基づいて（例えば、図５に関して上記したカメラフォーカスロジック５００のフォーカス関係モジュール５０８を使用して）フォーカスされる。
【0113】
逆に、第２のカメラ１０６が所定のフォーカス位置に維持されている場合、第２のカメラ１０６は、ステップ６１０で（いくつかの場合には、第２のカメラ１０６の最小オブジェクト距離１２２よりも近くに配置され得る）対象オブジェクトのデフォーカス情報を測定することができる。これは、例えば、上記に論じたＰＤＡＦ処理モジュール５０２を使用して行うことができる。ステップ６１２では、対象オブジェクトまでのオブジェクト距離推定値は、デフォーカス情報と所定のフォーカス位置を使用して計算され得る（例えば、図５に関して上記した深度デフォーカスモジュール５０８はこの計算を行うことができる）。
【0114】
加えて、オブジェクト距離推定値は、上記でより詳細に論じたように、ステップ６１４で第２のカメラの外挿されたフォーカス位置を計算するために使用され得る。このように外挿されたフォーカス位置は、ステップ６１６においてなど、第１のカメラ１０４のフォーカシングを支援するために使用される場合があり、第１のカメラは、ステップ６１４で計算された外挿されたフォーカス位置に少なくとも部分的に基づいて（例えば、図５に関して上記したカメラフォーカスロジック５００のフォーカス関係モジュール５０８を使用して）フォーカスされる。
【0115】
いくつかの変形例では、ステップ６１６は、オブジェクト距離推定値に関連付けられた距離誤差情報を、６１８における１つ以上のフォーカス選択基準と比較することを更に含み得る。距離誤差情報がフォーカス選択基準を満たす場合、第１のカメラ１０２は、ステップ６２０で対象フォーカス位置に設定され得る（これは、次に、上記に論じた外挿されたフォーカス位置に基づいて計算され得る）。距離誤差情報がフォーカス選択基準を満たさない場合、第１のカメラ１０２は、部分スキャン（例えば、部分ＣＢＡＦスキャン）を実行するように構成され得、部分スキャンの境界は、外挿されたフォーカス位置に基づいて決定され得る。このようにして、第２のカメラの外挿されたフォーカス位置は、（オブジェクト距離推定値の精度における信頼性がより高い場合など）いくつかの場合には、第１のカメラのフォーカス位置を直接設定するために使用され得るが、他の場合では、外挿されたフォーカス位置は、（オブジェクト距離推定値の精度における信頼性が低い場合など）第１のカメラのフォーカス位置の選択を案内することができる。
【0116】
前述の説明は、説明の都合上、説明した実施形態の完全な理解をもたらすために特定の専門用語を使用している。しかし、この説明を読めば、記述される実施形態を実施するために具体的な詳細は必要とされないことは、当業者には明らかであろう。したがって、本明細書に記載された具体的な実施形態の前述の説明は、図示及び説明の目的で提示されている。それらは、網羅的であること、又は開示されたまさにその形態に実施形態を限定することを目的としたものではない。この記載を読めば、上記の教示を考慮して、多くの変更及び変形が可能であることが、当業者には明らかであろう。
【0117】
マルチカメラシステムのオブジェクト深度推定及びカメラフォーカシング技法
【0118】
［請求項１］
オートフォーカス機能を備えて構成されており、第１の最小オブジェクト距離を有する第１のカメラと、
オートフォーカス機能を備えて構成されており、第２の最小オブジェクト距離を有する第２のカメラと、を含むマルチカメラシステムと、
前記第２のカメラに、所定のフォーカス位置での対象オブジェクトのデフォーカス情報を測定させ、前記デフォーカス情報を使用して外挿されたフォーカス位置を決定させ、前記外挿されたフォーカス位置に少なくとも部分的に基づいて、前記第１のカメラを前記対象オブジェクトにフォーカスさせるように構成されたフォーカス制御ロジックと、
を備えるデバイス。
［請求項２］
前記所定のフォーカス位置は、前記第２のカメラの前記最小オブジェクト距離に対応する、請求項１に記載のデバイス。
［請求項３］
前記フォーカス制御ロジックは、１つ以上の所定のロック基準が満たされたときに、前記第１のカメラを前記所定のフォーカス位置にロックさせる、請求項１に記載のデバイス。
［請求項４］
前記マルチカメラシステムは、深度センサを更に含み、前記１つ以上の所定の基準は、前記対象オブジェクトのオブジェクト距離推定値が閾値ロック距離未満であることを含む、請求項３に記載のデバイス。
［請求項５］
前記第１の最小オブジェクト距離は、前記第２の最小オブジェクト距離未満である、請求項１に記載のデバイス。
［請求項６］
前記第１のカメラ又は前記第２のカメラのいずれかをプライマリカメラとして選択するように構成されたカメラ選択ロジックを更に備え、前記フォーカス制御ロジックは、第１のカメラが前記プライマリカメラとして選択されたときに、前記第２のカメラに、前記所定のフォーカス位置での前記対象オブジェクトの前記デフォーカス情報を測定させるように更に構成されている、請求項１に記載のデバイス。
［請求項７］
前記外挿されたフォーカス位置に少なくとも部分的に基づいて前記第１のカメラを前記対象オブジェクトにフォーカスさせることは、前記外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たすときに、前記外挿されたフォーカス位置間の所定の関係に基づいて、前記第１のカメラの対象フォーカス位置を設定することを含む、請求項１に記載のデバイス。
［請求項８］
マルチカメラシステムの第２のカメラを使用して前記マルチカメラシステムの第１のカメラをフォーカスさせる方法であって、
所定のフォーカス位置で前記第１のカメラを使用して対象オブジェクトのデフォーカス情報を測定することと、
前記デフォーカス情報を使用して外挿されたフォーカス位置を決定することと、
前記外挿されたフォーカス位置に少なくとも部分的に基づいて、前記第１のカメラを前記対象オブジェクトにフォーカスさせることと、
を含む、方法。
［請求項９］
前記所定のフォーカス位置は、前記第２のカメラの最小オブジェクト距離に対応する、請求項８に記載の方法。
［請求項１０］
１つ以上の所定のロック基準が満たされたときに、前記第１のカメラを前記所定のフォーカス位置にロックすることを更に含む、請求項８に記載の方法。
［請求項１１］
前記マルチカメラシステムの深度センサを使用して前記対象オブジェクトのオブジェクト距離推定値を計算し、前記オブジェクト距離推定値を閾値ロック距離と比較することを更に含み、前記所定のロック基準は、前記オブジェクト距離推定値が前記閾値ロック距離未満であるときに満たされる、請求項１０に記載の方法。
［請求項１２］
前記所定のフォーカス位置での前記第１のカメラを使用して前記対象オブジェクトのデフォーカス情報を測定することは、前記第１のカメラがプライマリカメラとして選択されている間にデフォーカス情報を測定することを含む、請求項８に記載の方法。
［請求項１３］
前記外挿されたフォーカス位置に少なくとも部分的に基づいて前記第１のカメラを前記対象オブジェクトにフォーカスさせることは、前記外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たすときに、前記外挿されたフォーカス位置間の所定の関係に基づいて、前記第１のカメラの対象フォーカス位置を設定することを含む、請求項８に記載の方法。
［請求項１４］
前記外挿されたフォーカス位置に少なくとも部分的に基づいて前記第１のカメラを前記対象オブジェクトにフォーカスさせることは、前記外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たさないときに、前記外挿されたフォーカス位置に基づいて部分スキャンを実行することを含む、請求項１３に記載の方法。
［請求項１５］
第１のカメラ及び第２のカメラを含むマルチカメラシステムを使用して対象オブジェクトまでのオブジェクト距離推定値を計算する方法であって、
前記第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することと、
前記第２のカメラが前記所定のフォーカス位置に維持されているとの判定に応答して、前記第２のカメラが前記所定のフォーカス位置に維持されている間の前記対象オブジェクトのデフォーカス情報を測定することと、
前記デフォーカス情報及び前記所定のフォーカス位置を使用して前記オブジェクト距離推定値を計算することと、
を含む、方法。
［請求項１６］
前記第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することは、前記第２のカメラが前記所定のフォーカス位置にロックされていると判定することを含む、請求項１５に記載の方法。
［請求項１７］
前記所定のフォーカス位置は、前記第２のカメラのマクロフォーカス位置であり、前記第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することは、前記対象オブジェクトが前記第２のカメラの最小オブジェクト距離よりも近いと判定することを含む、請求項１５に記載の方法。
［請求項１８］
前記オブジェクト距離推定値を使用して前記第２のカメラの外挿されたフォーカス位置を計算することを更に含む、請求項１５に記載の方法。
［請求項１９］
前記第２のカメラの前記外挿されたフォーカス位置に少なくとも部分的に基づいて、前記第１のカメラをフォーカスさせることを更に含む、請求項１８に記載の方法。
［請求項２０］
前記外挿されたフォーカス位置に少なくとも部分的に基づいて前記第１のカメラをフォーカスさせることは、前記第２のカメラのフォーカス位置と前記第１のカメラのフォーカス位置との所定の関係に基づいて、前記第１のカメラの対象フォーカス位置を選択することを含む、請求項１９に記載の方法。
オートフォーカス機能を備えて構成されており、第１の最小オブジェクト距離を有する第１のカメラと、
オートフォーカス機能を備えて構成されており、第２の最小オブジェクト距離を有する第２のカメラと、を含むマルチカメラシステムと、
前記第２のカメラに、所定のフォーカス位置での対象オブジェクトのデフォーカス情報を測定させ、前記デフォーカス情報を使用して外挿されたフォーカス位置を決定させ、前記外挿されたフォーカス位置に少なくとも部分的に基づいて、前記第１のカメラを前記対象オブジェクトにフォーカスさせるように構成されたフォーカス制御ロジックと、
を備えるデバイス。
［請求項２］
前記所定のフォーカス位置は、前記第２のカメラの前記最小オブジェクト距離に対応する、請求項１に記載のデバイス。
［請求項３］
前記フォーカス制御ロジックは、１つ以上の所定のロック基準が満たされたときに、前記第１のカメラを前記所定のフォーカス位置にロックさせる、請求項１に記載のデバイス。
［請求項４］
前記マルチカメラシステムは、深度センサを更に含み、前記１つ以上の所定の基準は、前記対象オブジェクトのオブジェクト距離推定値が閾値ロック距離未満であることを含む、請求項３に記載のデバイス。
［請求項５］
前記第１の最小オブジェクト距離は、前記第２の最小オブジェクト距離未満である、請求項１に記載のデバイス。
［請求項６］
前記第１のカメラ又は前記第２のカメラのいずれかをプライマリカメラとして選択するように構成されたカメラ選択ロジックを更に備え、前記フォーカス制御ロジックは、第１のカメラが前記プライマリカメラとして選択されたときに、前記第２のカメラに、前記所定のフォーカス位置での前記対象オブジェクトの前記デフォーカス情報を測定させるように更に構成されている、請求項１に記載のデバイス。
［請求項７］
前記外挿されたフォーカス位置に少なくとも部分的に基づいて前記第１のカメラを前記対象オブジェクトにフォーカスさせることは、前記外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たすときに、前記外挿されたフォーカス位置間の所定の関係に基づいて、前記第１のカメラの対象フォーカス位置を設定することを含む、請求項１に記載のデバイス。
［請求項８］
マルチカメラシステムの第２のカメラを使用して前記マルチカメラシステムの第１のカメラをフォーカスさせる方法であって、
所定のフォーカス位置で前記第１のカメラを使用して対象オブジェクトのデフォーカス情報を測定することと、
前記デフォーカス情報を使用して外挿されたフォーカス位置を決定することと、
前記外挿されたフォーカス位置に少なくとも部分的に基づいて、前記第１のカメラを前記対象オブジェクトにフォーカスさせることと、
を含む、方法。
［請求項９］
前記所定のフォーカス位置は、前記第２のカメラの最小オブジェクト距離に対応する、請求項８に記載の方法。
［請求項１０］
１つ以上の所定のロック基準が満たされたときに、前記第１のカメラを前記所定のフォーカス位置にロックすることを更に含む、請求項８に記載の方法。
［請求項１１］
前記マルチカメラシステムの深度センサを使用して前記対象オブジェクトのオブジェクト距離推定値を計算し、前記オブジェクト距離推定値を閾値ロック距離と比較することを更に含み、前記所定のロック基準は、前記オブジェクト距離推定値が前記閾値ロック距離未満であるときに満たされる、請求項１０に記載の方法。
［請求項１２］
前記所定のフォーカス位置での前記第１のカメラを使用して前記対象オブジェクトのデフォーカス情報を測定することは、前記第１のカメラがプライマリカメラとして選択されている間にデフォーカス情報を測定することを含む、請求項８に記載の方法。
［請求項１３］
前記外挿されたフォーカス位置に少なくとも部分的に基づいて前記第１のカメラを前記対象オブジェクトにフォーカスさせることは、前記外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たすときに、前記外挿されたフォーカス位置間の所定の関係に基づいて、前記第１のカメラの対象フォーカス位置を設定することを含む、請求項８に記載の方法。
［請求項１４］
前記外挿されたフォーカス位置に少なくとも部分的に基づいて前記第１のカメラを前記対象オブジェクトにフォーカスさせることは、前記外挿されたフォーカス位置に関連付けられた信頼情報が第１の所定の基準を満たさないときに、前記外挿されたフォーカス位置に基づいて部分スキャンを実行することを含む、請求項１３に記載の方法。
［請求項１５］
第１のカメラ及び第２のカメラを含むマルチカメラシステムを使用して対象オブジェクトまでのオブジェクト距離推定値を計算する方法であって、
前記第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することと、
前記第２のカメラが前記所定のフォーカス位置に維持されているとの判定に応答して、前記第２のカメラが前記所定のフォーカス位置に維持されている間の前記対象オブジェクトのデフォーカス情報を測定することと、
前記デフォーカス情報及び前記所定のフォーカス位置を使用して前記オブジェクト距離推定値を計算することと、
を含む、方法。
［請求項１６］
前記第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することは、前記第２のカメラが前記所定のフォーカス位置にロックされていると判定することを含む、請求項１５に記載の方法。
［請求項１７］
前記所定のフォーカス位置は、前記第２のカメラのマクロフォーカス位置であり、前記第２のカメラが所定のフォーカス位置に維持されているかどうかを判定することは、前記対象オブジェクトが前記第２のカメラの最小オブジェクト距離よりも近いと判定することを含む、請求項１５に記載の方法。
［請求項１８］
前記オブジェクト距離推定値を使用して前記第２のカメラの外挿されたフォーカス位置を計算することを更に含む、請求項１５に記載の方法。
［請求項１９］
前記第２のカメラの前記外挿されたフォーカス位置に少なくとも部分的に基づいて、前記第１のカメラをフォーカスさせることを更に含む、請求項１８に記載の方法。
［請求項２０］
前記外挿されたフォーカス位置に少なくとも部分的に基づいて前記第１のカメラをフォーカスさせることは、前記第２のカメラのフォーカス位置と前記第１のカメラのフォーカス位置との所定の関係に基づいて、前記第１のカメラの対象フォーカス位置を選択することを含む、請求項１９に記載の方法。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4】
【図5】
【図6】
【外国語明細書】