特表 2024-510128 マルチセンサー画像キャプチャデバイスのための変換行列学習

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-06

(54)【発明の名称】マルチセンサー画像キャプチャデバイスのための変換行列学習

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240228BHJP

   G06T 7/55 20170101ALI20240228BHJP

   G06T 7/00 20170101ALI20240228BHJP

   G03B 13/30 20210101ALI20240228BHJP

   G03B 13/36 20210101ALI20240228BHJP

   G02B 7/40 20210101ALI20240228BHJP

【ＦＩ】

H04N23/60 500

G06T7/55

G06T7/00 350B

G03B13/30

G03B13/36

G02B7/40

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023552555

(86)(22)【出願日】2022-03-03

(85)【翻訳文提出日】2023-08-30

(86)【国際出願番号】 US2022070948

(87)【国際公開番号】W WO2022198168

(87)【国際公開日】2022-09-22

(31)【優先権主張番号】17/201,660

(32)【優先日】2021-03-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】シジョン・リュウ

(72)【発明者】

【氏名】ジンチェン・ファン

(72)【発明者】

【氏名】ウェイリアン・リュウ

(72)【発明者】

【氏名】ジャンフェン・レン

(72)【発明者】

【氏名】サフル・マダナヤカナハッリ・ファニラジ・ベンカテシュ

【テーマコード（参考）】

2H011

2H151

5C122

5L096

【Ｆターム（参考）】

2H011BA41

2H011BB03

2H151AA07

2H151BB27

2H151CC02

2H151CE14

2H151CE31

2H151CE34

5C122EA42

5C122FA04

5C122FA18

5C122FH04

5C122FH11

5C122FH14

5C122HA75

5C122HB01

5C122HB06

5L096CA04

5L096CA05

5L096EA45

5L096KA04

(57)【要約】

画像フレームのシーケンス中のアーティファクトは、画像フレームを有するフレームのシーケンス中の別のフレームと整合された視野を有する補正画像フレームを生成するために幾何学的にワーピングすることによってなど、入力画像フレームをシーケンス中の別の画像フレームと整合させるための修正によって低減または除去され得る。ワーピングは、マルチセンサーデバイスに関するデータから生成されたモデルに基づいて実行され得る。画像フレーム間の視差は、様々な深度におけるシーンのための第1および第2の画像センサーからの画像キャプチャに基づいてモデル化され得る。モデルは、キャプチャされた画像の視差値を予測するために使用されてもよく、それらの予測視差値は、画像センサー切替えから生じるアーティファクトを低減するために使用した。予測視差値は、誤った実際の視差値をもたらす画像条件において使用されてもよい。

【特許請求の範囲】

【請求項1】

第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信するステップと、
前記第1の視差値に対応する第1の深度値を受信するステップと、
複数の深度値において前記第1の画像センサーと前記第2の画像センサーとの間の視差のためのモデルを決定するステップであって、前記モデルが、前記第1の視差値および第1の深度に少なくとも部分的に基づく、ステップと
を含む方法。

【請求項2】

前記第1の画像センサーまたは前記第2の画像センサーのうちの一方から入力画像フレームを受信するステップと、
前記入力画像フレームに対応する入力画像深度を受信するステップと、
前記モデルに少なくとも部分的に基づいて前記入力画像深度に対応する予測視差値を決定するステップと、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップと
さらに含む、請求項1に記載の方法。

【請求項3】

前記補正画像フレームを決定するステップが、前記予測視差値に基づいて、前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の視野と整合するようにワーピングされたものとして前記補正画像フレームを決定するステップを含む、請求項2に記載の方法。

【請求項4】

前記補正画像フレームを決定するステップが、
前記入力画像フレームを前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の視野にワーピングするための変換行列を決定するステップ
を含む、請求項2に記載の方法。

【請求項5】

前記変換行列を決定するステップが、コンピュータビジョン処理(CVP)を用いて前記変換行列を決定するステップを含む、請求項4に記載の方法。

【請求項6】

前記変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定するステップ
をさらに含み、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記変換行列の前記信頼レベルが前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項4に記載の方法。

【請求項7】

前記入力画像フレームの画像特性がしきい値レベルを下回ると決定するステップ
をさらに含み、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記画像特性が前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項2に記載の方法。

【請求項8】

前記入力画像フレームの輝度がしきい値レベルを下回ると決定するステップ
をさらに含み、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記輝度が前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項2に記載の方法。

【請求項9】

前記第1の画像センサーからの第1の画像フレーム、前記第2の画像センサーからの第2の画像フレーム、および前記補正画像フレームを含むビデオシーケンスを決定するステップであって、前記補正画像フレームが、前記第1の画像フレームと前記第2の画像フレームとの間の前記ビデオシーケンスに出現する、ステップ
をさらに含む、請求項2に記載の方法。

【請求項10】

前記補正画像フレームを決定するステップが、前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の画像フレームにさらに基づく、請求項2に記載の方法。

【請求項11】

前記第1の視差値が、第1の軸線に沿った視野の差を示し、
前記方法が、
前記第1の軸線とは異なる第2の軸線に沿った前記第1の画像センサーと前記第2の画像センサーとの間の視野の差を示す第2の視差値を受信するステップであって、前記モデルを決定するステップが、前記第2の視差値にさらに少なくとも部分的に基づく、ステップ
をさらに含む、請求項1に記載の方法。

【請求項12】

前記モデルを決定するステップが、
複数の視差値を記憶するステップであって、前記モデルが前記複数の視差値に基づく、ステップと、
前記複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて前記複数の視差値のうちの前記前の値を前記第1の視差値と置き換えるステップと
を含む、請求項1に記載の方法。

【請求項13】

前記第1の深度値が、前記第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む、請求項1に記載の方法。

【請求項14】

レンジ撮像に基づいて前記第1の深度値を決定するステップをさらに含む、請求項1に記載の方法。

【請求項15】

前記第1の深度値を決定するステップが、飛行時間(ToF)測定値に基づいて前記第1の深度値を決定するステップを含む、請求項14に記載の方法。

【請求項16】

前記第1の深度値を決定するステップが、光検出および測距(LIDAR)測定値に基づいて前記第1の深度値を決定するステップを含む、請求項14に記載の方法。

【請求項17】

デバイスであって、
プロセッサと、
前記プロセッサに結合され、命令を記憶するメモリとを備え、前記命令が、前記プロセッサによって実行されると、前記デバイスに、
第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信することと、
前記第1の視差値に対応する第1の深度値を受信することと、
複数の深度値において前記第1の画像センサーと前記第2の画像センサーとの間の視差のためのモデルを決定することであって、前記モデルが、前記第1の視差値および第1の深度に少なくとも部分的に基づく、決定することと
を含む動作を実行させる、デバイス。

【請求項18】

前記命令が、前記デバイスに、
前記第1の画像センサーまたは前記第2の画像センサーのうちの一方から入力画像フレームを受信することと、
前記入力画像フレームに対応する入力画像深度を受信することと、
前記モデルに少なくとも部分的に基づいて前記入力画像深度に対応する予測視差値を決定することと、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて補正画像フレームを決定することと
をさらに含む動作を実行させる、請求項17に記載のデバイス。

【請求項19】

前記補正画像フレームを決定することが、前記予測視差値に基づいて、前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の視野と整合するようにワーピングされた補正画像フレームを決定することを含む、請求項18に記載のデバイス。

【請求項20】

前記補正画像フレームを決定することが、
前記入力画像フレームを前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の視野にワーピングするための変換行列を決定すること
を含む、請求項18に記載のデバイス。

【請求項21】

前記変換行列を決定することが、コンピュータビジョン処理(CVP)を用いて前記変換行列を決定することを含む、請求項20に記載のデバイス。

【請求項22】

前記命令が、前記デバイスに、
前記変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定すること
をさらに含む動作を実行させ、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記変換行列の前記信頼レベルが前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項20に記載のデバイス。

【請求項23】

前記命令が、前記デバイスに、
前記入力画像フレームの画像特性がしきい値レベルを下回ると決定すること
をさらに含む動作を実行させ、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記画像特性が前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項18に記載のデバイス。

【請求項24】

前記命令が、前記デバイスに、
前記入力画像フレームの輝度がしきい値レベルを下回ると決定すること
をさらに含む動作を実行させ、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記輝度が前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項18に記載のデバイス。

【請求項25】

前記命令が、前記デバイスに、
前記第1の画像センサーからの第1の画像フレーム、前記第2の画像センサーからの第2の画像フレーム、および前記補正画像フレームを含むビデオシーケンスを決定することであって、前記補正画像フレームが、前記第1の画像フレームと前記第2の画像フレームとの間の前記ビデオシーケンスに出現する、決定すること
をさらに含む動作を実行させる、請求項18に記載のデバイス。

【請求項26】

前記補正画像フレームを決定するステップが、前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の画像フレームにさらに基づく、請求項18に記載のデバイス。

【請求項27】

前記第1の視差値が、第1の軸線に沿った視野の差を示し、
前記命令が、前記デバイスに、
前記第1の軸線とは異なる第2の軸線に沿った前記第1の画像センサーと前記第2の画像センサーとの間の視野の差を示す第2の視差値を受信することであって、前記モデルを決定するステップが、前記第2の視差値にさらに少なくとも部分的に基づく、受信すること
をさらに含む動作を実行させる、請求項17に記載のデバイス。

【請求項28】

前記モデルを決定することが、
複数の視差値を記憶することであって、前記モデルが前記複数の視差値に基づく、記憶することと、
前記複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて前記複数の視差値のうちの前記前の値を前記第1の視差値と置き換えることと
を含む、請求項17に記載のデバイス。

【請求項29】

前記第1の深度値が、前記第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む、請求項17に記載のデバイス。

【請求項30】

前記命令が、前記デバイスに、レンジ撮像に基づいて前記第1の深度値を決定することをさらに含む動作を実行させる、請求項17に記載のデバイス。

【請求項31】

前記第1の深度値を決定することが、飛行時間(ToF)測定値に基づいて前記第1の深度値を決定することを含む、請求項30に記載のデバイス。

【請求項32】

前記第1の深度値を決定することが、光検出および測距(LIDAR)測定値に基づいて前記第1の深度値を決定することを含む、請求項30に記載のデバイス。

【請求項33】

命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、デバイスのプロセッサによって実行されると、前記デバイスに、
第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信することと、
前記第1の視差値に対応する第1の深度値を受信することと、
複数の深度値において前記第1の画像センサーと前記第2の画像センサーとの間の視差のためのモデルを決定することであって、前記モデルが、前記第1の視差値および第1の深度に少なくとも部分的に基づく、決定することと
を含む動作を実行させる、非一時的コンピュータ可読媒体。

【請求項34】

前記命令が、デバイスのプロセッサによって実行されると、前記デバイスに、
前記第1の画像センサーまたは前記第2の画像センサーのうちの一方から入力画像フレームを受信することと、
前記入力画像フレームに対応する入力画像深度を受信することと、
前記モデルに少なくとも部分的に基づいて前記入力画像深度に対応する予測視差値を決定することと、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて補正画像フレームを決定することと
をさらに含む動作を実行させる、請求項33に記載の非一時的コンピュータ可読媒体。

【請求項35】

前記補正画像フレームを決定することが、前記予測視差値に基づいて、前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の視野と整合するようにワーピングされた補正画像フレームを決定することを含む、請求項34に記載の非一時的コンピュータ可読媒体。

【請求項36】

前記補正画像フレームを決定することが、
前記入力画像フレームを前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の視野にワーピングするための変換行列を決定すること
を含む、請求項34に記載の非一時的コンピュータ可読媒体。

【請求項37】

前記変換行列を決定することが、コンピュータビジョン処理(CVP)を用いて前記変換行列を決定することを含む、請求項36に記載の非一時的コンピュータ可読媒体。

【請求項38】

前記命令が、デバイスのプロセッサによって実行されると、前記デバイスに、
前記変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定すること
をさらに含む動作を実行させ、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記変換行列の前記信頼レベルが前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項36に記載の非一時的コンピュータ可読媒体。

【請求項39】

前記命令が、デバイスのプロセッサによって実行されると、前記デバイスに、
前記入力画像フレームの画像特性がしきい値レベルを下回ると決定すること
をさらに含む動作を実行させ、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記画像特性が前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項34に記載の非一時的コンピュータ可読媒体。

【請求項40】

前記命令が、デバイスのプロセッサによって実行されると、前記デバイスに、
前記入力画像フレームの輝度がしきい値レベルを下回ると決定すること
をさらに含む動作を実行させ、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記輝度が前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項34に記載の非一時的コンピュータ可読媒体。

【請求項41】

前記命令が、デバイスのプロセッサによって実行されると、前記デバイスに、
前記第1の画像センサーからの第1の画像フレーム、前記第2の画像センサーからの第2の画像フレーム、および前記補正画像フレームを含むビデオシーケンスを決定することであって、前記補正画像フレームが、前記第1の画像フレームと前記第2の画像フレームとの間の前記ビデオシーケンスに出現する、決定すること
をさらに含む動作を実行させる、請求項34に記載の非一時的コンピュータ可読媒体。

【請求項42】

前記補正画像フレームを決定するステップが、前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の画像フレームにさらに基づく、請求項34に記載の非一時的コンピュータ可読媒体。

【請求項43】

前記第1の視差値が、第1の軸線に沿った視野の差を示し、
前記命令が、デバイスのプロセッサによって実行されると、前記デバイスに、
前記第1の軸線とは異なる第2の軸線に沿った前記第1の画像センサーと前記第2の画像センサーとの間の視野の差を示す第2の視差値を受信することであって、前記モデルを決定するステップが、前記第2の視差値にさらに少なくとも部分的に基づく、受信すること
をさらに含む動作を実行させる、請求項33に記載の非一時的コンピュータ可読媒体。

【請求項44】

前記モデルを決定することが、
複数の視差値を記憶することであって、前記モデルが前記複数の視差値に基づく、記憶することと、
前記複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて前記複数の視差値のうちの前記前の値を前記第1の視差値と置き換えることと
を含む、請求項33に記載の非一時的コンピュータ可読媒体。

【請求項45】

前記第1の深度値が、前記第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む、請求項33に記載の非一時的コンピュータ可読媒体。

【請求項46】

前記命令が、デバイスのプロセッサによって実行されると、前記デバイスに、
レンジ撮像に基づいて前記第1の深度値を決定すること
をさらに含む動作を実行させる、請求項33に記載の非一時的コンピュータ可読媒体。

【請求項47】

前記第1の深度値を決定することが、飛行時間(ToF)測定値に基づいて前記第1の深度値を決定することを含む、請求項46に記載の非一時的コンピュータ可読媒体。

【請求項48】

前記第1の深度値を決定することが、光検出および測距(LIDAR)測定値に基づいて前記第1の深度値を決定することを含む、請求項46に記載の非一時的コンピュータ可読媒体。

【請求項49】

デバイスであって、
第1の視野で構成された第1の画像センサーと、
前記第1の視野と少なくとも部分的に重複する第2の視野で構成された第2の画像センサーと、
前記第1の画像センサーに結合され、かつ前記第2の画像センサーに結合されたプロセッサと、
前記プロセッサに結合されたメモリとを備え、
前記プロセッサが、
前記第1の画像センサーと前記第2の画像センサーとの間の視野の差を示す第1の視差値を受信することと、
前記第1の視差値に対応する第1の深度値を受信することと、
複数の深度値において前記第1の画像センサーと前記第2の画像センサーとの間の視差のためのモデルを決定することであって、前記モデルが、前記第1の視差値および第1の深度に少なくとも部分的に基づく、決定することと
を含むステップを実行するように構成される、デバイス。

【請求項50】

前記プロセッサが、
前記第1の画像センサーまたは前記第2の画像センサーのうちの一方から入力画像フレームを受信することと、
前記入力画像フレームに対応する入力画像深度を受信することと、
前記モデルに少なくとも部分的に基づいて前記入力画像深度に対応する予測視差値を決定することと、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて補正画像フレームを決定することと
を含むステップを実行するようにさらに構成される、請求項49に記載のデバイス。

【請求項51】

前記補正画像フレームを決定することが、前記予測視差値に基づいて、前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の視野と整合するようにワーピングされた補正画像フレームを決定することを含む、請求項50に記載のデバイス。

【請求項52】

前記補正画像フレームを決定することが、
前記入力画像フレームを前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の視野にワーピングするための前記入力画像フレーム用の変換行列を決定すること
を含む、請求項50に記載のデバイス。

【請求項53】

前記変換行列を決定することが、コンピュータビジョン処理(CVP)を用いて前記変換行列を決定することを含む、請求項52に記載のデバイス。

【請求項54】

前記プロセッサが、
前記変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定すること
を含むステップを実行するようにさらに構成され、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記変換行列の前記信頼レベルが前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項52に記載のデバイス。

【請求項55】

前記プロセッサが、
前記入力画像フレームの画像特性がしきい値レベルを下回ると決定すること
を含むステップを実行するようにさらに構成され、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記画像特性が前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項50に記載のデバイス。

【請求項56】

前記プロセッサが、
前記入力画像フレームの輝度がしきい値レベルを下回ると決定すること
を含むステップを実行するようにさらに構成され、
前記入力画像フレームおよび前記予測視差値に少なくとも部分的に基づいて前記補正画像フレームを決定するステップが、前記輝度が前記しきい値レベルを下回るとの決定に基づいて実行される、
請求項50に記載のデバイス。

【請求項57】

前記プロセッサが、
前記第1の画像センサーからの第1の画像フレーム、前記第2の画像センサーからの第2の画像フレーム、および前記補正画像フレームを含むビデオシーケンスを決定することであって、前記補正画像フレームが、前記第1の画像フレームと前記第2の画像フレームとの間の前記ビデオシーケンスに出現する、決定すること
を含むステップを実行するようにさらに構成される、請求項50に記載のデバイス。

【請求項58】

前記補正画像フレームを決定するステップが、前記第1の画像センサーまたは前記第2の画像センサーのうちの他方の画像フレームにさらに基づく、請求項50に記載のデバイス。

【請求項59】

前記第1の視差値が、第1の軸線に沿った視野の差を示し、
前記プロセッサが、
前記第1の軸線とは異なる第2の軸線に沿った前記第1の画像センサーと前記第2の画像センサーとの間の視野の差を示す第2の視差値を受信することであって、前記モデルを決定するステップが、前記第2の視差値にさらに少なくとも部分的に基づく、受信すること
をさらに含むステップを実行するように構成される、請求項49に記載のデバイス。

【請求項60】

前記モデルを決定することが、
複数の視差値を記憶することであって、前記モデルが前記複数の視差値に基づく、記憶することと、
前記複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて、前記複数の視差値のうちの前記前の値を前記第1の視差値と置き換えることと
を含む、請求項49に記載のデバイス。

【請求項61】

深度センサーをさらに備え、前記プロセッサが、前記深度センサーに結合され、前記深度センサーからの前記第1の深度値を受信するように構成される、請求項49に記載のデバイス。

【請求項62】

前記深度センサーがレンジ撮像システムを備える、請求項61に記載のデバイス。

【請求項63】

前記深度センサーが飛行時間(ToF)システムを備え、前記第1の深度値を決定することが、前記ToFシステムからのToF測定値に基づいて前記第1の深度値を決定することを含む、請求項62に記載のデバイス。

【請求項64】

前記深度センサーが光検出および測距(LIDAR)システムを備え、前記第1の深度値を決定することが、前記LIDARシステムからのLIDAR測定値に基づいて前記第1の深度値を決定することを含む、請求項62に記載のデバイス。

【請求項65】

前記プロセッサに結合されたコンピュータビジョンプロセッサ(CVP)であって、
前記第1の画像センサーから第1の画像フレームを受信することと、
前記第2の画像センサーから第2の画像フレームを受信することと、
前記第1の画像センサーと前記第2の画像センサーとの間の視野の差を決定するために、前記第1の画像フレームと前記第2の画像フレームとの間で特徴整合することと
を含む動作を実行するように構成されたCVPをさらに備え、
前記プロセッサが、前記第1の画像センサーと前記第2の画像センサーとの間の前記視野の差を前記第1の視差値として前記CVPから受信するように構成される、
請求項49に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その全体が参照により本明細書に明確に組み込まれる、2021年3月15日に出願された「TRANSFORM MATRIX LEARNING FOR MULTI-SENSOR IMAGE CAPTURE DEVICES」と題する米国特許出願第17/201,660号の利益を主張する。

【0002】

本開示の態様は、一般に、画像処理に関する。本開示のいくつかの特徴は、マルチセンサー画像キャプチャデバイスから取得された画像の処理の改善を可能にし、提供することができる。

【背景技術】

【0003】

画像キャプチャデバイス、静止画像写真であろうと、ビデオ用の画像のシーケンスであろうと、1つまたは複数のデジタル画像をキャプチャすることができるデバイスは、多種多様なデバイスに組み込まれ得る。例として、画像キャプチャデバイスは、スタンドアロンデジタルカメラもしくはデジタルビデオカムコーダ、モバイル電話、セルラーもしくは衛星無線電話、携帯情報端末(PDA)、パネルもしくはタブレット、ゲームデバイスなどのカメラ付きワイヤレス通信デバイスハンドセット、ウェブカム、ビデオ監視カメラなどのコンピュータデバイス、またはデジタル撮像もしくはビデオ能力を有する他のデバイスを含み得る。

【0004】

いくつかの画像キャプチャデバイスは、1つまたは複数のレンズを通じて画像データをキャプチャする複数の画像センサーを含み、そのようなデバイスは、マルチセンサー画像キャプチャデバイスまたはマルチセンサーデバイスと呼ばれる。複数の画像センサーは、シーンの複数の視野および/またはシーンの異なるズームレベルを提供するための異なるレンズで構成され得る。例示的なレンズタイプは、広角レンズ、超広角レンズ、望遠レンズ、望遠鏡レンズ、ペリスコープ式ズームレンズ、魚眼レンズ、マクロレンズ、プライムレンズ、またはそれらの様々な組合せを含む。一例では、デュアルカメラ構成は、広角レンズと望遠レンズの両方を含み得る。

【0005】

しかしながら、ユーザは一般に、シーンの複数の画像に関心がなく、むしろ単一の画像をキャプチャおよび表示することに関心があるので、複数の画像センサーの使用はデバイスにおける画像処理の複雑さを増大させる。したがって、複数の画像センサーからキャプチャされた複数のフレームは、ユーザのために単一の画像を生成するために処理され得る。それにもかかわらず、さらに、画像センサー間の異なる物理的特性に起因して、各画像センサーから取得されたフレームは、ある画像センサーから別の画像センサーへの遷移が人間の眼で知覚できるような方法で一緒に流れることがある。たとえば、ビデオとして表示するための一連の画像フレームをキャプチャしている間の望遠レンズから広角レンズへの変更は、ビデオにおけるシーンシフトの出現をもたらすことがある。マルチセンサー画像キャプチャデバイスの出力におけるシーンシフトなどのアーティファクトは望ましくない。

【発明の概要】

【課題を解決するための手段】

【0006】

ビデオフレームにおけるアーティファクトは、ある画像センサーから異なる視野を有する別の画像センサーへの切替えに起因して、マルチセンサーデバイスから出力された画像フレームの連続性の途絶をもたらす。アーティファクトは、別の画像フレームと整合させるための入力画像フレームの修正によって低減または除去され得る。たとえば、入力フレームは、画像フレームを有するフレームのシーケンス中の別のフレームと整合された視野を有する補正画像フレームを生成するために、伸張すること、収縮させること、クロップすること、および/または他の方法で修正されることによって、幾何学的にワーピングされ得る。画像フレーム修正は、マルチセンサーデバイスに関するデータから生成されたモデルに基づいて実行され得る。

【0007】

ワーピングは、視差と呼ばれる、第1の画像センサーから第2の画像センサーへの視野間のシフトに基づき得る。視差は、様々な深度におけるシーンのための第1および第2の画像センサーからの画像キャプチャに基づいてモデル化され得る。モデルは、キャプチャされた画像に対する視差値を予測するために使用されてもよく、それらの予測視差値は、画像センサー切替えから生じるアーティファクトを低減するために使用した。予測視差値は、誤った実際の視差値をもたらす画像条件において使用されてもよい。たとえば、実際の視差値が利用不可能であるかまたは誤っていると決定された場合、予測視差値は実際の視差値の代わりになり得る。この代用は、画像センサー切替えおよび/またはコンピュータビジョン処理(CVP)などの画像キャプチャに関連付けられた他の構成要素の故障に起因するアーティファクトを低減し得る。実際の視差決定が失敗し得る条件では予測視差値が利用可能であるので、モデルから決定された予測視差値は、任意のズーム比でかつ任意のシーンについて画像センサーを切り替えることを容易にし得る。

【0008】

いくつかの態様では、すべての画像センサーの視差をモデル化するために、単一のモデルが使用され得る。いくつかの態様では、2つの画像センサーからキャプチャされた画像フレームのペアごとに、別個のモデルが使用され得る。たとえば、3つの画像センサーを有するデバイス上では、第1および第2の画像センサーに対応する第1のモデルが決定されてもよく、第1および第3の画像センサーについての第2のモデルが決定されてもよく、第2および第3の画像センサーについての第3のモデルが決定されてもよい。したがって、いずれか1つの画像センサーからその他の画像センサーのいずれかへの切替えは、一方の画像センサーからの画像フレームを他方の画像センサーと整合させるためにワーピングするのに利用可能な予測視差値を有し得る。

【0009】

以下では、説明する技術の基本的理解を与えるために、本開示のいくつかの態様を要約する。この概要は、本開示のすべての企図された特徴の広範な概観ではなく、本開示のすべての態様の主要または重要な要素を識別するものでもなく、本開示のいずれかまたはすべての態様の範囲を定めるものでもない。その唯一の目的は、後で提示するより詳細な説明の前置きとして、本開示の1つまたは複数の態様のいくつかの概念を概要の形で提示することである。

【0010】

一般に、本開示は、画像センサーおよび画像信号プロセッサ(ISP)を有するデジタルカメラを伴う画像処理技法について説明する。画像センサー切替え中の低減されたアーティファクトによる改善された画像品質を達成するために、ISPは、視差モデルを使用して、画像センサーから受信された画像フレームをワーピングし得る。ワーピングおよび視差モデル化は、代替として、画像センサーとは別に記憶された画像フレームに対して実行され得る。ワーピングおよび視差モデル化は、CPU上で実行されている画像処理機能に応答してCPUによってなど、デバイスの中の別の構成要素からの要求に基づいて実行され得る。

【0011】

画像信号プロセッサは、1つまたは複数の画像センサーからの画像フレームのキャプチャを制御し、1つまたは複数の画像センサーからの画像フレームを処理して、補正画像フレームにおけるシーンのビューを生成するように構成され得る。一例では、画像信号プロセッサは、CPU上でのカメラアプリケーションなどのソフトウェアのローディングに応答して、画像フレームのシーケンスをキャプチャするための命令を受信し得る。画像信号プロセッサは、画像センサーからのそれぞれの補正画像に基づいて、出力フレームの単一のフローを生成するように構成され得る。出力フレームの単一のフローは画像フレームを含んでもよく、画像フレームは、画像フレームを出力フローの中の他の画像フレーム(たとえば、異なる画像センサーによってキャプチャされた前のフレーム)と整合させるために幾何学的ワーピングなどによって補正されている、画像センサーからの画像データを含む。

【0012】

シーンを表す出力フレームが画像信号プロセッサによって生成された後、シーンのビューは、デバイスディスプレイ上に表示され、ピクチャもしくはビデオとしてのピクチャのシーケンスとして記憶デバイスに保存され、ネットワークを介して送信され、かつ/または出力媒体に印刷され得る。たとえば、画像信号プロセッサは、異なる画像センサーから画像データの入力フレーム(たとえば、ピクセル値)を取得し、次に、画像データの対応する出力フレーム(たとえば、プレビュー表示フレーム、静止画像キャプチャ、ビデオのフレームなど)を生成するように構成され得る。他の例では、画像信号プロセッサは、3Aパラメータ同期、出力フレームを介してビデオファイルを生成する、表示用のフレームを構成する、記憶用のフレームを構成するためなどの、さらなる処理のために、画像データのフレームを様々な出力デバイスおよび/またはカメラモジュールに出力し得る。すなわち、画像信号プロセッサは、各々が1つまたは複数のカメラレンズに結合された1つまたは複数の画像センサーからの入来フレームを取得し得、次に、出力フレームのフローを生成し、様々な出力宛先に出力し得る。そのような例では、画像信号プロセッサは、画像センサー変更に起因するアーティファクトが低減されていることがある出力フレームのフローを生成するように構成され得る。一例では、画像信号プロセッサは、ピンチズーム動作、ジェスチャー検出に基づいてズームレベルを変更するための入力、または画像センサーを含むデバイスもしくは画像センサーを含むデバイスに結合されたユーザデバイスへの他のユーザ入力を受信し得る。ピンチズーム動作などのユーザ入力に応答して画像センサーが変わると、予測視差は、画像フレームをワーピングし、センサーから出力された画像フレームのシーケンスにおけるアーティファクトを低減するために使用され得る。

【0013】

本開示の一態様では、方法は、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信するステップ、第1の視差値に対応する第1の深度値を受信するステップ、複数の深度値において第1の画像センサーと第2の画像センサーとの間の視差のためのモデルを決定するステップであって、モデルが、第1の視差値および第1の深度に少なくとも部分的に基づく、ステップ、第1の画像センサーまたは第2の画像センサーのうちの一方から入力画像フレームを受信するステップ、入力画像フレームに対応する入力画像深度を受信するステップ、モデルに少なくとも部分的に基づいて入力画像深度に対応する予測視差値を決定するステップ、ならびに/または、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップを含む。補正画像フレームは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされたものとして決定され得る。予測視差値は、第1の視差値が第1の軸線に沿った視野の差を示すような、2つ以上の軸線の値を含み得、方法は、第1の軸線とは異なる第2の軸線に沿った第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値を受信するステップであって、モデルを決定するステップが、第2の視差値にさらに少なくとも部分的に基づく、ステップをさらに含む。モデルをトレーニングするための深度値は、オートフォーカスシステム、レンジ撮像システム、または他のシステムから取得され得る。たとえば、方法の動作では、第1の深度値は、第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む。別の例として、方法は、レンジ撮像に基づいて第1の深度値を決定するステップを含み得る。いくつかの態様では、第1の深度値を決定することは、飛行時間(ToF)測定値に基づいて第1の深度値を決定することを含む。いくつかの態様では、第1の深度値を決定することは、光検出および測距(LIDAR)測定値に基づいて第1の深度値を決定することを含む。

【0014】

いくつかの態様では、補正画像の決定は、コンピュータビジョン処理によって生成され得るなど、入力画像フレームを第1の画像センサーまたは第2の画像センサーのうちの他方の視野にワーピングするための変換行列を決定することを含み得る。変換行列の決定は、変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定することを含み得、信頼レベルは、コンピュータビジョン処理によって決定された実際の視差値を使用するかまたはモデルに基づく予測視差値を使用するかを決定するために使用した。たとえば、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、変換行列の信頼レベルがしきい値レベルを下回るとの決定に基づいて実行される。実際の視差値かまたは予測視差値かに関する決定は、同じくまたは代替的に、他の画像特性に基づき得る。たとえば、方法は、入力画像フレームの画像特性がしきい値レベルを下回ると決定するステップであって、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップが、画像特性がしきい値レベルを下回るとの決定に基づいて実行される、ステップを含み得る。いくつかの態様では、画像特性は輝度レベルであってもよく、その結果として、方法は、入力画像フレームの輝度がしきい値レベルを下回ると決定するステップであって、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップが、輝度がしきい値レベルを下回るとの決定に基づいて実行される、ステップを含む。

【0015】

補正画像フレームは、処理から出力され、記憶されるかまたはユーザに表示され得る。たとえば、方法は、第1の画像センサーからの第1の画像フレーム、第2の画像センサーからの第2の画像フレーム、および補正画像フレームを含むビデオシーケンスを決定するステップであって、補正画像フレームが、第1の画像フレームと第2の画像フレームとの間のビデオシーケンスに出現する、ステップを含み得る。いくつかの態様では、さらなる処理は、フレームの出力の前の補正画像フレームの決定の間に実行され得る。たとえば、補正画像フレームを決定するステップは、第1の画像センサーまたは第2の画像センサーのうちの他方の画像フレームにさらに基づく。

【0016】

方法は、視差モデルの生成においてデータを選択的に含めるステップをさらに含み得る。たとえば、方法は、複数の視差値を記憶するステップであって、モデルが複数の視差値に基づく、ステップ、および/または、複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて複数の視差値のうちの前の値を第1の視差値と置き換えるステップを含み得る。

【0017】

本開示の追加の態様では、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに結合されたメモリとを含む装置が開示される。少なくとも1つのプロセッサは、本明細書で説明する方法または技法のいずれかを実行するように構成される。たとえば、少なくとも1つのプロセッサは、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信すること、第1の視差値に対応する第1の深度値を受信すること、複数の深度値において第1の画像センサーと第2の画像センサーとの間の視差のためのモデルを決定することであって、モデルが、第1の視差値および第1の深度に少なくとも部分的に基づく、決定すること、第1の画像センサーまたは第2の画像センサーのうちの一方から入力画像フレームを受信すること、入力画像フレームに対応する入力画像深度を受信すること、モデルに少なくとも部分的に基づいて入力画像深度に対応する予測視差値を決定すること、ならびに/または、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定することを含むステップを実行するように構成され得る。補正画像フレームは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされたものとして決定され得る。予測視差値は、第1の視差値が第1の軸線に沿った視野の差を示すような、2つ以上の軸線の値を含み得、方法は、第1の軸線とは異なる第2の軸線に沿った第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値を受信するステップであって、モデルを決定するステップが、第2の視差値にさらに少なくとも部分的に基づく、ステップをさらに含む。モデルをトレーニングするための深度値は、オートフォーカスシステム、レンジ撮像システム、または他のシステムから取得され得る。たとえば、方法の動作では、第1の深度値は、第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む。別の例として、方法は、レンジ撮像に基づいて第1の深度値を決定するステップを含み得る。いくつかの態様では、第1の深度値を決定することは、飛行時間(ToF)測定値に基づいて第1の深度値を決定することを含む。いくつかの態様では、第1の深度値を決定することは、光検出および測距(LIDAR)測定値に基づいて第1の深度値を決定することを含む。

【0018】

少なくとも1つのプロセッサは、カメラ制御および/または処理のための特定の機能を含む、1つもしくは複数の画像信号プロセッサおよび/または1つもしくは複数のプロセッサを含み得る。少なくとも1つのプロセッサは、同じくまたは代替的に、アプリケーションプロセッサを含み得る。本明細書で説明する方法および技法は、画像信号プロセッサもしくはアプリケーションプロセッサによって完全に実行され得るか、または様々な動作は、画像信号プロセッサとアプリケーションプロセッサとの間で分割され、いくつかの態様では、追加のプロセッサにわたって分割され得る。

【0019】

装置は、第1の画像センサーおよび第2の画像センサーを含む少なくとも2つの画像センサーを含み得、第1の画像センサーは、第2の画像センサーよりも大きい視野(FOV)を有する。一例では、第1の画像センサーは広角画像センサーであってもよく、第2の画像センサーは望遠画像センサーであってもよい。別の例では、第1のセンサーは、第1の光軸を有する第1のレンズを通じて画像を取得するように構成され、第2のセンサーは、第1の光軸とは異なる第2の光軸を有する第2のレンズを通じて画像を取得するように構成される。追加または代替として、第1のレンズは第1の倍率を有してもよく、第2のレンズは第1の倍率とは異なる第2の倍率を有してもよい。この構成は、複数の画像センサーおよび関連するレンズがモバイルデバイスの表面または背面上のオフセットロケーションに配置されている場合などに、モバイルデバイス上のレンズクラスタを用いて行われ得る。より大きい視野、より小さい視野、または同じ視野を有する追加の画像センサーが含まれ得る。本明細書で説明する画像補正技法は、マルチセンサーデバイスにおける画像センサーのいずれかからキャプチャされた画像フレームに適用され得る。

【0020】

本開示の追加の態様では、画像キャプチャ用に構成されたデバイスが開示される。装置は、画像センサー(電荷結合素子(CCD)、ベイヤーフィルタセンサー、赤外線(IR)検出器、紫外線(UV)検出器、相補型金属酸化物半導体(CMOS)センサーを含む)などの、シーンを表す光データ(たとえば、画像フレーム)をキャプチャするための第1および第2の手段を含む。装置は、光線を1つまたは複数の画像センサーに蓄積および/または集束させるための1つまたは複数の手段(単純レンズ、複合レンズ、球面レンズ、および非球面レンズを含む)をさらに含み得る。装置はまた、光データをキャプチャするための手段によってキャプチャされたシーンの深度をキャプチャするための1つまたは複数の手段(飛行時間(ToF)システム、光検出および測距(LIDAR)システム、構造化光システム、オートフォーカスシステムを含む)を含み得る。デバイスは、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信すること、第1の視差値に対応する第1の深度値を受信すること、複数の深度値において第1の画像センサーと第2の画像センサーとの間の視差のためのモデルを決定することであって、モデルが、第1の視差値および第1の深度に少なくとも部分的に基づく、決定すること、第1の画像センサーまたは第2の画像センサーのうちの一方から入力画像フレームを受信すること、入力画像フレームに対応する入力画像深度を受信すること、モデルに少なくとも部分的に基づいて入力画像深度に対応する予測視差値を決定すること、ならびに/または、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定することを含む1つまたは複数の動作を実行するように構成され得る。補正画像フレームは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされたものとして決定され得る。予測視差値は、第1の視差値が第1の軸線に沿った視野の差を示すような、2つ以上の軸線の値を含み得、方法は、第1の軸線とは異なる第2の軸線に沿った第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値を受信するステップであって、モデルを決定するステップが、第2の視差値にさらに少なくとも部分的に基づく、ステップをさらに含む。モデルをトレーニングするための深度値は、オートフォーカスシステム、レンジ撮像システム、または他のシステムから取得され得る。たとえば、方法の動作では、第1の深度値は、第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む。別の例として、方法は、レンジ撮像に基づいて第1の深度値を決定するステップを含み得る。いくつかの態様では、第1の深度値を決定することは、飛行時間(ToF)測定値に基づいて第1の深度値を決定することを含む。いくつかの態様では、第1の深度値を決定することは、光検出および測距(LIDAR)測定値に基づいて第1の深度値を決定することを含む。

【0021】

本開示の追加の態様では、非一時的コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、本明細書で説明する方法および技法で説明するものを含む動作を実行させる命令を記憶する。たとえば、動作は、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信すること、第1の視差値に対応する第1の深度値を受信すること、複数の深度値において第1の画像センサーと第2の画像センサーとの間の視差のためのモデルを決定することであって、モデルが、第1の視差値および第1の深度に少なくとも部分的に基づく、決定すること、第1の画像センサーまたは第2の画像センサーのうちの一方から入力画像フレームを受信すること、入力画像フレームに対応する入力画像深度を受信すること、モデルに少なくとも部分的に基づいて入力画像深度に対応する予測視差値を決定すること、ならびに/または、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定することを含み得る。補正画像フレームは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされたものとして決定され得る。予測視差値は、第1の視差値が第1の軸線に沿った視野の差を示すような、2つ以上の軸線の値を含み得、方法は、第1の軸線とは異なる第2の軸線に沿った第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値を受信するステップであって、モデルを決定するステップが、第2の視差値にさらに少なくとも部分的に基づく、ステップをさらに含む。モデルをトレーニングするための深度値は、オートフォーカスシステム、レンジ撮像システム、または他のシステムから取得され得る。たとえば、方法の動作では、第1の深度値は、第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む。別の例として、方法は、レンジ撮像に基づいて第1の深度値を決定するステップを含み得る。いくつかの態様では、第1の深度値を決定することは、飛行時間(ToF)測定値に基づいて第1の深度値を決定することを含む。いくつかの態様では、第1の深度値を決定することは、光検出および測距(LIDAR)測定値に基づいて第1の深度値を決定することを含む。

【0022】

他の態様、特徴、および実装形態は、添付の図とともに特定の例示的な態様の以下の説明を検討すれば、当業者に明らかとなろう。特徴は、以下のいくつかの態様および図に関連して説明されることがあるが、様々な態様は、本明細書で説明する有利な特徴のうちの1つまたは複数を含み得る。言い換えれば、1つまたは複数の態様は、いくつかの有利な特徴を有するものとして説明されることがあるが、そのような特徴のうちの1つまたは複数はまた、様々な態様に従って使用され得る。同様に、例示的な態様は、デバイス態様、システム態様、または方法態様として以下で説明されることがあるが、例示的な態様は、様々なデバイス、システム、および方法において実装され得る。

【0023】

方法は、プロセッサに方法のステップを実行させる命令を含むコンピュータプログラムコードとしてコンピュータ可読媒体中に埋め込まれ得る。いくつかの実施形態では、プロセッサは、複数のネットワーク接続のうちの第1のネットワーク接続を介してデータを送信するように構成された第1のネットワークアダプタと、第1のネットワークアダプタおよびメモリに結合されたプロセッサとを含むモバイルデバイスの一部であり得る。

【0024】

上記では、以下の詳細な説明がより良く理解され得るように、本発明の実施形態のいくつかの特徴および技術的利点をかなり広く概説した。本発明の特許請求の範囲の主題を形成する追加の特徴および利点について、以下で説明する。開示する概念および特定の実施形態は、同じまたは同様の目的を遂行するための他の構造を修正または設計するための基礎として容易に利用され得ることを、当業者は諒解されたい。そのような等価な構成は、添付の特許請求の範囲に記載されている本発明の趣旨および範囲から逸脱しないことも、当業者は認識されたい。追加の特徴は、添付の図とともに考慮されると、以下の説明からより良く理解されよう。しかしながら、図の各々は例示および説明のために提供されるにすぎず、本発明を限定するものではないことを明確に理解されたい。

【0025】

本開示の性質および利点のさらなる理解は、以下の図面を参照することによって実現され得る。添付の図面では、同様の構成要素または特徴は、同じ参照ラベルを有することがある。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、同様の構成要素を区別する第2のラベルとを続けることによって区別されることがある。第1の参照ラベルのみが本明細書で使用される場合、説明は、第2の参照ラベルにかかわらず、同じ第1の参照ラベルを有する同様の構成要素のいずれにも適用可能である。

【図面の簡単な説明】

【0026】

【図1】本開示で説明する例示的な技法のうちの1つまたは複数を実行するように構成されたコンピューティングデバイスのブロック図である。

【図2】本開示の1つまたは複数の態様による、マルチセンサーデバイスにおける画像センサー視差のモデル化を示すブロック図である。

【図3】本開示の1つまたは複数の態様による、予測視差を使用した画像フレームのワーピングを示すブロック図である。

【図4】本開示の1つまたは複数の態様による、画像センサー視差のための生成されたモデルを示すグラフである。

【図5】本開示の1つまたは複数の態様による、予測視差データを使用して画像フレームを補正するための方法を示すフローチャートである。

【図6】1つまたは複数の態様による、画像フレームの補正において予測視差データを選択的に使用する方法を示すフローチャートである。

【発明を実施するための形態】

【0027】

様々な図面における同様の参照番号および名称は、同様の要素を示す。

【0028】

添付の図面に関して以下に記載される詳細な説明は、様々な構成の説明を目的としたものであり、本開示の範囲を限定するものではない。むしろ、詳細な説明は、本発明の主題の完全な理解を与えるための具体的な詳細を含む。これらの具体的な詳細がすべての場合に必要であるとは限らないこと、および、いくつかの事例では、提示を明確にするために、よく知られている構造および構成要素がブロック図の形態で示されることは当業者に明らかであろう。

【0029】

本開示は、写真およびビデオ用のキャプチャされた画像フレームの画像処理をサポートする、システム、装置、方法、およびコンピュータ可読媒体を提供する。本開示で説明する主題の特定の実装形態は、ある画像センサーから別の画像センサーへの変更または画像フレームのシーケンス中のキャプチャされた画像フレームの視野に影響を及ぼす別の変更の間にキャプチャされた画像フレームのシーケンス中のアーティファクトを低減することによる改善された画像品質などの、潜在的な利点または利益を実現するために実装され得る。システム、装置、方法、およびコンピュータ可読媒体は、モバイルフォン、タブレットコンピューティングデバイス、ラップトップコンピューティングデバイス、他のコンピューティングデバイス、またはデジタルカメラなどの画像キャプチャデバイスの中に埋め込まれ得る。

【0030】

スマートフォンなどの、複数の画像センサーを使用して画像フレームをキャプチャするための例示的なデバイスは、デバイスの背面(たとえば、ユーザディスプレイの反対側)または表面(たとえば、ユーザディスプレイと同じ側)に、2つ、3つ、4つ、またはそれ以上のカメラの構成を含み得る。複数の画像センサーを有するデバイスは、1つもしくは複数の画像信号プロセッサ(ISP)、コンピュータビジョンプロセッサ(CVP)、または画像センサーによってキャプチャされた画像を処理するための他の適切な回路を含む。1つまたは複数の画像信号プロセッサは、符号化、記憶、送信、または他の操作のためなど、さらなる処理のために、処理された画像フレームをメモリおよび/または(アプリケーションプロセッサ、画像フロントエンド(IFE)、画像処理エンジン(IPE)、または他の適切な処理回路などの)プロセッサに提供し得る。

【0031】

本明細書で使用する場合、画像センサーは、画像センサー自体、および画像センサーに結合された任意の他の適切な構成要素を指すことがある。たとえば、画像センサーは、シャッター、バッファ、または他の読出し回路を含む、カメラの他の構成要素を指すこともある。画像センサーはさらに、アナログフロントエンド、またはアナログ信号をフレームのデジタル表現に変換するための他の回路を指すことがある。したがって、本明細書の「画像センサー」という用語は、画像フレームのキャプチャおよび画像信号プロセッサへの画像フレームの読出しのための任意の適切な構成要素を指すことがある。

【0032】

以下の説明では、本開示の完全な理解を与えるために、具体的な構成要素、回路、およびプロセスの例などの多数の具体的な詳細が記載されている。本明細書で使用する「結合された」という用語は、1つもしくは複数の介在する構成要素もしくは回路に直接接続されること、またはそれらを通じて接続されることを意味する。また、以下の説明では説明の目的で、本開示の完全な理解を与えるために、具体的な名称が記載されている。しかしながら、これらの具体的な詳細が本明細書で開示する教示を実践するために必要とされない場合があることは当業者に明らかであろう。他の事例では、本開示の教示を不明瞭にすることを避けるために、よく知られている回路およびデバイスはブロック図の形態で示されている。以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する動作の手順、論理ブロック、処理、および他の記号表現に関して提示される。本開示では、手順、論理ブロック、プロセスなどは、所望の結果をもたらすステップまたは命令の自己矛盾のないシーケンスであると考えられる。ステップは、物理量の物理的操作を必要とするものである。通常、必ずしもそうとは限らないが、これらの量は、コンピュータシステムにおいて記憶されること、転送されること、合成されること、比較されること、および他の方法で操作されることが可能な電気信号または磁気信号の形態をとる。

【0033】

しかしながら、これらの用語および同様の用語のすべては適切な物理量に関連付けられるべきであり、これらの量に付与される便利なラベルにすぎないことを念頭に置くべきである。別段に明記されていない限り、以下の説明から明らかなように、本出願全体を通して、「アクセスする」、「受信する」、「送る」、「使用する」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均する」、「監視する」、「比較する」、「適用する」、「更新する」、「測定する」、「導出する」、「解決する」、「生成する」などの用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを操作し、そのデータをコンピュータシステムのレジスタ、メモリ、または他のそのような情報記憶、送信、もしくは表示デバイス内の物理量として同様に表される他のデータに変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスを指すことを諒解されたい。

【0034】

図では、単一のブロックは、1つまたは複数の機能を実行するものとして説明されることがある。そのブロックによって実行される1つまたは複数の機能は、単一の構成要素においてもしくは複数の構成要素にわたって実行されてもよく、かつ/またはハードウェア、ソフトウェア、もしくはハードウェアとソフトウェアの組合せを使用して実行されてもよい。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、それらの機能に関して概略的に以下で説明する。そのような機能がハードウェアとして実装されるかまたはソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明する機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。また、例示的なデバイスは、プロセッサ、メモリなどのよく知られている構成要素を含む、図示のもの以外の構成要素を含み得る。

【0035】

本開示の態様は、画像フレーム(または「フレーム」)をキャプチャすることが可能な2つ以上の画像センサーを含むかまたはそれらに結合された、任意の適切な電子デバイスに適用可能である。さらに、本開示の態様は、(解像度、シャッター速度、センサータイプなどの)同じまたは異なる能力および特性の画像センサーを有するかまたはそれらに結合されたデバイスにおいて実装され得る。さらに、本開示の態様は、デバイスが画像センサーを含むかまたはそれらに結合されているか否かにかかわらず、クラウドコンピューティングシステム中に存在する処理デバイスを含む、記憶された画像を処理のために取り出し得る処理デバイスなどの、画像フレームを処理するためのデバイスにおいて実装され得る。

【0036】

「デバイス」および「装置」という用語は、(1つのスマートフォン、1つのカメラコントローラ、1つの処理システムなどの)1つまたは特定の数の物理的オブジェクトに限定されない。本明細書で使用する場合、デバイスは、本開示の少なくともいくつかの部分を実装し得る1つまたは複数の部品を有する任意の電子デバイスであり得る。以下の説明および例は、本開示の様々な態様について説明するために「デバイス」という用語を使用するが、「デバイス」という用語は、特定の構成、タイプ、またはオブジェクトの数に限定されない。本明細書で使用する場合、装置は、説明する動作を実行するためのデバイスまたはデバイスの一部分を含み得る。

【0037】

図1は、1つまたは複数の画像センサーからの画像キャプチャを実行するための例示的なデバイス100のブロック図を示す。デバイス100は、第1の画像センサー101、第2の画像センサー102、および深度センサー140などの複数の画像センサーからの画像フレームを処理するための画像信号プロセッサ112を含み得るか、またはさもなければそれに結合され得る。深度センサー140は、飛行時間(ToF)センサー、光測距および検出(LiDAR)システム、赤外線(IR)測距システム、構造化光撮像システム、ならびに/または無線周波数(RF)測距システムなどの、1つまたは複数のレンジ撮像デバイスを含み得る。いくつかの態様では、各画像センサー101および102が異なる画像信号プロセッサに結合されるように、複数の画像信号プロセッサが単一の画像信号プロセッサ112の代わりに使用され得る。いくつかの態様では、追加の画像センサーが、センサー101および102に結合された2つのISPのうちの1つと画像信号プロセッサを共有し得るか、または追加の画像信号プロセッサが、追加の画像センサーの各々に結合され得る。いくつかの態様では、複数のISPの各々は、それぞれの画像センサーから取得された画像フレームに対する動作、本明細書で図2～図6を参照しながら説明するものなどの動作を並行して実行し得る。いくつかの態様では、複数のISPのうちの1つがマスタデバイスであり、その他がスレーブデバイスであることがあり、マスタデバイスは、協調動作および/または、2つの画像センサーから取得された2つの画像フレーム間の視差を決定するための動作などの、画像センサーのうちの2つ以上から取得されたデータに対して実行される動作を実行する。コンピュータビジョンプロセッサ(CVP)は、第1の画像センサーと第2の画像センサーとの間の視野の差を決定するための特徴整合などの、画像センサーの出力に対するコンピュータビジョン動作を実行し、その差および/または他の特徴整合情報を視差値として使用するISP112またはプロセッサ104にその差および/または他の特徴整合情報を提供するために、画像センサーの各々に結合されてもよい。特徴整合は、画像センサーから取得された画像フレームの中の特徴点のセットを決定すること、各特徴点の周辺の領域を画定すること、ならびに任意選択で、精度を改善するために特徴点の周辺のエリアを正規化すること、正規化された領域の局所記述子を計算すること、および異なる画像センサーによってキャプチャされた画像フレーム間の記述子を整合させることなどの動作を含み得る。いくつかの態様では、特徴整合アルゴリズムは、スケール不変特徴変換(SIFT:scale-invariant feature transform)、ランダムサンプルコンセンサス(RANSAC:random sample consensus)、バイナリロバスト独立基本特徴(BRIEF: binary robust independent elementary features)、高速化ロバスト特徴(SURF:speeded-up robust features)、および/または指向FASTおよび回転ブリーフ(ORB:oriented FAST and rotated brief)アルゴリズムのうちの1つまたは複数を含み得る。

【0038】

いくつかの態様では、デバイス100はまた、プロセッサ104と、命令108を記憶するメモリ106とを含むか、またはそれらに結合される。デバイス100はまた、ディスプレイ114と、タッチスクリーンインターフェースおよび/または物理ボタンなどのいくつかの入力/出力(I/O)構成要素116とを含み得るか、またはそれらに結合され得る。デバイス100は、バッテリーまたはデバイス100をエネルギー源に結合するための構成要素などの、デバイス100用の電源118をさらに含み得るか、またはそれに結合され得る。デバイス100はまた、図示されていない追加の特徴または構成要素を含み得るか、またはそれらに結合され得る。一例では、いくつかのトランシーバとベースバンドプロセッサとを含み得るワイヤレスインターフェースは、ワイヤレス通信デバイス用に含まれ得る。別の例では、(全地球測位システム(GPS)受信機などの)1つまたは複数の他のセンサーがデバイスに含まれ得るか、またはそれに結合され得る。さらなる例では、アナログ画像フレームデータをデジタル画像フレームデータに変換するためのアナログフロントエンドが、画像センサー101および102と画像信号プロセッサ112との間に結合され得る。

【0039】

デバイスは、デバイス100の移動に関するデータ、デバイス100の周辺の環境に関するデータ、および/または他の非カメラセンサーデータを受信するためにセンサーとインターフェースするためのセンサーハブ150を含み得るか、またはそれに結合され得る。そのような非カメラセンサーは、デバイス100に統合され得、かつ/または、デバイス100に結合され得る。1つの例示的な非カメラセンサーは、回転、配向、および/または角速度を測定するように構成されたデバイスであるジャイロスコープである。別の例示的な非カメラセンサーは、加速度を測定するように構成されたデバイスである加速度計であり、加速度計は、測定加速度を適宜に積分することによって速度および移動距離を決定するために使用されることもある。

【0040】

画像信号プロセッサ112は、画像センサー101、102へのローカルバス接続から、または、外部画像センサーへのワイヤインターフェースもしくは遠くの画像センサーへのワイヤレスインターフェースなどの他の接続によって、画像フレームを形成するために使用されるものなどの画像データを受信し得る。いくつかの実施形態では、デバイス100は、第1の画像センサー101および対応する第1のレンズ131を備える第1のカメラと、第2の画像センサー102および対応する第2のレンズ132を備える第2のカメラとを含み得る。レンズ131および132の各々は、それぞれ、関連するオートフォーカス(AF)システム133および134を有してもよく、AFシステム133および134は、センサー101および102からの一定のシーン深度において特定の焦点面に焦点を合わせるためにレンズ131および132を調整する。AFシステム133および134は、深度センサー140によって支援され得、かつ/または、センサー101および102によってキャプチャされた画像フレームに関連付けられたメタデータを通じて深度情報をISP112などのデバイス100の他の構成要素に提供し得る。いくつかの態様では、デバイス100は、デバイス100から離れて配置された画像センサー101および102から画像データを受信するためのインターフェースを含み得る。デバイス100は、デバイス100内にまたはデバイス100から離れて配置された画像センサーの組合せからの画像データに対して画像処理を実行し得る。

【0041】

第1の画像センサー101および第2の画像センサー102は、1つまたは複数の画像フレームをキャプチャするように構成される。たとえば、第1の画像センサー101および第2の画像センサー102は、(スマートフォンまたは他の適切なデバイスのためのデュアルカメラ構成、トリプルカメラ構成などの)1つの複数カメラ構成に、または別個の単一カメラもしくは複数カメラ構成に含まれ得る。画像センサー101および102はまた、集光するための1つもしくは複数のレンズ131および132、受光するための1つもしくは複数の開口、露光窓の外側にあるときに遮光するための1つもしくは複数のシャッター、特定の周波数レンジの外側の光をフィルタリングするための1つもしくは複数のカラーフィルタアレイ(CFA)、アナログ測定値をデジタル情報に変換するための1つもしくは複数のアナログフロントエンド、または撮像のための他の適切な構成要素を含み得るか、またはそれらに結合され得る。たとえば、第1の画像センサー101は第1のレンズ131に結合され得、第2の画像センサー102は第2のレンズ132に結合され得る。第1のレンズ131および第2のレンズ132は、第1のレンズ131が超広角(UW)レンズであり、第2のレンズ132が広角(W)レンズであるときなどに、異なる視野を有し得る。デバイス100はまた、フラッシュ、深度センサー、GPS、または撮像用もしくは撮像アプリケーションのサポート用の他の適切な構成要素を含み得るか、またはそれらに結合され得る。

【0042】

複数の画像センサーは、超広角(高視野(FOV))、広角、望遠、および超望遠(低FOV)センサーの組合せを含み得る。すなわち、各画像センサーは、異なるが重複する視野を取得するように、ハードウェア構成および/またはソフトウェア設定を通じて構成され得る。一構成では、画像センサーは、異なる視野をもたらす異なる倍率を有する異なるレンズで構成される。センサーは、UWセンサーがWセンサーよりも大きいFOVを有するように構成されてもよく、WセンサーはTセンサーよりも大きいFOVを有し、TセンサーはUTセンサーよりも大きいFOVを有する。たとえば、広角FOV用に構成されたセンサーは、64～84度の範囲の視野をキャプチャすることができ、ウルトラサイドFOV用に構成されたセンサーは、100～140度の範囲の視野をキャプチャすることができ、望遠FOV用に構成されたセンサーは、10～30度の範囲の視野をキャプチャすることができ、超望遠FOV用に構成されたセンサーは、1～8度の範囲の視野をキャプチャすることができる。本開示のいくつかの態様は、デバイスが複数の画像センサーのうちの第1のものを使用してシーンの画像をキャプチャすることから複数の画像センサーのうちの第2のものを使用してシーンの画像をキャプチャすることに遷移する間に、キャプチャされた画像フレームのうちの1つまたは複数の空間整合を調整することなどによって、キャプチャされた画像フレームを処理することを含む。本開示の態様は、画像キャプチャデバイスの複数の画像センサーを使用して画像フレームをキャプチャするために使用され得る。たとえば、デジタル画像安定化(DIS:digital image stabilization)のために使用されるカメラ動きデータは、複数の画像センサーからの画像フレームの組合せを使用して獲得され得る。

【0043】

画像信号プロセッサ112は、画像センサー101および102によってキャプチャされた画像フレームを処理する。図1は、デバイス100を、画像信号プロセッサ112に結合された2つの画像センサー101および102を含むものとして示すが、任意の数の画像センサーが画像信号プロセッサ112に結合されてもよい。加えて、任意の数の追加の画像センサーまたは画像信号プロセッサが、デバイス100のために存在し得る。いくつかの実施形態では、画像信号プロセッサ112は、メモリ106からの命令108などの、メモリからの命令、画像信号プロセッサ112に結合されたもしくはそれに含まれる別個のメモリに記憶された命令、またはプロセッサ104によって提供される命令を実行し得る。加えて、または代替として、画像信号プロセッサ112は、本開示で説明する1つまたは複数の動作を実行するために、ソフトウェアを実行し得、かつ/または、(1つまたは複数の集積回路(IC)などの)特定のハードウェアを含み得る。

【0044】

いくつかの実装形態では、メモリ106は、本開示で説明する1つまたは複数の動作の全部または一部分を実行するためのコンピュータ実行可能命令108を記憶する非一過性(non-transient)または非一時的(non-transitory)コンピュータ可読媒体を含み得る。いくつかの実装形態では、命令108は、画像またはビデオを生成するためにデバイス100によって実行されるべきカメラアプリケーション(または他の適切なアプリケーション)を含む。命令108はまた、オペレーティングシステムまたは画像もしくはビデオ生成用以外の特定のアプリケーションなどの、デバイス100によって実行される他のアプリケーションまたはプログラムを含み得る。プロセッサ104などによるカメラアプリケーションの実行は、デバイス100に、画像センサー101および102ならびに画像信号プロセッサ112を使用して画像を生成させ得る。メモリ106はまた、処理されたフレームを記憶するために画像信号プロセッサ112によってアクセスされ得るか、または処理されたフレームを取得するためにプロセッサ104によってアクセスされ得る。いくつかの実施形態では、デバイス100はメモリ106を含まない。たとえば、デバイス100は、画像信号プロセッサ112を含む回路であってもよく、メモリは、デバイス100の外部にあってもよい。デバイス100は、メモリに結合され、表示または長期記憶のために出力フレームを書き込むためにメモリにアクセスするように構成されてもよい。

【0045】

いくつかの実施形態では、プロセッサ104は、メモリ106内に記憶された命令108などの、1つまたは複数のソフトウェアプログラムのスクリプトまたは命令を実行することが可能な1つまたは複数の汎用プロセッサを含み得る。たとえば、プロセッサ104は、メモリ106に記憶されたカメラアプリケーション(または画像もしくはビデオを生成するための他の適切なアプリケーション)を実行するように構成された1つまたは複数のアプリケーションプロセッサを含み得る。カメラアプリケーションを実行する際に、プロセッサ104は、画像センサー101または102に関する1つまたは複数の動作を実行するように画像信号プロセッサ112に命令するように構成され得る。たとえば、カメラアプリケーションはキャプチャコマンドを受信してもよく、キャプチャコマンドを受信すると、画像フレームのシーケンスを含むビデオが、いくつかの画像フレームをワーピングすることによってアーティファクトを低減するための本明細書で説明する1つまたは複数の方法によってキャプチャされ、処理される。カメラアプリケーションの外部でのプロセッサ104による命令108の実行はまた、デバイス100に、任意の数の機能または動作を実行させ得る。いくつかの実施形態では、プロセッサ104は、デバイス100に本明細書で説明する動作などのいくつかの機能または動作を実行させるためのソフトウェアを実行する能力に加えて、ICまたは他のハードウェアを含み得る。いくつかの他の実施形態では、デバイス100は、説明する機能のすべてが画像信号プロセッサ112において構成されるときなどに、プロセッサ104を含まない。

【0046】

いくつかの実施形態では、画像信号プロセッサ112またはプロセッサ104のうちの少なくとも1つは、本明細書で説明する様々な動作を実行するための命令を実行することができる。たとえば、命令の実行は、画像フレームまたは画像フレームのシーケンスをキャプチャするのを開始または終了するように画像信号プロセッサ112に命令することができる。別の例として、命令の実行は、第1の画像センサー101を使用してキャプチャされたシーンの第1の画像をキャプチャすることから第2の画像センサー102を使用してキャプチャされたシーンの第2の画像に変更するように画像信号プロセッサ112に命令することができる。さらなる例として、命令の実行は、ズームレベルを第1のズームレベルから第2のズームレベルに変更するように画像信号プロセッサ112に命令することができ、このことは、第1の視野を有する第1の画像センサーから第2の視野を有する第2の画像センサーへの切替えをもたらし得る。また別の例として、命令の実行は、画像フレームのシーケンスの記録中に、画像フレームをキャプチャするための第1の画像センサーから画像フレームをキャプチャするための第2の画像センサーに切り替えるように画像信号プロセッサ112に命令することができる。

【0047】

いくつかの実施形態では、ディスプレイ114は、ユーザ対話、ならびに/または、画像センサー101および102によってキャプチャされている画像フレームのプレビューなどのアイテムをユーザに提示することを可能にする、1つまたは複数の適切なディスプレイまたはスクリーンを含み得る。いくつかの実施形態では、ディスプレイ114はタッチセンシティブディスプレイである。I/O構成要素116は、ユーザから(コマンドなどの)入力を受信するための、かつ出力をユーザに提供するための任意の適切な機構、インターフェース、またはデバイスであってもよく、またはそれらを含んでもよい。たとえば、I/O構成要素116は、(限定はしないが)グラフィカルユーザインターフェース(GUI)、キーボード、マウス、マイクロフォン、スピーカー、圧縮可能なベゼル、(電源ボタンなどの)1つまたは複数のボタン、スライダー、スイッチなどを含んでもよい。

【0048】

プロセッサ104を介して互いに結合されるように示されているが、プロセッサ104、メモリ106、画像信号プロセッサ112、ディスプレイ114、およびI/O構成要素116は、簡単にするために図示されていない1つまたは複数のローカルバスなどを介して、他の様々な構成において互いに結合されてもよい。画像信号プロセッサ112は、プロセッサ104とは別個のものとして示されているが、画像信号プロセッサ112は、システムオンチップ(SoC)に含まれるかまたはさもなければプロセッサ104に含まれるアプリケーションプロセッサユニット(APU)である、プロセッサ104のコアであってもよい。デバイス100は、本開示の態様を実行するための本明細書の例で言及されるが、いくつかのデバイス構成要素は、本開示の態様を不明瞭にすることを防ぐために、図1に示されないことがある。加えて、他の構成要素、多数の構成要素、または構成要素の組合せが、本開示の態様を実行するための適切なデバイスに含まれ得る。したがって、本開示は、デバイス100を含む特定のデバイスまたは構成要素の構成に限定されない。

【0049】

装置100などのマルチセンサーデバイスは、ユーザ要求または一定の基準が満たされることに基づいて、センサー101および102間など、ある画像センサーから別の画像センサーに切り替えることができる。たとえば、ユーザは、センサー101および102にアクセスしているカメラアプリケーションにおけるポートレートモードを起動することによって、センサー101に対応する広角(W)レンズからセンサー102に対応する望遠レンズ(T)に切り替えるという要求を示すことができる。別の例として、ユーザは、カメラアプリケーションにおけるズームレベルを変更することができ、カメラアプリケーションは、画像信号プロセッサ112に、センサー101および102に対応するレンズの特性に基づいてセンサー101からセンサー102に切り替えさせる。さらなる例として、光レベルなどのシーン特性を変更することは、画像信号プロセッサ112に、より良い光感受性を実現するためにセンサー101からセンサー102に切り替えさせることができる。

【0050】

画像センサー間のこれらの例示的な(または他の)切替えのいずれにおいても、アーティファクトが、センサーの視野の差に起因するセンサー間の変更時のまたはその周辺での画像フレームのシーケンスに出現することがある。ここで述べた欠点は、代表的なものにすぎず、本発明者らが既存のデバイスに関して特定し、改善しようと努めてきた問題を強調するために含まれる。以下で説明するデバイスの態様は、欠点の一部または全部、ならびに当技術分野で知られている他のものに対処し得る。本明細書で説明する改善されたデバイスの態様は、上記で説明したもの以外の利益を提示し、上記で説明したもの以外の用途において使用されることがある。

【0051】

デバイス100の一態様では、センサー101および102からキャプチャされた画像フレームは、センサー101および102間の視野の整合を改善するために補正され得る。たとえば、あるセンサーからの入力画像フレームは、センサー101および102によってキャプチャされた画像フレーム間の視差、すなわち差に基づいて、幾何学的にワーピングされ得る。画像フレーム間の視差は、画像センサー101および102の異なる位置ならびにセンサー101および102間の不完全なアライメントにより生じ得る。画像フレーム間の視差は、補正画像フレームの生成中に適用されるべき幾何学的ワーピングの量および方式を決定するための基礎として決定され、使用され得る。画像フレーム間の実際の視差は、第1の画像センサーからキャプチャされた第1の画像フレームと第2の画像センサーからキャプチャされた第2の画像フレームとの間の特徴整合によって決定され得る。特徴整合は、コンピュータビジョン(CV)を使用して実行され得る。

【0052】

特徴整合プロセスは、センサー故障、シーン条件、シーン変更、および/または他の条件のせいで失敗することがある。特徴整合が失敗するとき、幾何学的ワーピングを決定するための視差値は利用可能ではないかまたは不正確であり、このことは、幾何学的ワーピングの劣悪な性能をもたらし得る。その結果、画像フレームのシーケンスが顕著なアーティファクトを伴うか、または最悪の場合には、画像フレームがシーケンスから欠落する。デバイス上で前の画像キャプチャ中に、デバイスの較正ルーチン中に決定されたかつ/またはデバイス上でプリロードされたものなどの既知の視差値から、モデルが構築され得る。そのモデルは、特徴整合または他の視差決定技法から決定された視差値を補完するかまたはそれらの視差値と置き換えるための予測視差値を供給するために使用され得る。モデル生成について、図2の一態様において説明する。

【0053】

図2は、本開示の1つまたは複数の態様による、マルチセンサーデバイスにおける画像センサー視差のモデル化を示すブロック図である。システム200は、視差予測器210におけるモデル212の生成を示す。コンピュータビジョン(CV)プロセッサ(CVP)202は、異なる視野からのシーンをキャプチャする第1の画像フレームおよび第2の画像フレームを受信する。画像フレームは、画像センサーから画像信号プロセッサ112などを通じてCVプロセッサ202において受信され得るか、またはメモリから取り出され得る。CVプロセッサ202は、画像を分析して、画像特徴を特定し、整合する画像特徴を第1の画像フレームから第2の画像フレームに相関させ得る。整合した特徴に基づいて、CVプロセッサ202は、第1の画像フレームから第2の画像フレームへの特徴のシフトを決定し得る。そのシフトは、第1の軸線に沿った第1の視差値および第2の軸線に沿った第2の視差値などの、1つまたは複数の視差値として表され得る。いくつかの態様では、第1の軸線および第2の軸線は、第1および第2の軸線がx軸およびy軸であるときなどに、直交し得る。dx値およびdy値などの決定された視差値は、CVプロセッサ202によって視差予測器210に提供され得る。予測器210はまた、dx値およびdy値がそこから決定された第1の画像フレームおよび第2の画像フレームにおいて反映されたシーンに対応するシーン深度を受信し得る。シーン深度は、深度センサーによって測定された、画像センサーから関心物体までの距離を反映し得る。シーン深度は、代替または追加として、オートフォーカスセンサーからの第1または第2の画像フレームに対応するオートフォーカス距離として受信され得る。予測器210は、モデル212をトレーニングするためにシーン深度および視差値を適用し得る。視差予測器210の動作は、ISP112などの画像信号プロセッサ(ISP)によって実行され得る。視差予測器210の動作は、代替として、デジタル信号プロセッサ(DSP)またはプロセッサ104などのプロセッサによって実行され得る。

【0054】

モデル212は、非線形回帰モデル、線形回帰モデル、または機械学習アルゴリズムであり得る。機械学習モデルは、本明細書で説明するように、いくつかの実施形態では、ロジスティック回帰技法、線形判別分析、線形回帰分析、人工ニューラルネットワーク、機械学習分類器アルゴリズム、または分類/回帰ツリーを含み得る。いくつかの態様では、機械学習は、視差およびシーン深度などのパラメータ間の関係をモデル化するための人工ニューロン(たとえば、ニューロンモデル)の相互接続されたグループを含み得る、1つまたは複数の人工ニューラルネットワークを含み得る。いくつかの態様では、機械学習は、フィードフォワード人工ニューラルネットワークの1つのタイプである、1つまたは複数の畳み込みニューラルネットワークを含み得る。畳み込みニューラルネットワークは、各々が受容野を有し、入力空間をまとめてタイリングする、ニューロンの集合を含み得る。いくつかの態様では、機械学習は、階層化ニューラルネットワークアーキテクチャである、深層信念ネットワークおよび深層畳み込みネットワークなどの1つまたは複数の深層学習アーキテクチャを含み得、階層化ニューラルネットワークアーキテクチャでは、ニューロンの第1の層の出力はニューロンの第2の層への入力になり、ニューロンの第2の層の出力はニューロンの第3の層への入力になり、以下同様である。深層ニューラルネットワークは、特徴の階層を認識するようにトレーニングされ得る。様々な態様では、機械学習システムは、いくつかの種類の単純ベイズ予測モデリング分析、学習ベクトル量子化、あるいは、機械学習分類器をトレーニングして、シーン深度および視差などの影響属性間の関係、ならびに/または、そのような影響属性がそのようなシステムもしくは視差値の結果に影響を及ぼす程度を決定するために、重み付けを反復的に更新するためのAdaboostもしくは確率勾配ブースティングシステムなどのブースティングアルゴリズムの実装を採用し得る。

【0055】

トレーニング後、視差予測器210は、画像デバイス100からキャプチャされた画像フレームのペアに対する視差値を予測するために、モデル212を使用し得る。いくつかの態様では、表示予測器210は、画像センサー101および102によってキャプチャされた画像フレームに基づいてモデル212のトレーニングを取得するために、デバイス100の論理回路によって実行され得る。いくつかの態様では、表示予測器210は、リモートのクラウドベースコンピューティングシステムによって実行され得る。モデル212がクラウドにおいて生成されるとき、モデル212はエクスポートされ、デバイス100などの1つまたは複数の画像キャプチャデバイス上で使用され得る。いくつかの態様では、モデル212は、個々のデバイス100上でロードされ、次いで、各デバイスの固有の特性に基づいて個々のデバイス上の予測器によって改訂される汎用モデルを生成するために、他の画像キャプチャデバイスからキャプチャされたデータから、クラウドにおいてトレーニングされ得る。たとえば、デバイスをドロップすることは、ある特定のデバイスに固有であり、かつモデル212のローカルリビジョンにおいて考慮され得る、画像センサー間の視差の変更をもたらし得る。

【0056】

CVプロセッサ202はモデル212のトレーニングのための視差値を生成するものとして示されているが、トレーニングデータを生成するために他の技法が使用されてもよい。モデル212をトレーニングする方式にかかわらず、視差予測器210は、モデル212を使用して予測視差値を生成するために、推定器214を使用し得る。予測視差値の例示的な生成および使用が図3に示されている。図3は、本開示の1つまたは複数の態様による、予測視差を使用した画像フレームのワーピングを示すブロック図である。システム300は、1つまたは複数の予測視差値を生成するために視差予測器210を使用する。予測器210の推定器214は、予測視差値が所望されるシーン深度値を受信し得る。たとえば、処理されている画像フレームに対応するオートフォーカス深度は、推定器214に入力され得る。推定器214は、入力シーン深度についての予測視差値dxおよびdyを取得するためにモデル212にアクセスし得る。

【0057】

予測視差値は、入力画像フレームを補正するために幾何学的ワープモジュール310に入力され得る。ワープモジュール310は、入力画像フレームおよび予測視差値を受信する。次いで、ワープモジュール310は、予測視差値および入力画像フレームに少なくとも部分的に基づいて補正画像フレーム330を決定する。補正画像フレーム330は、ワープモジュール310の処理の前に、その処理の後に、またはその処理と並行して、さらに処理され得る。補正画像フレームの他の処理は、コンピュテーショナルフォトグラフィ、ハイダイナミックレンジ(HDR)、マルチフレームノイズリダクション(MFNR)、ローライトエンハンスメント、超解像処理を含み得る。そのようなコンピュテーショナルフォトグラフィは、補正画像フレームの決定が、(別の画像センサーと整合させるための変換行列によるワーピングを適用した後の)入力画像フレームを別の画像センサーからの画像フレームおよび/または同じ画像センサーからの追加の画像フレームと融合して、補正画像フレームの外観を改善することを含む、処理を含み得る。そのようなコンピュテーショナルフォトグラフィの例は、改善されたダイナミックレンジを1つもしくは複数の他の画像センサーからの1つもしくは複数の追加の画像フレームの融合から取得すること、低減されたノイズを1つもしくは複数の画像センサーからの1つもしくは複数の追加の画像フレームの融合から取得すること、および/またはより高い解像度を1つもしくは複数の他の画像センサーからの1つもしくは複数の追加の画像フレームの融合から取得することを含む。補正画像フレーム330は、第1の画像センサーから第1の画像センサーとは異なる視野を有する第2の画像センサーへの切替え時にまたはその周辺でキャプチャされた画像フレームのシーケンス340中の他の画像フレームへの入力画像フレームの視野の整合を改善するために、幾何学的にワーピングされ得る。補正画像フレーム330は、第1の画像センサーからキャプチャされた第1の画像フレームと第2の画像センサーからキャプチャされた第2の画像フレームとの間の画像フレームのビデオシーケンスに出現し得る。

【0058】

推定器214による予測視差値の生成のための1つの例示的なモデル212が図4に示されている。図4は、本開示の1つまたは複数の態様による、画像センサー視差のための生成されたモデルを示すグラフである。グラフ400は、第1の予測視差値を反映する第1の線402と、第2の予測視差値を反映する第2の線404とを含む。第1および第2の線402および404は、上記で説明したdx視差値およびdy視差値などの、異なる軸線に沿った視差値を反映し得る。第1の線402は、モデル212のトレーニング中に収集されたデータ412から生成され得、第2の線404は、モデル212のトレーニング中に収集されたデータ414から生成され得る。

【0059】

データ412および414に対する個別のデータポイントは、予測器210の中のメモリに、メモリ106、クラウドに、または他の記憶ロケーションに記憶され得る。いくつかの態様では、データ412および414は、新しいデータが受信されたときなどに、モデル212のトレーニングを更新するために使用され得る。いくつかの態様では、モデルは、予測視差値が要求されると、記憶されたデータ412および414からオンデマンドで生成される。いくつかの態様では、記憶されるデータの量は、対応するシーン深度を有する視差値の所定の数のセットである。新しいデータが受信されると、古いセットは、先入れ先出し(FIFO)などのアルゴリズムまたは値のセットに関連付けられた割当て優先度に基づいて破棄され得る。いくつかの態様では、記憶されるデータの量は、一定の寿命を超えるデータのセットが記憶データから除去されるように、一定の時間期間に制限される。いくつかの態様では、時間、数、および他の基準の組合せは、モデル212を生成するために記憶されたデータ412および414の寿命を決定するために使用され得る。たとえば、加速度計からのデータは、モデル212がもはや正確ではなくなる原因となり得るドロップインシデントが生じたと決定するために使用されてもよく、その結果として、ドロップインシデントより前に受信されたデータは、モデル212の生成時に削除または重み付け解除されるべきである。別の例として、0～10センチメートルの深度に対する10個の視差値、10～20センチメートルの深度に対する別の10個の視差値、20～50センチメートルの深度に対する別の10個の視差値、および50センチメートルから無限遠の深度に対する20個の値などの、異なる深度レンジに対する一定数の視差サンプルが記憶され得る。新しいデータが追加され、古いデータがエージングアウトされ、かつ/または古いデータが新しいデータと置き換えられるたびに、モデル212は最小2乗法によって更新され得る。線402および404を反映するモデル212は、方程式および/または行列および/または機械学習アルゴリズムのパラメータに対応する係数、ならびに予測器210に記憶されたそれらの値などの、値によって表され得る。

【0060】

画像フレームを補正するための本明細書で説明するモデル212の態様を生成および適用する方法の一態様について、図5を参照しながら説明する。図5は、本開示の1つまたは複数の態様による、予測視差データを使用して画像フレームを補正するための方法を示すフローチャートである。方法500は、対応する第1の深度における、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信するブロック502において開始する。ブロック504において、対応する第2の深度における、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値が受信される。モデルは、対応する視差値を有する、たった2つのシーン深度から構築され得る。

【0061】

ブロック506において、第1の視差値、第1の深度、第2の視差値、および第2の深度に基づいて、第1の画像センサーと第2の画像センサーとの間の視差のためのモデルが決定される。第1の視差値および第1の深度は第1のトレーニングセットを形成してもよく、第2の視差および第2の深度は第2のトレーニングセットを形成してもよい。トレーニングセットは、同じ深度値を有する視差値を含み得る。モデルは、トレーニングセットから視差とシーン深度との間の関係を学習する機械学習アルゴリズムを有し得る。モデルは、代替として、係数、定数、および/または、視差とシーン深度との間の関係を反映するためにトレーニングセットが受信されたときに調整される他のパラメータを有する、プログラムされた方程式であってもよい。したがって、モデルは、モデルが一次方程式であるときなどに、たった2つのトレーニングセットで構築され得る。モデルは、追加のトレーニングセットが利用可能であるとき、高次方程式に対して再構成され得る。

【0062】

ブロック508において、入力画像フレームに対する予測視差値を生成するためにモデルが適用される。たとえば、第1の画像センサーと第2の画像センサーとの間の視野の差に対する視差値を予測する1つまたは複数の予測視差値を生成するために、入力画像フレームに対応する深度がモデルに入力され得る。いくつかの態様では、入力画像フレームは、第1の画像センサーまたは第2の画像センサーのうちの一方によってキャプチャされた画像フレームであり得る。いくつかの態様では、入力画像フレームは、モデルのためのトレーニングデータが取得されたデバイスとは異なるデバイス上の同様のセンサーなどの、第1または第2の画像センサーのうちの一方に対応する画像センサーによってキャプチャされた画像フレームであり得る。第1および/または第2の画像センサーのうちの一方からキャプチャされた画像フレームに対する予測視差値が生成され、画像センサーから測定された実際の視差と比較されて、モデルを調整するためのフィードバックを提供し得る。予測視差値は、第1および第2の画像センサーのうちの一方または両方からキャプチャされた画像フレームを修正するために使用され得る。予測視差値の1つの例示的な用途では、予測は、第1および第2の画像センサーのうちの一方または両方を幾何学的にワーピングするために使用され得る。

【0063】

ブロック510において、入力画像フレームは、ブロック508の予測視差値に基づいてワーピングされる。ワーピングは、画像センサー切替え中に他方の画像センサーの視野と整合させるために入力画像フレームのグリッドを変換することを伴い得る。一態様では、予測視差値は、CVプロセッサの出力と置き換えるための人工コンピュータビジョン処理行列を生成するために使用され得る。一態様では、予測視差値は、コンピュータビジョン処理段階で行われることが必要なシフトを低減するための非中心クロッピングを達成するために、クロップウィンドウ上で適用され得る。ワーピングされた画像フレームが画像フレームのシーケンスにおいてビデオとして閲覧されるとき、ワーピングされた画像フレームは、画像センサーの切替えの周辺でのジャンプ、スキップ、または他のアーティファクトの出現を低減し得る。画像ワーピングは、各後続フレームについて単位値に向かって減少するスケーリング係数で幾何学的ワーピングをスケーリングすることなどによって、ある画像センサーから別の画像センサーへの遷移を滑らかにするために、ビデオシーケンスの2つ以上の画像フレームにわたって継続し得る。スケーリング係数が単位値に達し、その結果として、現在の画像センサーに基づくワーピングされた画像フレームが別の画像センサーの視野と整合したとき、画像センサーはその別の画像センサーに切り替わることができる。切替え後、別の画像センサーからの画像フレームの処理が継続してもよく、プレビュービデオまたは記録済みビデオが継続する。ワーピングは入力画像フレームから補正画像フレームを決定するための方法として説明されるが、ワーピングに加えてまたはその代替として、入力画像フレームの他の処理が実行されてもよい。処理の一部は予測視差値に基づいてもよく、処理の一部は他の値に基づいてもよい。

【0064】

いくつかの態様では、予測視差値は、画像信号プロセッサから出力されたすべての画像フレームを補正するために使用され得る。いくつかの態様では、予測視差値は、補正される出力フレームを決定するために、画像キャプチャデバイスの動作中に選択的に使用され得る。たとえば、予測視差値の使用は、一定の時間期間の間にオンにされ、別の時間期間の間にオフにされてもよい。「オフ」時間期間はモデルをトレーニングするために使用され、次いで、予測視差値がオンに戻されてもよい。たとえば、ユーザは較正モードに入ってもよく、較正モードでは、デバイスは、ユーザに、採光の良い部屋に入り、トレーニングセットを取得するためにオブジェクトに向かって歩くことによってオブジェクトの一連の写真をいくつかの深度で撮るように要求する。別の例として、入力画像フレームのための基準が評価されてもよく、それらの基準の評価は、任意の特定の入力画像フレームのためのモデルから生成された予測視差値を使用するかどうかを決定するために使用した。補正画像フレームの決定において予測視差値を選択的に適用するための一態様について、図6を参照しながら説明する。

【0065】

図6は、1つまたは複数の態様による、画像フレームの補正において予測視差データを選択的に使用する方法を示すフローチャートである。方法600は、ブロック602において、第1の入力画像フレームおよび第2の入力画像フレームを受信することを含む。ブロック604において、第1および第2の入力画像フレームのうちの一方または両方における画像特徴が分析される。ブロック604の分析は、第1の入力画像フレームと第2の入力画像フレームとの間の特徴整合を含み得る。第1および第2の画像フレームからの整合した特徴のロケーション間の差は、画像フレームのワーピングにおいて実際の視差として使用され得る。しかしながら、画像整合が失敗して、その後の画像ワーピングの失敗をもたらすことがあり、このことは、画像フレームが画像フレームのシーケンスにおいてビデオとして閲覧されたときにアーティファクトを引き起こす。ブロック604における分析は、入力画像フレームの処理において実際の視差を使用するか、かつ/または予測視差を使用するかを決定するために、検討され得る。

【0066】

ブロック606において、補正画像フレームを決定するために予測視差が使用されるべきかどうかを決定するための基準が評価される。基準は、特徴整合が成功したかまたは成功しなかったかを含み得る。基準は、同じくまたは代替的に、特徴整合の信頼レベルがしきい値レベルを上回るかどうかを含み得る。画像フレームの特性に基づく他の基準も使用され得る。たとえば、画像整合における高信頼度にとって画像が暗すぎるかどうかを決定するために、第1および/または第2の入力画像フレームの平均輝度が決定され、しきい値と比較され得る。別の例として、画像整合における高信頼度にとって画像が焦点外れになりすぎているかどうかを決定するために、第1および/または第2の画像フレームをキャプチャするレンズの焦点位置および/または信頼度が決定され、しきい値と比較され得る。いくつかの態様では、ブロック604の特徴整合は、入力画像フレームを第1の画像センサーまたは第2の画像センサーのうちの他方の視野にワーピングするための入力画像フレーム用の変換行列を生成し得る。予測視差を使用するかどうかを評価するために、変換行列の信頼レベルがしきい値レベルと比較され得る。

【0067】

ブロック606において基準が満たされる場合、方法600は、第1および第2の入力画像フレームのうちの一方または両方に対応するシーン深度において予測視差を決定するブロック608に続く。次いで、ブロック610において、ブロック608の予測視差に基づいて、第1の入力画像フレームが第2の入力画像フレームにワーピングされ得るか、または第2の入力画像フレームが第1の入力画像フレームにワーピングされ得る。

【0068】

ブロック606において予測視差を使用するための基準が満たされない場合、方法600は、第1および第2の入力画像フレームに対する特徴整合を使用して視差を決定するブロック612に続く。次いで、ブロック614において、ブロック612の決定された視差に基づいて、第1の入力画像フレームが第2の入力画像フレームにワーピングされ得るか、または第2の入力画像フレームが第1の入力画像フレームにワーピングされ得る。

【0069】

1つまたは複数の態様では、デバイスによって生成されるより高品質の写真およびビデオをもたらす、ビデオシーケンスに記録されたシーン中のオブジェクトのジャンプおよびスキップなどのアーティファクトが低減された画像キャプチャをサポートするための技法。改善されたビデオ品質は、ある画像センサーから別の画像センサーへの切替えを容易にするために、ある画像センサーによってキャプチャされた画像フレームを別の画像センサーの視野に整合させるためにワーピングしている間に、より正確な視差値を取得することによって提供され得る。加えて、装置は、以下で説明するように、1つもしくは複数の態様を実行し得るか、または1つもしくは複数の態様に従って動作し得る。いくつかの実装形態では、装置は、UEなどのワイヤレスデバイスを含む。いくつかの実装形態では、装置は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含み得る。プロセッサは、装置に関して本明細書で説明する動作を実行するように構成され得る。いくつかの他の実装形態では、装置は、プログラムコードを記録した非一時的コンピュータ可読媒体を含み得、プログラムコードは、装置に関して本明細書で説明する動作をコンピュータに実行させるためにコンピュータによって実行可能であり得る。いくつかの実装形態では、装置は、本明細書で説明する動作を実行するように構成された1つまたは複数の手段を含み得る。いくつかの実装形態では、ワイヤレス通信の方法は、装置に関して本明細書で説明する1つまたは複数の動作を含み得る。

【0070】

1つまたは複数の態様では、デバイスによって生成されるより高品質の写真およびビデオをもたらす、ビデオシーケンスに記録されたシーン中のオブジェクトのジャンプおよびスキップなどのアーティファクトが低減された画像キャプチャをサポートするための技法。改善されたビデオ品質は、ある画像センサーから別の画像センサーへの切替えを容易にするために、ある画像センサーによってキャプチャされた画像フレームを別の画像センサーの視野に整合させるためにワーピングしている間に、より正確な視差値を取得することによって提供され得る。1つまたは複数の態様では、画像キャプチャをサポートすることは、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信するように構成された装置を含み得る。装置は、第1の視差値に対応する第1の深度値を受信するようにさらに構成される。装置は、複数の深度値において第1の画像センサーと第2の画像センサーとの間の視差のためのモデルを決定することであって、モデルが、第1の視差値および第1の深度に少なくとも部分的に基づく、決定することを行うようにさらに構成される。加えて、装置は、以下で説明するように、1つもしくは複数の態様を実行し得るか、または1つもしくは複数の態様に従って動作し得る。いくつかの実装形態では、装置は、UEなどのワイヤレスデバイスを含む。いくつかの実装形態では、装置は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含み得る。プロセッサは、装置に関して本明細書で説明する動作を実行するように構成され得る。いくつかの他の実装形態では、装置は、プログラムコードを記録した非一時的コンピュータ可読媒体を含み得、プログラムコードは、装置に関して本明細書で説明する動作をコンピュータに実行させるためにコンピュータによって実行可能であり得る。いくつかの実装形態では、装置は、本明細書で説明する動作を実行するように構成された1つまたは複数の手段を含み得る。いくつかの実装形態では、ワイヤレス通信の方法は、装置に関して本明細書で説明する1つまたは複数の動作を含み、補正画像フレームを別のモバイルデバイスに、基地局に、あるいは基地局を通じてまたはサーバもしくは他のモバイルデバイスに直接的にのいずれかでサーバに送信することを含み得る。

【0071】

第1の態様では、装置は、第1の画像センサーまたは第2の画像センサーのうちの一方から入力画像フレームを受信するように構成される。

【0072】

第2の態様では、第1の態様と組み合わせて、装置は、入力画像フレームに対応する入力画像深度を受信するように構成される。

【0073】

第3の態様では、第2の態様と組み合わせて、装置は、モデルに少なくとも部分的に基づいて入力画像深度に対応する予測視差値を決定するように構成される。

【0074】

第4の態様では、第3の態様と組み合わせて、装置は、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するように構成される。

【0075】

第5の態様では、第1の態様～第4の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定することは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされたものとして補正画像フレームを決定することを含む。

【0076】

第6の態様では、第1の態様～第5の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定することは、入力画像フレームを第1の画像センサーまたは第2の画像センサーのうちの他方の視野にワーピングするための変換行列を決定することを含む。

【0077】

第7の態様では、第6の態様と組み合わせて、変換行列を決定することは、コンピュータビジョン処理(CVP)を用いて変換行列を決定することを含む。

【0078】

第8の態様では、第6の態様と組み合わせて、装置は、変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定するように構成される。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、変換行列の信頼レベルがしきい値レベルを下回るとの決定に基づいて実行される。

【0079】

第9の態様では、第1の態様～第8の態様のうちの1つまたは複数と組み合わせて、装置は、入力画像フレームの画像特性がしきい値レベルを下回ると決定するように構成される。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、画像特性がしきい値レベルを下回るとの決定に基づいて実行される。

【0080】

第10の態様では、第1の態様～第9の態様のうちの1つまたは複数と組み合わせて、装置は、入力画像フレームの輝度がしきい値レベルを下回ると決定するように構成される。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、輝度がしきい値レベルを下回るとの決定に基づいて実行される。

【0081】

第11の態様では、第1の態様～第10の態様のうちの1つまたは複数と組み合わせて、装置は、第1の画像センサーからの第1の画像フレーム、第2の画像センサーからの第2の画像フレーム、および補正画像フレームを含むビデオシーケンスを決定するように構成される。補正画像フレームは、第1の画像フレームと第2の画像フレームとの間のビデオシーケンスに出現する。

【0082】

第12の態様では、第1の態様～第11の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定するステップは、第1の画像センサーまたは第2の画像センサーのうちの他方の画像フレームにさらに基づく。

【0083】

第13の態様では、単独でまたは第1の態様～第12の態様のうちの1つもしくは複数と組み合わせて、第1の視差値は、第1の軸線に沿った視野の差を示す。

【0084】

第14の態様では、第13の態様と組み合わせて、方法は、第1の軸線とは異なる第2の軸線に沿った第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値を受信するように構成される。モデルを決定するステップは、第2の視差値にさらに少なくとも部分的に基づく。

【0085】

第15の態様では、単独でまたは第1の態様～第14の態様のうちの1つもしくは複数と組み合わせて、モデルを決定することは、複数の視差値を記憶することを含む。モデルは、複数の視差値に基づく。

【0086】

第16の態様では、第15の態様と組み合わせて、複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて複数の視差値のうちの前の値を第1の視差値と置き換える。

【0087】

第17の態様では、単独でまたは第1の態様～第16の態様のうちの1つもしくは複数と組み合わせて、第1の深度値は、第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む。

【0088】

第18の態様では、単独でまたは第1の態様～第17の態様のうちの1つもしくは複数と組み合わせて、装置は、レンジ撮像に基づいて第1の深度値を決定するように構成される。

【0089】

第19の態様では、第18の態様と組み合わせて、第1の深度値を決定することは、飛行時間(ToF)測定値に基づいて第1の深度値を決定することを含む。

【0090】

第20の態様では、第18の態様～第19の態様のうちの1つまたは複数と組み合わせて、第1の深度値を決定することは、光検出および測距(LIDAR)測定値に基づいて第1の深度値を決定することを含む。

【0091】

1つまたは複数の態様では、画像キャプチャをサポートするための技法は、以下でまたは本明細書の他の場所で説明する1つもしくは複数の他のプロセスもしくはデバイスに関して説明する、任意の単一の態様または態様の任意の組合せなどの、追加の態様を含み得る。1つまたは複数の態様では、画像キャプチャをサポートすることは、プロセッサに対して構成された装置を含み得る。装置は、プロセッサに結合されたメモリであって、プロセッサによって実行されると、デバイスに、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信することを含む動作を実行させる命令を記憶するメモリに対してさらに構成される。装置は、第1の視差値に対応する第1の深度値を受信するようにさらに構成される。装置は、複数の深度値において第1の画像センサーと第2の画像センサーとの間の視差のためのモデルを決定することであって、モデルが、第1の視差値および第1の深度に少なくとも部分的に基づく、決定することを行うようにさらに構成される。加えて、装置は、以下で説明するように、1つもしくは複数の態様を実行し得るか、または1つもしくは複数の態様に従って動作し得る。いくつかの実装形態では、装置は、基地局などのワイヤレスデバイスを含む。いくつかの実装形態では、装置は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含み得る。プロセッサは、装置に関して本明細書で説明する動作を実行するように構成され得る。いくつかの他の実装形態では、装置は、プログラムコードを記録した非一時的コンピュータ可読媒体を含み得、プログラムコードは、装置に関して本明細書で説明する動作をコンピュータに実行させるためにコンピュータによって実行可能であり得る。いくつかの実装形態では、装置は、本明細書で説明する動作を実行するように構成された1つまたは複数の手段を含み得る。いくつかの実装形態では、ワイヤレス通信の方法は、装置に関して本明細書で説明する1つまたは複数の動作を含み得る。

【0092】

第21の態様では、命令は、デバイスに、第1の画像センサーまたは第2の画像センサーのうちの一方から入力画像フレームを受信することを含む動作を実行させる。

【0093】

第22の態様では、第21の態様と組み合わせて、装置は、入力画像フレームに対応する入力画像深度を受信するように構成される。

【0094】

第23の態様では、第22の態様と組み合わせて、装置は、モデルに少なくとも部分的に基づいて入力画像深度に対応する予測視差値を決定するように構成される。

【0095】

第24の態様では、第23の態様と組み合わせて、装置は、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するように構成される。

【0096】

第25の態様では、第21の態様～第24の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定することは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされた補正画像フレームを決定することを含む。

【0097】

第26の態様では、第21の態様～第25の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定することは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされた補正画像フレームを決定することを含む。

【0098】

第27の態様では、第21の態様～第26の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定することは、入力画像フレームを第1の画像センサーまたは第2の画像センサーのうちの他方の視野にワーピングするための変換行列を決定することを含む。

【0099】

第28の態様では、第27の態様と組み合わせて、変換行列を決定することは、コンピュータビジョン処理(CVP)を用いて変換行列を決定することを含む。

【0100】

第29の態様では、第27の態様～第28の態様のうちの1つまたは複数と組み合わせて、命令は、デバイスに、変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定することをさらに含む動作を実行させる。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、変換行列の信頼レベルがしきい値レベルを下回るとの決定に基づいて実行される。

【0101】

第30の態様では、第21の態様～第29の態様のうちの1つまたは複数と組み合わせて、命令は、デバイスに、入力画像フレームの画像特性がしきい値レベルを下回ると決定することをさらに含む動作を実行させる。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、画像特性がしきい値レベルを下回るとの決定に基づいて実行される。

【0102】

第31の態様では、第21の態様～第30の態様のうちの1つまたは複数と組み合わせて、命令は、デバイスに、入力画像フレームの輝度がしきい値レベルを下回ると決定することをさらに含む動作を実行させる。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、輝度がしきい値レベルを下回るとの決定に基づいて実行される。

【0103】

第32の態様では、第21の態様～第31の態様のうちの1つまたは複数と組み合わせて、命令は、デバイスに、第1の画像センサーからの第1の画像フレーム、第2の画像センサーからの第2の画像フレーム、および補正画像フレームを含むビデオシーケンスを決定することをさらに含む動作を実行させる。補正画像フレームは、第1の画像フレームと第2の画像フレームとの間のビデオシーケンスに出現する。

【0104】

第33の態様では、第21の態様～第32の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定するステップは、第1の画像センサーまたは第2の画像センサーのうちの他方の画像フレームにさらに基づく。

【0105】

第34の態様では、単独でまたは第21の態様～第34の態様のうちの1つもしくは複数と組み合わせて、第1の視差値は、第1の軸線に沿った視野の差を示す。

【0106】

第35の態様では、第33の態様と組み合わせて、命令は、デバイスに、第1の軸線とは異なる第2の軸線に沿った第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値を受信することをさらに含む動作を実行させる。モデルを決定するステップは、第2の視差値にさらに少なくとも部分的に基づく。

【0107】

第36の態様では、単独でまたは第21の態様～第35の態様のうちの1つもしくは複数と組み合わせて、モデルを決定することは、複数の視差値を記憶することを含む。モデルは、複数の視差値に基づく。

【0108】

第37の態様では、第36の態様と組み合わせて、複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて複数の視差値のうちの前の値を第1の視差値と置き換える。

【0109】

第38の態様では、単独でまたは第21の態様～第37の態様のうちの1つもしくは複数と組み合わせて、第1の深度値は、第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む。

【0110】

第39の態様では、単独でまたは第21の態様～第38の態様のうちの1つもしくは複数と組み合わせて、命令は、デバイスに、レンジ撮像に基づいて第1の深度値を決定することをさらに含む動作を実行させる。

【0111】

第40の態様では、第39の態様と組み合わせて、第1の深度値を決定することは、飛行時間(ToF)測定値に基づいて第1の深度値を決定することを含む。

【0112】

第41の態様では、第40の態様と組み合わせて、第1の深度値を決定することは、光検出および測距(LIDAR)測定値に基づいて第1の深度値を決定することを含む。

【0113】

1つまたは複数の態様では、画像キャプチャをサポートするための技法は、以下でまたは本明細書の他の場所で説明する1つもしくは複数の他のプロセスもしくはデバイスに関して説明する、任意の単一の態様または態様の任意の組合せなどの、追加の態様を含み得る。1つまたは複数の態様では、画像キャプチャをサポートすることは、デバイスに、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信することを含む動作を実行させるように構成された装置を含み得る。装置は、第1の視差値に対応する第1の深度値を受信することを含む動作を実行するようにさらに構成される。装置は、複数の深度値において第1の画像センサーと第2の画像センサーとの間の視差のためのモデルを決定することであって、モデルが、第1の視差値および第1の深度に少なくとも部分的に基づく、決定することを含む動作を実行するようにさらに構成される。加えて、装置は、以下で説明するように、1つもしくは複数の態様を実行し得るか、または1つもしくは複数の態様に従って動作し得る。いくつかの実装形態では、装置は、基地局などのワイヤレスデバイスを含む。いくつかの実装形態では、装置は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含み得る。プロセッサは、装置に関して本明細書で説明する動作を実行するように構成され得る。いくつかの他の実装形態では、装置は、プログラムコードを記録した非一時的コンピュータ可読媒体を含み得、プログラムコードは、装置に関して本明細書で説明する動作をコンピュータに実行させるためにコンピュータによって実行可能であり得る。いくつかの実装形態では、装置は、本明細書で説明する動作を実行するように構成された1つまたは複数の手段を含み得る。いくつかの実装形態では、ワイヤレス通信の方法は、装置に関して本明細書で説明する1つまたは複数の動作を含み得る。

【0114】

第42の態様では、命令は、デバイスのプロセッサによって実行されると、デバイスに、第1の画像センサーまたは第2の画像センサーのうちの一方から入力画像フレームを受信することをさらに含む動作を実行させる。

【0115】

第43の態様では、第42の態様と組み合わせて、入力画像フレームに対応する入力画像深度を受信する。

【0116】

第44の態様では、第43の態様と組み合わせて、モデルに少なくとも部分的に基づいて入力画像深度に対応する予測視差値を決定する。

【0117】

第45の態様では、第44の態様と組み合わせて、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定する。

【0118】

第46の態様では、第42の態様～第45の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定することは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされた補正画像フレームを決定することを含む。

【0119】

第47の態様では、第42の態様～第46の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定することは、入力画像フレームを第1の画像センサーまたは第2の画像センサーのうちの他方の視野にワーピングするための変換行列を決定することを含む。

【0120】

第48の態様では、第47の態様と組み合わせて、変換行列を3決定することは、コンピュータビジョン処理(CVP)を用いて変換行列を決定することを含む。

【0121】

第49の態様では、第47の態様～第48の態様のうちの1つまたは複数と組み合わせて、命令は、デバイスのプロセッサによって実行されると、デバイスに、変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定することをさらに含む動作を実行させる。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、変換行列の信頼レベルがしきい値レベルを下回るとの決定に基づいて実行される。

【0122】

第50の態様では、第42の態様～第49の態様のうちの1つまたは複数と組み合わせて、命令は、デバイスのプロセッサによって実行されると、デバイスに、入力画像フレームの画像特性がしきい値レベルを下回ると決定することをさらに含む動作を実行させる。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、画像特性がしきい値レベルを下回るとの決定に基づいて実行される。

【0123】

第51の態様では、第42の態様～第50の態様のうちの1つまたは複数と組み合わせて、命令は、デバイスのプロセッサによって実行されると、デバイスに、入力画像フレームの輝度がしきい値レベルを下回ると決定することをさらに含む動作を実行させる。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、輝度がしきい値レベルを下回るとの決定に基づいて実行される。

【0124】

第52の態様では、第42の態様～第51の態様のうちの1つまたは複数と組み合わせて、命令は、デバイスのプロセッサによって実行されると、デバイスに、第1の画像センサーからの第1の画像フレーム、第2の画像センサーからの第2の画像フレーム、および補正画像フレームを含むビデオシーケンスを決定することをさらに含む動作を実行させる。補正画像フレームは、第1の画像フレームと第2の画像フレームとの間のビデオシーケンスに出現する。

【0125】

第53の態様では、第42の態様～第52の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定するステップは、第1の画像センサーまたは第2の画像センサーのうちの他方の画像フレームにさらに基づく。

【0126】

第54の態様では、単独でまたは第42の態様～第53の態様のうちの1つもしくは複数と組み合わせて、第1の視差値は、第1の軸線に沿った視野の差を示す。

【0127】

第55の態様では、第54の態様と組み合わせて、命令は、デバイスのプロセッサによって実行されると、デバイスに、第1の軸線とは異なる第2の軸線に沿った第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値を受信することをさらに含む動作を実行させる。モデルを決定するステップは、第2の視差値にさらに少なくとも部分的に基づく。

【0128】

第56の態様では、単独でまたは第42の態様～第55の態様のうちの1つもしくは複数と組み合わせて、モデルを決定することは、複数の視差値を記憶することを含む。モデルは、複数の視差値に基づく。

【0129】

第57の態様では、第56の態様と組み合わせて、複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて複数の視差値のうちの前の値を第1の視差値と置き換える。

【0130】

第58の態様では、単独でまたは第42の態様～第57の態様のうちの1つもしくは複数と組み合わせて、第1の深度値は、第1の画像センサーによってキャプチャされた第1の入力画像フレームに対応するオートフォーカス深度を含む。

【0131】

第59の態様では、単独でまたは第42の態様～第58の態様のうちの1つもしくは複数と組み合わせて、命令は、デバイスのプロセッサによって実行されると、デバイスに、レンジ撮像に基づいて第1の深度値を決定することをさらに含む動作を実行させる。

【0132】

第60の態様では、第59の態様と組み合わせて、第1の深度値を決定することは、飛行時間(ToF)測定値に基づいて第1の深度値を決定することを含む。

【0133】

第61の態様では、第59の態様～第60の態様のうちの1つまたは複数と組み合わせて、第1の深度値を決定することは、光検出および測距(LIDAR)測定値に基づいて第1の深度値を決定することを含む。

【0134】

1つまたは複数の態様では、画像キャプチャをサポートするための技法は、以下でまたは本明細書の他の場所で説明する1つもしくは複数の他のプロセスもしくはデバイスに関して説明する、任意の単一の態様または態様の任意の組合せなどの、追加の態様を含み得る。1つまたは複数の態様では、画像キャプチャをサポートすることは、第1の視野で構成された第1の画像センサーと、第1の視野と少なくとも部分的に重複する第2の視野で構成された第2の画像センサーと、第1の画像センサーに結合され、かつ第2の画像センサーに結合されたプロセッサと、プロセッサに結合されたメモリとに対して構成された装置を含み得る。装置は、第1の画像センサーと第2の画像センサーとの間の視野の差を示す第1の視差値を受信することを含むステップを実行するようにさらに構成される。装置は、第1の視差値に対応する第1の深度値を受信するようにさらに構成される。装置は、複数の深度値において第1の画像センサーと第2の画像センサーとの間の視差のためのモデルを決定することであって、モデルが、第1の視差値および第1の深度に少なくとも部分的に基づく、決定することを行うようにさらに構成される。加えて、装置は、以下で説明するように、1つもしくは複数の態様を実行し得るか、または1つもしくは複数の態様に従って動作し得る。いくつかの実装形態では、装置は、基地局などのワイヤレスデバイスを含む。いくつかの実装形態では、装置は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを含み得る。プロセッサは、装置に関して本明細書で説明する動作を実行するように構成され得る。いくつかの他の実装形態では、装置は、プログラムコードを記録した非一時的コンピュータ可読媒体を含み得、プログラムコードは、装置に関して本明細書で説明する動作をコンピュータに実行させるためにコンピュータによって実行可能であり得る。いくつかの実装形態では、装置は、本明細書で説明する動作を実行するように構成された1つまたは複数の手段を含み得る。いくつかの実装形態では、ワイヤレス通信の方法は、装置に関して本明細書で説明する1つまたは複数の動作を含み得る。

【0135】

第62の態様では、プロセッサは、第1の画像センサーまたは第2の画像センサーのうちの一方から入力画像フレームを受信することを含むステップを実行するようにさらに構成される。

【0136】

第63の態様では、第62の態様と組み合わせて、入力画像フレームに対応する入力画像深度を受信する。

【0137】

第64の態様では、第63の態様と組み合わせて、モデルに少なくとも部分的に基づいて入力画像深度に対応する予測視差値を決定する。

【0138】

第65の態様では、第64の態様と組み合わせて、入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定する。

【0139】

第66の態様では、第62の態様～第65の態様のうちの1つまたは複数と組み合わせて、補正画像フレームを決定することは、予測視差値に基づいて、第1の画像センサーまたは第2の画像センサーのうちの他方の視野と整合するようにワーピングされた補正画像フレームを決定することを含む。

【0140】

第67の態様では、第66の態様と組み合わせて、補正画像フレームを決定することは、入力画像フレームを第1の画像センサーまたは第2の画像センサーのうちの他方の視野にワーピングするための入力画像フレーム用の変換行列を決定することを含む。

【0141】

第68の態様では、第67の態様と組み合わせて、変換行列を決定することは、コンピュータビジョン処理(CVP)を用いて変換行列を決定することを含む。

【0142】

第69の態様では、第67の態様～第68の態様のうちの1つまたは複数と組み合わせて、5のプロセッサは、変換行列に関連付けられた信頼レベルがしきい値レベルを下回るかどうかを決定することを含むステップを実行するようにさらに構成される。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、変換行列の信頼レベルがしきい値レベルを下回るとの決定に基づいて実行される。

【0143】

第70の態様では、単独でまたは第62の態様～第69の態様のうちの1つもしくは複数と組み合わせて、プロセッサは、入力画像フレームの画像特性がしきい値レベルを下回ると決定することを含むステップを実行するようにさらに構成される。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、画像特性がしきい値レベルを下回るとの決定に基づいて実行される。

【0144】

第71の態様では、単独でまたは第62の態様～第70の態様のうちの1つもしくは複数と組み合わせて、5のプロセッサは、入力画像フレームの輝度がしきい値レベルを下回ると決定することを含むステップを実行するようにさらに構成される。入力画像フレームおよび予測視差値に少なくとも部分的に基づいて補正画像フレームを決定するステップは、輝度がしきい値レベルを下回るとの決定に基づいて実行される。

【0145】

第72の態様では、単独でまたは第62の態様～第71の態様のうちの1つもしくは複数と組み合わせて、プロセッサは、第1の画像センサーからの第1の画像フレーム、第2の画像センサーからの第2の画像フレーム、および補正画像フレームを含むビデオシーケンスを決定することを含むステップを実行するようにさらに構成される。補正画像フレームは、第1の画像フレームと第2の画像フレームとの間のビデオシーケンスに出現する。

【0146】

第73の態様では、単独でまたは第62の態様～第72の態様のうちの1つもしくは複数と組み合わせて、補正画像フレームを決定するステップは、第1の画像センサーまたは第2の画像センサーのうちの他方の画像フレームにさらに基づく。

【0147】

第74の態様では、単独でまたは第62の態様～第73の態様のうちの1つもしくは複数と組み合わせて、第1の視差値は、第1の軸線に沿った視野の差を示す。

【0148】

第75の態様では、第74の態様と組み合わせて、プロセッサは、第1の軸線とは異なる第2の軸線に沿った第1の画像センサーと第2の画像センサーとの間の視野の差を示す第2の視差値を受信することをさらに含むステップを実行するように構成される。モデルを決定するステップは、第2の視差値にさらに少なくとも部分的に基づく。

【0149】

第76の態様では、単独でまたは第62の態様～第75の態様のうちの1つもしくは複数と組み合わせて、モデルを決定することは、複数の視差値を記憶することを含む。モデルは、複数の視差値に基づく。

【0150】

第77の態様では、第76の態様と組み合わせて、複数の視差値の中のいくつかの値または前の値に関連付けられた時間のうちの少なくとも1つに基づいて複数の視差値のうちの前の値を第1の視差値と置き換える。

【0151】

第78の態様では、単独でまたは第62の態様～第77の態様のうちの1つもしくは複数と組み合わせて、装置は、深度センサーに対して構成される。プロセッサは、深度センサーに結合され、深度センサーからの第1の深度値を受信するように構成される。

【0152】

第79の態様では、第78の態様と組み合わせて、深度センサーは、レンジ撮像システムを含む。

【0153】

第80の態様では、第79の態様と組み合わせて、深度センサーは、飛行時間(ToF)システムを含む。第1の深度値を決定することは、ToFシステムからのToF測定値に基づいて第1の深度値を決定することを含む。

【0154】

第81の態様では、第79の態様～第80の態様のうちの1つまたは複数と組み合わせて、深度センサーは、光検出および測距(LIDAR)システムを含む。第1の深度値を決定することは、LIDARシステムからのLIDAR測定値に基づいて第1の深度値を決定することを含む。

【0155】

第82の態様では、単独でまたは第62の態様～第81の態様のうちの1つもしくは複数と組み合わせて、装置は、プロセッサに結合されたコンピュータビジョンプロセッサ(CVP)であって、第1の画像センサーからの第1の画像フレームを受信することと、第2の画像センサーからの第2の画像フレームを受信することと、第1の画像センサーと第2の画像センサーとの間の視野の差を決定するために、第1の画像フレームと第2の画像フレームとの間で特徴整合することとを含む動作を実行するように構成されたCVPに対して構成される。プロセッサは、第1の画像センサーと第2の画像センサーとの間の視野の差を第1の視差値としてCVPから受信するように構成される。

【0156】

情報および信号が様々な異なる技術および技法のいずれかを使用して表され得ることを、当業者は理解されよう。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表され得る。

【0157】

図1、図2、および図3に関して本明細書で説明する構成要素、機能ブロック、およびモジュールは、例の中でも、プロセッサ、電子デバイス、ハードウェアデバイス、電子構成要素、論理回路、メモリ、ソフトウェアコード、ファームウェアコード、またはそれらの任意の組合せを含む。加えて、本明細書で説明する特徴は、専用プロセッサ回路を介して、実行可能命令を介して、またはそれらの組合せで実装され得る。

【0158】

本明細書の本開示に関して説明する様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者はさらに諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、それらの機能に関して概略的に上記で説明した。そのような機能がハードウェアとして実装されるかまたはソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明する機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。当業者はまた、本明細書で説明する構成要素、方法、または相互作用の順序または組合せは例にすぎないことと、本開示の様々な態様の構成要素、方法、または相互作用は本明細書で図示し説明する方法以外の方法で組み合わされるかまたは実行される場合があることとを容易に認識されよう。

【0159】

本明細書で開示する実装形態に関して説明する様々な例示的な論理、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアの互換性について、機能に関して概略的に説明し、上記で説明した様々な例示的な構成要素、ブロック、モジュール、回路およびプロセスにおいて図示した。そのような機能がハードウェアにおいて実装されるかまたはソフトウェアにおいて実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。

【0160】

本明細書で開示する態様に関して説明する様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用シングルチップもしくはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサは、マイクロプロセッサ、または、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくは状態機械であり得る。いくつかの実装形態では、プロセッサは、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成などの、コンピューティングデバイスの組合せとして実装され得る。いくつかの実装形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実行され得る。

【0161】

1つまたは複数の態様では、説明する機能は、本明細書で開示する構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェアにおいて、またはそれらの任意の組合せにおいて実装され得る。本明細書で説明する主題の実装形態はまた、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のための、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上で符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。

【0162】

ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶され得るか、またはコンピュータ可読媒体を介して送信され得る。本明細書で開示する方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュールにおいて実装され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能にされ得る任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または所望のプログラムコードを命令もしくはデータ構造の形態で記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を含み得る。また、いかなる接続も、コンピュータ可読媒体と適切に呼ばれ得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。加えて、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せもしくはセットとして、コンピュータプログラム製品に組み込まれ得る機械可読媒体およびコンピュータ可読媒体上に存在し得る。

【0163】

本開示で説明する実装形態の様々な修正は、当業者に容易に明らかになる場合があり、本明細書で定義する一般原理は、本開示の趣旨または範囲から逸脱することなく、いくつかの他の実装形態に適用され得る。したがって、特許請求の範囲は、本明細書で示されている実装形態に限定されるものではなく、本開示、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。

【0164】

加えて、「上側(upper)」および「下側(lower)」という用語は、図の説明を簡単にするために使用されることがあり、適切に配向されたページ上の図の配向に対応する相対位置を示し、実装された任意のデバイスの適切な配向を反映しない場合があることを、当業者は容易に諒解されよう。

【0165】

別個の実装形態の文脈で本明細書で説明するいくつかの特徴はまた、単一の実装形態において組み合わせて実装され得る。逆に、単一の実装形態の文脈で説明する様々な特徴はまた、複数の実装形態において別々にまたは任意の適切な部分組合せで実装され得る。さらに、特徴は、いくつかの組合せで働くものとして上記で説明されることがあり、最初にそのようなものとして請求されることさえあるが、請求される組合せからの1つまたは複数の特徴は、場合によっては、その組合せから削除されることがあり、請求される組合せは、部分組合せまたは部分組合せの変形形態を対象とすることがある。

【0166】

同様に、動作は特定の順序で図面に示されるが、このことは、望ましい結果を達成するために、そのような動作が示された特定の順序でまたは逐次的な順序で実行されること、またはすべての図示した動作が実行されることを必要とするものとして理解されるべきではない。さらに、図面は、もう1つの例示的なプロセスを流れ図の形態で概略的に示すことがある。しかしながら、示されていない他の動作が、概略的に図示した例示的なプロセスに組み込まれることがある。たとえば、図示した動作のいずれかの前に、その後に、それと同時に、またはそれらの間に、1つまたは複数の追加の動作が実行され得る。いくつかの状況では、マルチタスキングおよび並列処理が有利であり得る。さらに、上記で説明した実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきではなく、説明するプログラム構成要素およびシステムは、一般に、単一のソフトウェア製品内で一緒に統合されてもよく、または複数のソフトウェア製品の中にパッケージ化されてもよいことを理解されたい。加えて、いくつかの他の実装形態は、以下の特許請求の範囲内に入る。場合によっては、特許請求の範囲で具陳するアクションは、異なる順序で実行され、依然として望ましい結果を達成することがある。

【0167】

特許請求の範囲内を含めて本明細書で使用する場合、「または」という用語は、2つ以上の項目のリストにおいて使用されるとき、列挙された項目のいずれか1つが単独で採用され得ること、または列挙された項目のうちの2つ以上の任意の組合せが採用され得ることを意味する。たとえば、組成物が構成要素A、B、またはCを含むものとして説明される場合、組成物は、Aのみ、Bのみ、Cのみ、AとBの組合せ、AとCの組合せ、BとCの組合せ、またはAとBとCの組合せを含み得る。また、特許請求の範囲内を含めて本明細書で使用する場合、「のうちの少なくとも1つ」で終わる項目のリストにおいて使用される「または」は、たとえば、「A、B、またはCのうちの少なくとも1つ」のリストが、AまたはBまたはCまたはABまたはACまたはBCまたはABC(すなわち、AおよびBおよびC)またはそれらの任意の組合せにおけるこれらのいずれかを意味するような、選言的リストを示す。「実質的に」という用語は、当業者によって理解されるように、必ずしも指定されるものの全体ではないがその大部分として定義される(かつ指定されるものを含む、たとえば、実質的に90度は90度を含み、実質的に平行は平行を含む)。任意の開示する実装形態では、「実質的に」という用語は、指定されるもの「の[パーセンテージ]以内」で置換されてもよく、パーセンテージは、0.1、1、5、または10パーセントを含む。

【0168】

本開示の前述の説明は、いかなる当業者も本開示を作成または使用することが可能となるように提供される。本開示の様々な修正は当業者に容易に明らかになり、本明細書で定義する一般原理は、本開示の趣旨または範囲から逸脱することなく、他の変形形態に適用され得る。したがって、本開示は、本明細書で説明する例および設計に限定されるものではなく、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。

【符号の説明】

【0169】

100 デバイス
101 第1の画像センサー、画像センサー、センサー
102 第2の画像センサー、画像センサー、センサー
104 プロセッサ
106 メモリ
108 コンピュータ実行可能命令、命令
112 画像信号プロセッサ、ISP
114 ディスプレイ
116 入力/出力(I/O)構成要素、I/O構成要素
118 電源
131 第1のレンズ、レンズ
132 第2のレンズ、レンズ
133 オートフォーカス(AF)システム、AFシステム
134 オートフォーカス(AF)システム、AFシステム
140 深度センサー
150 センサーハブ
200 システム
202 コンピュータビジョン(CV)プロセッサ(CVP)、CVプロセッサ
210 視差予測器、予測器
212 モデル
214 推定器
300 システム
310 幾何学的ワープモジュール、ワープモジュール
330 補正画像フレーム
340 シーケンス
400 グラフ
402 第1の線、線
404 第2の線、線
412 データ
414 データ
500 方法
600 方法

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】