特表 2024-503660 スローモーションビデオキャプチャを伴うズームインまたはズームアウト

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-26

(54)【発明の名称】スローモーションビデオキャプチャを伴うズームインまたはズームアウト

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240119BHJP

   H04N 23/60 20230101ALI20240119BHJP

   H04N 23/69 20230101ALI20240119BHJP

   H04N 23/70 20230101ALI20240119BHJP

   G03B 15/00 20210101ALI20240119BHJP

【ＦＩ】

H04N23/63

H04N23/60 300

H04N23/69

H04N23/70

H04N23/60 500

G03B15/00 H

G03B15/00 M

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023541956

(86)(22)【出願日】2022-01-13

(85)【翻訳文提出日】2023-07-11

(86)【国際出願番号】 US2022012333

(87)【国際公開番号】W WO2022159328

(87)【国際公開日】2022-07-28

(31)【優先権主張番号】17/156,219

(32)【優先日】2021-01-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ドゥッタ・チョウデュリー、シュブホブラタ

(72)【発明者】

【氏名】ボダパティ、サイ・クリシュナ

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA47

5C122EA67

5C122FA18

5C122FD01

5C122FE01

5C122FE02

5C122FE03

5C122FE06

5C122FF01

5C122FH07

5C122FK23

5C122FK24

5C122GA01

5C122GA23

5C122HA13

5C122HA35

5C122HA89

5C122HB01

5C122HB02

(57)【要約】

ビデオコンテンツを生成するためのデバイスのための態様が説明される。本デバイスは、第１のカメラと、第１のカメラに結合された１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサが、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理することと、ズームインまたはズームアウトするとの選択を受信することと、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理することと、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成することとを行うように構成される。
【選択図】図５

【特許請求の範囲】

【請求項1】

ビデオコンテンツを生成するためのデバイスであって、前記デバイスは、
第１のカメラと、
前記第１のカメラに結合された１つまたは複数のプロセッサと、
を備え、前記１つまたは複数のプロセッサは、
第１のレートにおいて前記第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、
表示のためのビデオコンテンツを生成するためにフレームの前記第１のセットを処理することと、
ズームインまたはズームアウトするとの選択を受信することと、
前記第１のカメラについてのズームしきい値までの前記ズームインまたはズームアウトの間に、前記第１のレートよりも小さい第２のレートにおいて前記第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、
表示のためのビデオコンテンツを生成するためにフレームの前記第２のセットを処理することと、
前記第１のレートよりも小さい第３のレートにおいて、フレームの前記第１のセットとフレームの前記第２のセットとを含む、再生のためのビデオコンテンツを生成することと、
を行うように構成された、デバイス。

【請求項2】

ズームインまたはズームアウトするとの前記選択を受信することは、スローモーションでのビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトするとの前記選択を受信することを備え、
フレームの前記第２のセットを受信することは、スローモーションでのビデオキャプチャが有効にされた状態で、フレームの前記第２のセットを受信することを備える、
請求項１に記載のデバイス。

【請求項3】

前記第１のカメラは、前記１つまたは複数のプロセッサに結合された複数のカメラのうちの１つであり、前記デバイスは前記複数のカメラのうちの第２のカメラを備え、
前記第１のカメラについての前記ズームしきい値が到達された後に、前記１つまたは複数のプロセッサは、
前記第２のレートよりも大きい第４のレートにおいて前記複数のカメラのうちの前記第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、
表示のためのビデオコンテンツを生成するためにフレームの前記第３のセットを処理することと、
を行うように構成され、
ここにおいて、再生のためのビデオコンテンツを生成することは、前記第３のレートにおいて、フレームの前記第１のセットとフレームの前記第２のセットとフレームの前記第３のセットとを含む、再生のためのビデオコンテンツを生成することを備える、請求項１に記載のデバイス。

【請求項4】

前記第１のカメラがフレームの前記第１のセットをキャプチャする間に、またはそれより前に、前記１つまたは複数のプロセッサは、前記複数のカメラの各々について、自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータのうちの１つまたは複数を決定するように構成され、
前記第２のカメラによってキャプチャされたフレームの前記第３のセットを受信することは、前記第１のカメラがフレームの前記第１のセットをキャプチャする間に、またはそれより前に、前記第２のカメラについて決定されたＡＦパラメータおよびＡＥＣパラメータのうちの１つまたは複数に基づいてフレームの前記第３のセットを受信することを備える、
請求項３に記載のデバイス。

【請求項5】

フレームの前記第２のセットを処理することは、前記第１のカメラについての前記ズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することを備え、
前記第１のカメラについての前記ズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することは、
フレームの前記第２のセットに対してズーム係数の増加または減少の間にクロッピングおよびサイズ変更を実施すること、
を備える、請求項１に記載のデバイス。

【請求項6】

前記ズームしきい値は第１のズームしきい値を備え、前記第１のカメラは、前記１つまたは複数のプロセッサに結合された複数のカメラのうちの１つであり、
前記第１のカメラについての前記第１のズームしきい値が到達された後に、前記１つまたは複数のプロセッサは、
フレームの前記第２のセットを処理することと並列に、前記複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、
フレームの前記第３のセットを処理することと、
を行うように構成され、
再生のためのビデオコンテンツを生成することは、前記第３のレートにおいて、フレームの前記第１のセットと、前記第１のカメラについての第２のズームしきい値が到達されるまでのフレームの前記第２のセットと、前記第１のカメラについての前記第２のズームしきい値が到達された後のフレームの前記第３のセットとを含む、再生のためのビデオコンテンツを生成することを備え、
前記第１のカメラと前記第２のカメラの両方は、前記第１のズームしきい値よりも大きいかまたはそれに等しく、かつ前記第２のズームしきい値よりも小さいかまたはそれに等しいズーム係数において動作するように構成される、
請求項１に記載のデバイス。

【請求項7】

前記第１のレートは、１２０フレーム毎秒よりも大きいかまたはそれに等しい、請求項１に記載のデバイス。

【請求項8】

前記第３のレートは前記第２のレートに等しい、請求項１に記載のデバイス。

【請求項9】

ズームインまたはズームアウトするとの選択を受信することは、
ピンチズームモーションを示す情報を受信すること、または
ズームするとの選択を示す情報を受信すること、
のうちの１つを備える、請求項１に記載のデバイス。

【請求項10】

フレームの前記第２のセットの画像品質は、フレームの前記第１のセットの画像品質よりも劣る、請求項１に記載のデバイス。

【請求項11】

ビデオコンテンツを生成するための方法であって、前記方法は、
１つまたは複数のプロセッサを用いて、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、
前記１つまたは複数のプロセッサを用いて、表示のためのビデオコンテンツを生成するためにフレームの前記第１のセットを処理することと、
前記１つまたは複数のプロセッサを用いて、ズームインまたはズームアウトするとの選択を受信することと、
前記第１のカメラについてのズームしきい値までの前記ズームインまたはズームアウトの間に、前記１つまたは複数のプロセッサを用いて、前記第１のレートよりも小さい第２のレートにおいて前記第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、
前記１つまたは複数のプロセッサを用いて、表示のためのビデオコンテンツを生成するためにフレームの前記第２のセットを処理することと、
前記１つまたは複数のプロセッサを用いて、前記第１のレートよりも小さい第３のレートにおいて、フレームの前記第１のセットとフレームの前記第２のセットとを含む、再生のためのビデオコンテンツを生成することと、
を備える、方法。

【請求項12】

ズームインまたはズームアウトするとの前記選択を受信することは、スローモーションでのビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトするとの前記選択を受信することを備え、
フレームの前記第２のセットを受信することは、スローモーションでのビデオキャプチャが有効にされた状態で、フレームの前記第２のセットを受信することを備える、
請求項１１に記載の方法。

【請求項13】

前記第１のカメラは、前記１つまたは複数のプロセッサに結合された複数のカメラのうちの１つであり、
前記方法は、前記第１のカメラについての前記ズームしきい値が到達された後に、
前記第２のレートよりも大きい第４のレートにおいて前記複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、
表示のためのビデオコンテンツを生成するためにフレームの前記第３のセットを処理することと、
をさらに備え、
ここにおいて、再生のためのビデオコンテンツを生成することは、前記第３のレートにおいて、フレームの前記第１のセットとフレームの前記第２のセットとフレームの前記第３のセットとを含む、再生のためのビデオコンテンツを生成することを備える、請求項１１に記載の方法。

【請求項14】

前記第１のカメラがフレームの前記第１のセットをキャプチャする間に、またはそれより前に、前記複数のカメラの各々について、自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータのうちの１つまたは複数を決定すること、
をさらに備え、
前記第２のカメラによってキャプチャされたフレームの前記第３のセットを受信することは、前記第１のカメラがフレームの前記第１のセットをキャプチャする間に、またはそれより前に、前記第２のカメラについて決定されたＡＦパラメータおよびＡＥＣパラメータのうちの１つまたは複数に基づいてフレームの前記第３のセットを受信することを備える、
請求項１３に記載の方法。

【請求項15】

フレームの前記第２のセットを処理することは、前記第１のカメラについての前記ズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することを備え、
前記第１のカメラについての前記ズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することは、
フレームの前記第２のセットに対してズーム係数の増加または減少の間にクロッピングおよびサイズ変更を実施すること、
を備える、請求項１１に記載の方法。

【請求項16】

前記ズームしきい値は第１のズームしきい値を備え、前記第１のカメラは、前記１つまたは複数のプロセッサに結合された複数のカメラのうちの１つであり、
前記方法は、前記第１のカメラについての前記第１のズームしきい値が到達された後に、
フレームの前記第２のセットを処理することと並列に、前記複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、
フレームの前記第３のセットを処理することと、
をさらに備え、
再生のためのビデオコンテンツを生成することは、前記第３のレートにおいて、フレームの前記第１のセットと、前記第１のカメラについての第２のズームしきい値が到達されるまでのフレームの前記第２のセットと、前記第１のカメラについての前記第２のズームしきい値が到達された後のフレームの前記第３のセットとを含む、再生のためのビデオコンテンツを生成することを備え、
前記第１のカメラと前記第２のカメラの両方は、前記第１のズームしきい値よりも大きいかまたはそれに等しく、かつ前記第２のズームしきい値よりも小さいかまたはそれに等しいズーム係数において動作するように構成される、
請求項１１に記載の方法。

【請求項17】

前記第１のレートは、１２０フレーム毎秒よりも大きいかまたはそれに等しい、請求項１１に記載の方法。

【請求項18】

前記第３のレートは前記第２のレートに等しい、請求項１１に記載の方法。

【請求項19】

ズームインまたはズームアウトするとの選択を受信することは、
ピンチズームモーションを示す情報を受信すること、または
ズームするとの選択を示す情報を受信すること、
のうちの１つを備える、請求項１１に記載の方法。

【請求項20】

フレームの前記第２のセットの画像品質は、フレームの前記第１のセットの画像品質よりも劣る、請求項１１に記載の方法。

【請求項21】

命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、１つまたは複数のプロセッサに、
第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、
表示のためのビデオコンテンツを生成するためにフレームの前記第１のセットを処理することと、
ズームインまたはズームアウトするとの選択を受信することと、
前記第１のカメラについてのズームしきい値までの前記ズームインまたはズームアウトの間に、前記第１のレートよりも小さい第２のレートにおいて前記第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、
表示のためのビデオコンテンツを生成するためにフレームの前記第２のセットを処理することと、
前記第１のレートよりも小さい第３のレートにおいて、フレームの前記第１のセットとフレームの前記第２のセットとを含む、再生のためのビデオコンテンツを生成することと、
を行わせる、コンピュータ可読記憶媒体。

【請求項22】

前記１つまたは複数のプロセッサに、ズームインまたはズームアウトするとの前記選択を受信することを行わせる前記命令は、前記１つまたは複数のプロセッサに、スローモーションでのビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトするとの前記選択を受信することを行わせる命令を備え、
前記１つまたは複数のプロセッサに、フレームの前記第２のセットを受信することを行わせる前記命令は、前記１つまたは複数のプロセッサに、スローモーションでのビデオキャプチャが有効にされた状態で、フレームの前記第２のセットを受信することを行わせる命令を備える、
請求項２１に記載のコンピュータ可読記憶媒体。

【請求項23】

前記第１のカメラは複数のカメラのうちの１つであり、
前記命令は、前記１つまたは複数のプロセッサに、前記第１のカメラについての前記ズームしきい値が到達された後に、
前記第２のレートよりも大きい第４のレートにおいて前記複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、
表示のためのビデオコンテンツを生成するためにフレームの前記第３のセットを処理することと、
を行わせる命令をさらに備え、
ここにおいて、再生のためのビデオコンテンツを生成することは、前記第３のレートにおいて、フレームの前記第１のセットとフレームの前記第２のセットとフレームの前記第３のセットとを含む、再生のためのビデオコンテンツを生成することを備える、請求項２１に記載のコンピュータ可読記憶媒体。

【請求項24】

前記１つまたは複数のプロセッサに、
前記第１のカメラがフレームの前記第１のセットをキャプチャする間に、またはそれより前に、前記複数のカメラの各々について、自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータのうちの１つまたは複数を決定すること、
を行わせる命令をさらに備え、
前記第２のカメラによってキャプチャされたフレームの前記第３のセットを受信することは、前記第１のカメラがフレームの前記第１のセットをキャプチャする間に、またはそれより前に、前記第２のカメラについて決定されたＡＦパラメータおよびＡＥＣパラメータのうちの１つまたは複数に基づいてフレームの前記第３のセットを受信することを備える、
請求項２３に記載のコンピュータ可読記憶媒体。

【請求項25】

前記ズームしきい値は第１のズームしきい値を備え、前記第１のカメラは複数のカメラのうちの１つであり、
前記命令は、前記１つまたは複数のプロセッサに、前記第１のカメラについての前記第１のズームしきい値が到達された後に、
フレームの前記第２のセットを処理することと並列に、前記複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、
フレームの前記第３のセットを処理することと、
を行わせる命令をさらに備え、
再生のためのビデオコンテンツを生成することは、前記第３のレートにおいて、フレームの前記第１のセットと、前記第１のカメラについての第２のズームしきい値が到達されるまでのフレームの前記第２のセットと、前記第１のカメラについての前記第２のズームしきい値が到達された後のフレームの前記第３のセットとを含む、再生のためのビデオコンテンツを生成することを備え、
前記第１のカメラと前記第２のカメラの両方は、前記第１のズームしきい値よりも大きいかまたはそれに等しく、かつ前記第２のズームしきい値よりも小さいかまたはそれに等しいズーム係数において動作するように構成される、
請求項２１に記載のコンピュータ可読記憶媒体。

【請求項26】

ビデオコンテンツを生成するためのデバイスであって、前記デバイスは、
第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信するための手段と、
表示のためのビデオコンテンツを生成するためにフレームの前記第１のセットを処理するための手段と、
ズームインまたはズームアウトするとの選択を受信するための手段と、
前記第１のカメラについてのズームしきい値までの前記ズームインまたはズームアウトの間に、前記第１のレートよりも小さい第２のレートにおいて前記第１のカメラによってキャプチャされたフレームの第２のセットを受信するための手段と、
表示のためのビデオコンテンツを生成するためにフレームの前記第２のセットを処理するための手段と、
前記第１のレートよりも小さい第３のレートにおいて、フレームの前記第１のセットとフレームの前記第２のセットとを含む、再生のためのビデオコンテンツを生成するための手段と、
を備える、デバイス。

【発明の詳細な説明】

【優先権の主張】

【0001】

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０２１年１月２２日に出願された米国出願第１７／１５６，２１９号の優先権を主張する。

【技術分野】

【0002】

[0002]本開示は画像処理に関する。

【背景技術】

【0003】

[0003]カメラデバイスは、フレーム（たとえば、画像）をキャプチャする１つまたは複数のカメラを含む。カメラデバイスの例は、スタンドアロンデジタルカメラまたはデジタルビデオカムコーダ、１つまたは複数のカメラを有する携帯電話、セルラーまたは衛星無線電話などのカメラ付きワイヤレス通信デバイスハンドセット、いわゆる「ウェブカム」などのカメラを含む、カメラ付き携帯情報端末（ＰＤＡ）、パネルまたはタブレット、ゲーミングデバイス、コンピュータデバイス、あるいはデジタルイメージングまたはビデオ能力をもつ任意のデバイスを含む。

【0004】

[0004]カメラデバイスは、キャプチャされたフレームを処理し、表示のためにフレームを出力する。いくつかの例では、カメラデバイスは、第１のレートにおいてフレームをキャプチャし、第１のレートよりも小さい第２のレートにおいてフレームを表示する。フレームがキャプチャされる第１のレートよりも小さい第２のレートにおいてフレームを表示したことの結果は、画像コンテンツがスローモーションで動くように見えることである。

【発明の概要】

【0005】

[0005]概して、本開示は、マルチカメラデバイスにおけるズームインまたはズームアウト能力を用いたスローモーションビデオキャプチャのための技法について説明する。カメラデバイス上のカメラの各々は、それぞれのズームしきい値間のズーム係数範囲に関連付けられ得る。たとえば、第１のカメラのためのズーム係数は、キャプチャされた画像コンテンツの０．５ｘから１ｘの間の倍率であり得る。この例では、ズーム係数範囲は０．５ｘ倍率から１ｘ倍率までであり、第１のズームしきい値が０．５ｘであり、第２のズームしきい値が１ｘである。デバイスの他のカメラは、他のズーム係数範囲（たとえば、１ｘから２ｘまでの倍率など）を有し得る。また、カメラの各々は、それぞれのカメラパラメータに従ってフレームをキャプチャするように構成され得る。ズームインすること（たとえば、倍率を増加させること）またはズームアウトすること（たとえば、倍率を減少させること）について、カメラプロセッサは、第１のカメラについてのズームしきい値が到達されるまで、第１のカメラについてのカメラパラメータに基づいて、第１のカメラによってキャプチャされたフレームを処理し、第１のカメラについてのズームしきい値が到達された時点において、カメラプロセッサは、第２のカメラによってキャプチャされたフレームを処理する（たとえば、カメラプロセッサは、広角カメラから望遠カメラに切り替わる）。

【0006】

[0006]１つまたは複数の例では、ズームインまたはズームアウトすることの間に（たとえば、第１のカメラによってキャプチャされたフレームが現在のズーム係数からズームしきい値までズームインまたはズームアウトされる時間の間に）、第１のカメラは、第１のカメラがズームインまたはズームアウトしていないときにフレームをキャプチャし得るレートよりも低いフレームレートにおいてフレームをキャプチャするように構成され得る。より詳細に説明されるように、ズームインまたはズームアウトすることの間にキャプチャレートを低減することによって、例示的な技法は、第２のカメラによってキャプチャされたフレームが表示される前に第１のカメラによってキャプチャされ、表示された、劣った品質のフレームの数を低減し得る。

【0007】

[0007]たとえば、スローモーションでは、キャプチャされたフレームは、フレームがキャプチャされたレートよりも低いレートにおいて表示される。また、ズームインまたはズームアウトすることの間に、カメラパラメータは最適化されないことがあり、これは、現在のズーム係数からズームしきい値までズームインまたはズームアウトする時間の間にキャプチャされたフレームの、より劣った画像品質を生じる。スローモーションでは、劣った画像品質をもつ多くのフレームがある場合、閲覧者エクスペリエンスは悪影響を及ぼされる。キャプチャされ、次いで表示される、劣った品質のフレームの数を低減することによって、例示的な技法はカメラデバイスの全体的な動作を改善し得、したがって、得られたデバイスは、スローモーションビデオキャプチャが有効に（イネーブルに）されるときでも、ズームインまたはズームアウトする能力を提供することができる。

【0008】

[0008]一例では、本開示は、ビデオコンテンツを生成するためのデバイスについて説明し、本デバイスが、第１のカメラと、第１のカメラに結合された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサが、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理することと、ズームインまたはズームアウトするとの選択を受信することと、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理することと、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成することとを行うように構成される。

【0009】

[0009]一例では、本開示は、ビデオコンテンツを生成するための方法について説明し、本方法が、１つまたは複数のプロセッサを用いて、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、１つまたは複数のプロセッサを用いて、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理することと、１つまたは複数のプロセッサを用いて、ズームインまたはズームアウトするとの選択を受信することと、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、１つまたは複数のプロセッサを用いて、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、１つまたは複数のプロセッサを用いて、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理することと、１つまたは複数のプロセッサを用いて、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成することとを備える。

【0010】

[0010]一例では、本開示は、命令を記憶したコンピュータ可読記憶媒体について説明し、命令が、実行されたとき、１つまたは複数のプロセッサに、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理することと、ズームインまたはズームアウトするとの選択を受信することと、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理することと、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成することとを行わせる。

【0011】

[0011]一例では、本開示は、ビデオコンテンツを生成するためのデバイスについて説明し、本デバイスが、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信するための手段と、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理するための手段と、ズームインまたはズームアウトするとの選択を受信するための手段と、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信するための手段と、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理するための手段と、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成するための手段とを備える。

【0012】

[0012]１つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

【図面の簡単な説明】

【0013】

【図1】[0013]本開示で説明される例示的な技法のうちの１つまたは複数を実施するように構成されたデバイスのブロック図。

【図2】[0014]図１のデバイスのカメラプロセッサをさらに詳細に示すブロック図。

【図3】[0015]ズームインまたはズームアウトを有効にするための例示的な方法を示す概念図。

【図4】[0016]ズームインまたはズームアウトすることの一例を示すタイミング図。

【図5】[0017]本開示で説明される１つまたは複数の例による動作の例示的な方法を示すフローチャート。

【発明を実施するための形態】

【0014】

[0018]本開示で説明される例示的な技法は、マルチカメラデバイスにおけるズームインまたはズームアウト能力を用いたスローモーションビデオキャプチャに関する。カメラデバイスは、ビデオコンテンツをズームインまたはズームアウトすることをサポートするための複数のカメラを含み得る。たとえば、カメラデバイスは、（たとえば、１２０°～１８０°など、１２０°超の視野角をキャプチャするように構成された）ウルトラワイドカメラと、（たとえば、６０°～１２０°など、６０°よりも大きい視野角をキャプチャするように構成された）ワイドカメラと、（たとえば、１０°～６０°など、６０°未満の視野角をキャプチャするように構成された）望遠カメラとを含み得る。複数のカメラの各々は、それぞれのズーム係数範囲およびズームしきい値に関連付けられ得る。たとえば、ウルトラワイドカメラは、０．５ｘ～１ｘのズーム係数範囲を提供し得、ここで、０．５ｘおよび１ｘはズームしきい値である。ワイドカメラは、１ｘ～２ｘのズーム係数範囲を提供し得、ここで、１ｘおよび２ｘはズームしきい値である。望遠カメラは、２ｘよりも大きいズーム係数を提供し得、ここで、２ｘはズームしきい値である。０．５ｘ、１ｘ、および２ｘのズーム係数は、それぞれのカメラのセンサー上の物体の再現比（reproduction ratio）を指し得る（たとえば、ウルトラワイドカメラについての０．５ｘズーム係数では、１／２インチの物体は、ウルトラワイドカメラのセンサー上で物体のサイズの０．２５として再現される）。

【0015】

[0019]各カメラは、光ズーム能力および／またはデジタルズーム能力に基づいてそれぞれのズーム係数に関連付けられ得る。すなわち、各カメラは、光ズームおよびデジタルズームのうちの１つまたはそれらの組合せに基づいて、ズーム係数範囲にわたってズームインまたはズームアウトすることを提供し得る。光ズームおよびデジタルズームの例が以下で説明される。

【0016】

[0020]上記の例では、カメラの各々についてのズーム係数範囲において重複がない。しかしながら、いくつかの例では、ズーム係数範囲において重複があり得る。たとえば、ウルトラワイドカメラについてのズーム係数範囲は０．５ｘ～１．３ｘであり得、ワイドカメラについてのズーム係数範囲は１ｘ～２．３ｘであり得、望遠カメラについてのズーム係数範囲は２ｘよりも大きいことがある。この例では、ウルトラワイドカメラについてのズームしきい値は０．５ｘおよび１．３ｘであり、ワイドカメラについてのズームしきい値は１ｘおよび２．３ｘであり、望遠カメラについてのズームしきい値は２ｘである。

【0017】

[0021]ズーム係数範囲およびズームしきい値は、例として提供されるにすぎず、限定するものと見なされるべきではない。本開示で説明される例示的な技法は、特定のズーム係数範囲またはズームしきい値に限定されない。

【0018】

[0022]いくつかの例では、ズームインまたはズームアウトするとき、それぞれのズームしきい値が到達されると、異なるカメラ間のハンドオフがある。たとえば、カメラデバイスのユーザは、最初に、０．５ｘのズーム係数をもつウルトラワイドカメラを使用してビデオコンテンツをキャプチャし得、カメラデバイスのカメラプロセッサは、ウルトラワイドカメラによってキャプチャされたフレームを処理し得る。ユーザは、次いで、（たとえば、ボタンまたはピンチモーション（pinch motion）を使用して）ズームインし得る。この例では、ズームインすることの間に、カメラプロセッサは、ウルトラワイドカメラのズームしきい値が到達されるまで（たとえば、１ｘ）、ウルトラワイドカメラによってキャプチャされたフレームを処理し得る。カメラプロセッサは、次いで、ワイドカメラによってキャプチャされたフレームを処理し得る。

【0019】

[0023]キャプチャされたビデオコンテンツの品質を維持するための１つの例示的な方法は、各カメラが、ビデオキャプチャより前に、それぞれのカメラパラメータを決定することである。カメラパラメータの例は、より詳細に説明されるように、３Ａパラメータ（自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータ）を含む。カメラプロセッサが特定のカメラからのフレームを処理していない場合でも、カメラパラメータはすでに知られている。その場合、カメラプロセッサが、フレームを処理することを現在のカメラから後続のカメラに切り替えるべきであるとき、後続のカメラについてのカメラパラメータが事前決定されているので、後続のカメラについてのカメラパラメータを決定する際の遅延はない。このようにして、現在のカメラから後続のカメラへのハンドオフ（たとえば、フレームを処理することにおける切替え）は、品質に対する限られた影響および限られた遅延を伴って行われ得る。

【0020】

[0024]カメラデバイスが、ズームインまたはズームアウトすることをサポートするための複数のカメラを含むことに加えて、カメラデバイスは、スローモーションビデオキャプチャのためのオプションをも提供する。スローモーションビデオキャプチャでは、カメラデバイスのカメラは、キャプチャされたフレームが表示される第２のレートよりも大きい第１のレートにおいてフレームをキャプチャする。一例として、カメラは、１２０フレーム毎秒（ｆｐｓ）のキャプチャレートにおいて１０秒のビデオコンテンツをキャプチャし得る。この例では、１２００個のフレーム（たとえば、１２０ｆｐｓ＊１０秒）がある。カメラデバイス、または何らかの他のデバイスは、３０ｆｐｓの表示レートにおいて１２００個のフレームを表示し得る。この例では、１２００個のフレームは、４０秒（たとえば、１２００個のフレーム／３０ｆｐｓ）にわたって表示される。したがって、この例では、１０秒のビデオコンテンツが４０秒にわたって表示され、閲覧者は、スローモーションでのものであるとしてビデオコンテンツを知覚する（たとえば、ビデオコンテンツ中の物体の動きのレートは、物体が現実に動くレートよりも遅い）。

【0021】

[0025]スローモーションビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトすることを有効にすることの技術的困難があり得る。たとえば、ズームインまたはズームアウトするようにとの要求に応答して、カメラプロセッサは、ズームしきい値が到達されるまで、現在のカメラによってキャプチャされたフレームに対してデジタルズームインまたはズームアウトを実施する。一例として、現在のカメラはウルトラワイドカメラであり得、ズームインに応答して、カメラプロセッサは、１ｘのズームしきい値が到達されるまで、現在のカメラによるフレームキャプチャに対してデジタルズームインを実施し得る。

【0022】

[0026]デジタルズームインまたはズームアウトは、ズーム係数の線形増加または減少の間のフレームのクロッピング（cropping）およびサイズ変更を含む。たとえば、カメラプロセッサはウルトラワイドカメラからフレームを受信し得、０．６ｘズームを実施するために、カメラプロセッサは、フレームの周囲の１０％をクロップし（crop）、クロッピングの結果をサイズ変更することなどを行い得る。カメラプロセッサは、ある時間期間にわたって、ズーム係数をズームしきい値が到達されるまで増加させる（たとえば、０．６ｘ、０．７ｘ、０．８ｘ、０．９ｘ、１ｘまで）、ことによって、デジタルズームインまたはズームアウトを実施し得る。例は、ウルトラワイドカメラに関して説明されるが、ズームインまたはズームアウトする例示的な技法は、他のカメラについて同様であり得る。

【0023】

[0027]いくつかの例では、デジタルズームインまたはズームアウトは、サイズ変更による画像品質の減少を引き起こす。たとえば、カメラパラメータは、カメラプロセッサがズームインまたはズームアウトすることを実施している時間の間にキャプチャされるフレームについて、精密でないことがある。たとえば、カメラパラメータは、特定のズーム係数に基づいて設定され得る（たとえば、ウルトラワイドカメラでは０．５ｘ、ワイドカメラでは１ｘ、および望遠カメラでは２ｘ）。ズームインまたはズームアウトすることの間に、キャプチャされたフレームは、事実上、ズームインまたはズームアウトすることなしのビデオコンテンツと比較して異なるビデオコンテンツを伴ってキャプチャされたフレームと見なされ得る。特定のズーム係数について決定された、自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータなど、カメラパラメータは、異なるビデオコンテンツを伴ってキャプチャされたフレームについて精密でないことがあり、ここで、ズームインまたはズームアウトすることの間にキャプチャされたフレームは、事実上、異なるビデオコンテンツを有する。

【0024】

[0028]上記のことは、デジタルズームの例について説明する。しかしながら、光ズームを使用してキャプチャすることについて、画像品質の減少という同様の問題。光ズームでは、カメラのレンズおよび／またはセンサーは、ズームインまたはズームアウトすることを提供するように動く。カメラパラメータは、特定のロケーションにおけるレンズまたはセンサーについて設定され得、レンズまたはセンサーの動きは、カメラパラメータが不精密になることを生じ得る。

【0025】

[0029]現在のカメラについてのズームしきい値が到達された後に、カメラプロセッサは、後続のカメラによってキャプチャされたフレームを出力する。この場合、後続のカメラによってキャプチャされたフレームは、後続のカメラについてのすでに決定されたカメラパラメータを用いてキャプチャされる。したがって、画像品質は、後続のカメラによってキャプチャされたフレームについて比較的高い。より低い画像品質をもつフレームを生成する上記の例示的なプロセスは、後続のカメラを用いたズームインまたはズームアウトについての別の要求がある場合、繰り返す。

【0026】

[0030]上記で説明されたように、スローモーションビデオキャプチャでは、フレームがキャプチャされるレートは、スローモーション作用（affect）を引き起こすように、フレームが表示されるレートよりも大きい。また、説明されたように、ズームインまたはズームアウトすることの間に、キャプチャされたフレームの画像品質は比較的低くなり得る。いくつかの例では、より低い画像品質を有するこれらのフレームは、キャプチャするための時間量よりも長い時間量にわたって表示されるので、低品質フレームが表示される、望ましくなく長い時間期間があり得る。たとえば、現在のカメラは、１２０ｆｐｓにおいてフレームをキャプチャしていることがあり、ズームしきい値までズームインまたはズームアウトするための時間量は、０．５秒であり得る。この例では、ズームインまたはズームアウトすることの間に、現在のカメラは、６０個のフレーム（たとえば、１２０ｆｐｓ＊０．５秒）をキャプチャし得、６０個のフレームの画像品質は、ズームインまたはズームアウトすることなしの場合よりも劣っていることがある。表示レートは３０ｆｐｓであり得る。したがって、６０個のフレームは、２秒（たとえば、６０フレーム／３０ｆｐｓ）にわたって表示され得る。この例では、０．５秒相当の劣った品質のフレームがあり得るにすぎないが、劣った品質のフレームを表示するのに２秒を要し得、これは、閲覧者にとって望ましくないことがある。

【0027】

[0031]本開示で説明される１つまたは複数の例によれば、スローモーションが有効にされた状態の（たとえば、ズームインまたはズームアウトなしの）通常動作の間に、カメラは、第１のレート（たとえば、１２０ｆｐｓ以上）においてフレームの第１のセットをキャプチャし得、スローモーションが有効にされた状態で、ズームインまたはズームアウトの間に、カメラは、第１のレートよりも低い第２のレート（たとえば、３０ｆｐｓ以下）においてフレームの第２のセットをキャプチャし得る。フレームの第２のセットの画像品質は、フレームの第１のセットの画像品質よりも劣ることがある。

【0028】

[0032]カメラデバイスまたは何らかの他のデバイスは、第３のレート（たとえば、３０ｆｐｓ）において、フレームのための第１のセットおよびフレームの第２のセットを表示し得る。この例では、９．５秒のビデオコンテンツがフレームの第１のセットによってキャプチャされ、０．５秒のビデオコンテンツがフレームの第２のセットによってキャプチャされる場合、比較的高い品質の画像コンテンツをもつ１１４０個のフレーム（たとえば、９．５秒＊１２０ｆｐｓ）および比較的低い品質の画像コンテンツをもつ１５個のフレーム（たとえば、０．５秒＊３０ｆｐｓ）がある。その場合、表示の間に、比較的高い品質の画像コンテンツをもつフレームの３８秒の再生があることになる（たとえば、スローモーション効果を作成するために、９．５秒のビデオコンテンツが３８秒に拡大される）。また、比較的低い品質の画像コンテンツをもつフレームの０．５秒の再生があることになる（たとえば、０．５秒のビデオコンテンツが０．５秒以内に表示される）。比較的低い品質の画像コンテンツを有するフレーム時間量は、キャプチャレートが１２０ｆｐｓである場合、２秒から０．５秒まで低減されるので、閲覧者エクスペリエンスに対する影響はほとんどないことがある。

【0029】

[0033]図１は、本開示で説明される例示的な技法のうちの１つまたは複数を実施するように構成されたデバイスのブロック図である。カメラデバイス１０の例は、スタンドアロンデジタルカメラまたはデジタルビデオカムコーダ、複数のカメラを有する携帯電話、セルラーまたは衛星無線電話などのカメラ付きワイヤレス通信デバイスハンドセット、いわゆる「ウェブカム」などのカメラを含む、カメラ付き携帯情報端末（ＰＤＡ）、パネルまたはタブレット、ゲーミングデバイス、コンピュータデバイス、あるいはデジタルイメージングまたはビデオ能力をもつ任意のデバイスを含む。

【0030】

[0034]図１の例に示されているように、カメラデバイス１０は、（たとえば、各々が画像センサーとレンズとを有する）カメラ１２Ａ～１２Ｃと、カメラプロセッサ１４およびカメラプロセッサ１４のローカルメモリ２０と、中央処理ユニット（ＣＰＵ）１６と、グラフィカル処理ユニット（ＧＰＵ）１８と、ユーザインターフェース２２と、システムメモリ３０へのアクセスを提供するメモリコントローラ２４と、グラフィカルデータをディスプレイ２８上に表示させる信号を出力するディスプレイインターフェース２６とを含む。図１の例は１つのカメラプロセッサ１４を示すが、いくつかの例では、複数のカメラプロセッサ（たとえば、カメラ１２Ａ～１２Ｃの各々について１つずつ）があり得る。カメラプロセッサ１４に関して本開示で説明される技法は、１つまたは複数のカメラプロセッサが例示的な技法を実施する例を含み得る。

【0031】

[0035]また、様々な構成要素が別個の構成要素として示されているが、いくつかの例では、構成要素は、システムオンチップ（ＳｏＣ）を形成するために組み合わせられ得る。一例として、カメラプロセッサ１４とＣＰＵ１６とＧＰＵ１８とディスプレイインターフェース２６とは、共通集積回路（ＩＣ）チップ上に形成され得る。いくつかの例では、カメラプロセッサ１４、ＣＰＵ１６、ＧＰＵ１８、およびディスプレイインターフェース２６のうちの１つまたは複数は、別個のＩＣチップ中にあり得る。様々な他の置換および組合せが可能であり、本技法は、図１に示されている例に限定されると見なされるべきではない。

【0032】

[0036]（１つのデバイス上に形成されるのか異なるデバイス上に形成されるのかにかかわらず）図１に示されている様々な構成要素は、１つまたは複数のマイクロプロセッサ中のものなど、固定機能またはプログラマブル回路、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、あるいは他の等価な集積またはディスクリート論理回路のうちの少なくとも１つとして形成され得る。ローカルメモリ２０およびシステムメモリ３０の例は、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気データ媒体または光記憶媒体など、１つまたは複数の揮発性または不揮発性メモリあるいはストレージデバイスを含む。

【0033】

[0037]図１に示されている様々なユニットは、バス３２を使用して互いと通信する。バス３２は、第３世代バス（たとえば、ＨｙｐｅｒＴｒａｎｓｐｏｒｔバスまたはＩｎｆｉｎｉＢａｎｄバス）、第２世代バス（たとえば、アドバンストグラフィックスポートバス、周辺構成要素相互接続（ＰＣＩ）エクスプレスバス、またはアドバンストエクステンシブルインターフェース（ＡＸＩ：Advanced eXtensible Interface）バス）あるいは別のタイプのバスまたはデバイス相互接続など、様々なバス構造のいずれかであり得る。図１に示されている異なる構成要素間のバスおよび通信インターフェースの特定の構成は例にすぎず、カメラデバイスの他の構成および／あるいは同じまたは異なる構成要素をもつ他の画像処理システムが、本開示の技法を実装するために使用され得る。

【0034】

[0038]カメラデバイス１０はカメラ１２Ａ～１２Ｃを含む。カメラ１２Ａ～１２Ｃの各々は、以下で説明されるように、それぞれのカメラパラメータに従って、画像コンテンツを有するフレームをキャプチャするように構成され得る。カメラ１２Ａ～１２Ｃは、それらのキャプチャされたフレームを画像処理のためにカメラプロセッサ１４に出力し得る。以下でより詳細に説明されるように、１つまたは複数の例では、カメラプロセッサ１４は、表示される、比較的より劣った品質を有するフレームの数を低減するために、ズームインまたはズームアウトすることの間になど、カメラ１２Ａ～１２Ｃがフレームをキャプチャするレートを制御し得る。

【0035】

[0039]カメラプロセッサ１４は、メモリコントローラ２４を介してシステムメモリ３０に、画像コンテンツ（たとえば、画像ピクセルの各々についてのピクセル値）をもつ、得られたフレームを出力する。すなわち、カメラプロセッサ１４は、得られたフレームを含む、再生のためのビデオコンテンツを生成し得る。本開示で説明される１つまたは複数の例では、フレームは、表示のための１つまたは複数のフレームを生成するためにさらに処理され得る。いくつかの例では、カメラプロセッサ１４がブレンディングを実施するのではなく、ＧＰＵ１８またはカメラデバイス１０の何らかの他の回路が、ブレンディングを実施するように構成され得る。

【0036】

[0040]本開示は、カメラプロセッサ１４によって実施されるものとして、例示的な技法について説明する。しかしながら、例示的な技法は、カメラプロセッサ１４が例示的な技法を実施することに限定されると見なされるべきではない。たとえば、カメラプロセッサ１４は、ＣＰＵ１６、ＧＰＵ１８、および／またはディスプレイインターフェース２６と組み合わせて、本開示で説明される例示的な技法を実施するように構成され得る。いくつかの例では、カメラ１２Ａ～１２Ｃの各々は、処理回路を含み得る。したがって、例示的な技法を実施し得るプロセッサの例は、カメラ１２Ａ～１２Ｃの一部である処理回路を含む。たとえば、１つまたは複数のプロセッサは、本開示で説明される例示的な技法を実施するように構成され得る。１つまたは複数のプロセッサの例は、カメラプロセッサ１４、ＣＰＵ１６、ＧＰＵ１８、ディスプレイインターフェース２６、カメラ１２Ａ～１２Ｃのうちの１つまたは複数の処理回路、またはカメラプロセッサ１４、ＣＰＵ１６、ＧＰＵ１８、ディスプレイインターフェース２６、およびカメラ１２Ａ～１２Ｃのうちの１つまたは複数の処理回路のうちの１つまたは複数の任意の組合せを含む。

【0037】

[0041]ＣＰＵ１６は、カメラデバイス１０の動作を制御する汎用プロセッサまたは専用プロセッサを備え得る。ユーザは、ＣＰＵ１６に１つまたは複数のソフトウェアアプリケーションを実行させるために、カメラデバイス１０に入力を提供し得る。ＣＰＵ１６上で実行するソフトウェアアプリケーションは、たとえば、メディアプレーヤアプリケーション、ビデオゲームアプリケーション、グラフィカルユーザインターフェースアプリケーションまたは別のプログラムを含み得る。ユーザは、ユーザインターフェース２２を介してカメラデバイス１０に結合される、キーボード、マウス、マイクロフォン、タッチパッドまたは別の入力デバイスなど、１つまたは複数の入力デバイス（図示せず）を介して、カメラデバイス１０に入力を提供し得る。

【0038】

[0042]ソフトウェアアプリケーションの一例は、カメラアプリケーションである。ＣＰＵ１６はカメラアプリケーションを実行し、応答して、カメラアプリケーションは、ＣＰＵ１６に、ディスプレイ２８が出力するコンテンツを生成させる。ＧＰＵ１８は、ディスプレイ２８上でのレンダリングのためにＣＰＵ１６によって生成されたコンテンツを処理するように構成され得る。たとえば、ディスプレイ２８は、光強度、フラッシュが有効にされるかどうか、および他のそのような情報など、情報を出力し得る。カメラデバイス１０のユーザは、画像が生成される様式（たとえば、フラッシュを用いるまたは用いない、焦点設定、露光設定、および他のパラメータ）を構成するためにディスプレイ２８とインターフェースし得る。一例として、カメラデバイス１０のユーザは複数のフレーム（たとえば、複数のピクチャ）を撮ることを選択し得、ここで、複数のフレームのうちの２つまたはそれ以上が、１つまたは複数の出力フレームを生成するために（たとえば、ぼけを低減するために）一緒にブレンドされる。しかしながら、一緒にブレンドされる複数のフレームを撮ることは、デフォルトオプションであり得る（たとえば、ユーザ選択は必要とされない）。カメラアプリケーションはまた、ＣＰＵ１６に、ユーザ定義された様式でカメラ１２によってキャプチャされた画像コンテンツのフレームをキャプチャし、処理するようにカメラプロセッサ１４に命令させる。

【0039】

[0043]メモリコントローラ２４は、システムメモリ３０に入るおよびそれから出るデータの転送を可能にする。たとえば、メモリコントローラ２４は、カメラデバイス１０中の構成要素にメモリサービスを提供するために、メモリ読取りおよび書込みコマンドを受信し、メモリ３０に関するそのようなコマンドをサービスし得る。メモリコントローラ２４はシステムメモリ３０に通信可能に結合される。メモリコントローラ２４は、ＣＰＵ１６とシステムメモリ３０の両方とは別個である処理回路であるものとして図１のカメラデバイス１０の例に示されているが、他の例では、メモリコントローラ２４の機能の一部または全部は、ＣＰＵ１６とシステムメモリ３０の一方または両方の上で実装され得る。

【0040】

[0044]システムメモリ３０は、カメラプロセッサ１４、ＣＰＵ１６、およびＧＰＵ１８によってアクセス可能であるプログラムモジュールおよび／または命令および／またはデータを記憶し得る。たとえば、システムメモリ３０は、ユーザアプリケーション（たとえば、カメラアプリケーションのための命令）、カメラプロセッサ１４からの得られたフレームなどを記憶し得る。システムメモリ３０は、カメラデバイス１０の他の構成要素による使用のための情報、および／または他の構成要素によって生成される情報をさらに記憶し得る。たとえば、システムメモリ３０は、カメラプロセッサ１４のためのデバイスメモリとして働き得る。

【0041】

[0045]図示のように、カメラデバイス１０はカメラ１２Ａ～１２Ｃを含む。カメラ１２Ａ～１２Ｃの各々は、異なるズーム係数で構成され得、異なる量の視野角をキャプチャし得る。いくつかの例では、カメラ１２Ａ～１２Ｃの各々は、異なるレンズジオメトリおよび異なるレベルの光ズーム（たとえば、カメラ１２Ａ～１２Ｃのレンズまたはセンサーがどのくらい動くことができるかに基づく異なるズーム係数範囲）で構成され得る。視野角は、視野（ＦＯＶ）であり得る。いくつかの例では、同じズーム係数をもつカメラ１２Ａ～１２Ｃは、同じＦＯＶをキャプチャしていることがある。

【0042】

[0046]カメラ１２Ａは（たとえば、１２０°～１８０°の視野角をキャプチャするように構成された）ウルトラワイドカメラであり得、カメラ１２Ｂは（たとえば、６０°～１２０°の視野角をキャプチャするように構成された）ワイドカメラであり得、カメラ１２Ｃは（たとえば、１０°～６０°の視野角をキャプチャするように構成された）望遠カメラであり得る。カメラ１２Ａは、０．５Ｘの第１のズームしきい値から１Ｘの第２のズームしきい値までのズーム係数を提供するように構成され得る。カメラ１２Ｂは、１Ｘの第３のズームしきい値から２Ｘの第４のズームしきい値までのズーム係数を提供するように構成され得る。カメラ１２Ｃは、２Ｘの第５のズームしきい値よりも大きいズーム係数を提供するように構成され得る。

【0043】

[0047]上記の例では、第２のズームしきい値と第３のズームしきい値とが同じであり、第４のズームしきい値と第５のズームしきい値とが同じである。しかしながら、本技法は、そのように限定されない。いくつかの例では、カメラ１２Ａ～１２Ｃのズーム係数範囲において重複があり得る。たとえば、カメラ１２Ａについての第２のズームしきい値は１．３Ｘであり得、カメラ１２Ｂについての第３のズームしきい値が１Ｘであり得る。この例では、１Ｘから１．３Ｘズームまで、カメラ１２Ａとカメラ１２Ｂの両方は、そのようなズーム係数を提供することができる。

【0044】

[0048]カメラデバイス１０上のカメラ１２の数、視野角、ならびにズーム係数範囲およびズームしきい値の例は、理解を支援するために提供されるにすぎない。例示的な技法は、そのような例に限定されると見なされるべきではない。より多いまたはより少ないカメラ１２があり得、視野角が異なり得、ズーム係数範囲およびしきい値が異なり得る。

【0045】

[0049]カメラ１２Ａ～１２Ｃの各々に関連付けられたズーム係数範囲は、カメラ１２Ａ～１２Ｃのセンサーまたはレンズが所望のズームを提供するために動くことを必ずしも意味する必要はないが、それは可能である。すなわち、光ズームはズームを提供するための１つの方法であるが、本技法は光ズームに限定されない。いくつかの例では、カメラ１２Ａ～１２Ｃに関連付けられたズーム係数範囲は、カメラ１２Ａ～１２Ｃのうちのどのカメラから、カメラプロセッサ１４が、デジタルズームインまたはズームアウトを実施するためのフレームを受信するべきであるかを示し得る。したがって、カメラ１２Ａ～１２Ｃが特定のズーム係数範囲のために構成されることは、カメラ１２Ａ～１２Ｃのセンサーまたはレンズが光ズームインまたはズームアウトを提供するように動いている例、および／あるいはカメラプロセッサ１４がデジタルズームインまたはズームアウトを実施するためのフレームをそこから受信する例を含み得る。

【0046】

[0050]カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃから画像フレームを受信し、表示のために出力フレームを生成する（たとえば、再生のためのビデオコンテンツを生成する）ために画像フレームを処理するように構成される。ＣＰＵ１６、ＧＰＵ１８、カメラプロセッサ１４、または何らかの他の回路は、カメラプロセッサ１４によって生成された画像コンテンツを含む出力フレームを、ディスプレイ２８上での表示のための画像に処理するように構成され得る。いくつかの例では、ＧＰＵ１８は、ディスプレイ２８上でグラフィックスコンテンツをレンダリングするようにさらに構成され得る。

【0047】

[0051]カメラ１２Ａ～１２Ｃは、カメラプロセッサ１４および／またはＣＰＵ１６が決定し得るそれらのそれぞれのカメラパラメータに従ってフレームをキャプチャするように構成され得る。たとえば、カメラデバイス１０のユーザがフレームをキャプチャするより前に、カメラ１２Ａ～１２Ｃは、３Ａパラメータ（自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータ）と呼ばれるカメラパラメータを決定し得る。

【0048】

[0052]自動焦点では、ＣＰＵ１６は焦点を合わせるべき画像のエリアを決定し得、したがって、焦点が合わせられるエリア中の画像コンテンツに焦点が合っている。他のエリアは、カメラ１２Ａ～１２Ｃの開口サイズに応じて、焦点が合っていることがあるが、必ずしも焦点が合っているとは限らない。一例として、ＣＰＵ１６は、位相検出オートフォーカス（ＰＤＡＦ：phase detection autofocus）技法を利用し得る。ＣＰＵ１６は、次いで、焦点を合わせるべきエリアに基づいてカメラ１２Ａ～１２Ｃを制御し得る（たとえば、カメラ１２Ａ～１２Ｃのレンズのロケーションを調整することによって焦点距離を調整するなど）。いくつかの例では、ＣＰＵ１６は、前景にある物体を決定し得、前景物体に焦点を合わせるようにカメラ１２Ａ～１２Ｃを制御し得る。別の例として、ＣＰＵ１６は、焦点を合わせるべきエリアを決定するために、顔検出のような、物体検出技法を利用し得る。

【0049】

[0053]自動露光制御では、ＣＰＵ１６は、外部照明条件などのファクタに基づいてカメラ１２Ａ～１２Ｃの開口およびシャッター速度を決定し得る。一例として、カメラプロセッサ１４は、光を示す情報を決定し、それに応じて、画像の輝度を一定に保つ（たとえば、フレームの所望の領域の輝度を輝度値の中間帯域に保つ）ように開口およびシャッター速度を調整し得る。たとえば、光が多すぎる（すなわち、露出過度である）場合、画像中の細部が失われることがあり、光が少なすぎる（すなわち、露出不足である）場合、画像は暗すぎることがあり、細部が可視でないことがある。画像の中心における輝度がより高く保たれ、画像のエッジの近くでは漸進的に低下される中心重み付き測光（center-weighted metering）マップなどの「測光」を使用して露光が制御される様々な方法がある。いくつかの例では、中心重み付き測光は、画像の中心が、可能な輝度レベルの中間範囲内の値（すなわち、中間トーン）を有することを保証する。外側エリアは、キャプチャされているシーンの実際のコンテンツに応じて、より明るいか、より暗いか、または同じであり得る。本開示で説明される技法は、中心重み付き測光マップの例に限定されない（たとえば、画像の中央のための露光制御のほうへバイアスされる測光マップに限定されない）。

【0050】

[0054]自動ホワイトバランスでは、ＣＰＵ１６は光源の「色温度」を決定し得、ここで、色温度は、白色の相対的な暖かさまたは冷たさを指す。いくつかの場合には、キャプチャされた画像は、非現実的な色かぶり（color cast）を有し得る。いくつかの例では、自動ホワイトバランスアルゴリズムは、赤色成分と緑色成分と青色成分との間の比を分析し、示唆された赤色および青色利得レベルを出力するヒューリスティックを適用する。Ｒ、Ｂチャネルがそれらの乗数を乗算されたとき、画像はよりバランス良く見えることになり、グレー領域はグレーに見えることになり、不自然な色かぶりを有しないことになる。しかしながら、（たとえば、影がある）マルチ照明シーンの場合、異なる領域について異なる乗数が理想的であるので、乗数を決定することはより困難であり得る。

【0051】

[0055]１つまたは複数の例では、カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃの各々についてのそれぞれのカメラパラメータ（たとえば、３Ａカメラパラメータ）を記憶し得る。カメラ１２Ａ～１２Ｃは、焦点距離を調整するためのＡＦパラメータと、カメラ１２Ａ～１２Ｃにシャッターおよび開口サイズに従って動作させるＡＥＣパラメータとを利用し得る。カメラプロセッサは、フレームを処理することの一部としてＡＷＢを利用し得る。いくつかの例では、カメラ１２Ａ～１２Ｃの各々は、それらのそれぞれのカメラパラメータに従ってフレームをキャプチャし得る。しかしながら、カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃのうちの１つのみからのフレームを処理し得、残りのフレームは「フラッシュ（flush）」され得る（たとえば、表示のために処理または記憶されない）。以下で説明されるように、いくつかの例では、２つの異なるカメラ１２Ａ～１２Ｃからのフレームが処理されるときがあり得るが、概して、カメラ１２Ａ～１２Ｃのうちの１つのみからのフレームがカメラプロセッサ１４によって処理される。

【0052】

[0056]いくつかの例では、カメラプロセッサ１４は、画像処理パイプラインとして構成され得る。たとえば、カメラプロセッサ１４は、カメラ１２とカメラプロセッサ１４との間でインターフェースするカメラインターフェースを含み得る。カメラプロセッサ１４は、画像コンテンツを処理するための追加の回路を含み得る。

【0053】

[0057]いくつかの例では、カメラプロセッサ１４は、デジタルズームインまたはデジタルズームアウトを実施するように構成され得る。カメラプロセッサ１４がデジタルズームインまたはデジタルズームアウトを実施することに関して説明されたが、いくつかの例では、カメラ１２Ａ～１２Ｃが、デジタルズームインまたはデジタルズームアウトを実施するように構成され得る。たとえば、カメラ１２Ａ～１２Ｃは、各々、デジタルズームインまたはズームアウトを実施するための処理回路を含み得る。

【0054】

[0058]ズームインするために、カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃのうちの１つから受信されたフレームのクロッピングおよびサイズ変更を実施し得る。一例として、１Ｘから２Ｘにズームインするようにとの要求を受信したことに応答して、カメラプロセッサ１４は、カメラ１２Ｂから受信されたフレームの外周の５０％をクロップし、クロップされたフレームをサイズ変更し得る。この例では、フレームの中心５０％が今やフレームのフルサイズにサイズ変更され、画像コンテンツは２倍の大きさであるように見える。

【0055】

[0059]ズームする際の急激なジャンプを回避するために、あるズームしきい値から別のズームしきい値に（たとえば、１Ｘから２Ｘに）ズームするとき、カメラプロセッサ１４および／またはカメラ１２Ａ～１２Ｃは、ズーム係数を徐々に増加または減少させ得る。たとえば、ズーム係数が１Ｘから２Ｘに突然変更された場合、閲覧者エクスペリエンスは望ましくないことがある。したがって、ズーム係数は緩やかに変化し得る。一例として、（たとえば、カメラプロセッサ１４および／またはカメラ１２Ａ～１２Ｃによる）ズーム係数は線形的に増加または減少し得、したがって、ズーム係数は、一例として、１Ｘ、次いで１．１Ｘ、次いで１．２Ｘ、以下同様に、２Ｘまで、である。ズーム係数の線形増加または減少と０．１Ｘのステップサイズとは、両方とも一例として提供され、限定するものと見なされるべきではない。また、上記で説明されたように、ズーム係数が変化する少なくとも２つの方法があり得、（１）カメラプロセッサ１４がクロップおよびサイズ変更するデジタルズームに基づく、および（２）カメラ１２Ａ～１２Ｃのセンサーまたはレンズの動きを伴う光ズームに基づく、２つの方法は、個々にまたは一緒に使用され得る。

【0056】

[0060]繰り返すが、カメラデバイス１０のユーザは、カメラデバイス１０が記録しているビデオコンテンツをズームインまたはズームアウトし得る。ズームインまたはズームアウトするようにとの要求に応答して、カメラプロセッサ１４は、ズーム係数がカメラ１２Ａ～１２Ｃのうちの１つについてのズームしきい値に到達するまで、カメラ１２Ａ～１２Ｃのうちの１つによってキャプチャされたフレームを処理し得る。ズーム係数はあるズームしきい値から別のズームしきい値に徐々に変化し得るので、ズーム係数がズームしきい値に到達するのに経過する、ある時間量があり得る。たとえば、ズームしきい値に到達するのに約０．５秒を要し得る。いくつかの例では、ズームしきい値に到達するのに要する時間の範囲は、約０．２秒から０．７秒の間である。

【0057】

[0061]したがって、カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃのうちの第１のカメラについてのカメラパラメータに基づいて、カメラ１２Ａ～１２Ｃのうちの第１のカメラによってキャプチャされたフレームを処理し得る。ズームインまたはズームアウトするようにとの要求に応答して、カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃのうちの第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のカメラによってキャプチャされたフレームを処理し得る。たとえば、第１のカメラについてのズームしきい値（たとえば、０．５秒）までのズームインまたはズームアウトの間に、第１のカメラは、最初に決定されたカメラパラメータに基づいてフレームをキャプチャする。たとえば、カメラ１２Ａ～１２Ｃのうちの第１のカメラについてのズーム係数は、最初に１Ｘにあり得、カメラパラメータ（たとえば、ＡＦ、ＡＷＢ、およびＡＥＣの３Ａパラメータ）は、第１のカメラについてのズーム係数が１Ｘであるときに決定されていることがある。カメラ１２Ａ～１２Ｃのうちの第２のカメラについてのズーム係数は、最初に２Ｘにあり得、カメラパラメータ（たとえば、３Ａパラメータ）は、第２のカメラについてのズーム係数が２Ｘであるときに決定されていることがある。

【0058】

[0062]その場合、ズーム係数が、１Ｘから、２Ｘのズームしきい値に変化する時間（たとえば、０．５秒）の間に、第１のカメラは、１Ｘのズーム係数で決定されたカメラパラメータに基づいてフレームをキャプチャし続け得る。すなわち、ズーム係数は（たとえば、１．１Ｘ、１．２Ｘ、１．３Ｘ、以下同様に、２Ｘまで）変化していることがあるが、第１のカメラは、１Ｘのズーム係数で決定されたカメラパラメータに基づいてフレームをキャプチャし得る。２Ｘのズーム係数に到達した後に、カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃのうちの第２のカメラについての２Ｘズーム係数に基づいて決定された、カメラ１２Ａ～１２Ｃのうちの第２のカメラについてのカメラパラメータを使用して、カメラ１２Ａ～１２Ｃのうちの第２のカメラによってキャプチャされたフレームを処理することを開始し得る。

【0059】

[0063]上記の例では、ズーム係数が、１Ｘから、２Ｘのズームしきい値に変化する時間（たとえば、０．５秒）の間に、第１のカメラは、１Ｘのズーム係数で決定されたカメラパラメータに基づいてフレームをキャプチャし続け得る。概して、カメラ１２Ａ～１２Ｃの各々についてのカメラパラメータは、カメラ１２Ａ～１２Ｃの各々がそれぞれの第１のズームしきい値にあることに基づいて決定され得る。ズーム係数がカメラ１２Ａ～１２Ｃの各々について第１のズームしきい値から第２のズームしきい値に変化する時間の間に、カメラ１２Ａ～１２Ｃの各々は、第１のしきい値において決定されたカメラパラメータに基づいてフレームをキャプチャし続け得る。

【0060】

[0064]いくつかの例では、ズーム係数が第１のズームしきい値から第２のズームしきい値に変化している時間の間に、キャプチャされたフレームの品質は、ズーム係数が変化していないときのキャプチャされたフレームの品質よりも低くなり得る。たとえば、カメラ１２Ａ～１２Ｃのうちの第１のカメラについてのカメラパラメータは第１のカメラについての第１のズームしきい値に基づくので、カメラパラメータは、ズーム係数が第１のズームしきい値でない場合、第１のカメラについて精密に正確でないことがある。一例として、第１のカメラについてのカメラパラメータは、１Ｘのズーム係数に基づいて設定され得る。カメラパラメータは、１．２Ｘのズーム係数について正確でないことがある。したがって、１Ｘのズーム係数について決定されたカメラパラメータを用いて１．２Ｘのズーム係数においてキャプチャされたフレームは、１Ｘのズーム係数においてキャプチャされたフレームと比較してより低い品質のものであり得る。

【0061】

[0065]一例として、ズームがあるときはいつでも、ズームが終了するまで（たとえば、ズームしきい値が到達されるまで）、視野（ＦＯＶ）は安定していることがある。ズームの間のカメラパラメータは、リセットまたは再計算されないが、ＦＯＶは、ズームインまたはズームアウトすることから変化し得る。したがって、ズームする間、キャプチャおよび処理のために使用されるカメラパラメータは、ズームすることが開始する前にすでに設定されたものと同じパラメータである。これは、ズームしているＦＯＶ（zooming FOV）が精密なカメラパラメータを有しないことを生じる。たとえば、焦点物体（たとえば、ＡＦ）が中心ＦＯＶ以外のどこかにある場合、焦点が合わせられる物体はもはやＦＯＶ中にないので、ズームすることは焦点外れプレビュー（off focus preview）を生じることになる。同じことが、露光（たとえば、ＡＥＣ）およびホワイトバランス（ＡＷＢ）について適用される。たとえば、ズームが、採光の良いシーンから影へのものである場合、ズームしているＦＯＶは、それがズームごとの露光パラメータ（すなわち、ズーム前ＡＥＣ）を使用するので、不十分な採光のままになる。したがって、ズームインまたはズームアウトすることの間に、キャプチャされた画像は、ズームインまたはズームアウトしないときよりも劣った品質を有する傾向がある。

【0062】

[0066]ズーム係数が第１のズームしきい値から第２のズームしきい値に変化している時間の間にキャプチャされたフレームの品質は比較的低いことがあるが、たいていの場合、フレームのこの比較的低い品質は、閲覧者エクスペリエンスに影響を及ぼさない。たとえば、カメラ１２Ａ～１２Ｃの各々は、特定のフレームレートにおいてフレームをキャプチャするように構成され得る（たとえば、キャプチャレートは３０フレーム毎秒（ｆｐｓ）である）。いくつかの場合には、カメラデバイス１０は、キャプチャレートと同じである表示レートにおいてフレームを表示する（たとえば、表示レートは３０ｆｐｓであり、キャプチャレートは３０ｆｐｓである）。

【0063】

[0067]上記で説明されたように、あるズームしきい値から別のズームしきい値にズームするのに０．５秒を要し得る。したがって、この０．５秒の間に、３０ｆｐｓのキャプチャレートを仮定すると、比較的低い品質でキャプチャされる約１５個のフレームがあり得る（たとえば、３０ｆｐｓ＊０．５秒＝１５個のフレーム）。表示レートも３０ｆｐｓである場合、比較的低い品質をもつこれらのフレームを表示するのに０．５秒を要することになる。閲覧者は、０．５秒相当の劣った品質のフレームが表示されることを知覚しないことがあるか、または、そのことによって影響を及ぼされないことがある。

【0064】

[0068]しかしながら、場合によっては、劣った品質のフレームを有することは、閲覧者エクスペリエンスに影響を及ぼし得る。一例として、ユーザは、カメラデバイス１０を、スローモーションのためのフレームをキャプチャするように構成し得る。スローモーションでは、フレームのキャプチャレートは、フレームの表示レートよりも大きい。したがって、フレームを表示するのに、フレームをキャプチャするのに要した時間量よりも多くの時間を要する。これは、画像コンテンツがより遅く動いているように見えるので、閲覧者がスローモーションを知覚することを生じる。

【0065】

[0069]一例として、キャプチャレートが２４０ｆｐｓであり、表示レートが３０ｆｐｓであると仮定する。この例では、１秒のビデオキャプチャが２４０個のフレームを生じる。３０ｆｐｓの表示レートでは、その１秒のビデオを表示するのに８秒（たとえば、２４０個のフレーム／３０ｆｐｓ）を要することになる。この例では、閲覧者の視点から、キャプチャされたフレーム中の物体は、物体が現実に動いているレートの１／８において動くように見え、したがって、スローモーションの知覚を作成する。

【0066】

[0070]いくつかの例では、カメラデバイス１０のユーザは、通常モードでビデオキャプチャを開始し得る。次いで、ユーザは、カメラデバイス１０がスローモーションでキャプチャすることを開始することを引き起こし得る。しばらくして、ユーザは、カメラデバイス１０が通常モードでキャプチャすることに戻ることを引き起こし得る。たとえば、通常モードの間に、カメラ１２Ａ～１２Ｃは、３０ｆｐｓにおいてフレームをキャプチャし得る。スローモーションモードの間に、カメラ１２Ａ～１２Ｃは、１２０ｆｐｓ以上においてフレームをキャプチャし得る。

【0067】

[0071]より良い視覚エクスペリエンスのために、スローモーションの間に、ユーザは、ズームインまたはズームアウトし得る。たとえば、カメラ１２Ａ～１２Ｃのうちの第１のカメラは、０．５Ｘのズーム係数について設定され得、ここで、第１のカメラについてのズームしきい値は０．５Ｘ～１Ｘである。最初に、第１のカメラは、０．５Ｘで３０ｆｐｓにおいてキャプチャし得る。次いで、ユーザは、カメラデバイス１０がスローモーションモードでキャプチャすることを引き起こし得る。この例では、ＣＰＵ１６および／またはカメラプロセッサ１４は、第１のカメラが２４０ｆｐｓにおいてキャプチャすることを引き起こし得る。第１のカメラがフレームをキャプチャしている間、ユーザはズームインし得、したがって、ズーム係数は（たとえば、約０．５秒にわたって）０．５Ｘから１Ｘに増加する。次いで、カメラプロセッサ１４は、１Ｘ～２Ｘのズーム係数範囲を有する、カメラ１２Ａ～１２Ｃのうちの第２のカメラによってキャプチャされたフレームを処理することを開始し得る。スローモーションが依然として有効にされるので、ＣＰＵ１６および／またはカメラプロセッサ１４は、第２のカメラが１Ｘのズーム係数で２４０ｆｐｓにおいてキャプチャすることを引き起こし得る。後のある時点において、ユーザは、カメラデバイス１０がスローモーションを終了することを引き起こし得、カメラプロセッサ１４は、３０ｆｐｓにおいて、第２のカメラによってキャプチャされたフレームを処理し得る。

【0068】

[0072]このようにして、ズームインまたはズームアウトすることを用いたスローモーションビデオキャプチャを可能にするための、第１のカメラと第２のカメラとの間のハンドオフおよび切替えがある。たとえば、カメラプロセッサ１４は、第１のカメラについてのズームしきい値が到達されるまでカメラ１２Ａ～１２Ｃのうちの第１のカメラからのフレームを処理し、次いで、カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃのうちの第２のカメラからのフレームを処理する。カメラ１２Ａ～１２Ｃのキャプチャレートは、スローモーションが有効にされるか否かに基づき得る（たとえば、スローモーションの場合により高いキャプチャレートおよび通常キャプチャの場合により低いキャプチャレート）。

【0069】

[0073]しかしながら、スローモーションを伴ってズームインまたはズームアウトすることを有効にすることに関するいくつかの問題があり得る。上記で説明されたように、ズームインまたはズームアウトすることの間にキャプチャされたフレームは、カメラパラメータがズーム係数について精密でないので、より劣った品質を有する傾向があるが、より劣った品質を有するこれらのフレームを表示するのに要する時間量は長くない（たとえば、０．５秒）ので、低い影響がある。スローモーションビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトすることについて、より劣った品質を有するこれらのフレームを表示するのに要する時間量は、比較的長い。

【0070】

[0074]たとえば、キャプチャレートが２４０ｆｐｓである場合、カメラ１２Ａ～１２Ｃのうちの１つの第１のズームしきい値から第２のズームしきい値に進むのに要する０．５秒の間に、キャプチャされるフレームの数は１２０個のフレーム（たとえば、２４０ｆｐｓ＊０．５秒）である。表示レートが３０ｆｐｓである場合、１２０個のフレームを表示するのに４秒を要する（たとえば、１２０個のフレーム／３０ｆｐｓ）。したがって、この例では、比較的劣った品質を有するフレームが表示される、４秒があることになる。上記で説明されたように、通常モード（たとえば、スローモーションではない）では、比較的劣った品質を有するフレームが表示される、０．５秒があることになる。したがって、ズームインまたはズームアウトすることを伴うスローモーションでは、キャプチャレートが２４０ｆｐｓである場合、劣った品質を有するフレームが表示される時間量は、ズームインまたはズームアウトすることを伴う通常モードの８倍の長さであり得る。より高いキャプチャレートでは、劣った品質を有するフレームが表示される時間量は、はるかに大きくなり得る（たとえば、９６０ｆｐｓ／３０ｆｐｓ＊０．５秒は１６秒に等しいので、９６０ｆｐｓは１６秒の劣った品質を生じる）。

【0071】

[0075]本開示は、スローモーションが有効にされた状態で、ズームインまたはズームアウトすることを有効にするための例示的な技法について説明する。たとえば、スローモーションが有効にされた状態で、カメラ１２Ａ～１２Ｃのうちのカメラのズームしきい値までズームインまたはズームアウトすることの間に、カメラプロセッサ１４は、カメラプロセッサ１４が、スローモーションが有効にされた状態で、ただしズームインまたはズームアウトすることなしにフレームを受信するレートにおいてよりも低いレートにおいて、フレームを受信し得る。

【0072】

[0076]一例として、カメラプロセッサ１４は、スローモーションでのビデオキャプチャが有効にされた状態で、第１のレートにおいてカメラ１２Ａ～１２Ｃのうちの第１のカメラによってキャプチャされたフレームの第１のセットを受信し得る（たとえば、第１のレートは１２０ｆｐｓ以上である）。カメラプロセッサ１４は、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理し得る。ＣＰＵ１６および／またはカメラプロセッサ１４は、ズームインまたはズームアウトするとの選択を受信し得る。第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、カメラプロセッサ１４は、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信し得る（たとえば、第２のレートは３０ｆｐｓである）。カメラプロセッサ１４は、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理し得る。たとえば、カメラプロセッサ１４は、第１のレートよりも小さい第３のレート（たとえば、３０ｆｐｓ）において、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成し得る。一例として、カメラプロセッサ１４が再生のためのビデオコンテンツを生成することは、カメラプロセッサ１４が、ディスプレイインターフェース２６が表示のために出力することができるように、フレームの第１のセットとフレームの第２のセットとを提供する例を指し得る。

【0073】

[0077]この例では、ディスプレイインターフェース２６は、表示のために、第１のレートよりも小さい第３のレートにおいてフレームの第１のセットとフレームの第２のセットとを含む生成されたビデオコンテンツを出力し得る（たとえば、第３のレートは３０ｆｐｓである）。いくつかの例では、ディスプレイインターフェース２６は、再生のためのビデオコンテンツを生成するように構成され得る。たとえば、再生のためのビデオコンテンツを生成するために、ディスプレイインターフェース２６は、フレームの第１のセットとフレームの第２のセットとを受信し、フレームの第１のセットを出力し、次いで、閲覧者にフレームのビデオ再生を知覚させる様式でフレームの第２のセットを出力し得る。概して、カメラプロセッサ１４、ディスプレイインターフェース２６、または何らかの他の構成要素が再生のためのビデオコンテンツ生成することは、カメラプロセッサ１４、ディスプレイインターフェース２６、または何らかの他の構成要素が、フレームのセットが表示のために出力され得る様式でフレームのセット（たとえば、フレームの第１および第２のセット）を構成、受信、または処理することを指し得る。

【0074】

[0078]例示的な例では、通常モードで、カメラプロセッサ１４は、現在０．５Ｘのズーム係数にあるカメラ１２Ａから３０ｆｐｓのレートにおいてフレームを受信し得る。したがって、カメラ１２Ａは、３０ｆｐｓにおいてフレームをキャプチャするように構成される。この例では、カメラ１２Ａが３０ｆｐｓのキャプチャレートで８秒のフレームをキャプチャし、したがって、２４０個のフレームをキャプチャしたと仮定する。

【0075】

[0079]次いで、ユーザは、スローモーションを有効にし得る。スローモーションが有効にされた状態で、カメラプロセッサ１４は、現在０．５Ｘのズーム係数にあるカメラ１２Ａから１２０ｆｐｓのレートにおいてフレームを受信し得る。この例では、カメラ１２Ａは、スローモーションが有効にされることにより、１２０ｆｐｓにおいてフレームをキャプチャするように構成される。カメラ１２Ａが１２０ｆｐｓのキャプチャレートで４秒のフレームをキャプチャし、したがって、４８０個のフレームをキャプチャしたと仮定する。

【0076】

[0080]ユーザは、次いで、ズームインを有効にし得（または、物体または顔追跡の場合など、自動ズームがあり得）、したがって、ズーム係数は、０．５Ｘから１Ｘ（たとえば、カメラ１２Ａについてのズームしきい値）に変化する。（たとえば、レンズ／センサー位置の変化または漸進的ズームにより）０．５Ｘのズーム係数から１Ｘに進むのに要する０．５秒の間に、１２０ｆｐｓにおいてフレームをキャプチャするのではなく、カメラ１２Ａは、０．５Ｘのズーム係数から１Ｘに進むのに要する時間の間にキャプチャされる、より低い品質を有するフレームの数を低減するために、３０ｆｐｓにおいてフレームをキャプチャし得、カメラプロセッサ１４は３０ｆｐｓにおいてフレームを受信し得る。上記で説明されたように、ズーム係数がズームしきい値に到達するための０．５秒の間にキャプチャされたフレームは、より低い品質を有する傾向がある。したがって、より低い品質を有する１５個のフレームがあることになる。

【0077】

[0081]１Ｘのズーム係数に到達した後に、カメラプロセッサ１４は、カメラ１２Ｂからフレームを受信し得る。スローモーションが依然として有効にされ、さらにズームインすることがないので、カメラプロセッサ１４は、１２０ｆｐｓのレートにおいてカメラ１２Ｂからフレームを受信し得る。１２０ｆｐｓのキャプチャレートを伴う４秒のフレームがあり、したがって、カメラ１２Ｂが４８０個のフレームをキャプチャしたと仮定する。

【0078】

[0082]次いで、ユーザがスローモーションをオフにすると仮定する。３０ｆｐｓにおいてカメラ１２Ｂによってキャプチャされたさらに１０秒のフレームがあり、３００個のフレームを生じると仮定する。

【0079】

[0083]この例では、表示レートが３０ｆｐｓである場合、フレームを表示するのに要する時間量は以下の通りである。最初に、３０ｆｐｓのキャプチャレートでの８秒があり、２４０個のフレームを生じた。２４０個のフレームを表示するのに、３０ｆｐｓにおいて８秒を要する。次いで、１２０ｆｐｓのキャプチャレートでの４秒のフレームがあり、４８０個のフレームを生じた。４８０個のフレームを表示するのに、３０ｆｐｓにおいて１６秒を要する。

【0080】

[0084]次いで、ズームインすることが有効にされ、ここで、０．５秒のフレームが３０ｆｐｓでキャプチャされ、１５個のフレームを生じた。１５個のフレームを表示するのに、３０ｆｐｓにおいて０．５秒を要する。上記で説明されたように、これらの１５個のフレームの品質は、ズームインすることの間のカメラパラメータの不精密さにより、比較的劣っていることがある。キャプチャレートを３０ｆｐｓに低減することによって、キャプチャレートが１２０ｆｐｓにおいて保たれた場合の２秒と比較して、０．５秒相当の、劣った品質のフレームが表示される時間があるにすぎない。

【0081】

[0085]次いで、さらに４秒の、１２０ｆｐｓにおいてキャプチャされるフレームがあり、４８０個のフレームを生じた。３０ｆｐｓにおいて４８０個のフレームを表示するのに１６秒を要する。次いで、スローモーションはオフにされ、１０秒のフレームが３０ｆｐｓにおいてキャプチャされ、３００個のフレームを生じた。３０ｆｐｓにおいて３００個のフレームを表示するのに１０秒を要する。

【0082】

[0086]上記の例では、カメラ１２Ａ～１２Ｃの各々は、スローモーションの間に１２０ｆｐｓ、または通常ビデオの間に３０ｆｐｓにおいてフレームをキャプチャするように構成される。しかしながら、いくつかの例では、カメラ１２Ａ～１２Ｃのうちの２つまたはそれ以上についてのキャプチャレートは異なり得る。一例として、スローモーションの間に、カメラ１２Ａは９６０ｆｐｓにおいてキャプチャし得、カメラ１２Ｂは４８０ｆｐｓにおいてキャプチャし得、カメラ１２Ｃは１２０ｆｐｓにおいてキャプチャし得る。カメラ１２Ａ～１２Ｃの各々についてのキャプチャレートは、ユーザ構成可能なオプションであり得る。

【0083】

[0087]カメラプロセッサ１４は、複数のフレームに対して何らかの初期画像処理を実施し得るが、そのような初期画像処理は、すべての例において必要であるとは限らない。カメラプロセッサ１４は、記憶のためにシステムメモリ３０に複数のフレームを出力し得る。いくつかの例では、システムメモリ３０に複数のフレームを出力するのではなく、またはそれに加えて、カメラプロセッサ１４は、ローカルメモリ２０に複数のフレームを出力し得る。別の例として、カメラプロセッサ１４は、複数のフレームの各々を、各フレームがキャプチャされたときに、一時的記憶のためにローカルメモリ２０に記憶し、次いで、複数のフレームをローカルメモリ２０からシステムメモリ３０に動かし得る。

【0084】

[0088]図２は、図１のデバイスのカメラプロセッサをさらに詳細に示すブロック図である。図示のように、カメラ１２Ａ～１２Ｃは、各々、カメラプロセッサ１４に出力されるフレームをキャプチャし得る。上記で説明されたように、カメラ１２Ａ～１２Ｃの各々は、それぞれのズームしきい値間のズーム係数についての異なる視野角および異なる範囲に関連付けられ得る。このようにして、カメラプロセッサ１４に出力される並列ストリームがある。

【0085】

[0089]１つまたは複数の例では、フレームキャプチャより前にまたは場合によっては最初の数個のキャプチャされたフレームが、カメラパラメータを決定するために利用される。たとえば、カメラプロセッサ１４および／またはＣＰＵ１６は、カメラ１２Ａ～１２Ｃの各々について、３Ａパラメータと呼ばれる、自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータを決定し得る。図示のように、カメラパラメータ３４Ａはカメラ１２Ａについてのカメラパラメータであり得、カメラパラメータ３４Ｂはカメラ１２Ｂについてのカメラパラメータであり得、３Ａパラメータ３Ａはカメラ１２Ｃについてのカメラパラメータであり得る。説明しやすいように、カメラパラメータ３４Ａ～３４Ｃは、それぞれ、カメラ１２Ａ～１２Ｃにローカルに記憶される。しかしながら、カメラパラメータ３４Ａ～３４Ｃは、２つの例として、ローカルメモリ２０および／またはシステムメモリ３０になど、他の場所に記憶され得る。

【0086】

[0090]いくつかの例では、カメラパラメータ３４Ａ～３４Ｃが決定されると、カメラパラメータ３４Ａ～３４Ｃは、記録の残りの間安定したままである可能性がある。いくつかの例では、カメラパラメータ３４Ａ～３４Ｃは再計算されないことがあり、なぜなら、そのような再計算は時間を要し、遅延または劣った品質を生じ得るからである。カメラプロセッサ１４および／またはＣＰＵ１６は、個々にカメラパラメータ３４Ａ～３４Ｃを決定し得る（たとえば、各々について異なるパラメータ）か、あるいは、カメラプロセッサ１４および／またはＣＰＵ１６は、カメラパラメータ３４Ａ～３４Ｃのうちの１つを決定し、決定された１つをカメラパラメータ３４Ａ～３４Ｃのうちの他のものに適用し得る（たとえば、カメラパラメータ３４Ａ～３４Ｃについて、焦点ぼけ距離、ルーマインデックス、および色温度の同じ値）。

【0087】

[0091]しかしながら、いくつかの例では、そのフレームが処理されていないカメラ１２Ａ～１２Ｃについてのカメラパラメータ３４Ａ～３４Ｃを再計算することが可能であり得る。たとえば、カメラ１２Ａからのフレームが処理されている場合、カメラ１２Ｂおよび１２Ｃによってキャプチャされたフレームは、それぞれ、カメラパラメータ３４Ｂおよび３４Ｃを更新するために利用され得る。そのような計算では、カメラ１２Ａ～１２Ｃ間で切り替わるとき、視野（ＦＯＶ）変化を補償することが可能であり得る。

【0088】

[0092]図２では、カメラプロセッサ１４は、カメラ１２Ａ～１２Ｃのうちの１つからストリームを選択的に選択するように構成されたスイッチ３６を含む。いくつかの場合には、以下で説明されるように、スイッチ３６は、３つのストリームのうちの２つを選択するように構成され得る。しかしながら、概して、スイッチ３６は、カメラ１２Ａ～１２Ｃのストリームのうちの１つを選択し得る。選択されなかったストリームは、すべての処理からバイパスされ、シンク／フラッシュに直接入り得る。

【0089】

[0093]図示のように、カメラプロセッサ１４はレートコントローラ３８を含む。レートコントローラ３８は、カメラプロセッサ１４の回路がフレームを受信するレートを選択するように構成され得る。一例として、レートコントローラ３８は、カメラ１２Ａ～１２Ｃがフレームをキャプチャするキャプチャレートを設定するように構成され得る。たとえば、レートコントローラ３８は、カメラ１２Ａ～１２Ｃに、３０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、９６０ｆｐｓなどにおいてフレームをキャプチャさせ得る。そのような例では、カメラ１２Ａ～１２Ｃのセンサーは、キャプチャレート（たとえば、３０ｆｐｓの場合は１秒につき３０回）に基づいて、光を検知し、その光と色とを示す電流を出力し得る。レートコントローラ３８は、カメラ１２Ａ～１２Ｃのレートを同じであるかまたは異なるように設定し得る。

【0090】

[0094]レートコントローラ３８が、カメラプロセッサ１４の回路がフレームを受信するレートを選択し得る、他の方法があり得る。たとえば、カメラ１２Ａ～１２Ｃは、各々、比較的高いレート（たとえば、９６０ｆｐｓ）においてフレームをキャプチャし得、レートコントローラ３８は、所望のレートを達成するためにフレームをドロップするように構成され得る。たとえば、レートコントローラは、あらゆるフレームをドロップし８つごとのフレームを予想し得、１２０ｆｐｓ（たとえば、９６０ｆｐｓ／８＝１２０ｆｐｓ）の有効なレートを生じる。

【0091】

[0095]本開示では、カメラプロセッサ１４が特定のキャプチャレートにおいてフレームを受信することは、カメラ１２Ａ～１２Ｃのキャプチャレートが特定のレートに設定される例と、カメラ１２Ａ～１２Ｃによってキャプチャされたフレームが、特定のキャプチャレートを効果的に達成するためにドロップされる例とを指す。カメラプロセッサ１４が特定のレート（たとえば、キャプチャレート）においてフレームを受信し得る他の方法があり得、本開示で説明される技法は、設定された技法に限定されない。

【0092】

[0096]カメラプロセッサ１４は、デジタルズーム回路４０Ａと、処理回路４２Ａと、バッファ４４Ａとを含む。カメラプロセッサ１４は、随意に、デジタルズーム回路４０Ｂと、処理回路４２Ｂと、バッファ４４Ｂとを含み得る。デジタルズーム回路４０Ｂと、処理回路４２Ｂと、バッファ４４Ｂとの例示的な使用が、以下でより詳細に説明される。理解しやすいように、例示的な技法は、デジタルズーム回路４０Ａと、処理回路４２Ａと、バッファ４４Ａとに関して説明される。

【0093】

[0097]デジタルズーム回路４０Ａまたは４０Ｂは、カメラプロセッサ１４の一部であるのではなく、またはそれに加えて、カメラ１２Ａ～１２Ｃの一部であり得る。また、デジタルズーム回路４０Ａおよび／または４０Ｂは、すべての例において必要であるとは限らない。たとえば、いくつかの例では、光ズームが十分であり得る。いくつかの例では、ズームインまたはズームアウトすることは、光ズームと、デジタルズーム回路４０Ａおよび／または４０Ｂによって提供されるデジタルズームの両方に基づき得る。光ズームを実装するために、カメラプロセッサ１４は、所望のズーム係数を達成するようにカメラ１２Ａ～１２Ｃのセンサーおよび／またはレンズのロケーションを設定する回路を含み得る。

【0094】

[0098]デジタルズーム回路４０Ａは、カメラ１２Ａ～１２Ｃのうちの選択された１つからフレームを受信し、ズームが有効にされない場合、フレームを処理回路４２Ａに渡し得る。処理回路４２Ａは、フィルタ処理、または出力されるべき出力フレームを準備するために必要とされる任意の他の処理など、任意の処理を実施するように構成され得る。処理の例は、いくつかの例として、空間フィルタ処理（たとえば、同じフレーム中の画像コンテンツにわたるフィルタ処理）またはエッジ強調を含む。バッファ４４Ａは、フレームがシステムメモリ３０に出力されるまでそれらのフレームを記憶するように構成され得る。ディスプレイインターフェース２６は、次いで、表示のために、フレームを出力し得る。したがって、カメラプロセッサ１４と、バッファ４４Ａと、ディスプレイインターフェース２６とは、表示のために次いで出力されるフレームを含む、再生のためのビデオコンテンツを生成するものと見なされ得る。

【0095】

[0099]１つまたは複数の例では、ビデオコンテンツをキャプチャすることの一部として、ユーザはスローモーションモードを有効にし得る（たとえば、スローモーションが有効にされた状態の、ビデオキャプチャ）。処理回路４２Ａは、第１のレートにおいて第１のカメラ１２Ａによってキャプチャされたフレームの第１のセットを受信し得る。第１のレートは、レートコントローラ３８によって設定され得、比較的高くなり得る（たとえば、少なくとも１２０ｆｐｓ以上）。処理回路４２Ａは、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理（たとえば、フレームをバッファ４４Ａに記憶）し得る。第１のカメラ１２Ａは、カメラパラメータ３４Ａに基づいてフレームの第１のセットをキャプチャし得る。

【0096】

[0100]ＣＰＵ１６は、ズームインまたはズームアウトするとの選択を受信し得る。たとえば、ユーザは、ユーザがキャプチャされている画像コンテンツをズームインまたはズームすることを望むことを示すための入力を提供するために、ディスプレイ２８を利用し得る。ＣＰＵ１６は、次いで、ズームインまたはズームアウトするとの選択を示す情報を、カメラプロセッサ１４および／またはカメラ１２Ａ～１２Ｃに出力し得る。

【0097】

[0101]ズームインまたはズームアウトするとの選択に応答して、カメラプロセッサ１４は、ズームインまたはズームアウトすることの実施を有効にし得る。たとえば、カメラプロセッサ１４が第１のカメラ１２Ａからフレームを受信していたので、カメラプロセッサ１４は、焦点を変更することと、ズームインまたはズームアウトすることを提供することとを行うために、カメラ１２Ａのレンズおよび／またはセンサーの位置が動くことを引き起こし得る。別の例として、デジタルズーム回路４０Ａは、カメラ１２Ａによってキャプチャされたフレームに対してデジタルズームを実施し得る。

【0098】

[0102]第１のカメラ１２Ａについてのズームしきい値までのズームインまたはズームアウトの間に、処理回路４２Ａは、第１のレートよりも小さい第２のレートにおいて第１のカメラ１２Ａによってキャプチャされたフレームの第２のセットを受信し得る。たとえば、レートコントローラ３８は、第１のカメラ１２Ａに、第２のレート（たとえば、３０ｆｐｓ）においてフレームをキャプチャさせ得る。別の例として、レートコントローラ３８は、有効な第２のレートを達成するために第１のカメラ１２Ａからのフレームをドロップし得る。

【0099】

[0103]フレームの第２のセットはズームインまたはズームアウトの間にキャプチャされ、カメラパラメータ３４Ａはズームインまたはズームアウトすることなしに決定されるので、フレームの第２のセットの画像品質は、フレームの第１のセットの画像品質よりも劣っている。（たとえば、有効なキャプチャレートを達成するためにキャプチャレートを設定するかまたはフレームをドロップすることによって）フレームの第２のセットがキャプチャされるレートを低減することによって、より劣った品質を有するフレームの数は最小限に抑えられる。

【0100】

[0104]カメラプロセッサ１４は、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理し得る。一例として、デジタルズーム回路４０Ａは、第１のカメラ１２Ａについてのズームしきい値が（たとえば、０．５Ｘから１Ｘズーム係数に）到達されるまで、デジタルズームインまたはデジタルズームアウトを実施し得る。たとえば、第１のカメラ１２Ａについてのズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することは、デジタルズーム回路４０Ａが、キャプチャされたフレームの第２のセットに対してズーム係数の増加または減少の間にクロッピングおよびサイズ変更を実施することを含む。

【0101】

[0105]バッファ４４Ａは、フレームの第１のセットとフレームの第２のセットとを記憶し得る。システムメモリ３０は、フレームの第１のセットとフレームの第２のセットとを受信し得る。ディスプレイインターフェース２６は、フレームの第１のセットとフレームの第２のセットとを取り出し、ディスプレイ２８上での表示のために、第１のレートよりも小さい第３のレート（たとえば、３０ｆｐｓ）においてフレームの第１のセットとフレームの第２のセットとを出力し得る。たとえば、カメラプロセッサ１４と、バッファ４４Ａと、ディスプレイインターフェース２６とは、単独でまたは組み合わせてのいずれかで、第１のレートよりも小さい第３のレート（たとえば、３０ｆｐｓ）において、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成するものと見なされ得る。

【0102】

[0106]上記の例では、ズームインまたはズームアウトするとの選択を受信することは、スローモーションでのビデオキャプチャが有効にされた状態で、受信される。また、カメラプロセッサ１４は、スローモーションでのビデオキャプチャが有効にされた状態で、フレームの第２のセットを受信し得る。

【0103】

[0107]第１のカメラ１２Ａについてのズームしきい値が到達された後に、カメラプロセッサ１４は、カメラ１２のうちの別の１つからフレームを受信し得る。あるカメラから別のカメラへの切替えは、ハードスイッチ（hard switch）と呼ばれる。たとえば、スイッチ３６は、第１のカメラ１２Ａから第２のカメラ１２Ｂに切り替え得る。この例では、カメラプロセッサ１４は、第２のレートよりも大きい第４のレートにおいて複数のカメラ１２のうちの第２のカメラ１２Ｂによってキャプチャされたフレームの第３のセットを受信し得る。一例として、第４のレートは、１２０ｆｐｓ以上であり、３０ｆｐｓであり得る第２のレートよりも大きいことがある。上記と同様に、レートコントローラ３８は、第２のカメラ１２Ｂのキャプチャレートを設定するか、またはそのキャプチャレートを達成するためにフレームをドロップし得る。カメラプロセッサ１４は、表示のためにビデオコンテンツを生成するために（たとえば、ズームがないことがあるので、処理回路４２Ａを介して）第３のフレームを処理し得る。ディスプレイインターフェース２６は、ディスプレイ２８上での表示のために、第３のレートにおいてフレームの第３のセットを出力し得る。たとえば、カメラプロセッサ１４およびディスプレイインターフェース２６は、第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成するものと見なされ得る。この例では、スローモーションでのビデオキャプチャが依然として有効にされるので、カメラプロセッサ１４がフレームを受信し、処理する、第４のレートは、第３のレートの表示レートよりも大きい。

【0104】

[0108]第２のカメラ１２Ｂは、カメラパラメータ３４Ｂに基づいてフレームをキャプチャし得る。たとえば、第１のカメラ１２Ａがフレームの第１のセットをキャプチャする間に、またはそれより前に、ＣＰＵ１６および／またはカメラプロセッサ１４は、複数のカメラ１２Ａ～１２Ｃの各々についてのＡＦパラメータ、ＡＷＢパラメータ、およびＡＥＣパラメータのうちの１つまたは複数を決定し（たとえば、カメラパラメータ３４Ａ～３４Ｃを決定し）得る。そのような例では、第２のカメラ１２Ｂによってキャプチャされたフレームの第３のセットを受信することは、第１のカメラ１２Ａがフレームの第１のセットをキャプチャする間に、またはそれより前に、第２のカメラ１２Ｂについて決定されたＡＦパラメータ、ＡＷＢパラメータ、およびＡＥＣパラメータ（たとえば、カメラパラメータ３４Ｂ）のうちの１つまたは複数に基づいてフレームの第３のセットを受信することを含む。たとえば、上記で説明されたように、カメラパラメータ３４Ａ～３４Ｃは、安定していることがあるか、またはフレームをキャプチャすることの間に再決定されないことがある。したがって、３Ａパラメータ３４Ｂは、フレームの第１のセットがカメラ１２Ａによってキャプチャされたときに、またはその前に決定されたが、カメラパラメータ３４Ｂは、依然として、カメラ１２Ｂについて正確であり得る。

【0105】

[0109]上記で説明されたように、いくつかの例では、カメラプロセッサ１４は、随意に、デジタルズーム回路４０Ｂと、処理回路４２Ｂと、バッファ４４Ｂとを含み得る。デジタルズーム回路４０Ｂ、処理回路４２Ｂ、およびバッファ４４Ｂのうちの１つまたは複数（たとえば、処理回路４２Ｂは存在し得るが、デジタルズーム回路４０Ｂは存在しない）。デジタルズーム回路４０Ｂと、処理回路４２Ｂと、バッファ４４Ｂとは、異なるカメラ１２Ａ～１２Ｃについてのズーム係数範囲において重複がある例において利用され得る。たとえば、いくつかの例では、カメラ１２Ａについてのズームしきい値は、０．５Ｘおよび１Ｘであり得、カメラ１２Ｂについてのズームしきい値は、１Ｘ～２Ｘであり得る。しかしながら、いくつかの例では、カメラ１２Ａについてのズームしきい値は、０．５Ｘ～１．３Ｘであり得、カメラ１２Ｂについてのズームしきい値は、１Ｘ～２Ｘであり得る。この例では、カメラ１２Ａおよび１２Ｂについてのズーム係数範囲において１Ｘから１．３Ｘまでの重複がある。

【0106】

[0110]ズーム係数範囲において重複があるときの、デジタルズーム回路４０Ｂ、処理回路４２Ｂ、およびバッファ４４Ｂの使用は、一例であり、限定するものと見なされるべきではない。デジタルズーム回路４０Ｂと、処理回路４２Ｂと、バッファ４４Ｂとは、ズーム係数範囲において重複がない例においてさえ、依然として利用され得る。

【0107】

[0111]そのような例では、ズームインまたはズームアウトに応答して、処理回路４２Ａがカメラ１２Ａからのフレームを処理している場合、処理回路４２Ａは、カメラ１２Ａのズームしきい値が到達されるまで、カメラ１２Ａからのフレームを処理し続け得る。並列に、処理回路４２Ｂは、カメラ１２Ｂからのフレームを処理することを開始し得る。たとえば、スイッチ３６は、カメラ１２Ａからの出力を（たとえば、デジタルズーム回路４０Ａを介して）処理回路４２Ａにルーティングし、カメラ１２Ｂからの出力を（たとえば、デジタルズーム回路４０Ｂを介して）処理回路４２Ｂにルーティングするように構成され得る。処理回路４２Ｂはバッファ４４Ｂに出力し得る。

【0108】

[0112]カメラプロセッサ１４はスイッチ４６をも含み得る。スイッチ４６は、バッファ４４Ａまたはバッファ４４Ｂから選択的に出力するように構成され得る。いくつかの例では、カメラ１２Ａについてのズーム係数が１Ｘを通過して１．３Ｘに向かうにつれて、スイッチ４６は、ズーム係数が１．３Ｘに到達するまで、バッファ４４Ａから出力するように構成され得る。並列に、ズーム係数が１Ｘを通った後に、処理回路４２Ｂは、バッファ４４Ｂにフレームを出力するように構成され得る。この場合、ズーム係数が１Ｘであることから１．３Ｘになるまで、バッファ４４Ｂ中のフレームは、バッファ４４Ｂがいっぱいになると上書きされ得る。しかしながら、ズーム係数が１．３Ｘに到達した後に、スイッチ４６は、バッファ４４Ｂから出力を選択するように切り替え得る。

【0109】

[0113]バッファ４４Ａとバッファ４４Ｂの両方を有することは、カメラ１２Ａからカメラ１２Ｂへの切替えがあるとき、表示すべきフレームにおけるギャップを回避するために有益であり得る。たとえば、表示される準備ができているフレームがすでにバッファ４４Ｂ中にある。さもなければ、カメラ１２Ａからカメラ１２Ｂへのスイッチオーバー（switch over）の間に、一瞬空白フレームがある可能性がある。バッファ４４Ｂにフレームを事前充填することによって、空白フレームがないことがある。

【0110】

[0114]上記で説明されたように、スローモーションでのビデオキャプチャが有効にされた状態で、カメラプロセッサ１４は、第１のレートにおいて第１のカメラ１２によってキャプチャされたフレームの第１のセットを受信し、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のレートよりも小さい第２のレートにおいて第１のカメラ１２Ａによってキャプチャされたフレームの第２のセットを受信するように構成され得る。いくつかの例では、フレームの第２のセットを処理することと並列に、カメラプロセッサ１４は、複数のカメラ１２Ａ～１２Ｃのうちの第２のカメラ１２Ｂによってキャプチャされたフレームの第３のセットを受信し得る。たとえば、カメラ１２Ａが０．５Ｘから１．３Ｘまでズームインしている時間の間に、カメラプロセッサ１４は、ズーム係数が１Ｘから１．３Ｘの間にあるときなど、カメラ１２Ｂからのフレームの第３のセットを並列に受信し得る。カメラプロセッサ１４は、フレームの第３のセットを処理し得る。

【0111】

[0115]スイッチ４６は、第１のカメラ１２Ａについての第２のズームしきい値（たとえば、１．３Ｘ）が到達されるまで、表示のために、フレームの第２のセットを出力するようにバッファ４４Ａを選択するように構成され得る。スイッチ４６は、次いで、第１のカメラ１２Ａについての第２のズームしきい値（たとえば、１．３Ｘ）が到達された後に、表示のために、フレームの第３のセットを出力するようにバッファ４４Ｂを選択するように構成され得る。このようにして、再生のためのビデオコンテンツを生成することは、第３のレートにおいて、フレームの第１のセットと、第１のカメラについての第２のズームしきい値が到達されるまでのフレームの第２のセットと、第１のカメラについての第２のズームしきい値が到達された後のフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成することを含み得る。この例では、第１のカメラ１２Ａと第２のカメラ１２Ｂの両方が、第１のズームしきい値よりも大きいかまたはそれに等しい、および第２のズームしきい値よりも小さいかまたはそれに等しいズーム係数において動作するように構成される。たとえば、カメラ１２Ａとカメラ１２Ｂの両方が、１Ｘよりも大きいかまたはそれに等しい、および１．３Ｘよりも小さいかまたはそれに等しいズーム係数において動作するように構成される。

【0112】

[0116]図３は、ズームインまたはズームアウトを有効にするための例示的な方法を示す概念図である。図３に示されている例では、ディスプレイ２８は、各々がカメラ１２Ａ～１２Ｃのうちの異なる１つについての異なるズームしきい値に関連付けられた、３つのアイコン４８Ａ～４８Ｃを表示し得る。たとえば、アイコン４８Ａはカメラ１２Ａについて０．５Ｘに関連付けられ得、アイコン４８Ｂはカメラ１２Ｂについて１Ｘに関連付けられ得、アイコン４８Ｃはカメラ１２Ｃについて２Ｘに関連付けられ得る。したがって、いくつかの例では、カメラプロセッサ１４および／またはＣＰＵ１６は、（たとえば、スローモーションでのビデオキャプチャが有効にされる場合になど）ズームインまたはズームアウトするとの選択を受信する方法として、ズームするとの選択を示す情報を受信し得る。

【0113】

[0117]しかしながら、ピンチズームモーション（pinch to zoom motion）を示す情報を受信することによってなど、ズームインまたはズームアウトするとの選択を受信するための他の方法があり得る。ピンチズームモーションでは、ユーザは、ディスプレイ２８上に２本の指を置き、２本の指を一緒にピンチしてズームアウトするか、または２本の指を広げてズームインし得る。

【0114】

[0118]どちらの場合も（たとえば、選択またはピンチズーム）、カメラプロセッサ１４は、カメラプロセッサ１４がフレームを受信している、カメラ１２Ａ～１２Ｃのうちの１つのズーム係数が、カメラ１２Ａ～１２Ｃのうちの１つについてのズームしきい値が到達されるまで、増加または減少することを引き起こし得る。ズームしきい値までズームインまたはズームアウトすること（たとえば、ズーム係数がズームしきい値に到達するのに要する約０．５秒）の間に、カメラプロセッサ１４は、ユーザがズームインまたはズームアウトしていないときにカメラプロセッサ１４がフレームを受信し、処理し得るレートよりも低いレートにおいて、フレームを受信し、処理し得る。

【0115】

[0119]図４は、ズームインまたはズームアウトすることの一例を示すタイミング図である。図４では、時間Ｔ０より前に、カメラプロセッサ１４は、ズームが有効に（イネーブルに）されないので、３０ｆｐｓにおいてカメラ１２Ａからフレームを受信するように構成され得る。

【0116】

[0120]時間Ｔ０において、ユーザは、（たとえば、ディスプレイ２８を通した入力を介して）スローモーションを有効にし得る。時間Ｔ０から、カメラプロセッサ１４は、第１のレートにおける第１のカメラ１２Ａによるフレームキャプチャの第１のセットを受信し得る。第１のレートは、１２０ｆｐｓ以上など、比較的高いことがある。処理回路４２Ａは、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理するように構成され得る。処理回路４２Ａは、フレームの第１のセットをバッファ４４Ａに記憶し得る。

【0117】

[0121]Ｔ１において、ＣＰＵ１６および／またはカメラプロセッサ１４は、ズームインまたはズームアウトするとの選択を受信し得る。たとえば、ズームインまたはズームアウトするとの選択を受信することは、（たとえば、アイコン４８Ａ～４８Ｃのうちの１つの選択を介して）ピンチズームモーションを示す情報を受信すること、またはズームするとの選択を示す情報を受信することのうちの１つを含み得る。

【0118】

[0122]時間Ｔ１からＴ２まで、カメラ１２Ａについてのズーム係数は変化し得る。たとえば、０．５Ｘから１Ｘまでズームするのに約０．５秒要し得る。この０．５秒の間に、カメラプロセッサ１４は、カメラ１２Ａによってキャプチャされたフレームを受信し得る。たとえば、第１のカメラ１２Ａについてのズームしきい値までのズームインまたはズームアウトの間に、カメラプロセッサ１４は、第１のレートよりも小さい第２のレートにおいて第１のカメラ１２Ａによってキャプチャされたフレームの第２のセットを受信し得る。フレームの第２のセットは０．５Ｘのズーム係数について選択されたカメラパラメータ３４Ａを用いてキャプチャされるので、フレームの第２のセットの画像品質は、フレームの第１のセットの画像品質よりも劣っていることがある。一例として、第２のレートは３０ｆｐｓであり得る。

【0119】

[0123]処理回路４２Ａは、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理し、（たとえば、処理の後に）フレームの第２のセットをバッファ４４Ａに記憶し得る。カメラプロセッサ１４は、バッファ４４Ａが、フレームの第１のセットとフレームの第２のセットとをシステムメモリ３０に出力することを引き起こし得る。ディスプレイインターフェース２６は、フレームの第１のセットとフレームの第２のセットとをシステムメモリ３０から受信し、ディスプレイ２８上での表示のために、第１のレートよりも小さい第３のレート（たとえば、３０ｆｐｓ）においてフレームの第１のセットとフレームの第２のセットとを出力し得る。

【0120】

[0124]時間Ｔ２において、カメラ１２Ａについてのズームしきい値が到達され、カメラプロセッサ１４は、第２のカメラ１２Ｂからのフレームを処理する。たとえば、スイッチ３６は、第２のカメラ１２Ｂからの出力を（たとえば、必要な場合、デジタルズーム回路４０Ａを介して）処理回路４２Ａにルーティングするように切り替える。たとえば、第１のカメラ１２Ａについてのズームしきい値が到達された後に、カメラプロセッサ１４は、第２のレート（たとえば、第２のレートは３０ｆｐｓである）よりも大きい第４のレート（たとえば、１２０ｆｐｓ以上）において複数のカメラ１２Ａ～１２Ｃのうちの第２のカメラ１２Ｂによってキャプチャされたフレームの第３のセットを受信するように構成され得る。処理回路４２Ａは、表示のためのビデオコンテンツを生成するためにフレームの第３のセットを処理し、フレームの第３のセットをバッファ４４Ａに記憶し得る。バッファ４４Ａは、システムメモリ３０にフレームの第３のセットを出力し得る。ディスプレイインターフェース２６は、フレームの第３のセットを取り出し、表示のために、第３のレート（たとえば、３０ｆｐｓ）においてフレームの第３のセットを出力し得る。

【0121】

[0125]時間Ｔ３において、ユーザは、スローモーションを伴うビデオキャプチャを無効に（ディセーブル）し得る。この場合、カメラプロセッサ１４は、第２のカメラ１２Ｂからフレームを受信し続け得る。しかしながら、カメラプロセッサ１４が第２のカメラ１２Ｂからフレームを受信するレートは、スローモーションが無効にされたので、比較的低くなり得る（たとえば、３０ｆｐｓ）。この場合も、スローモーションでは、フレームは高いレートにおいてキャプチャされ、低いレートにおいて表示される。スローモーションが無効にされたとき、フレームがキャプチャされるレートは、フレームが表示されるレートとほぼ同じであり得る。

【0122】

[0126]図５は、本開示で説明される１つまたは複数の例による動作の例示的な方法を示すフローチャートである。図５の例は、１つまたは複数のプロセッサと第１のカメラとに関して説明され、１つまたは複数のプロセッサの例が、カメラプロセッサ１４、ＣＰＵ１６、およびディスプレイインターフェース２６のうちの１つまたは複数を含み、第１のカメラの例が、カメラ１２Ａ～１２Ｃのいずれか１つを含む。

【0123】

[0127]１つまたは複数のプロセッサは、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信し得る（５０）。たとえば、スローモーションでのビデオキャプチャが有効にされ得る。そのような場合、第１のレートは、１２０ｆｐｓ以上など、比較的高くなり得る。

【0124】

[0128]１つまたは複数のプロセッサは、表示のためのビデオを生成するためにフレームの第１のセットを処理し得る（５２）。たとえば、処理回路４２Ａは、ビデオコンテンツを生成するためにフレームの第１のセットを処理し、フレームの得られた第１のセットをバッファ４４Ａに記憶するように構成され得る。

【0125】

[0129]ある時点において、１つまたは複数のプロセッサは、ズームインまたはズームアウトするとの選択を受信し得る（５４）。たとえば、ズームインまたはズームアウトするとの選択を受信することは、スローモーションでのビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトするとの選択を受信することを含み得る。

【0126】

[0130]第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、１つまたは複数のプロセッサは、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信し得る（５６）。いくつかの例では、フレームの第２のセットを受信することは、スローモーションでのビデオキャプチャが有効にされた状態で、フレームの第２のセットを受信することを含む。上記で説明されたように、第１のカメラについてのズームしきい値に到達するように第１のカメラについてのズーム係数を増加または減少させるのに、ある時間量を要し得る。ズーム係数がズームしきい値まで増加または減少している時間の間に、キャプチャされるフレーム（たとえば、フレームの第２のセット）は、カメラパラメータがそれらのズーム係数について正確でないので、より劣った画像品質を有する傾向がある。いくつかの例では、フレームの第２のセットの画像品質は、フレームの第１のセットの画像品質よりも劣る。

【0127】

[0131]１つまたは複数のプロセッサは、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理し得る（５８）。フレームの第２のセットを処理することは、第１のカメラについてのズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することを含み得る。たとえば、第１のカメラについてのズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することは、フレームの第２のセットに対してズーム係数の増加または減少の間にクロッピングおよびサイズ変更を実施することを含み得る。

【0128】

[0132]バッファ４４Ａは、フレームの第１のセットとフレームの第２のセットとを記憶し得る。いくつかの例では、１つまたは複数のプロセッサは、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成し得る（６０）。１つまたは複数のプロセッサ（たとえば、ディスプレイインターフェース２６）は、ディスプレイ２８上での表示のために、第１のレートよりも小さい第３のレートにおいてフレームの第１のセットとフレームの第２のセットとを含む生成されたビデオコンテンツを出力し得る。

【0129】

[0133]第１のカメラは、１つまたは複数のプロセッサに結合された複数のカメラのうちの１つ（たとえば、カメラ１２Ａ～１２Ｃのうちの１つ）である。第１のカメラについてのズームしきい値が到達された後に、１つまたは複数のプロセッサは、第２のレートよりも大きい第４のレートにおいて複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信し、表示のためのビデオコンテンツを生成するためにフレームの第３のセットを処理し、表示のために、第３のレートにおいてフレームの第３のセットを出力するように構成され得る。たとえば、１つまたは複数のプロセッサは、第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成し、次いで、表示のために、再生のための生成されたビデオコンテンツを出力し得る。

【0130】

[0134]上記で説明されたように、複数のカメラは、それぞれのカメラパラメータに基づいてフレームをキャプチャし得る。たとえば、第１のカメラがフレームの第１のセットをキャプチャする間に、またはそれより前に、１つまたは複数のプロセッサは、複数のカメラの各々についてのＡＦパラメータ、ＡＷＢパラメータ、およびＡＥＣパラメータ（たとえば、カメラパラメータ３４Ａ～３４Ｃ）のうちの１つまたは複数を決定するように構成され得る。そのような例では、第２のカメラによってキャプチャされたフレームの第３のセットを受信することは、第１のカメラがフレームの第１のセットをキャプチャする間に、またはそれより前に、第２のカメラについて決定されたＡＦパラメータ、ＡＷＢパラメータ、およびＡＥＣパラメータのうちの１つまたは複数に基づいてフレームの第３のセットを受信することを含み得る。

【0131】

[0135]いくつかの例では、ズームしきい値は第１のズームしきい値である。第１のカメラについての第１のズームしきい値が到達された後に、１つまたは複数のプロセッサは、フレームの第２のセットを処理することと並列に、複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信し（たとえば、スイッチ３６は、第１のカメラからのフレームを処理回路４２Ａにルーティングし、第２のカメラからのフレームを処理回路４２Ｂにルーティングする）、（たとえば、処理回路４２Ｂを用いて）フレームの第３のセットを処理するように構成され得る。

【0132】

[0136]１つまたは複数のプロセッサは、第３のレートにおいて、フレームの第１のセットと、第１のカメラについての第２のズームしきい値が到達されるまでのフレームの第２のセットと、第１のカメラについての第２のズームしきい値が到達された後のフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成するように構成され得る。たとえば、１つまたは複数のプロセッサは、表示のために、第１のカメラについての第２のズームしきい値が到達されるまでフレームの第２のセットを出力し、表示のために、第１のカメラについての第２のズームしきい値が到達された後にフレームの第３のセットを出力し得る。この例では、第１のカメラと第２のカメラの両方が、第１のズームしきい値よりも大きいかまたはそれに等しい、および第２のズームしきい値よりも小さいかまたはそれに等しいズーム係数において動作するように構成される。

【0133】

[0137]以下は、いくつかの例示的な技法について説明する。例示的な技法は、別々に、または任意の実際的組合せで一緒に使用され得る。

【0134】

[0138]条項１． ビデオコンテンツを生成するためのデバイスであって、デバイスが、第１のカメラと、第１のカメラに結合された１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサが、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理することと、ズームインまたはズームアウトするとの選択を受信することと、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理することと、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成することとを行うように構成された、デバイス。

【0135】

[0139]条項２． ズームインまたはズームアウトするとの選択を受信することが、スローモーションでのビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトするとの選択を受信することを備え、フレームの第２のセットを受信することが、スローモーションでのビデオキャプチャが有効にされた状態で、フレームの第２のセットを受信することを備える、条項１に記載のデバイス。

【0136】

[0140]条項３． 第１のカメラが、１つまたは複数のプロセッサに結合された複数のカメラのうちの１つであり、ここにおいて、デバイスが複数のカメラのうちの第２のカメラを備え、ここにおいて、第１のカメラについてのズームしきい値が到達された後に、１つまたは複数のプロセッサが、第２のレートよりも大きい第４のレートにおいて複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第３のセットを処理することとを行うように構成され、ここにおいて、再生のためのビデオコンテンツを生成することが、第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成することを備える、条項１および２のいずれかに記載のデバイス。

【0137】

[0141]条項４． 第１のカメラがフレームの第１のセットをキャプチャする間に、またはそれより前に、１つまたは複数のプロセッサが、複数のカメラの各々について、自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータのうちの１つまたは複数を決定するように構成され、第２のカメラによってキャプチャされたフレームの第３のセットを受信することは、第１のカメラがフレームの第１のセットをキャプチャする間に、またはそれより前に、第２のカメラについて決定されたＡＦパラメータおよびＡＥＣパラメータのうちの１つまたは複数に基づいてフレームの第３のセットを受信することを備える、条項３に記載のデバイス。

【0138】

[0142]条項５． フレームの第２のセットを処理することが、第１のカメラについてのズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することを備え、ここにおいて、第１のカメラについてのズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することが、フレームの第２のセットに対してズーム係数の増加または減少の間にクロッピングおよびサイズ変更を実施することを備える、条項１から４のいずれかに記載のデバイス。

【0139】

[0143]条項６． ズームしきい値が第１のズームしきい値を備え、ここにおいて、第１のカメラが、１つまたは複数のプロセッサに結合された複数のカメラのうちの１つであり、ここにおいて、第１のカメラについての第１のズームしきい値が到達された後に、１つまたは複数のプロセッサが、フレームの第２のセットを処理することと並列に、複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、フレームの第３のセットを処理することとを行うように構成され、ここにおいて、再生のためのビデオコンテンツを生成することが、第３のレートにおいて、フレームの第１のセットと、第１のカメラについての第２のズームしきい値が到達されるまでのフレームの第２のセットと、第１のカメラについての第２のズームしきい値が到達された後のフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成することを備え、ここにおいて、第１のカメラと第２のカメラの両方が、第１のズームしきい値よりも大きいかまたはそれに等しい、および第２のズームしきい値よりも小さいかまたはそれに等しいズーム係数において動作するように構成された、条項１から５のいずれかに記載のデバイス。

【0140】

[0144]条項７． 第１のレートが、１２０フレーム毎秒よりも大きいかまたはそれに等しい、条項１から６のいずれかに記載のデバイス。

【0141】

[0145]条項８． 第３のレートが第２のレートに等しい、条項１から７のいずれかに記載のデバイス。

【0142】

[0146]条項９． ズームインまたはズームアウトするとの選択を受信することが、ピンチズームモーションを示す情報を受信すること、またはズームするとの選択を示す情報を受信することのうちの１つを備える、条項１から８のいずれかに記載のデバイス。

【0143】

[0147]条項１０． フレームの第２のセットの画像品質が、フレームの第１のセットの画像品質よりも劣る、条項１から９のいずれかに記載のデバイス。

【0144】

[0148]条項１１． ビデオコンテンツを生成するための方法であって、方法が、１つまたは複数のプロセッサを用いて、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、１つまたは複数のプロセッサを用いて、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理することと、１つまたは複数のプロセッサを用いて、ズームインまたはズームアウトするとの選択を受信することと、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、１つまたは複数のプロセッサを用いて、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、１つまたは複数のプロセッサを用いて、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理することと、１つまたは複数のプロセッサを用いて、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成することとを備える、方法。

【0145】

[0149]条項１２． ズームインまたはズームアウトするとの選択を受信することが、スローモーションでのビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトするとの選択を受信することを備え、フレームの第２のセットを受信することが、スローモーションでのビデオキャプチャが有効にされた状態で、フレームの第２のセットを受信することを備える、条項１１に記載の方法。

【0146】

[0150]条項１３． 第１のカメラが、１つまたは複数のプロセッサに結合された複数のカメラのうちの１つであり、方法は、第１のカメラについてのズームしきい値が到達された後に、第２のレートよりも大きい第４のレートにおいて複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第３のセットを処理することとをさらに備え、ここにおいて、再生のためのビデオコンテンツを生成することが、第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成することを備える、条項１１および１２のいずれかに記載の方法。

【0147】

[0151]条項１４． 第１のカメラがフレームの第１のセットをキャプチャする間に、またはそれより前に、複数のカメラの各々について、自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータのうちの１つまたは複数を決定することをさらに備え、ここにおいて、第２のカメラによってキャプチャされたフレームの第３のセットを受信することは、第１のカメラがフレームの第１のセットをキャプチャする間に、またはそれより前に、第２のカメラについて決定されたＡＦパラメータおよびＡＥＣパラメータのうちの１つまたは複数に基づいてフレームの第３のセットを受信することを備える、条項１３に記載の方法。

【0148】

[0152]条項１５． フレームの第２のセットを処理することが、第１のカメラについてのズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することを備え、ここにおいて、第１のカメラについてのズームしきい値が到達されるまでデジタルズームインまたはデジタルズームアウトを実施することが、フレームの第２のセットに対してズーム係数の増加または減少の間にクロッピングおよびサイズ変更を実施することを備える、条項１１から１４のいずれかに記載の方法。

【0149】

[0153]条項１６． ズームしきい値が第１のズームしきい値を備え、ここにおいて、第１のカメラが、１つまたは複数のプロセッサに結合された複数のカメラのうちの１つであり、方法は、第１のカメラについての第１のズームしきい値が到達された後に、フレームの第２のセットを処理することと並列に、複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、フレームの第３のセットを処理することとをさらに備え、ここにおいて、再生のためのビデオコンテンツを生成することが、第３のレートにおいて、フレームの第１のセットと、第１のカメラについての第２のズームしきい値が到達されるまでのフレームの第２のセットと、第１のカメラについての第２のズームしきい値が到達された後のフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成することを備え、ここにおいて、第１のカメラと第２のカメラの両方が、第１のズームしきい値よりも大きいかまたはそれに等しい、および第２のズームしきい値よりも小さいかまたはそれに等しいズーム係数において動作するように構成された、条項１１から１５のいずれかに記載の方法。

【0150】

[0154]条項１７． 第１のレートが、１２０フレーム毎秒よりも大きいかまたはそれに等しい、条項１１から１６のいずれかに記載の方法。

【0151】

[0155]条項１８． 第３のレートが第２のレートに等しい、条項１１から１７のいずれかに記載の方法。

【0152】

[0156]条項１９． ズームインまたはズームアウトするとの選択を受信することが、ピンチズームモーションを示す情報を受信すること、またはズームするとの選択を示す情報を受信することのうちの１つを備える、条項１１から１８のいずれかに記載の方法。

【0153】

[0157]条項２０． フレームの第２のセットの画像品質が、フレームの第１のセットの画像品質よりも劣る、条項１１から１９のいずれかに記載の方法。

【0154】

[0158]条項２１． 命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されたとき、１つまたは複数のプロセッサに、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理することと、ズームインまたはズームアウトするとの選択を受信することと、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理することと、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成することとを行わせる、コンピュータ可読記憶媒体。

【0155】

[0159]条項２２． １つまたは複数のプロセッサに、ズームインまたはズームアウトするとの選択を受信することを行わせる命令が、１つまたは複数のプロセッサに、スローモーションでのビデオキャプチャが有効にされた状態で、ズームインまたはズームアウトするとの選択を受信することを行わせる命令を備え、１つまたは複数のプロセッサに、フレームの第２のセットを受信することを行わせる命令が、１つまたは複数のプロセッサに、スローモーションでのビデオキャプチャが有効にされた状態で、フレームの第２のセットを受信することを行わせる命令を備える、条項２１に記載のコンピュータ可読記憶媒体。

【0156】

[0160]条項２３． 第１のカメラが複数のカメラのうちの１つであり、命令は、１つまたは複数のプロセッサに、第１のカメラについてのズームしきい値が到達された後に、第２のレートよりも大きい第４のレートにおいて複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、表示のためのビデオコンテンツを生成するためにフレームの第３のセットを処理することとを行わせる命令をさらに備え、ここにおいて、再生のためのビデオコンテンツを生成することが、第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成することを備える、条項２１および２２のいずれかに記載のコンピュータ可読記憶媒体。

【0157】

[0161]条項２４． １つまたは複数のプロセッサに、第１のカメラがフレームの第１のセットをキャプチャする間に、またはそれより前に、複数のカメラの各々について、自動焦点（ＡＦ）パラメータ、自動ホワイトバランス（ＡＷＢ）パラメータ、および自動露光制御（ＡＥＣ）パラメータのうちの１つまたは複数を決定することを行わせる命令をさらに備え、ここにおいて、第２のカメラによってキャプチャされたフレームの第３のセットを受信することは、第１のカメラがフレームの第１のセットをキャプチャする間に、またはそれより前に、第２のカメラについて決定されたＡＦパラメータおよびＡＥＣパラメータのうちの１つまたは複数に基づいてフレームの第３のセットを受信することを備える、条項２３に記載のコンピュータ可読記憶媒体。

【0158】

[0162]条項２５． ズームしきい値が第１のズームしきい値を備え、ここにおいて、第１のカメラが複数のカメラのうちの１つであり、命令は、１つまたは複数のプロセッサに、第１のカメラについての第１のズームしきい値が到達された後に、フレームの第２のセットを処理することと並列に、複数のカメラのうちの第２のカメラによってキャプチャされたフレームの第３のセットを受信することと、フレームの第３のセットを処理することとを行わせる命令をさらに備え、ここにおいて、再生のためのビデオコンテンツを生成することが、第３のレートにおいて、フレームの第１のセットと、第１のカメラについての第２のズームしきい値が到達されるまでのフレームの第２のセットと、第１のカメラについての第２のズームしきい値が到達された後のフレームの第３のセットとを含む、再生のためのビデオコンテンツを生成することを備え、ここにおいて、第１のカメラと第２のカメラの両方が、第１のズームしきい値よりも大きいかまたはそれに等しい、および第２のズームしきい値よりも小さいかまたはそれに等しいズーム係数において動作するように構成された、条項２１から２４のいずれかに記載のコンピュータ可読記憶媒体。

【0159】

[0163]条項２６． ビデオコンテンツを生成するためのデバイスであって、デバイスが、第１のレートにおいて第１のカメラによってキャプチャされたフレームの第１のセットを受信するための手段と、表示のためのビデオコンテンツを生成するためにフレームの第１のセットを処理するための手段と、ズームインまたはズームアウトするとの選択を受信するための手段と、第１のカメラについてのズームしきい値までのズームインまたはズームアウトの間に、第１のレートよりも小さい第２のレートにおいて第１のカメラによってキャプチャされたフレームの第２のセットを受信するための手段と、表示のためのビデオコンテンツを生成するためにフレームの第２のセットを処理するための手段と、第１のレートよりも小さい第３のレートにおいて、フレームの第１のセットとフレームの第２のセットとを含む、再生のためのビデオコンテンツを生成するための手段とを備える、デバイス。

【0160】

[0164]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、非一時的である有形コンピュータ可読記憶媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

【0161】

[0165]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。コンピュータ可読記憶媒体およびデータ記憶媒体は、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ－ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

【0162】

[0166]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、または、本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

【0163】

[0167]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。

【0164】

[0168]様々な例が説明された。これらおよび他の例は、以下の特許請求の範囲内に入る。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】