ホーム > 特許ランキング > Ａｐｐｌｅ Ｉｎｃ．
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173793
(43)【公開日】2024-12-12
(54)【発明の名称】画像を表示及びキャプチャするための技術
(51)【国際特許分類】
H04N 13/122 20180101AFI20241205BHJP
H04N 13/117 20180101ALI20241205BHJP
H04N 13/128 20180101ALI20241205BHJP
H04N 13/178 20180101ALI20241205BHJP
【ＦＩ】
H04N13/122
H04N13/117
H04N13/128
H04N13/178
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024087697
(22)【出願日】2024-05-30
(31)【優先権主張番号】63/470,081
(32)【優先日】2023-05-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/661,336
(32)【優先日】2024-05-10
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】503260918
【氏名又は名称】アップル インコーポレイテッド
【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．
【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100119013
【弁理士】
【氏名又は名称】山崎 一夫
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100210239
【弁理士】
【氏名又は名称】富永 真太郎
(72)【発明者】
【氏名】アレクサンダー メンジース
(72)【発明者】
【氏名】トビアス リック
(72)【発明者】
【氏名】アレクサンドル ダ ヴェイガ
(72)【発明者】
【氏名】ブライス エル シュミッチェン
(72)【発明者】
【氏名】ヴェダント サラン
(72)【発明者】
【氏名】ブライアン クライン
(72)【発明者】
【氏名】マイケル アイ ワインステイン
(72)【発明者】
【氏名】ツァオ－ウェイ ファン
(57)【要約】 （修正有）
【課題】拡張現実システムにおける、ユーザとカメラとの間の視点差は、パススルーモードで表示される画像がユーザの物理的環境を正確に反映しない原因となり、ユーザの不快感を引き起こし、又はパススルーモード中のユーザ体験に悪影響を及ぼす。
【解決手段】ディスプレイのセットによる表示のための画像の第１のセットと、メディアキャプチャイベントの一部としての記憶又は転送のための画像の第２のセットとを、画像ストリームを別々に処理して、生成するデバイス、システム、及び方法を提供する。前記第１のセットは、画像ストリームに、変換動作を適用し、変換画像として生成し、これらの変換画像をディスプレイのセット上に表示し得る。前記第２のセットは、メディアキャプチャイベントに関連付けられたキャプチャ要求に応答して、画像のセットを選択し、前記第１の変換動作とは異なる第２の変換動作を適用することによって生成する。
【選択図】図４
【解決手段】ディスプレイのセットによる表示のための画像の第１のセットと、メディアキャプチャイベントの一部としての記憶又は転送のための画像の第２のセットとを、画像ストリームを別々に処理して、生成するデバイス、システム、及び方法を提供する。前記第１のセットは、画像ストリームに、変換動作を適用し、変換画像として生成し、これらの変換画像をディスプレイのセット上に表示し得る。前記第２のセットは、メディアキャプチャイベントに関連付けられたキャプチャ要求に応答して、画像のセットを選択し、前記第１の変換動作とは異なる第２の変換動作を適用することによって生成する。
【選択図】図４
【特許請求の範囲】
【請求項1】
デバイスであって、
カメラのセットと、
ディスプレイのセットと、
メモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサとを備え、前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
前記カメラのセットを使用して画像ストリームをキャプチャさせ、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成させ、
前記ディスプレイのセットを使用して前記変換画像の第１のセットを表示させ、
キャプチャ要求を受信させ、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成させる命令を実行するように構成され、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、デバイス。
カメラのセットと、
ディスプレイのセットと、
メモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサとを備え、前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
前記カメラのセットを使用して画像ストリームをキャプチャさせ、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成させ、
前記ディスプレイのセットを使用して前記変換画像の第１のセットを表示させ、
キャプチャ要求を受信させ、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成させる命令を実行するように構成され、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、デバイス。
【請求項2】
前記ステレオ出力画像のセットを生成するステップが、
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、請求項１に記載のデバイス。
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、請求項１に記載のデバイス。
【請求項3】
前記ステレオ出力画像のセットが、ステレオビデオを含む、請求項１に記載のデバイス。
【請求項4】
前記ステレオ出力画像のセットを生成するステップが、
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、請求項３に記載のデバイス。
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、請求項３に記載のデバイス。
【請求項5】
前記第１の変換動作がパースペクティブ補正動作である、請求項１に記載のデバイス。
【請求項6】
前記第２の変換動作が画像修正動作である、請求項１に記載のデバイス。
【請求項7】
前記ステレオ出力画像のセットを生成するステップが、前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含む、請求項１に記載のデバイス。
【請求項8】
前記メタデータが、前記カメラのセットの視野情報を含む、請求項７に記載のデバイス。
【請求項9】
前記メタデータが、前記ステレオ出力画像のセットについての姿勢情報を含む、請求項７に記載のデバイス。
【請求項10】
前記メタデータが、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、請求項７に記載のデバイス。
【請求項11】
前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップが、前記ステレオ出力画像のセットによってキャプチャされたシーンに基づいて前記デフォルト視差値のセットを選択するステップを含む、請求項１０に記載のデバイス。
【請求項12】
方法であって、
デバイスのカメラのセットを使用して、画像ストリームをキャプチャするステップと、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成するステップと、
デバイスのディスプレイのセットにおいて、前記変換画像の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成するステップとを含み、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、方法。
デバイスのカメラのセットを使用して、画像ストリームをキャプチャするステップと、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成するステップと、
デバイスのディスプレイのセットにおいて、前記変換画像の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成するステップとを含み、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、方法。
【請求項13】
前記ステレオ出力画像のセットを生成するステップが、
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、請求項１２に記載の方法。
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、請求項１２に記載の方法。
【請求項14】
前記ステレオ出力画像のセットが、ステレオビデオを含む、請求項１２に記載の方法。
【請求項15】
前記ステレオ出力画像のセットを生成するステップが、
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、請求項１４に記載の方法。
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、請求項１４に記載の方法。
【請求項16】
前記第１の変換動作がパースペクティブ補正動作である、請求項１２に記載の方法。
【請求項17】
前記第２の変換動作が画像修正動作である、請求項１２に記載の方法。
【請求項18】
前記ステレオ出力画像のセットを生成するステップが、前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含む、請求項１２に記載の方法。
【請求項19】
前記メタデータが、前記カメラのセットの視野情報を含む、請求項１８に記載の方法。
【請求項20】
前記メタデータが、前記ステレオ出力画像のセットの姿勢情報を含む、請求項１８に記載の方法。
【請求項21】
前記メタデータは、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、請求項１８に記載の方法。
【請求項22】
前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップが、前記ステレオ出力画像のセットによってキャプチャされたシーンに基づいて、前記デフォルト視差値のセットを選択するステップを含む、請求項２１に記載の方法。
【請求項23】
前記変換画像の第１のセットに仮想コンテンツを追加するステップを含む、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、非暫定的であり、２０２３年５月３１日に出願された米国仮特許出願第６３／４７０，０８１号の３５ Ｕ．Ｓ．Ｃ．１１９（ｅ）の下で利益を主張するものであり、その内容は、本明細書に完全に開示されているかのように参照により本明細書に組み込まれる。
本出願は、非暫定的であり、２０２３年５月３１日に出願された米国仮特許出願第６３／４７０，０８１号の３５ Ｕ．Ｓ．Ｃ．１１９（ｅ）の下で利益を主張するものであり、その内容は、本明細書に完全に開示されているかのように参照により本明細書に組み込まれる。
【0002】
説明される実施形態は、概して、リアルタイム表示及びメディアキャプチャイベントのために画像ストリームを別々に処理することに関する。
【背景技術】
【0003】
拡張現実システムは、仮想コンテンツが物理世界を置換又は拡張することができる、部分的又は全体的にシミュレートされた環境（例えば、仮想現実環境、複合現実環境など）を生成するために使用されることができる。シミュレートされた環境は、ユーザに魅力的な体験を提供し得、ゲーム、パーソナル通信、仮想旅行、ヘルスケア、及び多くの他のコンテキストにおいて使用される。いくつかの事例では、シミュレートされた環境は、ユーザの環境からキャプチャされた情報を含んでもよい。例えば、拡張現実システムのパススルーモードは、拡張現実システムの１つ以上のディスプレイを使用して、ユーザの物理的環境の画像を表示してもよい。これにより、ユーザは、拡張現実システムのディスプレイ（単数又は複数）を介して自身の物理的環境を知覚し得る。
【0004】
ユーザの環境の画像は、拡張現実システムの１つ以上のカメラを使用してキャプチャされてもよい。拡張現実システムにおけるカメラの配置に応じて、ユーザとカメラとの間の視点差は、補正されない場合、パススルーモードで表示される画像がユーザの物理的環境を正確に反映しない原因となり得る。これは、ユーザの不快感を引き起こし得るか、又はパススルーモード中のユーザ体験に悪影響を及ぼし得る。
【発明の概要】
【0005】
本明細書で説明される実施形態は、別個の画像処理を実行するためのシステム、デバイス、及び方法を対象とする。いくつかの実施形態は、デバイスのカメラのセットを使用して、画像ストリームをキャプチャするステップと、第１の変換動作を画像ストリームの画像に適用することによって、画像ストリームから変換画像の第１のセットを生成するステップと、デバイスのディスプレイのセットにおいて、変換画像の第１のセットを表示するステップとを含む方法を対象とする。本方法は、キャプチャ要求を受信するステップと、キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成するステップとを更に含む。ステレオ出力画像のセットを生成するステップは、画像ストリームから画像のセットを選択するステップと、第１の変換動作とは異なる第２の変換動作を画像のセットに適用することによって画像のセットから変換画像の第２のセットを生成するステップと、変換画像の第２のセットを使用して、ステレオ出力画像のセットを生成するステップとを含む。
【0006】
これらの方法のいくつかの変形形態では、ステレオ出力画像のセットを生成するステップは、画像のセットの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む。追加的又は代替的に、ステレオ出力画像のセットはステレオビデオを含む。これらの変形形態のうちのいくつかでは、ステレオ出力画像のセットを生成するステップは、変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む。
【0007】
いくつかの事例では、第１の変換動作は、パースペクティブ補正動作である。追加又は代替として、第２の変換動作は、画像修正動作であり得る。ステレオ出力画像のセットを生成するステップは、ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含んでもよい。メタデータは、カメラのセットの視野情報、ステレオ出力画像のセットの姿勢情報、及び／又はステレオ出力画像のセットのデフォルト視差値のセットを含み得る。いくつかの事例では、ステレオ出力画像のセットに関連付けられたメタデータを生成するステップは、ステレオ出力画像のセットによってキャプチャされたシーンに基づいてデフォルト視差値のセットを選択するステップを含む。いくつかの変形形態では、仮想コンテンツを変換画像の第１のセットに追加する。
【0008】
いくつかの実施形態は、カメラのセットと、ディスプレイのセットと、メモリと、メモリに動作可能に結合された１つ以上のプロセッサとを含むデバイスを対象とし、１つ以上のプロセッサは、１つ以上のプロセッサに上記の方法のいずれかを実行させる命令を実行するように構成される。同様に、更に他の実施形態は、命令を含む非一時的コンピュータ可読媒体を対象とし、命令は、少なくとも１つのコンピューティングデバイスによって実行されると、少なくとも１つのコンピューティングデバイスに、上記方法のいずれかのステップを含む動作を実行させる。
【0009】
更に他の実施形態は、デバイスの第１のカメラ及び第２のカメラを使用して、シーンの画像対の第１のセットをキャプチャするステップを含む方法を対象とする。画像対の第１のセットの各画像対は、第１のカメラによってキャプチャされた第１の画像と、第２のカメラによってキャプチャされた第２の画像とを含む。本方法は、画像対の第１のセットから変換画像対の第１のセットを生成するステップを含み、変換画像対の第１のセットを生成するステップは、画像対の第１のセットの各画像対について、第１のカメラの視点とユーザの視点との間の差に基づいて第１の画像から第１のパースペクティブ補正済み画像を生成するステップと、第２のカメラの視点とユーザの視点との間の差に基づいて第１の画像から第２のパースペクティブ補正済み画像を生成するステップとを含む。本方法は、デバイスのディスプレイのセット上に、変換画像対の第１のセットを表示するステップを更に含む。
【0010】
更に、本方法は、キャプチャ要求を受信するステップと、キャプチャ要求を受信したことに応答して、画像対の第１のセットから画像対の第２のセットを選択するステップと、画像対の第２のセットから変換画像対の第２のセットを生成するステップとを含む。これは、画像対の第１のセットの各画像対について、第１の画像から第１のデワープ画像を生成するステップと、第２の第１の画像から第２のデワープ画像を生成するステップと、第１及び第２のデワープ画像を位置合わせするステップとを含む。本方法は、変換画像対の第２のセットを使用して出力画像のセットを生成するステップを含む。
【0011】
これらの方法のいくつかの変形形態では、出力画像のセットを生成するステップは、変換画像対のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む。追加又は代替として、ステレオ出力画像のセットは、変換画像対の第２のセットから形成されたステレオビデオを含む。これらの変形形態のうちのいくつかでは、ステレオ出力画像のセットを生成するステップは、変換画像対の第２のセットに対してビデオ安定化動作を実行するステップを含む。
【0012】
ステレオ出力画像のセットを生成するステップは、ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含んでもよい。メタデータは、第１のカメラ又は第２のカメラのうちの少なくとも１つの視野情報、出力画像のセットについての姿勢情報、及び／又はステレオ出力画像のステレオ画像のセットについてのデフォルト視差値のセットを含み得る。いくつかの事例では、ステレオ出力画像のセットに関連付けられたメタデータを生成するステップは、出力画像のセットによってキャプチャされたシーンに基づいてデフォルト視差値のセットを選択するステップを含む。いくつかの変形形態では、変換画像対の第１のセットに仮想コンテンツを追加する。
【0013】
いくつかの実施形態は、第１のカメラと、第２のディスプレイのセットと、メモリと、メモリに動作可能に結合された１つ以上のプロセッサとを含むデバイスを対象とし、１つ以上のプロセッサは、１つ以上のプロセッサに上記の方法のいずれかを実行させる命令を実行するように構成される。同様に、更に他の実施形態は、命令を含む非一時的コンピュータ可読媒体を対象とし、命令は、少なくとも１つのコンピューティングデバイスによって実行されると、少なくとも１つのコンピューティングデバイスに、上記方法のいずれかのステップを含む動作を実行させる。
【0014】
上述の例示的な態様及び実施形態に加えて、更なる態様及び実施形態が、図面を参照し、以下の説明を検討することにより、明らかとなるであろう。
【0015】
同様の参照番号が同様の構造的要素を指定する添付図面と併せて、以下の詳細な説明によって開示が容易に理解されよう。
【図面の簡単な説明】
【0016】
【図1】本明細書で説明される拡張現実システムで使用され得る例示的な電子デバイスのブロック図を示す。
【0017】
【図2】本明細書で説明される電子デバイスの変形形態を含む例示的な動作環境を示す。
【0018】
【図3】画像ストリームの一例を示す。
【0019】
【図4】表示画像処理パイプライン及び出力画像処理パイプラインを使用して画像ストリームの画像を別々に処理するプロセスを示す。
【0020】
【図5】本明細書で説明する表示画像処理パイプラインの一例を示す。
【0021】
【図6】本明細書で説明される出力画像処理パイプラインの一例を示す。
【0022】
【図7】本明細書で説明される出力画像処理パイプラインの一部として使用され得る画像生成ユニットの一例を示す。
【0023】
種々の特徴及び要素（並びにそれらの集合及び群）の割合及び寸法（相対的であれ絶対的であれ）、並びにそれらの間に提示される境界、分離点及び位置関係は、単に本明細書に述べられる種々の実施形態の理解を容易にするために添付の図に提供されるものであり、したがって必ずしも縮尺通りに提示又は図示されていない場合があり、図示される実施形態についての任意の選好又は要件を、それを参照して述べられる実施形態を除外して示す意図はないことを理解されたい。
【発明を実施するための形態】
【0024】
ここで、添付図面に図示される代表的な実施形態が詳細に説明される。以下の説明は、これらの実施形態を１つの好ましい実施形態に限定することを意図するものではないことを理解されたい。反対に、以下の説明は、添付の特許請求の範囲により定義される記載された実施形態の趣旨及び範疇に含むことができるような、代替形態、修正形態及び均等物を包含することを意図している。
【0025】
本明細書で開示される実施形態は、ディスプレイのセットによる表示のための画像の第１のセットと、メディアキャプチャイベントの一部としての記憶又は転送のための画像の第２のセットとを生成するために、画像ストリームを別々に処理するためのデバイス、システム、及び方法を対象とする。具体的には、画像ストリームからの第１のセットの画像を使用して第１のセットの変換画像を生成し得、これらの変換画像をディスプレイのセット上に表示し得る。画像の第２のセットは、メディアキャプチャイベントに関連付けられたキャプチャ要求に応答して、画像ストリームから選択され得、画像の第２のセットは、変換画像の第２のセットを生成するために使用され得る。出力画像のセットは、変換画像の第２のセットから生成されてもよく、出力画像のセットは、後で見るために記憶又は送信されてもよい。
【0026】
以下では、図１～図７を参照して、これらの実施形態及び他の実施形態を説明する。しかしながら、当業者であれば、これらの図に関して本明細書に与えられた発明を実施するための形態は説明を目的とするものに過ぎず、限定するものとして解釈されるべきではないことを容易に理解するであろう。
【0027】
本明細書で説明されるデバイス及び方法は、拡張現実環境が生成され、ユーザに表示される拡張現実システムの一部として利用されてもよい。種々の用語が、本明細書で説明される種々の拡張現実システム及び関連する拡張現実環境を説明するために本明細書で使用される。例えば、本明細書で使用されるように、「物理的環境」は、ユーザが、本明細書に説明される拡張現実システムの支援なしに知覚し、対話し得る、ユーザの周囲の物理世界／現実世界の一部である。例えば、物理的環境は、建物の部屋又は屋外空間、並びに植物、家具、本など、その空間内の任意の人、動物、又はオブジェクト（本明細書では集合的に「現実世界オブジェクト」と呼ぶ）を含み得る。
【0028】
本明細書で使用されるように、「拡張現実環境」は、ユーザが、本明細書で説明されるような拡張現実システムを使用して知覚及び／又は対話し得る、全体的又は部分的にシミュレートされた環境を指す。いくつかの事例では、拡張現実環境は、ユーザの物理的環境が仮想現実環境内の仮想コンテンツと完全に置換される、全体的にシミュレートされた環境を指す仮想現実環境であってもよい。仮想現実環境は、ユーザの物理的環境に依存しなくてもよく、したがって、ユーザが、異なるシミュレートされたロケーションにいる（例えば、実際に建物の部屋に立っているときにビーチに立っている）ことを知覚することを可能にしてもよい。仮想現実環境は、ユーザが対話し得る仮想オブジェクト（例えば、ユーザによって知覚され得るが、物理的環境内に実際には存在しない、シミュレートされたオブジェクト）を含んでもよい。
【0029】
他の事例では、拡張現実環境は、仮想コンテンツがユーザの物理的環境の一部とともに提示され得る、複合現実環境、全体的又は部分的にシミュレートされた環境であってもよい。具体的には、複合現実環境は、拡張現実システムを取り囲むユーザの物理的環境の１つ以上の部分の再現及び／又は修正された表現を含んでもよい。このようにして、ユーザは、仮想コンテンツを依然として知覚しながら、複合現実環境を通してユーザの物理的環境を（直接的又は間接的に）知覚することが可能であり得る。
【0030】
本明細書で使用される場合、物理的環境の一部の「再現」は、拡張現実環境内の物理的環境のその部分を再現する拡張現実環境の一部を指す。例えば、拡張現実システムは、物理的環境の画像をキャプチャし得る１つ以上のカメラを含んでもよい。拡張現実システムは、ユーザが表示された画像を介して物理的環境を間接的に見るように、不透明ディスプレイを介してそれらを表示することによって、これらの画像の一部をユーザに提示してもよい。加えて、いくつかの事例では、拡張現実環境は、フォービエイテッドレンダリングを使用して表示され、拡張現実環境の異なる部分は、ユーザの視線の方向に応じて、異なるレベルの忠実度（例えば、画像解像度）を使用してレンダリングされる。これらの事例では、これらのフォービエイテッドレンダリング技術を使用してより低い忠実度でレンダリングされる再現の部分は、依然として、本出願の目的のための再現と見なされる。
【0031】
本明細書で使用される場合、物理的環境の一部の「修正された表現」は、物理的環境から導出されるが、物理的環境の１つ以上の側面を意図的に不明瞭にする拡張現実環境の一部を指す。間接再現は、拡張現実環境内のユーザの物理的環境の一部を複製しようと試みるが、修正された表現は、ユーザの物理的環境の一部の１つ以上の視覚的側面を意図的に（例えば、人工ボケなどの１つ以上の視覚効果を使用して）変更する。このようにして、ユーザの物理的環境の一部の修正された表現は、ユーザが、物理的環境のその部分の特定の側面を知覚する一方で、他の側面を不明瞭にすることを可能にし得る。人工ボケの例では、ユーザは、修正された表現内の現実世界オブジェクトの全体的な形状及び配置を依然として知覚し得る場合があるが、そうでなければ物理的環境において可視であるはずのこれらのオブジェクトの視覚的詳細を知覚することができない場合がある。拡張現実環境がフォービエイテッドレンダリングを使用して表示される事例では、（ユーザの視線に対して）拡張現実環境の周辺領域にある修正された表現の部分は、フォービエイテッドレンダリング技術を使用してより低い忠実度でレンダリングされ得る。
【0032】
ユーザの物理的環境の再現及び／又は修正された表現は、種々の拡張現実環境において使用され得る。例えば、拡張現実システムは、「パススルー」モードで動作するように構成されてもよく、その間、拡張現実システムは、ユーザの物理的環境の一部の再現を含む拡張現実環境を生成して提示する。これは、拡張現実システムの１つ以上の構成要素（例えば、ディスプレイ）が、ユーザの物理的環境の同じ部分を直接見るユーザの能力に干渉し得る場合であっても、ユーザが、その物理的環境の一部を間接的に見ることを可能にする。拡張現実システムがパススルーモードで動作しているとき、拡張現実環境の一部又は全部は、ユーザの物理的環境の再現を含んでもよい。いくつかの事例では、拡張現実環境の１つ以上の部分は、ユーザの物理的環境の再現に加えて、仮想コンテンツ及び／又はユーザの物理的環境の修正された表現を含んでもよい。加えて、又は代替として、仮想コンテンツ（例えば、グラフィカルユーザインターフェースのグラフィカル要素、仮想オブジェクト）は、再現の部分の上に重複されてもよい。
【0033】
概して、本明細書で説明される拡張現実システムは、画像をキャプチャし、ユーザに表示することが可能な電子デバイスを含む。図１は、本明細書で説明される拡張現実システムの一部であり得る例示的な電子デバイス１００のブロック図を示す。電子デバイス１００は、拡張現実環境の一部として画像をキャプチャし、処理し、表示するように構成され得る。いくつかの実装形態において、電子デバイス１００は、拡張現実環境をユーザに提示するように構成されたハンドヘルド電子デバイス（例えば、スマートフォン又はタブレット）である。これらの実装形態のうちのいくつかにおいて、ハンドヘルド電子デバイスは、ハンドヘルド電子デバイスがユーザによって着用されることを可能にするアクセサリに一時的に取り付けられ得る。他の実装形態において、電子デバイス１００は、ユーザが着用するヘッドマウントデバイス（ＨＭＤ）である。
【0034】
いくつかの実施形態では、電子デバイス１００は、Ｉ／Ｏセクション１０４を１つ以上のコンピュータプロセッサ１０６及びメモリ１０８と動作可能に結合するバス１０２を有し、電子デバイス１００の構成要素間の通信を相互接続及び制御する回路を含む。Ｉ／Ｏセクション１０４は、電子デバイス１００の動作を支援し得る種々のシステム構成要素を含む。電子デバイス１００は、ディスプレイ１１０のセットとカメラ１１２のセットとを含む。カメラ１１２のセットは、ユーザの物理的環境（例えば、シーン）の画像をキャプチャし得、本明細書で説明されるように、（例えば、パススルーモードの一部として）拡張現実環境を生成する際にこれらの画像を使用し得る。ディスプレイ１１０のセットは、ユーザがそれを見ることができるように拡張現実環境を表示し得、それによって、ユーザが電子デバイス１００を介して自分の物理的環境を知覚することを可能にする。ディスプレイ１１０のセットは、単一のディスプレイを含んでもよく、又は複数のディスプレイ（例えば、ユーザの各眼に対して１つのディスプレイ）を含んでもよい。ディスプレイのセットの各ディスプレイは、任意の好適なディスプレイ技術を利用してもよく、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、量子ドット発光ダイオード（ＱＬＥＤ）ディスプレイなどを含んでもよい。
【0035】
電子デバイス１００のメモリ１０８は、１つ以上の非一時的コンピュータ可読記憶デバイスを含むことができる。これらの非一時的コンピュータ可読記憶デバイスは、コンピュータ実行可能命令を記憶するために使用されてもよく、コンピュータ実行可能命令は、１つ以上のコンピュータプロセッサ１０６によって実行されると、コンピュータプロセッサに、本明細書に説明されるプロセス（以下に説明される種々の画像キャプチャ及び処理技術）を実行させ得る。加えて、非一時的コンピュータ可読記憶デバイスは、本明細書で説明されるようなメディアキャプチャイベントの一部としてキャプチャされた画像を記憶するために使用され得る。
【0036】
コンピュータ可読記憶デバイスは、命令実行システム、装置、又はデバイス（例えば、１つ以上のプロセッサ１０６）によって、又はそれに関連して使用するためのコンピュータ実行可能命令を有形に含むか又は記憶することができる任意の媒体とすることができる。いくつかの実施例では、記憶デバイスは、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶デバイスは、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶デバイスは、それらに限定されるものではないが、磁気記憶装置、光学記憶装置、及び／又は半導体記憶デバイスを含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの永続性ソリッドステートメモリなどが挙げられる。
【0037】
１つ以上のコンピュータプロセッサ１０６は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルロジックアレイ（programmable logic array、ＰＬＡ）、プログラマブルアレイロジック（programmable array logic、ＰＡＬ）、汎用アレイロジック（generic array logic、ＧＡＬ）、複合プログラマブルロジックデバイス（complex programmable logic device、ＣＰＬＤ）、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、又は電子デバイス１００のオペレーティングシステム及びアプリケーションを実行するように、並びに本明細書に記載される画像のキャプチャ、処理、表示及び記憶を容易にするように構成可能な任意の他のプログラマブルロジックデバイス（programmable logic device、ＰＬＤ）を含むことができる。
【0038】
したがって、本明細書で説明されるプロセスのいずれかは、非一時的コンピュータ可読記憶デバイス上の命令として記憶されてもよく、それにより、プロセッサは、本明細書で説明されるプロセスの種々のステップを実行するためにこれらの命令を利用してもよい。同様に、本明細書で説明するデバイスは、メモリ（例えば、メモリ１０８）と、メモリに動作可能に結合された１つ以上のプロセッサ（例えば、プロセッサ１０６）とを含む。１つ以上のプロセッサは、メモリから命令を受信し得、これらの命令を実行して、本明細書で説明するプロセスの種々のステップを実行するように構成される。本明細書で説明されるプロセスのいずれも、本明細書で説明されるデバイスを使用して、画像をキャプチャ及び表示する方法として実行され得る。
【0039】
いくつかの実装形態では、電子デバイス１００は、（単一の深度センサ又は複数の深度センサを含み得る）深度センサ１１４のセットを含み、深度センサの各々は、電子デバイス１００の前の環境の一部についての深度情報を計算するように構成される。具体的には、深度センサ１１４のセットの各々は、カバレッジ領域内の深度情報（例えば、その深度センサが深度情報を提供することが可能な最も広い横方向範囲）を計算し得る。いくつかの事例では、深度センサ１１４のセットのうちの１つのカバレッジ領域は、カメラ１１２のセットのうちの少なくとも１つの視野（例えば、カメラがカメラの画像センサを使用してキャプチャし得るシーンの空間的広がり）に少なくとも部分的に重複し得、それによって、深度センサがカメラ１１２のセットの視野（単数又は複数）に関連付けられた深度情報を計算することを可能にする。
【0040】
深度センサからの情報は、深度センサと電子デバイス１００の周りの環境内の種々の点との間の距離を計算するために使用され得る。いくつかの事例では、深度センサ１１４のセットからの深度情報は、本明細書で説明されるような深度マップを生成するために使用され得る。深度情報は、任意の好適な方法で計算することができる。１つの非限定的な実施例では、深度センサは、２つの画像が異なる位置から取られるステレオ撮像を利用することができ、２つの画像内の対応するピクセル間の距離（視差）を使用して、深度情報を計算することができる。別の実施例では、深度センサは、構造化光撮像を利用し得、それによって、既知の照明パターン（典型的には赤外線照明を使用する）をシーンに向かって投影している間に、深度センサは、シーンを撮像し得、次いで、パターンがシーンによってどのように歪んでいるかを見て、深度情報を計算し得る。更に別の実施例では、深度センサは、深度センサから放出された光（典型的には赤外線）がシーンから戻るのにかかる時間に基づいて深度を計算する、飛行時間感知を利用することができる。飛行時間型深度センサは、直接的な飛行時間又は間接的な飛行時間を利用し得、一度にカバレッジ領域全体を照明し得、又は（例えば、１つ以上のスポット、ストライプ、又は固定し得、若しくはカバレッジ領域にわたって走査し得る、のいずれかである他のパターンにより）所与の時間にカバレッジ領域のサブセットのみを照明し得る。深度センサが赤外線照明を利用する事例では、この赤外線照明は、ユーザによって知覚されることなく、ある範囲の周囲条件において利用され得る。
【0041】
いくつかの実装形態では、電子デバイス１００は、視線追跡器１１６を含む。視線追跡器１１６は、電子デバイス１００（又はその特定の構成要素）に対するユーザの眼のポジションを決定するように構成され得る。視線追跡器１１６は、１つ以上のカメラ、深度センサ、それらの組合せなど、ユーザの眼を識別及び位置特定するための任意の好適なハードウェアを含み得る。いくつかの事例では、視線追跡器１１６はまた、ユーザの視線のロケーション／方向を検出するように構成され得る。視線追跡器１１６は、ユーザの両眼のポジションを決定するように構成された単一のモジュールを含んでもよく、又は、各々がユーザの対応する眼のポジションを決定するように構成された複数のユニットを含んでもよいことを理解されたい。
【0042】
追加又は代替として、電子デバイス１００は、電子デバイス１００（又はその特定の構成要素）の動き及び／又は向きを決定することが可能なセンサ１１８のセットを含み得る。例えば、図１に示されるセンサ１１８のセットは、加速度計１２０及びジャイロスコープ１２２を含む。センサ１１８のセットからの情報は、電子デバイス１００（又はその特定の構成要素）の姿勢情報を計算するために使用され得る。これは、電子デバイス１００が移動されるときに、電子デバイス１００がそのポジション及び向きを追跡することを可能にし得る。追加又は代替として、カメラ１１２のセット及び／又は深度センサ１１４のセットによってキャプチャされた情報は、例えば、同時ローカライゼーション及びマッピング（ＳＬＡＭ）技術を使用することによって、電子デバイス１００（又はそれの特定の構成要素）の姿勢情報を計算するために使用され得る。
【0043】
加えて、電子デバイス１００は、拡張現実システム（例えば、タッチスクリーン、ソフトキー、キーボード、仮想キーボード、ボタン、ノブ、ジョイスティック、スイッチ、ダイヤル、それらの組合せなど）と対話し、それに入力を提供するためにユーザが操作し得る入力機構１２４のセットを含み得る。電子デバイス１００は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（near field communication、ＮＦＣ）、セルラー、及び／又は他の無線通信技術を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット１２６を含むことができる。電子デバイス１００は、図１の構成要素及び構成に限定されず、所望に応じて複数の構成で他の又は追加の構成要素（例えば、ＧＰＳセンサ、コンパスなどの方向センサ、生理学的センサ、マイクロフォン、スピーカ、触覚エンジンなど）を含み得る。
【0044】
図２は、本明細書で説明するプロセスを実行するための拡張現実システムの一部であり得る電子デバイス２０２を含む動作環境２００を示す。電子デバイス２０２は、図１の電子デバイス１００に関して上述したような任意の方法で構成され得る。例えば、電子デバイス２０２は、第１のカメラ１１２ａ及び第２のカメラ１１２ｂを含むカメラのセットと、第１のディスプレイ１１０ａ及び第２のディスプレイ１１０ｂを含むディスプレイのセットとを含み得る。加えて、電子デバイス２０２は、本明細書で説明されるような深度センサ１１４及び視線追跡器１１６を含むものとして示されている。
【0045】
第１のカメラ１１２ａは、第１の視野２３０ａを有し、電子デバイス２０２を取り囲む物理的環境の第１の部分の画像をキャプチャするように配置される。同様に、第２のカメラ１１２ｂは、第２の視野２３０ｂを有し、電子デバイス２０２を取り囲む物理的環境の第２の部分の画像をキャプチャするように配置される。第１の視野２３０ａ及び第２の視野２３０ｂは、第１及び第２のカメラ１１２ａ、１１２ｂが電子デバイス２０２を取り囲む物理的環境の共通部分を同時にキャプチャし得るように、少なくとも部分的に重複し得る。例えば、図２に示される動作環境２００は、第１の視野２３０ａ及び第２の視野２３０ｂの両方に配置される現実世界オブジェクト２０６を含む。したがって、電子デバイス２０２が図２に示されるように配置されるとき、第１及び第２のカメラ１１２ａ、１１２ｂの両方によってキャプチャされた画像は、現実世界オブジェクト２０６を含むことになる。
【0046】
本明細書でより詳細に説明されるように、第１及び第２のカメラ１１２ａ、１１２ｂによってキャプチャされた画像は、ユーザにそれらの物理的環境の表現を提供するために、拡張現実環境の一部として（例えば、パススルーモードの一部として）ディスプレイのセットを介して表示されてもよい。例えば、第１のカメラ１１２ａによってキャプチャされた画像は、（例えば、拡張現実環境の一部として）第１のディスプレイ１１０ａ上に表示されてもよく、電子デバイス２０２がユーザの頭部に着用されるか、又は他の方法でユーザの頭部の近くに保持されるときなどに、ユーザの第１の眼２０４ａによって見られ得る。同様に、第２のカメラ１１２ｂによってキャプチャされた画像は、（例えば、拡張現実環境の一部として）第２のディスプレイ１１０ｂ上に表示されてもよく、ユーザの第２の眼２０４ｂによって見られてもよい。
【0047】
電子デバイス２０２の構成要素間の相対的な配置、並びに電子デバイス２０２とユーザの眼２０４ａ、２０４ｂとの間の相対的な配置に応じて、第１のカメラ１１２ａ及び第２のカメラ１１２ｂによってキャプチャされた画像は、ユーザが電子デバイス２０２なしで自分の物理的環境を直接見る場合とは異なる動作環境２００の視点を提供し得る。具体的には、カメラのセットは、１つ以上の方向においてディスプレイのセットから空間的にオフセットされ得る。例えば、第１のカメラ１１２ａの撮像面は、第１の（例えば、水平）方向に沿って距離２２０ａだけ第１のディスプレイ１１０ａから分離されてもよく、第２のカメラ１１２ｂの撮像面は、第１の方向に沿って距離２２０ｂだけ第２のディスプレイ１１０ｂから分離されてもよい。第１及び第２のカメラ１１２ａ、１１２ｂの撮像面はまた、いくつかの事例では、それぞれ、第１及び第２のディスプレイ１１０ａ、１１０ｂに対して回転されてもよい。
【0048】
加えて、第１及び第２の眼２０４ａ、２０４ｂは、対応する距離（例えば、第１のディスプレイ１１０ａと第１の眼２０４ａとの間の第１の眼－ディスプレイ間距離２２２ａ、及び第２のディスプレイ１１０ｂと第２の眼２０４ｂとの間の第２の眼－ディスプレイ間距離２２２ｂ）だけ、第１及び第２のディスプレイ１１０ａ、１１０ｂから分離されてもよい。第１のカメラ１１２ａは、第１の基準点（図２のオブジェクト２０６によって表される）によって第１のシーン距離２３２ａだけ分離され、第２のカメラ１１２ｂは、第２の基準点（第１の基準点と同じ点又は異なる点であり得る）によって第２のシーン距離２３２ｂだけ分離される。第１のカメラ１１２ａと第１のディスプレイ１１０ａとの間のオフセット（空間的及び／又は回転的）、第１の眼－ディスプレイ間距離２２２ａ、及び第１のシーン距離２３２ａは、第１の基準点に対する第１の眼２０４ａの視点と第１のカメラ１１２ａの視点との間の差を集合的に特徴付け得る。同様に、第２のカメラ１１２ｂと第２のディスプレイ１１０ｂとの間のオフセット、第２の眼－ディスプレイ間距離２２２ｂ、及び第２のシーン距離２３２ｂは、第２の基準点に対する第２の眼２０４ｂの視点と第２のカメラ１１２ｂの視点との間の差を集合的に特徴付け得る。
【0049】
したがって、カメラのセットによってキャプチャされた画像を、それらが表示される前に、これらの視点差を考慮するように（例えば、パースペクティブ補正済み画像を生成するように）調整することが望ましい場合があり、それにより、ユーザがこれらの画像を見るときのユーザの不快感を低減し得る。しかしながら、これらの視点調整は、ユーザが画像又はビデオをキャプチャするために（例えば、後で見るために保存するために、又は他者と共有するために）カメラのセットを利用することを望む場合に望ましくないことがある。これらのキャプチャされた画像は、後に、（デバイス２０２とは異なる構成を有し得る）異なるデバイスによって見られ得る、（例えば、異なるユーザによって、又はデバイスから異なる距離に配置されるユーザによって）異なる視点から見られ得る、及び／又は拡張現実環境内で特定の方法で見られ得る（例えば、拡張現実環境内のビューイングウィンドウ又はフレーム内で見られる）。これらの事例においてパースペクティブ補正済み画像を提示することは、望ましくないユーザ体験につながり得、新しい視聴環境を考慮するようにこれらの画像を更に調整することは、望ましくないことに、アーティファクトを導入又は増幅し得る。
【0050】
本明細書で説明するプロセスは、１つ以上のカメラ（例えば、図１及び図２の電子デバイス１００、２０２のカメラのセットのうちの１つ以上）から画像のセットを取得するステップと、複数の別個の画像処理パイプラインを使用してこれらの画像を処理するステップとを含む。具体的には、第１の画像処理パイプラインは、ディスプレイのセットによって表示され得る画像を生成し、第２の画像処理パイプラインは、後で見るために記憶され得るか、又は他者と共有され得る出力画像のセットを生成する。第１及び第２の画像処理パイプラインは、同じ画像を入力として受信し得るが、それぞれの出力に合わせて調整された異なる画像処理技術を利用する。
【0051】
画像のセットの少なくともいくつかは、メディアキャプチャイベント中にキャプチャされる。具体的には、カメラのセットは、１つ以上の撮影モード（例えば、静止画像をキャプチャできる写真モード、ビデオをキャプチャできるビデオモード、パノラマ写真をキャプチャできるパノラマモード、人工ボケを適用した静止写真をキャプチャできるポートレートモードなど）中に画像をキャプチャするために使用され得る。概して、これらのモード中に、デバイスは、「ライブプレビュー」を表示するカメラユーザインターフェースを（例えば、図１及び図２の電子デバイス１００、２０２のディスプレイのセットを介して）表示し得る。ライブプレビューは、カメラのセットによってキャプチャされ、リアルタイムで提示される画像のストリームであり、カメラがメディアキャプチャイベントを開始するときにキャプチャされる視野（カメラのうちの１つの視野のサブセットであり得る）を表し得る。言い換えれば、ライブプレビューにより、ユーザは現在どんなシーンの部分が撮像されているかを見ることができ、写真又はビデオをいつキャプチャするべきかを決定することができる。
【0052】
ライブプレビューは、拡張現実環境の一部としてユーザに提示されてもよく、拡張現実環境はパススルーモードで動作している。これらの事例では、拡張現実環境の少なくとも一部は、ユーザの物理的環境の再現を含み、それによって、ユーザが、自分の物理的環境を知覚し、メディアキャプチャイベント中にシーンのどの部分がキャプチャされるかを理解することを可能にする。拡張現実環境は、画像をキャプチャする際にユーザをガイドするのを助けるために、１つ以上のグラフィカルユーザ要素又は他の特徴（例えば、デバイスによってキャプチャされる画像の境界を示す、物理的環境の再現と仮想コンテンツ又は物理的環境の修正された表現との間の遷移などの遷移）を含み得る。
【0053】
拡張現実システムがメディアキャプチャイベントを開始すると、カメラのセットは、画像をキャプチャし、現在の写真撮影モードに応じてメディアを生成し（例えば、写真モードにあるときに静止写真をキャプチャ及び生成し、又はビデオモードにあるときにビデオをキャプチャ及び生成し）、これは次いで、デバイス１００上にローカルに（例えば、メモリ１０８の一部としての非一時的コンピュータ可読記憶デバイス内に）記憶されるか、記憶のために遠隔サーバに送信されるか、又は（例えば、メッセージング若しくはストリーミングアプリケーションの一部として）別のシステムに送信され得る。いくつかの事例では、カメラのセットによってキャプチャされた画像のフレームバッファが存在してもよく、メディアキャプチャイベントの開始前に収集されたいくつかの画像は、記憶又は送信されるキャプチャされたメディアを生成する際に使用されてもよいことを理解されたい。
【0054】
メディアキャプチャイベントは、本明細書で説明される電子デバイスがキャプチャ要求を受信したときに開始され得る。キャプチャ要求は、いくつかの所定の条件下で（例えば、デバイス上で実行されるソフトウェアアプリケーションが、好適なユーザ許可を用いて、特定の基準が満たされたときにカメラのセットがメディアキャプチャイベントを開始することを自動的に要求し得る）、又はユーザが、ユーザインターフェース上のシャッター制御部と対話すること、電子デバイス上の指定されたボタンを押すこと、音声コマンドを与えることなどによってメディアキャプチャイベントコマンドを開始するためのコマンドを与えたときに受信され得る。
【0055】
本明細書で説明されるプロセスは、メディアキャプチャイベントの一部として実行され得、ユーザに表示されるライブプレビュー画像を生成するために第１の画像処理パイプラインを利用し得、記憶又は送信されるキャプチャされたメディアを生成するために第２の画像処理パイプラインを利用し得る。例えば、図３は、デバイスのカメラのセット（例えば、図１及び図２の電子デバイス１００、２０２のカメラのセット）によってキャプチャされたシーンの画像のシーケンスを含む例示的な画像ストリーム３００を示す。カメラのセットが２つのカメラを含む実施例では、画像ストリーム３００は、第１のカメラ（例えば、図２の電子デバイス２０２の第１のカメラ１１２ａ）によってキャプチャされた画像３０２の第１のカメラ画像ストリーム３００ａと、第２のカメラ（例えば、図２の電子デバイス２０２の第２のカメラ１１２ｂ）によってキャプチャされた画像３０４の第２のカメラ画像ストリーム３００ｂとを含む。
【0056】
カメラのセットは、電子デバイスの動作中に画像ストリーム３００を連続的にキャプチャし得るか、又は特定の条件（例えば、デバイスがパススルーモードに入ること）に応答して画像ストリーム３００のキャプチャを開始し得る。画像ストリーム３００が複数のカメラ画像ストリーム（例えば、第１及び第２のカメラ画像ストリーム３００ａ、３００ｂ）を含むとき、カメラストリームの各々からの画像（異なるカメラから同時にキャプチャされた画像など）は、グループ化され、一緒に処理され得る。例えば、画像ストリーム３００は、一連の画像対を含み得、各画像対は、第１のカメラによってキャプチャされた第１の画像（例えば、第１のカメラ画像ストリーム３００ａからの画像）と、第２のカメラによってキャプチャされた第２の画像（例えば、第２のカメラ画像ストリーム３００ｂからの画像）とを含む。
【0057】
例えば、図３は、画像ストリーム３００を、合計１６個の画像（第１のカメラ画像ストリーム３００ａにおいてＬ1～Ｌ8とラベル付けされた８個の画像３０２、及び第２のカメラ画像ストリーム３００ｂにおいてＲ1～Ｒ8とラベル付けされた８個の画像３０４）を含むものとして示しており、したがって、８個の画像対（画像Ｌ1及びＲ1を含む第１の画像対、画像Ｌ2及びＲ2を含む第２の画像対など）を有することになる。カメラのセットは、所望され得る任意のメディアキャプチャイベントを実行するために必要とされる限り、画像ストリーム３００をキャプチャし続けることができる。画像ストリーム３００からの所定の数の画像（又は画像対）は、所与の時間にバッファに一時的に記憶されてもよく（例えば、新しい画像がバッファ内の最も古い画像を置換する）、それによって、特定の数の最近キャプチャされた画像が、画像ストリーム３００のキャプチャ中の任意の所与の時間にデバイスに利用可能になることを可能にする。
【0058】
ここで説明するプロセスは、画像ストリーム３００から画像の第１のセット３０６（又は画像対）を選択し得、以下でより詳細に説明するように、画像の第１のセット３０６を使用してライブプレビュー画像のセットが生成される。本明細書で説明されるプロセスが、追加の画像処理のために（例えば、そこから画像を生成するために）画像のセットを選択するために使用されるとき、プロセスは、この画像処理を開始する前に画像の全てが選択されるのを待つ必要がないことを理解されたい。非限定的な例として画像の第１のセット３０６を使用して、デバイスは、第１のセット３０６からの他の画像（画像Ｌ7、Ｌ8、Ｒ7、及びＲ8など）がキャプチャされる前に、画像Ｌ1及びＲ1からライブプレビュー画像を生成し始めてもよい。言い換えれば、第１の画像処理パイプラインは、ライブプレビュー画像を継続的に生成し得る。
【0059】
図３に示されるように、キャプチャ要求３０８は、画像ストリームのキャプチャ中に受信され得る（例えば、画像Ｌ4及びＲ4のキャプチャ中に受信されるようにそこに示される）。キャプチャ要求３０８を受信したことに応答して、画像又は画像対の第２のセット３１０が、メディアキャプチャイベントの一部として選択され得る。画像の第２のセット３１０は、本明細書で説明されるように記憶又は送信されるキャプチャされたメディアを形成する出力画像のセットを生成するために（例えば、第２の画像処理パイプラインによって）使用され得る。いくつかの事例では、前述のように、画像の第２のセット３１０は、キャプチャ要求３０８の前にキャプチャされた１つ以上の画像又は画像対（例えば、画像Ｌ3及びＲ3）を含み得る。第２のセット３１０内にあるように選択される画像３１０の数は、予め決定されてもよく（例えば、特定の写真撮影モードは、各キャプチャ要求３０８に関連付けられた特定の数の画像を選択してもよい）、又は動的に決定されてもよい（例えば、ビデオモードでは、第２のセット３１０内の画像の数は、メディアキャプチャイベントを停止する終了要求がいつ受信されたかに依存してもよく、それによって、ユーザが種々の長さのビデオをキャプチャすることを可能にする）。いくつかの変形形態では、キャプチャ要求３０８の受信は、任意選択で、画像をキャプチャしている間に１つ以上の動作パラメータを一時的に変更するようにカメラのセットに促し得る。例えば、キャプチャ要求３０８を受信したことに応答して、カメラのセットは、画像がキャプチャされるフレームレートを変更し得るか、又は１つ以上の画像の露光時間を意図的に変更し得る（例えば、画像Ｌ5及びＲ5を含む画像対が、周囲の画像対よりも長い露光時間でキャプチャされているように示されている）。
【0060】
メディアキャプチャイベントの一部として出力画像を生成するために使用される画像（例えば、画像の第２のセット３１０）の一部又は全部は、（例えば、画像の第１のセット３０６を介して）ユーザに表示されるライブプレビュー画像を生成するためにも使用され得る。したがって、異なる画像処理パイプラインは、入力として同じ画像を受信し得るが、異なる画像処理技術を使用して複数の異なる画像を生成する。例えば、図４は、複数の画像処理パイプラインを使用して、（例えば、拡張現実環境におけるライブプレビューの一部として）ユーザに表示するための変換画像の第１のセットと、メディアキャプチャイベントの一部として１つ以上の出力画像を生成するために使用される変換画像の第２のセットとを生成するプロセス４００の変形形態を示す。プロセス４００の一部として実行されるブロックは、方法として実行され得るか、又は非一時的コンピュータ可読記憶デバイス上の命令として記憶され得、その結果、プロセッサは、本明細書で説明されるプロセスの種々のブロックを実行するためにこれらの命令を利用し得る。同様に、本明細書で説明するデバイスは、メモリ（例えば、メモリ１０８）と、メモリに動作可能に結合された１つ以上のプロセッサ（例えば、プロセッサ１０６）とを含み、１つ以上のプロセッサは、１つ以上のプロセッサにプロセス４００のブロックを実行させる命令を実行するように構成される。
【0061】
具体的には、プロセス４００は、カメラ４０４のセットを使用して画像ストリーム４０２をキャプチャする。いくつかの事例では、カメラのセット４０４は、第１のカメラ４０４ａ及び第２のカメラ４０４ｂを含み、画像ストリーム４０２は、第１のカメラ４０４ａによってキャプチャされた画像４０２ａと、第２のカメラ４０４ｂによってキャプチャされた画像４０２ｂとを含む。これらの事例では、画像ストリーム４０２は、一連の画像対を形成し得、各画像対は、第１のカメラ４０４ａによってキャプチャされた第１の画像と、第２のカメラ４０４ｂによってキャプチャされた第２の画像とを含む。
【0062】
プロセス４００は、画像ストリーム３００の画像から変換画像４０８の第１のセット（例えば、図３Ａの画像ストリーム４０２からの画像の第１のセット３０６など）を生成するように構成された表示画像処理パイプライン４０６を含む。変換画像４０８の第１のセットを生成することの一部として、表示画像処理パイプライン４０６は、画像ストリーム４０２の画像に第１の変換動作を適用し得る。いくつかの事例では、この第１の変換動作は、カメラ４０４のセットのうちの１つの視点とユーザの視点との間の差に基づいて画像が変換されるパースペクティブ補正動作を含む。これらの事例では、表示画像処理パイプライン４０６は、カメラのセット４０４及びユーザの視点に関する情報を表す視点データ４１０を受信し、利用し得る。パースペクティブ補正動作については、図５を参照して本明細書でより詳細に説明する。
【0063】
表示画像処理パイプライン４０６に入力される画像ストリーム４０２の各画像について、表示画像処理パイプライン４０６は、変換画像４０８の第１のセットの対応する変換画像を生成し得る。例えば、第１のカメラ４０４ａによってキャプチャされた画像４０２ａは、これらの変換画像４０８の第１のサブセット４０８ａを生成するために使用されてもよく、第２のカメラ４０４ｂによってキャプチャされた画像４０２ｂは、変換画像４０８の第２のサブセット４０８ａを生成するために使用されてもよい。したがって、変換画像の第１のセット４０８は、変換画像対の第１のセットを含み得、画像ストリーム４０２の各画像対は、変換画像対の第１のセットの対応する変換画像対を生成するために使用される。
【0064】
ステップ４１２において、変換画像の第１のセットは、ディスプレイのセット（例えば、図１の電子デバイス１００の１１０のディスプレイのセット）上に表示される。変換画像の第１のセットは、拡張現実環境の一部として（例えば、パススルーモードで）表示されてもよく、これは、本明細書で説明されるようなライブプレビューを提供してもよい。ディスプレイのセットが第１のディスプレイ及び第２のディスプレイ（図２の電子デバイス２０２の第１及び第２のディスプレイ１１０ａ、１１０ｂなど）を含む場合、変換画像４０８の第１のサブセット４０８ａは第１のディスプレイ上に表示されてもよく、変換画像４０８の第２のサブセット４０８ｂは第２のディスプレイ上に表示されてもよい。このようにして、ユーザの第１の眼は、（第１のディスプレイを介して）第１のカメラによってキャプチャされた画像を見ることができ、ユーザの第２の眼は、（第２のディスプレイを介して）第２のカメラによってキャプチャされた画像を見ることができる。ディスプレイのセットが単一のディスプレイを含む場合、各変換画像対は、単一のディスプレイ上に同時に表示され得る。例えば、対の第１の変換画像は、ディスプレイの第１の部分（ユーザの第１の眼によって見られ得る）上に表示されてもよく、対の第２の変換画像は、ディスプレイの第２の部分（ユーザの第２の眼によって見られ得る）上に表示されてもよい。いくつかの事例では、表示画像処理パイプライン４０６は、変換画像がブロック４１２でユーザに表示されるときにユーザがこの仮想コンテンツを見ることができるように、変換画像に仮想コンテンツを追加し得る。
【0065】
加えて、キャプチャ要求は、画像ストリーム４０２がキャプチャされている間に受信され得る。ブロック４１４において、キャプチャ要求を受信したことに応答して、画像ストリーム３００から画像のセット４１６が選択される（例えば、図３の画像ストリーム４０２からの画像の第２のセット３１０）。画像の選択されたセット４１６は、キャプチャ要求が受信された後にキャプチャされた１つ以上の画像を含み、いくつかの事例では、図３に関して上述したように、キャプチャ要求が受信される前にキャプチャされた１つ以上の画像も含み得る。画像の選択されたセット４１６は、第１のカメラ４０４ａ（例えば、画像４０２ａから選択される）によってキャプチャされた画像の第１のサブセット４１６ａと、第２のカメラ４０４ｂ（例えば、画像４０２ｂから選択される）によってキャプチャされた画像の第２のサブセット４１６ｂとを含み得る。したがって、画像の選択されたセット４１６は、画像対の選択されたセットを含み得、ここで、各画像対は、第１のカメラ４０４ａによってキャプチャされた第１の画像と、第２のカメラ４０４ｂによってキャプチャされた第２の画像とを含む。
【0066】
プロセス４００は、画像の選択されたセット４１６を使用して出力画像４２０のセットを生成するように構成された出力画像処理パイプライン４１８を利用し得る。いくつかの事例では、出力画像４２０のセットは、画像の第１の選択されたサブセット４１６ａから生成される出力画像の第１のサブセット４２０ａと、画像の第２のサブセット４１６ｂから生成される出力画像の第２のサブセット４２０ｂとを含む。したがって、出力画像４２０のセットは、出力画像対のセットを含み得る。これらの出力画像対は、１つ以上のステレオ画像及び／又はステレオビデオを含み得る。立体視撮像では、異なるパースペクティブから撮影された２つの画像は、ユーザの異なる眼に提示されると、ユーザが深度を知覚することを可能にすることができる。したがって、ステレオ画像は、後に３次元静止画像としてユーザに提示され得る単一の画像対を表すが、ステレオビデオは、後に３次元ビデオとしてユーザに順次提示され得る一連の画像対を表す。写真撮影モードに応じて、出力画像４２０のセットは、単一のステレオ画像、複数のステレオ画像（例えば、バースト写真撮影モードの一部として生成される）、ステレオビデオのみ、又はステレオ画像とステレオビデオとの組合せを含み得る。出力画像４２０のセットがステレオ画像とステレオビデオの両方を含む場合、ステレオ画像は、３次元画像としてユーザに提示され得るが、ステレオ画像に関連付けられたステレオビデオクリップを再生することもできる。
【0067】
出力画像４２０のセットを生成することの一部として、出力画像処理パイプライン４１８は、画像の選択されたセット４１６から変換画像（図示せず）の第２のセットを生成し得る。変換画像の第２のセットは、出力画像４２０を生成するために使用されてもよい。いくつかの事例では、出力画像処理パイプライン４１８は、表示画像処理パイプライン４０６によって適用される第１の変換動作とは異なる第２の変換動作を画像ストリーム４０２の画像に適用する。このようにして、表示画像処理パイプライン及び出力画像処理パイプラインは、処理のために同じ画像を時々受信し得るが、それらは、異なる出力を提供するために、これらの入力画像を別々に（例えば、並列に）処理する。いくつかの変形形態では、第２の変換動作は、図６に関してより詳細に説明されるような画像修正動作を含む。
【0068】
いくつかの事例では、出力画像処理パイプライン４１８はまた、出力画像４２０のセットに関連付けられたメタデータ４２２を生成するように構成される。このメタデータ（その例は図７に関して以下でより詳細に説明される）は、出力画像４２０のセットとともに記憶され得る。出力画像処理パイプライン４１８はまた、画像の選択されたセット４１６に加えてコンテキスト情報４２４を受信し得る。コンテキスト情報４２４は、画像ストリーム４０４をキャプチャしている間のデバイス（又はカメラのセットなどのその構成要素）及び／又はシーンについての情報を含み得る。
【0069】
例えば、いくつかの変形形態では、コンテキスト情報４２４は、深度マップ４２６を含む。深度マップ４２６は、ピクセルの行列を含み、各ピクセルは、カメラのセットによって撮像されたシーン内の個別のロケーションに対応し、デバイス（又はカメラのセットの個々のカメラなど、その一部）とシーン内の個別のロケーションとの間の距離を表す個別の深度値を有する。いくつかの事例では、深度マップ４２６は、デバイスが深度センサ（例えば、図１及び図２の電子デバイス１００、２０２の深度センサ１１４）を含む事例では、深度センサによって生成された深度情報から導出され得る。追加又は代替として、深度マップ４２６は、画像ストリーム４０２の１つ以上の画像など、デバイスの１つ以上のカメラによってキャプチャされた画像（又は複数の画像）の画像分析から導出され得る。これらの事例では、画像（単数又は複数）は、シーンの異なる部分についての深度情報を推定するために、単眼又は立体視深度推定技術を使用して分析され得る。出力画像処理パイプライン４１８は、（第１のカメラ４０４ａに対するシーン距離を表す）第１のカメラ４０４ａのための第１の深度マップ、及び（第２のカメラ４０４ｂに対するシーン距離を表す）第２のカメラ４０４ｂのための第２の深度マップなど、複数の深度マップを受信し得ることも理解されたい。
【0070】
追加又は代替として、コンテキスト情報４２４は、画像の選択されたセット４１６によってキャプチャされたシーンのコンテンツについての情報を含み得る。例えば、コンテキスト情報４２４は、シーン情報マップ４２８を含み得る。具体的には、シーン情報マップ４２８はピクセルの行列を含み、各ピクセルはシーン内の個別のロケーションに対応し、そのロケーションに存在するオブジェクトのタイプを示す個別の識別子（及び任意選択で、識別子に関連付けられた信頼値）を有する。例えば、シーン情報マップ４２８は、シーン情報マップの各ピクセルが、シーン内の個別のロケーションに顔が存在するかどうかを示すように、又はシーン内の個別のロケーションに顔が存在する信頼度を表す値（０と１との間の正規化値など）を含むように、人間の顔を含むシーンのロケーションを識別するように構成され得る。いくつかの変形形態では、コンテキスト情報４２４は、複数のシーン情報マップ（その各々は、異なるタイプのオブジェクトに関連付けられる）を含み得るか、又はシーン内の複数のタイプのオブジェクト（例えば、人、動物、木など）の存在を示し得る単一のシーン情報マップ４２８を含み得る。
【0071】
具体的には、シーン情報マップ４２８（又は複数のマップ）は、出力画像４２０及び／又はメタデータ４２２のセットを生成する際に使用され得る、シーンのコンテンツの理解を提供し得る。例えば、出力画像処理パイプラインは、シーン内に存在する他のオブジェクトと比較して、異なる画像処理技術をシーン内の人々に適用するように構成され得る。追加又は代替として、シーン情報マップ４２８（又は複数のマップ）は、メタデータ４２２に含まれ、出力画像が（例えば、拡張現実環境内の表示領域において）表示される視差を制御するために後で（例えば、出力画像を表示するときに）使用され得るデフォルト視差値を選択するために使用され得る。
【0072】
シーン情報マップ４２８は、任意の好適な方法で生成され得る。例えば、当業者によって容易に理解されるように、画像セグメント化及び／又は画像分類技術などを使用して、画像選択されたセット４１６の及び／又は深度マップ４２６の一部又は全部が分析され得る。これらの技術は、シーン内の所定のオブジェクトのセットを探すために使用され得、その選択は、ユーザ選好、画像の選択されたセット４１６がキャプチャされるときにアクティブである写真撮影モード、及び／又は出力画像４２０のセットを生成するために適用される、ユーザによって選択された所望の効果に基づいて設定され得る。いくつかの変形形態では、シーン情報マップ４２８は、ユーザ入力に少なくとも部分的に基づき得る。例えば、ユーザは、シーンの関心領域を識別することができ（例えば、ユーザの視線がシーンに関係すると決定することによって、ユーザのジェスチャがシーンに関係すると決定することによって、他のユーザ入力、それらの組合せなど）、１つ以上のオブジェクトを関心領域内で識別して、シーン情報マップ４２８を生成し得る。
【0073】
追加又は代替として、コンテキスト情報４２４は、デバイス（又はその１つ以上の構成要素）に関連付けられた姿勢情報４３０を含み得る。姿勢情報４３０は、画像の選択されたセット４１６のキャプチャ中のデバイスのポジション及び／又は向きを含み得る。これは、出力画像４２０のセットに関連付けられた同様の姿勢情報を生成するために使用され得る。出力画像４２０のセットに関連付けられた姿勢情報は、メタデータ４２２として記憶されてもよく、後に（例えば、出力画像を表示するときに）使用されて、出力画像が（例えば、拡張現実環境において）表示されるポジション及び／又は向きを制御してもよい。
【0074】
ブロック４３２において、出力画像４２０のセット（出力画像４２０のセットがメタデータ４２２に関連付けられている場合、メタデータ４２２を含む）は、非一時的コンピュータ可読記憶デバイス（例えば、図１の電子デバイス１００のメモリ１０８の一部として）に記憶されてもよい。追加的又は代替的に、出力画像４２０のセットは、（例えば、電子メール、メッセージ、ライブストリームなどの一部として、又は遠隔記憶のために）異なるデバイスに送信され得る。出力画像４２０のセットを記憶及び／又は送信することの一部として、出力画像４２０のセット（出力画像４２０のセットがメタデータ４２２に関連付けられている場合にはメタデータ４２２を含む）は、符号化されるか、又は指定されたフォーマットで書き込まれてもよい。非限定的な例として、ステレオ画像は、高効率画像コンテナ（ＨＥＩＣ）ファイルなどの高効率画像ファイルフォーマットとして書き込まれ得る。別の非限定的な例として、ステレオビデオは、マルチビュー高効率ビデオコーディング（ＭＶ－ＨＥＶＣ）ファイルなどの高効率ビデオコーディング（ＨＥＶＣ）ファイルとして書き込まれ得る。
【0075】
表示画像処理パイプライン４０６と出力画像処理パイプライン４１８との間で画像ストリーム４０２の処理を分離することによって、これらの画像処理パイプラインは、異なるタイプの画像を生成するように調整され得る。したがって、プロセスは、ブロック４１２において、（例えば、拡張現実環境におけるライブプレビュー及び／又はパススルーモードの一部として）これらの画像のリアルタイム表示のために調整される様式で、第１のセットの変換画像４０８を生成することができる。これらの画像は、ユーザに提示された後に破棄されてもよく、又はブロック４３２の一部として非一時的コンピュータ可読記憶デバイス（例えば、図１の電子デバイス１００のメモリ１０８の一部として）に任意選択的に記憶されてもよい。加えて、プロセス４００は、異なる意図された視聴体験に合わせて調整され得る出力画像４２０のセットを生成し得る。例えば、出力画像４２０のセットは、（プロセス４００を実行するために使用されるデバイスと同じ又は異なる構成を有する）異なるデバイス上で見られるように、及び／又はブロック４１２のものとは異なる視聴要件を有する特定のユーザ体験の一部として見られるように意図され得る。
【0076】
プロセス４００の種々のブロックは、同時に、かつ継続的に起こり得ることを理解されたい。例えば、変換画像４０８の第１のセットの特定の画像は、表示画像処理パイプライン４０６が変換画像４０８の第１のセットの他の画像を生成しているのと同時に、ブロック４１２において表示され得る。これはまた、第１及び第２のカメラ４０４ａ、４０４ｂが画像ストリーム４０２に追加されるべき画像をキャプチャしているのと同時に、及び本明細書で説明されるように出力画像処理パイプライン４１８が出力画像４２０を生成している間に行われ得る。
【0077】
図５は、プロセス４００の表示画像処理パイプライン動作４０６の変形形態を示す。そこに示されるように、表示画像処理パイプライン４０６は、表示画像処理パイプライン４０６によって受信された画像のセットからパースペクティブ補正済み画像（例えば、画像ストリーム４０２の画像）のセットを生成するパースペクティブ補正動作５００を含む。一般に、パースペクティブ補正動作は、１つの視点（「ソース視点」）からキャプチャされた画像を取得し、その画像を、異なる視点（「ターゲット視点」）からキャプチャされたかのように見えるように変換する。具体的には、パースペクティブ補正動作は、ユーザの視点をターゲット視点として利用し得、したがって、画像がユーザの視点からキャプチャされたかのように見えるように画像を変換する。このようにして、パースペクティブ補正済み画像がプロセス４００のブロック４１２においてユーザに表示されるとき、これらの画像内に提示されるオブジェクトは、ユーザの物理的環境内の現実世界オブジェクトと同じ高さ及び距離に現れ得る。これは、ユーザの物理的環境がパススルー及び／又はライブプレビューモードの一部として拡張現実環境において再現される精度を改善し得る。
【0078】
パースペクティブ補正動作５００は、視点データ４１０を利用して、ソース視点（例えば、画像をキャプチャするために使用されるカメラの視点）並びにターゲット視野（例えば、ユーザの視点又はユーザの特定の眼）を決定し得る。例えば、視点データ４１０は、カメラのセットとディスプレイのセットとの間の空間的オフセット及び／又は回転的オフセットをそれぞれ表す１つ以上の距離及び／又は角度（例えば、図２に関して説明した第１及び第２の距離２２０ａ、２２０ｂなど）を含むポジション情報を含み得る。いくつかの事例では、カメラのセットとディスプレイのセットとの間のオフセットは、（例えば、カメラのセット及びディスプレイのセットが固定された空間関係を有する場合）事前に知られていてもよく、（例えば、カメラのセット及び／又はディスプレイのセットのうちの１つ以上がデバイス内で移動可能である場合）又はデバイスによって動的に決定されてもよい。
【0079】
視点データ４１０は、ユーザとデバイス（又はその構成要素）との間の空間関係についての情報を含み得る。これは、デバイスに対するユーザの両眼のその相対的な配置を表す値の単一セットを含んでもよく、又は各眼についての値の異なるセット（例えば、図２に関して説明される第１及び第２の眼－ディスプレイ間距離２２２ａ、２２２ｂなど）を含んでもよい。ユーザとデバイスとの間の相対的な配置は、例えば、視線追跡器（図１及び図２の電子デバイス１００、２０２の視線追跡器１１６など）を使用して決定され得る。同様に、視点データ４１０は、カメラのセットによって撮像されているシーンについての情報（デバイスからシーン内の特定のオブジェクトまでの距離など）を含み得る。これは、深度センサ（例えば、図１及び図２の電子デバイス１００、２０２の深度センサ１１４）によって、カメラのセットのうちの１つ以上、それらの組合せなどによって決定された距離情報を含み得る。
【0080】
集合的に、視点データ４１０は、特定の画像についてソース視点とターゲット視点との間の差を決定するために使用され得る。パースペクティブ補正動作５００は、ソース視点とターゲット視点との間の差を使用して、変換（例えば、ホモグラフィ変換又はワーピング関数）を入力画像（例えば、画像ストリーム４０２の画像）に適用して、パースペクティブ補正済み画像を生成し得る。具体的には、変換されていない空間内のピクセルロケーションにおける入力画像の各ピクセルに対して、変換画像の変換された空間内で、パースペクティブ補正済み画像の新しいピクセルロケーションが決定される。パースペクティブ補正動作の例は、「Ｓｃｅｎｅ ｃａｍｅｒａ ｒｅｔａｒｇｅｔｉｎｇ」と題された米国特許第１０８３２４２７号明細書、及び「Ａｄａｐｔｉｖｅ ｉｍａｇｅ ｗａｒｐｉｎｇ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ａｎｄ ｄｉｓｔａｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ」と題された米国特許第１１３７３２７１号明細書においてより詳細に論じられており、それらの内容は、参照することによってそれらの全体として本明細書に組み込まれ、付録として本明細書に添付される。
【0081】
画像の第１のセットが画像対のセットを含む場合、パースペクティブ補正動作５００は、第１のパースペクティブ補正動作５００ａと第２のパースペクティブ補正動作５００ｂとを含む。各画像対について、第１のパースペクティブ補正動作５００ａは、画像対の第１の画像から第１のパースペクティブ補正済み画像を生成する。同様に、第２のパースペクティブ補正動作５００ｂは、画像対の第２の画像から第２のパースペクティブ補正済み画像を生成する。具体的には、第１のパースペクティブ補正動作５００ａは、第１のカメラ４０４ａによってキャプチャされた画像４０２ａに適用され得、第１のカメラ４０４ａの視点とユーザの視点（例えば、ユーザの第１の眼の視点など）との間の差に基づいて、パースペクティブ補正済み画像を生成し得る。同様に、第２のパースペクティブ補正動作５００ｂは、第２のカメラ４０４ｂによってキャプチャされた画像４０２ｂに適用され得、第２のカメラ４０４ｂの視点とユーザの視点（例えば、ユーザの第２の眼の視点など）との間の差に基づいて、パースペクティブ補正済み画像を生成し得る。
【0082】
パースペクティブ補正動作５００によって生成されたパースペクティブ補正済み画像は、変換画像４０８の第１のセットを形成し得る。いくつかの事例では、追加の処理ステップがこれらの画像に適用されてもよい。例えば、ブロック５０２において、表示画像処理パイプライン４０６は、グラフィカルユーザインターフェースの１つ以上のグラフィカル要素、仮想オブジェクトなどの仮想コンテンツを第１のセットの変換画像４０８に追加し得る。これは、プロセスが仮想コンテンツを有する拡張現実環境を生成することを可能にし得、プロセス５００のブロック４１２で第１のセットの変換画像４０８がユーザに表示されるときにユーザが仮想コンテンツを体験することを可能にし得る。表示画像処理パイプライン４０６は、第１のセットの変換画像４０８を生成することの一部として、画像の一部を切り取るなどの追加の処理ステップを実行し得ることを理解されたい。
【0083】
図６は、プロセス４００の出力画像処理パイプライン４１８の変形形態を示す。そこに示されるように、出力画像処理パイプライン４１８は、変換画像を生成するために出力画像処理パイプライン４１８に入力される画像に対して変換動作を実行する変換ユニット６００を含む。したがって、出力画像処理パイプラインは、画像の選択されたセット４１６から変換画像のセット（例えば、表示画像処理パイプライン４０６によって生成された変換画像４０８の第１のセットとは異なる変換画像の第２のセット）を生成するように構成されてもよい。画像生成ユニット６０２は、この変換画像のセットから出力画像４２０のセットを生成する。変換ユニット６００によって実行される変換動作は、表示画像処理パイプライン動作４０６において利用されるパースペクティブ補正動作５００とは異なり得る。例えば、いくつかの変形形態では、変換ユニット６００は、画像を変換してこれらの画像を共通のターゲット画像平面に投影する画像修正動作を適用する。図６の実施例では、変換ユニット６００は、画像修正動作を集合的に実行するデワープ動作６０４と位置合わせ動作６０６とを含む。いくつかの事例では、カメラのセットは、これらのカメラの視野を増加させるように設計された魚眼レンズ又は他の同様の光学素子を有し得る。これらのカメラによってキャプチャされた画像は、（例えば、本明細書で説明する拡張現実環境の一部として）３次元環境を再現するのに有益であり得るが、これらの画像は、典型的には、２次元画像として見たときに歪みを含む（例えば、オブジェクトの割合が変更されることがあり、物理的環境内の直線がキャプチャされた画像内の曲線として現れることがある）。
【0084】
したがって、当業者によって容易に理解されるように、デワープ動作６０４は、レンズ歪みを考慮するためにデワープ画像を生成し得る。言い換えれば、画像は、３次元空間内の直線が２次元画像内の直線にマッピングされるように、その物理的なレンズ投影から直線投影にデワープされる。出力画像処理パイプライン４１８によって受信された選択された画像のセット４１６内の各画像に対して、第１のデワープ動作６０４ａは、画像対の第１の画像（例えば、第１のカメラ４０４ａによってキャプチャされた画像の第１のサブセット４１６ａのうちの１つ）から第１のデワープ画像を生成し得、第２のデワープ動作６０４ａは、画像対の第２の画像（例えば、第２のカメラ４０４ｂによってキャプチャされた画像の第２のサブセット４１６ｂのうちの１つ）から第２のデワープ画像を生成し得る。第１及び第２のカメラ４０４ａ、４０４ｂが異なる構成（例えば、異なる視野及び／又は異なるレンズ設計）を有する限り、第１及び第２のデワープ動作６０４ａ、６０４ｂは、これらのカメラ間の差異に合わせて調整されてもよい。
【0085】
選択された画像のセット４１６内の各画像対について、位置合わせ動作６０６は、デワープ画像のエピポーラ線が水平方向に位置合わせされるように、デワープ動作６０４によって生成された第１及び第２のデワープ画像を位置合わせし得る。このようにして、変換ユニット６００は、それが受信する各画像対について、（それらが異なる画像平面を有するカメラによってキャプチャされ得る場合であっても）共通の画像平面を有することをエミュレートする変換画像対を生成し得る。これらの変換画像対は、画像生成ユニット６０２を介して出力画像４２０を生成するために使用され得る。
【0086】
図７は、プロセス４００の一部として出力画像４２０のセットを生成するように構成された画像生成ユニット６０２の変形形態を示す。任意選択で、画像生成ユニット６０２は、出力画像４２０のセットに関連付けられたメタデータ４２２を生成するように構成されてもよい。図７に示すように、画像生成ユニット６０２は、静止画像のセットを生成するように構成された静止画像処理ユニット７００と、ビデオをするように構成されたビデオ処理ユニット７０２と、出力画像に関連付けられたメタデータを生成するメタデータ処理ユニット７０４とを含む。所与のメディアキャプチャイベントについて、出力画像処理パイプライン４１８は、写真撮影モードに応じて、出力画像４２０のセットを生成するときに、これらの一部又は全部を使用する。
【0087】
静止画像処理ユニット７００は、変換画像７０１の第１のグループ（変換ユニット６００によって生成された変換画像の一部又は全部であり得る）を受信するように構成され、画像融合動作７０６を適用して、変換画像７０１の第１のグループのうちの２つ以上から１つ以上の融合画像７０８を生成し得る。変換画像７０１が変換画像対のセットを含む場合、画像融合動作７０６は、１つ以上の融合画像対を生成し、１つ以上の融合ステレオ出力画像を形成し得る。これらの事例では、融合画像対の第１の融合画像７０８ａは、第１の画像融合動作７０６ａを変換画像７０１の第１のサブセットに適用することによって生成され得る（例えば、第１のカメラ４０４ａによってキャプチャされた画像４１６ａから全て生成された）。融合画像対の第２の融合画像７０８ｂは、第２の画像融合動作７０６ｂを変換画像７０１（例えば、第２のカメラ４０４ｂによってキャプチャされた画像４１６ｂから全て生成された）の第２のサブセットに適用することによって生成され得る。一般に、画像融合動作は、選択された画像のグループから基準画像を選択するステップと、他の選択された画像からの情報を使用してそのピクセル値の一部又は全部を修正するステップとを含む。画像融合動作７０６は、低減されたノイズ及び／又はより高いダイナミックレンジを有する融合出力画像を生成してもよく、当業者によって容易に理解されるように、任意の好適な画像融合技術を利用してもよい。
【0088】
ビデオ処理ユニット７０２は、変換画像７０３の第２のグループ（変換ユニット６００によって生成された変換画像の一部又は全部であり得る）を受信するように構成され、変換画像７０３の第２のグループに対してビデオ安定化動作７１０を実行して、安定化ビデオ７１２を生成し得る。変換画像の第２のグループ７０３が画像対のセットを含む場合、安定化ビデオ７１２は、画像の第１のセット７１２ａ（例えば、第１のカメラ４０４ａによってキャプチャされた画像４１６ａから生成される）と画像の第２のセット７１２ｂ（例えば、第２のカメラ４０４ｂによってキャプチャされた画像４１６ｂによって生成される）とを含むステレオビデオであり得る。したがって、ビデオ処理ユニット７０２は、ステレオビデオを出力し得る。セット出力画像４２０が融合出力画像とステレオビデオの両方を含む場合、ビデオ処理ユニット７０２は、任意選択で、ビデオ安定化動作７１０の一部として１つ以上の融合画像７０８を利用し得る（例えば、ステレオビデオのフレームを融合ステレオ画像に対して安定化させ得る）。ビデオ安定化動作７１０は、当業者によって容易に理解されるように、任意の好適な電子画像安定化技術を利用し得る。いくつかの事例では、ビデオ安定化動作７１０は、上述したようなコンテキスト情報４２４（例えば、シーン情報、姿勢情報など）を受信し得、それは、ビデオ安定化を実行するのを支援し得る。
【0089】
いくつかの変形形態では、画像生成ユニット６０２は、静止画像処理ユニット７００によって生成された静止画像及び／又はビデオ処理ユニット７０２によって生成されたビデオに追加コンテンツを追加するように構成された追加コンテンツユニット７３０を任意選択で含み得る。例えば、いくつかの事例では、追加コンテンツユニット７３０は、仮想コンテンツ７３２（例えば、１つ以上の仮想オブジェクト）及び／又は他の効果７３４（例えば、フィルタ、スタイル転送動作など）を、画像生成ユニット６０２によって生成された出力画像に適用し得る。
【0090】
メタデータ処理ユニット７０４は、出力画像４２０のセットに関連付けられたメタデータ４２２を生成するように構成される。生成されているメタデータ４２２のタイプに応じて、メタデータ処理ユニット７０４は、画像７０５の第３のグループ（変換ユニット６００によって生成された変換画像、変換ユニット６００によって生成された出力画像、及び／又はプロセス４００の一部としてキャプチャ又は生成された画像のいずれかの一部又は全部を含み得る）を受信し得る。加えて、又は代替として、メタデータ処理ユニット７０４は、メタデータ４２２を生成するために使用され得る、本明細書で説明されるようなコンテキスト情報４２４を受信し得る。
【0091】
いくつかの変形形態では、メタデータ処理ユニット７０４は、出力画像４２０のセットを生成するために使用される画像４１６の選択されたセットをキャプチャするために使用されるカメラのセットに関する視野情報７１４を生成するように構成される。この視野情報７１４は、（例えば、カメラのセットの視野が固定されている場合）固定されていてもよく、（例えば、カメラのセットのうちの１つ以上が可変視野を提供する光学ズーム機能を有する場合）又は動的に決定されてもよい。追加又は代替として、メタデータ処理ユニット７０４は、カメラのセットのカメラ間の１つ以上の分離距離（例えば、第１のカメラ４０４ａと第２のカメラ４０４ｂとの間の分離距離）を表すベースライン情報７１６を生成するように構成される。この場合も、この情報は、固定されていてもよく（例えば、カメラのセットが互いに対して固定ポジションにある場合）、又は動的に決定されてもよい（例えば、カメラのセットのうちの１つ以上が、カメラのセットを収容するデバイスとともに移動可能である場合）。
【0092】
いくつかの事例では、メタデータ処理ユニット７１８は、出力画像のセットに関連付けられた姿勢情報７１８を生成するように構成される。具体的には、姿勢情報７１８は、出力画像の姿勢を記述し得、それによって、出力画像４２０のセットによってキャプチャされたシーンの相対的なポジション及び／又は向きを記述し得る。この情報は、出力画像４２０を生成するために使用された基礎となる画像（例えば、画像４１６の選択されたセット）に関連付けられた姿勢情報４３０を含むか、又はさもなければそれから導出され得る。
【0093】
いくつかの事例では、メタデータ処理ユニット７１８は、ステレオ出力画像のセットのためのデフォルト視差値７２０を設定するように構成される。所与のステレオ画像についてのデフォルト視差値は、ステレオ画像を見るときにステレオ画像の画像が提示される推奨視差（例えば、これらの画像が分離される距離）を表す。ステレオ画像が提示される視差を変更するステップは、ユーザがシーンの深度をどのように知覚するかに影響を与えることになり、したがって、出力画像４２０のセットによってキャプチャされたシーンの異なる部分を強調するために使用され得る。
【0094】
いくつかの事例では、出力画像４２０のセットによってキャプチャされたシーンに基づいてデフォルト視差値のセットを選択するステップが望ましい場合がある。これらの事例では、シーン情報マップ４２８、深度マップ４２６、及び／又は姿勢情報４３０などのコンテキスト情報４２４が、デフォルト視差値のセットを選択するために使用され得る。このコンテキスト情報４２４は、（例えば、出力画像４２０のセットを生成するために使用される選択された画像４１６と同時にキャプチャされた画像又は情報から生成された）出力画像４２０のセットに関連付けられ得る。このコンテキスト情報４２４は、メタデータ処理ユニット７０４が、出力画像４２０のセットによってキャプチャされたシーンの１つ以上の態様（例えば、シーン中の１つ以上のオブジェクトの存在及び／又はロケーション）を決定し、これらの決定に基づいてデフォルト視差値を選択することを可能にし得る。
【0095】
メタデータ処理ユニット７０４によって生成されるメタデータ４２２は、出力画像のセットの画像の全てに適用可能な情報、及び／又は特定の画像若しくは画像対に固有の情報を含み得る。例えば、メタデータ４２２は、出力画像４２０の１つ以上の画像についての姿勢情報７１８を含み得るが、出力画像４２０の全てに適用されるベースライン情報７１６の単一のセットを含み得る。同様に、デフォルト視差値７２０のセットは、出力画像４２０のセットの全ての画像対に適用される単一の値を含んでもよく、又は異なる画像対に対して異なる値を含んでもよい（例えば、第１のステレオ画像は第１のデフォルト視差値を有してもよく、第２のステレオ画像は第２のデフォルト視差値を有してもよい）。
【0096】
前述の記載では、説明のために、記載された実施形態の完全な理解をもたらすために特定の専門用語を用いた。しかしながら、記載された実施形態を実践するために具体的な詳細が必要とされないことは、当業者には明らかであろう。したがって、本明細書に記載された具体的な実施形態の前述の説明は、図示及び説明の目的で提示されている。それらは、網羅的であること、又は開示されたまさにその形態に実施形態を限定することを目的としたものではない。上記の教示を考慮して多くの修正及び変形が可能であることが、当業者には明らかであろう。
【0097】
［項目１］
デバイスであって、
カメラのセットと、
ディスプレイのセットと、
メモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサとを備え、前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
前記カメラのセットを使用して画像ストリームをキャプチャさせ、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成させ、
前記ディスプレイのセットを使用して前記変換画像の第１のセットを表示させ、
キャプチャ要求を受信させ、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成させる命令を実行するように構成され、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、デバイス。
［項目２］
前記ステレオ出力画像のセットを生成するステップが、
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、項目１に記載のデバイス。
［項目３］
前記ステレオ出力画像のセットが、ステレオビデオを含む、項目１に記載のデバイス。
［項目４］
前記ステレオ出力画像のセットを生成するステップが、
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、項目３に記載のデバイス。
［項目５］
前記第１の変換動作がパースペクティブ補正動作である、項目１から４のいずれか一項に記載のデバイス。
［項目６］
前記第２の変換動作が画像修正動作である、項目１から５のいずれか一項に記載のデバイス。
［項目７］
前記ステレオ出力画像のセットを生成するステップが、前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含む、項目１から６のいずれか一項に記載のデバイス。
［項目８］
前記メタデータが、前記カメラのセットの視野情報を含む、項目７に記載のデバイス。
［項目９］
前記メタデータが、前記ステレオ出力画像のセットについての姿勢情報を含む、項目７又は８に記載のデバイス。
［項目１０］
前記メタデータが、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、項目７から９のいずれか一項に記載のデバイス。
［項目１１］
前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップが、前記ステレオ出力画像のセットによってキャプチャされたシーンに基づいて前記デフォルト視差値のセットを選択するステップを含む、項目１０に記載のデバイス。
［項目１２］
方法であって、
デバイスのカメラのセットを使用して、画像ストリームをキャプチャするステップと、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成するステップと、
デバイスのディスプレイのセットにおいて、前記変換画像の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成するステップとを含み、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、方法。
［項目１３］
前記ステレオ出力画像のセットを生成するステップが、
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、項目１２に記載の方法。
［項目１４］
前記ステレオ出力画像のセットが、ステレオビデオを含む、項目１２に記載の方法。
［項目１５］
前記ステレオ出力画像のセットを生成するステップが、
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、項目１４に記載の方法。
［項目１６］
前記第１の変換動作がパースペクティブ補正動作である、項目１２から１５のいずれか一項に記載の方法。
［項目１７］
前記第２の変換動作が画像修正動作である、項目１２から１６のいずれか一項に記載の方法。
［項目１８］
前記ステレオ出力画像のセットを生成するステップが、前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含む、項目１２から１７のいずれか一項に記載の方法。
［項目１９］
前記メタデータが、前記カメラのセットの視野情報を含む、項目１８に記載の方法。
［項目２０］
前記メタデータが、前記ステレオ出力画像のセットの姿勢情報を含む、項目１８又は１９に記載の方法。
［項目２１］
前記メタデータは、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、項目１８から２０のいずれか一項に記載の方法。
［項目２２］
前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップが、前記ステレオ出力画像のセットによってキャプチャされたシーンに基づいて、前記デフォルト視差値のセットを選択するステップを含む、項目２１に記載の方法。
［項目２３］
前記変換画像の第１のセットに仮想コンテンツを追加するステップを含む、項目１２から２２のいずれか一項に記載の方法。
［項目２４］
命令を含む非一時的コンピュータ可読媒体であって、前記命令が、少なくとも１つのコンピューティングデバイスによって実行されると、前記少なくとも１つのコンピューティングデバイスに、項目１２から２３のいずれか一項に記載のステップを含む動作を実行させる、非一時的コンピュータ可読媒体。
［項目２５］
デバイスであって、
第１のカメラ
第２のカメラと、
ディスプレイのセットと、
メモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサとを備え、前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
前記第１のカメラ及び前記第２のカメラを使用してシーンの画像対の第１のセットをキャプチャするステップであって、前記画像対の第１のセットの各画像対が、
前記第１のカメラによってキャプチャされた第１の画像と、
前記第２のカメラによってキャプチャされた第２の画像とを含む、キャプチャするステップと、
前記画像対の第１のセットから変換画像対の第１のセットを生成するステップであって、前記変換画像対の第１のセットを生成するステップが、前記画像対の第１のセットの各画像対について、
前記第１のカメラの視点とユーザの視点との差に基づいて、前記第１の画像から第１のパースペクティブ補正済み画像を生成するステップと、
前記第２のカメラの視点と前記ユーザの視点との間の差に基づいて、前記第２の画像から第２のパースペクティブ補正済み画像を生成するステップとを含む、生成するステップと、
前記ディスプレイのセット上に、前記変換画像対の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、前記画像対の第１のセットから画像対の第２のセットを選択するステップと、
前記画像対の第２のセットから変換画像対の第２のセットを生成するステップであって、前記変換画像対の第２のセットを生成するステップが、前記画像対の第１のセットの各画像対について、
前記第１の画像から第１のデワープ画像を生成するステップと、
第２の第１の画像から第２のデワープ画像を生成するステップと、
前記第１及び第２のデワープ画像を位置合わせするステップとを含む、生成するステップと、
前記変換画像対の第２のセットを使用して出力画像のセットを生成するステップとを実行させる、デバイス。
［項目２６］
前記出力画像のセットを生成するステップが、
前記変換画像対の第２のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、項目２５に記載のデバイス。
［項目２７］
前記出力画像のセットが、前記変換画像対の第２のセットから形成されたステレオビデオを含む、項目２５に記載のデバイス。
［項目２８］
前記出力画像のセットを生成するステップが、
前記変換画像対の第２のセットに対してビデオ安定化動作を実行するステップを含む、項目２７に記載のデバイス。
［項目２９］
前記出力画像のセットを生成するステップが、前記出力画像のセットに関連付けられたメタデータを生成するステップを含む、項目２５から２８のいずれか一項に記載のデバイス。
［項目３０］
前記メタデータが、前記第１のカメラ又は前記第２のカメラのうちの少なくとも１つの視野情報を含む、項目２９に記載のデバイス。
［項目３１］
前記メタデータが、前記出力画像のセットについての姿勢情報を含む、項目２９又は項目３０に記載のデバイス。
［項目３２］
前記出力画像のセットが、ステレオ画像のセットを含み、
前記メタデータが、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、項目２９から３１のいずれか一項に記載のデバイス。
［項目３３］
前記出力画像のセットに関連付けられたメタデータを生成するステップが、前記出力画像のセットによってキャプチャされた前記シーンに基づいて前記デフォルト視差値のセットを選択するステップを含む、項目３２に記載のデバイス。
［項目３４］
前記プロセッサが、前記変換画像対の第１のセットに仮想コンテンツを追加するように構成される、項目２５から３３のいずれか一項に記載のデバイス。
［項目３５］
方法であって、
デバイスの第１のカメラ及び第２のカメラを使用して、シーンの画像対の第１のセットをキャプチャするステップであって、前記画像対の第１のセットの各画像対が、
前記第１のカメラによってキャプチャされた第１の画像と、
前記第２のカメラによってキャプチャされた第２の画像とを含む、キャプチャするステップと、
前記画像対の第１のセットから変換画像対の第１のセットを生成するステップであって、前記変換画像対の第１のセットを生成するステップが、前記画像対の第１のセットの各画像対について、
前記第１のカメラの視点とユーザの視点との差に基づいて、前記第１の画像から第１のパースペクティブ補正済み画像を生成するステップと、
前記第２のカメラの視点と前記ユーザの視点との間の差に基づいて、前記第１の画像から第２のパースペクティブ補正済み画像を生成するステップとを含む、生成するステップと、
前記デバイスのディスプレイのセット上に、前記変換画像対の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、前記画像対の第１のセットから画像対の第２のセットを選択するステップと、
前記画像対の第２のセットから変換画像対の第２のセットを生成するステップであって、前記画像対の第１のセットの各画像対について、
前記第１の画像から第１のデワープ画像を生成するステップと、
第２の第１の画像から第２のデワープ画像を生成するステップと、
前記第１及び第２のデワープ画像を位置合わせするステップとを含む、生成するステップと、
前記変換画像対の第２のセットを使用して出力画像のセットを生成するステップとを含む、方法。
［項目３６］
前記出力画像のセットを生成するステップが、
前記変換画像対の第２のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、項目３５に記載の方法。
［項目３７］
前記出力画像のセットが、前記変換画像対の第２のセットから形成されるステレオビデオを含む、項目３５に記載の方法。
［項目３８］
前記出力画像のセットを生成するステップが、
前記変換画像対の第２のセットに対してビデオ安定化動作を実行するステップを含む、項目３７に記載の方法。
［項目３９］
前記出力画像のセットを生成するステップが、前記出力画像のセットに関連付けられたメタデータを生成するステップを含む、項目３５から３８のいずれか一項に記載の方法。
［項目４０］
前記メタデータが、前記第１のカメラ又は前記第２のカメラのうちの少なくとも１つの視野情報を含む、項目３９に記載の方法。
［項目４１］
前記メタデータが、前記出力画像のセットについての姿勢情報を含む、項目３９又は４０に記載の方法。
［項目４２］
前記出力画像のセットが、ステレオ画像のセットを含み、
前記メタデータが、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、項目３９から４１のいずれか一項に記載の方法。
［項目４３］
前記出力画像のセットに関連付けられたメタデータを生成するステップが、前記出力画像のセットによってキャプチャされた前記シーンに基づいて前記デフォルト視差値のセットを選択するステップを含む、項目４２に記載の方法。
［項目４４］
前記変換画像対の第１のセットに仮想コンテンツを追加するステップを含む、項目３５から４３のいずれか一項に記載の方法。
［項目４５］
命令を含む非一時的コンピュータ可読媒体であって、前記命令が、少なくとも１つのコンピューティングデバイスによって実行されると、前記少なくとも１つのコンピューティングデバイスに、項目３５から４４のいずれか一項に記載のステップを含む動作を実行させる、非一時的コンピュータ可読媒体。
デバイスであって、
カメラのセットと、
ディスプレイのセットと、
メモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサとを備え、前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
前記カメラのセットを使用して画像ストリームをキャプチャさせ、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成させ、
前記ディスプレイのセットを使用して前記変換画像の第１のセットを表示させ、
キャプチャ要求を受信させ、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成させる命令を実行するように構成され、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、デバイス。
［項目２］
前記ステレオ出力画像のセットを生成するステップが、
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、項目１に記載のデバイス。
［項目３］
前記ステレオ出力画像のセットが、ステレオビデオを含む、項目１に記載のデバイス。
［項目４］
前記ステレオ出力画像のセットを生成するステップが、
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、項目３に記載のデバイス。
［項目５］
前記第１の変換動作がパースペクティブ補正動作である、項目１から４のいずれか一項に記載のデバイス。
［項目６］
前記第２の変換動作が画像修正動作である、項目１から５のいずれか一項に記載のデバイス。
［項目７］
前記ステレオ出力画像のセットを生成するステップが、前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含む、項目１から６のいずれか一項に記載のデバイス。
［項目８］
前記メタデータが、前記カメラのセットの視野情報を含む、項目７に記載のデバイス。
［項目９］
前記メタデータが、前記ステレオ出力画像のセットについての姿勢情報を含む、項目７又は８に記載のデバイス。
［項目１０］
前記メタデータが、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、項目７から９のいずれか一項に記載のデバイス。
［項目１１］
前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップが、前記ステレオ出力画像のセットによってキャプチャされたシーンに基づいて前記デフォルト視差値のセットを選択するステップを含む、項目１０に記載のデバイス。
［項目１２］
方法であって、
デバイスのカメラのセットを使用して、画像ストリームをキャプチャするステップと、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成するステップと、
デバイスのディスプレイのセットにおいて、前記変換画像の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成するステップとを含み、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、方法。
［項目１３］
前記ステレオ出力画像のセットを生成するステップが、
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、項目１２に記載の方法。
［項目１４］
前記ステレオ出力画像のセットが、ステレオビデオを含む、項目１２に記載の方法。
［項目１５］
前記ステレオ出力画像のセットを生成するステップが、
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、項目１４に記載の方法。
［項目１６］
前記第１の変換動作がパースペクティブ補正動作である、項目１２から１５のいずれか一項に記載の方法。
［項目１７］
前記第２の変換動作が画像修正動作である、項目１２から１６のいずれか一項に記載の方法。
［項目１８］
前記ステレオ出力画像のセットを生成するステップが、前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含む、項目１２から１７のいずれか一項に記載の方法。
［項目１９］
前記メタデータが、前記カメラのセットの視野情報を含む、項目１８に記載の方法。
［項目２０］
前記メタデータが、前記ステレオ出力画像のセットの姿勢情報を含む、項目１８又は１９に記載の方法。
［項目２１］
前記メタデータは、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、項目１８から２０のいずれか一項に記載の方法。
［項目２２］
前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップが、前記ステレオ出力画像のセットによってキャプチャされたシーンに基づいて、前記デフォルト視差値のセットを選択するステップを含む、項目２１に記載の方法。
［項目２３］
前記変換画像の第１のセットに仮想コンテンツを追加するステップを含む、項目１２から２２のいずれか一項に記載の方法。
［項目２４］
命令を含む非一時的コンピュータ可読媒体であって、前記命令が、少なくとも１つのコンピューティングデバイスによって実行されると、前記少なくとも１つのコンピューティングデバイスに、項目１２から２３のいずれか一項に記載のステップを含む動作を実行させる、非一時的コンピュータ可読媒体。
［項目２５］
デバイスであって、
第１のカメラ
第２のカメラと、
ディスプレイのセットと、
メモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサとを備え、前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
前記第１のカメラ及び前記第２のカメラを使用してシーンの画像対の第１のセットをキャプチャするステップであって、前記画像対の第１のセットの各画像対が、
前記第１のカメラによってキャプチャされた第１の画像と、
前記第２のカメラによってキャプチャされた第２の画像とを含む、キャプチャするステップと、
前記画像対の第１のセットから変換画像対の第１のセットを生成するステップであって、前記変換画像対の第１のセットを生成するステップが、前記画像対の第１のセットの各画像対について、
前記第１のカメラの視点とユーザの視点との差に基づいて、前記第１の画像から第１のパースペクティブ補正済み画像を生成するステップと、
前記第２のカメラの視点と前記ユーザの視点との間の差に基づいて、前記第２の画像から第２のパースペクティブ補正済み画像を生成するステップとを含む、生成するステップと、
前記ディスプレイのセット上に、前記変換画像対の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、前記画像対の第１のセットから画像対の第２のセットを選択するステップと、
前記画像対の第２のセットから変換画像対の第２のセットを生成するステップであって、前記変換画像対の第２のセットを生成するステップが、前記画像対の第１のセットの各画像対について、
前記第１の画像から第１のデワープ画像を生成するステップと、
第２の第１の画像から第２のデワープ画像を生成するステップと、
前記第１及び第２のデワープ画像を位置合わせするステップとを含む、生成するステップと、
前記変換画像対の第２のセットを使用して出力画像のセットを生成するステップとを実行させる、デバイス。
［項目２６］
前記出力画像のセットを生成するステップが、
前記変換画像対の第２のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、項目２５に記載のデバイス。
［項目２７］
前記出力画像のセットが、前記変換画像対の第２のセットから形成されたステレオビデオを含む、項目２５に記載のデバイス。
［項目２８］
前記出力画像のセットを生成するステップが、
前記変換画像対の第２のセットに対してビデオ安定化動作を実行するステップを含む、項目２７に記載のデバイス。
［項目２９］
前記出力画像のセットを生成するステップが、前記出力画像のセットに関連付けられたメタデータを生成するステップを含む、項目２５から２８のいずれか一項に記載のデバイス。
［項目３０］
前記メタデータが、前記第１のカメラ又は前記第２のカメラのうちの少なくとも１つの視野情報を含む、項目２９に記載のデバイス。
［項目３１］
前記メタデータが、前記出力画像のセットについての姿勢情報を含む、項目２９又は項目３０に記載のデバイス。
［項目３２］
前記出力画像のセットが、ステレオ画像のセットを含み、
前記メタデータが、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、項目２９から３１のいずれか一項に記載のデバイス。
［項目３３］
前記出力画像のセットに関連付けられたメタデータを生成するステップが、前記出力画像のセットによってキャプチャされた前記シーンに基づいて前記デフォルト視差値のセットを選択するステップを含む、項目３２に記載のデバイス。
［項目３４］
前記プロセッサが、前記変換画像対の第１のセットに仮想コンテンツを追加するように構成される、項目２５から３３のいずれか一項に記載のデバイス。
［項目３５］
方法であって、
デバイスの第１のカメラ及び第２のカメラを使用して、シーンの画像対の第１のセットをキャプチャするステップであって、前記画像対の第１のセットの各画像対が、
前記第１のカメラによってキャプチャされた第１の画像と、
前記第２のカメラによってキャプチャされた第２の画像とを含む、キャプチャするステップと、
前記画像対の第１のセットから変換画像対の第１のセットを生成するステップであって、前記変換画像対の第１のセットを生成するステップが、前記画像対の第１のセットの各画像対について、
前記第１のカメラの視点とユーザの視点との差に基づいて、前記第１の画像から第１のパースペクティブ補正済み画像を生成するステップと、
前記第２のカメラの視点と前記ユーザの視点との間の差に基づいて、前記第１の画像から第２のパースペクティブ補正済み画像を生成するステップとを含む、生成するステップと、
前記デバイスのディスプレイのセット上に、前記変換画像対の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、前記画像対の第１のセットから画像対の第２のセットを選択するステップと、
前記画像対の第２のセットから変換画像対の第２のセットを生成するステップであって、前記画像対の第１のセットの各画像対について、
前記第１の画像から第１のデワープ画像を生成するステップと、
第２の第１の画像から第２のデワープ画像を生成するステップと、
前記第１及び第２のデワープ画像を位置合わせするステップとを含む、生成するステップと、
前記変換画像対の第２のセットを使用して出力画像のセットを生成するステップとを含む、方法。
［項目３６］
前記出力画像のセットを生成するステップが、
前記変換画像対の第２のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、項目３５に記載の方法。
［項目３７］
前記出力画像のセットが、前記変換画像対の第２のセットから形成されるステレオビデオを含む、項目３５に記載の方法。
［項目３８］
前記出力画像のセットを生成するステップが、
前記変換画像対の第２のセットに対してビデオ安定化動作を実行するステップを含む、項目３７に記載の方法。
［項目３９］
前記出力画像のセットを生成するステップが、前記出力画像のセットに関連付けられたメタデータを生成するステップを含む、項目３５から３８のいずれか一項に記載の方法。
［項目４０］
前記メタデータが、前記第１のカメラ又は前記第２のカメラのうちの少なくとも１つの視野情報を含む、項目３９に記載の方法。
［項目４１］
前記メタデータが、前記出力画像のセットについての姿勢情報を含む、項目３９又は４０に記載の方法。
［項目４２］
前記出力画像のセットが、ステレオ画像のセットを含み、
前記メタデータが、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、項目３９から４１のいずれか一項に記載の方法。
［項目４３］
前記出力画像のセットに関連付けられたメタデータを生成するステップが、前記出力画像のセットによってキャプチャされた前記シーンに基づいて前記デフォルト視差値のセットを選択するステップを含む、項目４２に記載の方法。
［項目４４］
前記変換画像対の第１のセットに仮想コンテンツを追加するステップを含む、項目３５から４３のいずれか一項に記載の方法。
［項目４５］
命令を含む非一時的コンピュータ可読媒体であって、前記命令が、少なくとも１つのコンピューティングデバイスによって実行されると、前記少なくとも１つのコンピューティングデバイスに、項目３５から４４のいずれか一項に記載のステップを含む動作を実行させる、非一時的コンピュータ可読媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2024-07-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
デバイスであって、
カメラのセットと、
ディスプレイのセットと、
メモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサとを備え、前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
前記カメラのセットを使用して画像ストリームをキャプチャさせ、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成させ、
前記ディスプレイのセットを使用して前記変換画像の第１のセットを表示させ、
キャプチャ要求を受信させ、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成させる命令を実行するように構成され、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、デバイス。
カメラのセットと、
ディスプレイのセットと、
メモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサとを備え、前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
前記カメラのセットを使用して画像ストリームをキャプチャさせ、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成させ、
前記ディスプレイのセットを使用して前記変換画像の第１のセットを表示させ、
キャプチャ要求を受信させ、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成させる命令を実行するように構成され、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、デバイス。
【請求項2】
前記ステレオ出力画像のセットを生成するステップが、
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、請求項１に記載のデバイス。
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、請求項１に記載のデバイス。
【請求項3】
前記ステレオ出力画像のセットが、ステレオビデオを含む、請求項１に記載のデバイス。
【請求項4】
前記ステレオ出力画像のセットを生成するステップが、
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、請求項３に記載のデバイス。
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、請求項３に記載のデバイス。
【請求項5】
前記第１の変換動作がパースペクティブ補正動作である、請求項１から４のいずれか一項に記載のデバイス。
【請求項6】
前記第２の変換動作が画像修正動作である、請求項１から４のいずれか一項に記載のデバイス。
【請求項7】
前記ステレオ出力画像のセットを生成するステップが、前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップを含む、請求項１から４のいずれか一項に記載のデバイス。
【請求項8】
前記メタデータが、前記カメラのセットの視野情報を含む、請求項７に記載のデバイス。
【請求項9】
前記メタデータが、前記ステレオ出力画像のセットについての姿勢情報を含む、請求項７に記載のデバイス。
【請求項10】
前記メタデータが、前記ステレオ出力画像のセットに対するデフォルト視差値のセットを含む、請求項７に記載のデバイス。
【請求項11】
前記ステレオ出力画像のセットに関連付けられたメタデータを生成するステップが、前記ステレオ出力画像のセットによってキャプチャされたシーンに基づいて前記デフォルト視差値のセットを選択するステップを含む、請求項１０に記載のデバイス。
【請求項12】
方法であって、
デバイスのカメラのセットを使用して、画像ストリームをキャプチャするステップと、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成するステップと、
デバイスのディスプレイのセットにおいて、前記変換画像の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成するステップとを含み、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、方法。
デバイスのカメラのセットを使用して、画像ストリームをキャプチャするステップと、
前記画像ストリームの画像に第１の変換動作を適用することによって、前記画像ストリームから変換画像の第１のセットを生成するステップと、
デバイスのディスプレイのセットにおいて、前記変換画像の第１のセットを表示するステップと、
キャプチャ要求を受信するステップと、
前記キャプチャ要求を受信したことに応答して、ステレオ出力画像のセットを生成するステップとを含み、前記ステレオ出力画像のセットを生成するステップが、
前記画像ストリームから画像のセットを選択するステップと、
前記第１の変換動作とは異なる第２の変換動作を前記画像のセットに適用することによって、前記画像のセットから変換画像の第２のセットを生成するステップと、
前記変換画像の第２のセットを使用して、前記ステレオ出力画像のセットを生成するステップとを含む、方法。
【請求項13】
前記ステレオ出力画像のセットを生成するステップが、
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、請求項１２に記載の方法。
前記画像のセットのうちの２つ以上の画像対から融合ステレオ出力画像を生成するステップを含む、請求項１２に記載の方法。
【請求項14】
前記ステレオ出力画像のセットが、ステレオビデオを含む、請求項１２に記載の方法。
【請求項15】
前記ステレオ出力画像のセットを生成するステップが、
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、請求項１４に記載の方法。
前記変換画像の第２のセットに対してビデオ安定化動作を実行するステップを含む、請求項１４に記載の方法。
【外国語明細書】