特表 2024-516425 広いベースラインのパノラマの間の中間ビューの合成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-15

(54)【発明の名称】広いベースラインのパノラマの間の中間ビューの合成

(51)【国際特許分類】

   G06T 3/00 20240101AFI20240408BHJP

   G06T 3/073 20240101ALI20240408BHJP

   G06T 5/77 20240101ALI20240408BHJP

   G06T 7/00 20170101ALI20240408BHJP

   G06T 7/593 20170101ALI20240408BHJP

   G06T 19/00 20110101ALI20240408BHJP

   H04N 13/261 20180101ALI20240408BHJP

【ＦＩ】

G06T3/00 780

G06T3/073

G06T5/77

G06T7/00 350C

G06T7/593

G06T19/00 A

H04N13/261

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023566836

(86)(22)【出願日】2021-04-30

(85)【翻訳文提出日】2023-12-05

(86)【国際出願番号】 CN2021091683

(87)【国際公開番号】W WO2022227068

(87)【国際公開日】2022-11-03

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ジャン，インダ

(72)【発明者】

【氏名】ドゥ，ルオフェイ

(72)【発明者】

【氏名】リ，デイビッド

(72)【発明者】

【氏名】タン，ダンハン

【テーマコード（参考）】

5B050

5B057

5L096

【Ｆターム（参考）】

5B050AA00

5B050BA04

5B050DA01

5B050EA07

5B050FA02

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB13

5B057CB16

5B057CC01

5B057CD14

5B057CE10

5B057DA16

5B057DB02

5B057DB03

5B057DB06

5B057DB09

5B057DC05

5B057DC40

5L096AA02

5L096AA06

5L096AA09

5L096CA04

5L096DA01

5L096DA02

5L096FA09

5L096GA02

5L096GA05

5L096GA06

5L096HA01

5L096HA11

5L096KA04

(57)【要約】

時間間隔をおいて取り込まれている第１のパノラマ画像と第２のパノラマ画像とに関連するステレオ深度を予測するステップと、第１のパノラマ画像と第１のパノラマ画像に対応するステレオ深度とに基づいて、第１のメッシュ表現を生成するステップと、第２のパノラマ画像と第２のパノラマ画像に対応するステレオ深度とに基づいて、第２のメッシュ表現を生成するステップと、第１のメッシュ表現を第２のメッシュ表現と融合させることに基づいて第３のパノラマ画像を合成するステップとを含む方法。

【特許請求の範囲】

【請求項1】

時間間隔をおいて取り込まれている第１のパノラマ画像と第２のパノラマ画像とに関連するステレオ深度を予測するステップと、
前記第１のパノラマ画像と前記第１のパノラマ画像に対応するステレオ深度とに基づいて、第１のメッシュ表現を生成するステップと、
前記第２のパノラマ画像と前記第２のパノラマ画像に対応するステレオ深度とに基づいて、第２のメッシュ表現を生成するステップと、
前記第１のメッシュ表現を前記第２のメッシュ表現と融合させることに基づいて第３のパノラマ画像を合成するステップと
を含む方法。

【請求項2】

前記第１のパノラマ画像および前記第２のパノラマ画像は、３６０度の、広いベースラインの正距円筒図法（ＥＲＰ）のパノラマである、請求項１に記載の方法。

【請求項3】

前記ステレオ深度を予測する前記ステップは、前記第１のパノラマ画像および前記第２のパノラマ画像ならびに少なくとも１つの目標位置に基づき、球面掃引コストボリュームを使用して、前記第１のパノラマ画像および前記第２のパノラマ画像の各々の深度を推定する、請求項１に記載の方法。

【請求項4】

前記ステレオ深度を予測する前記ステップは、前記第１のパノラマ画像に関連した第１の特徴マップと、前記第２のパノラマ画像とに基づいて、低解像度深度を推定し、
前記ステレオ深度を予測する前記ステップは、前記第１の特徴マップと、前記第１のパノラマ画像に関連した第２の特徴マップとに基づいて、高解像度深度を推定する、
請求項１に記載の方法。

【請求項5】

前記第１のメッシュ表現を生成する前記ステップは、前記第１のパノラマ画像と、前記第１のパノラマ画像に対応する前記ステレオ深度に基づいて判定される不連続性とに基づき、
前記第２のメッシュ表現を生成する前記ステップは、前記第２のパノラマ画像と、前記第２のパノラマ画像に対応する前記ステレオ深度に基づいて判定される不連続性とに基づく、
請求項１に記載の方法。

【請求項6】

前記第１のメッシュ表現を生成する前記ステップは、第１の目標位置に基づいて前記第１のメッシュ表現を第１の３６０度のパノラマへとレンダリングするステップを含み、
前記第２のメッシュ表現を生成する前記ステップは、第２の目標位置に基づいて前記第２のメッシュ表現を第１の３６０度のパノラマへとレンダリングするステップを含み、
前記第１の目標位置および前記第２の目標位置は、前記第１のパノラマ画像の前記取込みと前記第２のパノラマ画像の前記取込みとの間の前記時間間隔に基づく、
請求項１に記載の方法。

【請求項7】

前記第３のパノラマ画像を合成する前記ステップは、前記第１のメッシュ表現を前記第２のメッシュ表現と融合させるステップと、
前記第１のメッシュ表現と前記第２のメッシュ表現との間の両義性を解消するステップと、
前記合成されている第３のパノラマ画像における穴をインペイントするステップと
を含む、請求項１に記載の方法。

【請求項8】

前記第３のパノラマ画像を合成する前記ステップは、前記第１のパノラマ画像に対応する前記ステレオ深度における負の領域に基づいて前記第１のメッシュ表現における穴を識別し、前記第２のパノラマ画像に対応する前記ステレオ深度における負の領域に基づいて前記第２のメッシュ表現における穴を識別するために、２値の視認性マスクを生成するステップを含む、請求項１に記載の方法。

【請求項9】

前記第３のパノラマ画像を合成する前記ステップは、訓練済みニューラルネットワークを使用するステップを含み、
前記訓練済みニューラルネットワークは、各畳み込み層において循環パディングを使用して、前記第３のパノラマ画像の左右の縁部を結合する、
請求項１に記載の方法。

【請求項10】

時間間隔をおいて取り込まれている第１のパノラマ画像と第２のパノラマ画像とに関連するステレオ深度を予測するように構成されている深度予測器と、
前記第１のパノラマ画像と前記第１のパノラマ画像に対応するステレオ深度とに基づいて、第１のメッシュ表現を生成するように構成されている第１の差分メッシュレンダラと、
前記第２のパノラマ画像と前記第２のパノラマ画像に対応するステレオ深度とに基づいて、第２のメッシュ表現を生成するように構成されている第２の差分メッシュレンダラと、
前記第１のメッシュ表現を前記第２のメッシュ表現と融合させることに基づいて第３のパノラマ画像を合成するように構成されている融合ネットワークと
を備えるシステム。

【請求項11】

前記第１のパノラマ画像および前記第２のパノラマ画像は、３６０度の、広いベースラインの正距円筒図法（ＥＲＰ）のパノラマである、請求項１０に記載のシステム。

【請求項12】

前記ステレオ深度を前記予測することは、前記第１のパノラマ画像および前記第２のパノラマ画像ならびに少なくとも１つの目標位置に基づき、球面掃引コストボリュームを使用して、前記第１のパノラマ画像および前記第２のパノラマ画像の各々の深度を推定する、請求項１０に記載のシステム。

【請求項13】

前記ステレオ深度を前記予測することは、前記第１のパノラマ画像に関連した第１の特徴マップと、前記第２のパノラマ画像とに基づいて、低解像度深度を推定し、
前記ステレオ深度を前記予測することは、前記第１の特徴マップと、前記第１のパノラマ画像に関連した第２の特徴マップとに基づいて、高解像度深度を推定する、
請求項１０に記載のシステム。

【請求項14】

前記第１のメッシュ表現を前記生成することは、前記第１のパノラマ画像と、前記第１のパノラマ画像に対応する前記ステレオ深度に基づいて判定される不連続性とに基づき、
前記第２のメッシュ表現を前記生成することは、前記第２のパノラマ画像と、前記第２のパノラマ画像に対応する前記ステレオ深度に基づいて判定される不連続性とに基づく、
請求項１０に記載のシステム。

【請求項15】

前記第１のメッシュ表現を前記生成することは、第１の目標位置に基づいて前記第１のメッシュ表現を第１の３６０度のパノラマへとレンダリングすることを含み、
前記第２のメッシュ表現を前記生成することは、第２の目標位置に基づいて前記第２のメッシュ表現を第１の３６０度のパノラマへとレンダリングすることを含み、
前記第１の目標位置および前記第２の目標位置は、前記第１のパノラマ画像の前記取込みと前記第２のパノラマ画像の前記取込みとの間の前記時間間隔に基づく、
請求項１０に記載のシステム。

【請求項16】

前記第３のパノラマ画像を前記合成することは、前記第１のメッシュ表現を前記第２のメッシュ表現と融合させることと、
前記第１のメッシュ表現と前記第２のメッシュ表現との間の両義性を解消することと、
前記合成されている第３のパノラマ画像における穴をインペイントすることと
を含む、請求項１０に記載のシステム。

【請求項17】

前記第３のパノラマ画像を前記合成することは、前記第１のパノラマ画像に対応する前記ステレオ深度における負の領域に基づいて前記第１のメッシュ表現における穴を識別し、前記第２のパノラマ画像に対応する前記ステレオ深度における負の領域に基づいて前記第２のメッシュ表現における穴を識別するために、２値の視認性マスクを生成することを含む、請求項１０に記載のシステム。

【請求項18】

前記第３のパノラマ画像を前記合成することは、訓練済みニューラルネットワークを使用することを含み、
前記訓練済みニューラルネットワークは、各畳み込み層において循環パディングを使用して、前記第３のパノラマ画像の左右の縁部を結合する、
請求項１０に記載のシステム。

【請求項19】

命令を記憶している非一時的コンピュータ可読記憶媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されると、コンピュータシステムに、
第１のパノラマ画像の取込みと第２のパノラマ画像の取込みとの間の時間間隔で取り込まれている、３６０度の、広いベースラインの正距円筒図法（ＥＲＰ）のパノラマである、前記第１のパノラマ画像および前記第２のパノラマ画像に関連するステレオ深度を予測することと、
前記第１のパノラマ画像と前記第１のパノラマ画像に対応するステレオ深度とに基づいて、第１のメッシュ表現を生成することと、
前記第２のパノラマ画像と前記第２のパノラマ画像に対応するステレオ深度とに基づいて、第２のメッシュ表現を生成することと、
前記第１のメッシュ表現を前記第２のメッシュ表現と融合させることに基づいて第３のパノラマ画像を合成することと
を行わせるように構成されている、非一時的コンピュータ可読記憶媒体。

【請求項20】

前記第１のメッシュ表現を前記生成することは、第１の目標位置に基づいて前記第１のメッシュ表現を第１の３６０度のパノラマへとレンダリングすることを含み、
前記第２のメッシュ表現を前記生成することは、第２の目標位置に基づいて前記第２のメッシュ表現を第１の３６０度のパノラマへとレンダリングすることを含み、
前記第１の目標位置および前記第２の目標位置は、前記第１のパノラマ画像の前記取込みと前記第２のパノラマ画像の前記取込みとの間の前記時間間隔に基づく、
請求項１９に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

分野
実施形態はパノラマ画像合成に関する。

【背景技術】

【0002】

背景
画像合成、パノラマ画像合成、ビュー合成、フレーム合成、および／または同類のものは、少なくとも１つの既存の画像および／またはフレームに基づいて画像を生成することを含み得る。たとえば、フレーム合成は、連続する２つの隣接フレームの間で１つまたは複数のフレームを合成することによって映像のフレームレートを増加させることを含み得る。

【発明の概要】

【0003】

概要
全般的な態様において、デバイス、システム、非一時的コンピュータ可読媒体（コンピュータシステム上で実行され得るコンピュータ実行可能プログラムコードを記憶している）、および／または方法は、処理を実行することができ、方法は、時間間隔をおいて取り込まれている第１のパノラマ画像と第２のパノラマ画像とに関連するステレオ深度を予測するステップと、第１のパノラマ画像と第１のパノラマ画像に対応するステレオ深度とに基づいて、第１のメッシュ表現を生成するステップと、第２のパノラマ画像と第２のパノラマ画像に対応するステレオ深度とに基づいて、第２のメッシュ表現を生成するステップと、第１のメッシュ表現を第２のメッシュ表現と融合させることに基づいて第３のパノラマ画像を合成するステップとを含む。

【0004】

実装形態は、以下の特徴のうち１つまたは複数を含み得る。たとえば、第１のパノラマ画像および第２のパノラマ画像は、３６０度の、広いベースラインの正距円筒図法（ＥＲＰ）のパノラマであり得る。ステレオ深度を予測するステップは、第１のパノラマ画像および第２のパノラマ画像ならびに少なくとも１つの目標位置に基づき、球面掃引コストボリュームを使用して、第１のパノラマ画像および第２のパノラマ画像の各々の深度を推定することができる。ステレオ深度を予測するステップは、第１のパノラマ画像に関連した第１の特徴マップと、第２のパノラマ画像とに基づいて、低解像度深度を推定することができ、ステレオ深度を予測するステップは、第１の特徴マップと、第１のパノラマ画像に関連した第２の特徴マップとに基づいて、高解像度深度を推定することができる。第１のメッシュ表現を生成するステップは、第１のパノラマ画像と、第１のパノラマ画像に対応するステレオ深度に基づいて判定される不連続性とに基づき得、第２のメッシュ表現を生成するステップは、第２のパノラマ画像と、第２のパノラマ画像に対応するステレオ深度に基づいて判定される不連続性とに基づき得る。

【0005】

第１のメッシュ表現を生成するステップは、第１の目標位置に基づいて第１のメッシュ表現を第１の３６０度のパノラマへとレンダリングするステップを含み得、第２のメッシュ表現を生成するステップは、第２の目標位置に基づいて第２のメッシュ表現を第１の３６０度のパノラマへとレンダリングするステップを含み得、第１の目標位置および第２の目標位置は、第１のパノラマ画像の取込みと第２のパノラマ画像の取込みとの間の時間間隔に基づき得る。第３のパノラマ画像を合成するステップは、第１のメッシュ表現を第２のメッシュ表現と融合させるステップと、第１のメッシュ表現と第２のメッシュ表現との間の両義性を解消するステップと、合成されている第３のパノラマ画像の穴をインペイントするステップとを含み得る。第３のパノラマ画像を合成するステップは、第１のパノラマ画像に対応するステレオ深度における負の領域に基づいて第１のメッシュ表現における穴を識別し、また、第２のパノラマ画像に対応するステレオ深度における負の領域に基づいて第２のメッシュ表現における穴を識別するために、２値の視認性マスクを生成するステップを含むことができる。第３のパノラマ画像を合成するステップは、訓練済みニューラルネットワークを使用するステップを含み得、訓練済みニューラルネットワークは、各畳み込み層において循環パディングを使用して、第３のパノラマ画像の左右の縁部を結合することができる。

【0006】

例示の実施形態は、本明細書で以下に示される詳細な説明および添付図面から、より十分に理解されるはずであり、添付図面では、類似の要素は類似の参照数字によって表され、これらは、解説のためにのみ示されており、したがって例示の実施形態を限定するものではない。

【図面の簡単な説明】

【0007】

【図1A】パノラマ画像の取込みシーケンスを示す図である。

【図1B】取り込まれているパノラマ画像に基づく３６０度の映像の一部を示す図である。

【図1C】例示の一実施形態による、パノラマ画像合成の流れのブロック図である。

【図2】例示の一実施形態による、パノラマ画像合成の流れのブロック図である。

【図3】例示の一実施形態による、深度を予測するための流れのブロック図である。

【図4A】例示の一実施形態による、深度を予測するためのモデルを訓練するための流れのブロック図である。

【図4B】例示の一実施形態による、パノラマ画像融合のためのモデルを訓練するための流れのブロック図である。

【図5】例示の一実施形態による、パノラマ画像シーケンスを生成するための方法のブロック図である。

【図6】例示の一実施形態による、パノラマ画像を合成するための方法のブロック図である。

【図7】例示の一実施形態による、深度を予測するための方法のブロック図である。

【図8】例示の一実施形態による、深度を予測するためのモデルを訓練するための方法のブロック図である。

【図9】例示の一実施形態による、パノラマ画像融合のためのモデルを訓練するための方法のブロック図である。

【図10】少なくとも１つの例示の実施形態によるコンピューティングシステムのブロック図である。

【図11】少なくとも１つの例示の実施形態による、コンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。

【発明を実施するための形態】

【0008】

これらの図は、ある特定の例示の実施形態において利用される方法、構造、および／または材料の一般的な特性を示すとともに、以下に記述される説明を補足することを意図するものであることに留意されたい。しかしながら、これらの図面は原寸に比例せず、いかなる所与の実施形態の正確な構造特性または性能特性も正確には反映し得ないので、例示の実施形態によって包含される値または特性の範囲を規定したり限定したりするものと解釈されるべきではない。たとえば、要素、層、領域、および／または構造要素の相対的な厚さおよび位置は、明瞭さのために縮小または誇張されていることがある。様々な図面における類似の参照番号または同一の参照番号の使用は、類似または同一の要素または特徴の存在を指示するように意図されている。

【0009】

詳細な説明
３６０度の画像、画像シーケンス、映像、および／または同類のものを表示することができる３６０度カメラおよびディスプレイ（たとえば仮想現実ヘッドセット）の最近の進歩により、観光客、賃借人、写真家、および／または同類の人の、コンピューティングプラットフォーム上に３６０度の画像を取り込むかまたは探索することに対する興味が増進している。これらのプラットフォームによって、パノラマの間を内挿することにより、ユーザは、仮想的に、都市を通って歩くこと、間取り図および／または同類のもの（たとえば室内環境および室外環境）の試写を見ることが可能になり得る。

【0010】

しかしながら、既存の解決策には、あるビューから次のビュー（たとえば第１のパノラマ画像から第２のパノラマ画像）への視覚的連続性がなく、不正確なジオメトリによるワーピングによってゴースティングアーチファクトが生じる。視点画像、単一画像、および立体パノラマの対のビュー合成用の既存のシステムは、狭いベースラインを使用して合成する。

【0011】

加えて、パノラマ画像のシーケンスを取り込んでストリーミングするために、広いベースラインのパノラマが使用されることがある。広いベースラインの画像（広いベースラインのパノラマを含む）は、２つのビュー（たとえば第１のパノラマ画像から第２のパノラマ画像へ）の間に、比較的大量のカメラ動き（たとえば、距離、回転、移動、および／または同類のもの）および（カメラの）内部パラメータの変化を伴う画像である。たとえば、映画のフレームでは、カメラの動きや内部パラメータの変化は、映像の第１のフレームと第２のフレームとの間で比較的小さくなり得る。しかしながら、映像の、第１のフレームと第１０のフレームとの間、第１のフレームと第１００のフレームとの間、第１のフレームと第１０００フレームとの間（たとえば広いベースライン）など、カメラの動きや内部パラメータの変化が比較的大きくなる可能性がある。

【0012】

既存のシステムは、大きな動きがある（たとえば広いベースラインの対のパノラマを使用する）全方向映像の合成は含まないので、広いベースラインのパノラマを処理するとき制限がある。したがって、既存のプラットフォームは、広いベースラインのパノラマのビュー合成を実行するようには構成されていない可能性がある。

【0013】

例示の実装形態は、広いベースラインのパノラマを合成することにより、パノラマ画像のシーケンスにおけるパノラマ画像の間の視覚的間隙を埋めて、映像を生成することができる。結果として生じる映像は、対話型かつシームレスのユーザ体験のために、３６０度の映像としてコンピューティングデバイス（たとえば拡張現実（ＡＲ）デバイス）にストリーミングされ得る。あるいは、例示の実装形態は、対話型かつシームレスの体験のために、広いベースラインのパノラマの間の３６０度の映像を合成して、結果として生じる３６０度の映像をコンシューマデバイス上に表示するように構成されているコンシューマデバイスに、広いベースラインのパノラマをストリーミングすることができる。限定されているボリュームの内部に、または直線的な投影における軌道に沿った、新規のビューを合成するだけの既存のシステムとは異なって、例示の実装形態は３６０度の映像を生成することができ、これによって、ユーザは、前進／後退すること、任意の場所で止まること、任意の視点から見回すことが可能になり得る（または可能になるように支援され得る）。これは、映画撮影法、テレビ会議、および仮想観光旅行、および／または同類のものなどの広範な用途（たとえば仮想現実の用途）を引き出す。したがって、広いベースラインのパノラマのビュー合成により、プラットフォームの機能性を改善することができ、ユーザは、仮想的に都市を通って歩くこと、間取り図および／または同類のもの（たとえば室内環境および室外環境）の試写を見ることが可能になり得る。広いベースラインのパノラマのビュー合成は、２つのパノラマの間の整列を可能にすることにより、全視野（たとえば３６０度の視野）を可能にすることができる。

【0014】

図１Ａは、パノラマ画像の取込みシーケンスを示す。図１Ａに示されるように、複数のパノラマ１０－１、１０－２、１０－３、１０－４、．．．、１０－ｎ（たとえば広いベースラインのパノラマまたは広いベースラインのパノラマ画像）は、画像シーケンスの画像として取り込まれ得る。パノラマ画像が取り込まれた後に、取込み間隔２０－１、２０－２、２０－３、２０－４、．．．、２０－ｎが存在し得る。取込み間隔２０－１、２０－２、２０－３、２０－４、．．．、２０－ｎ（または取込み時間間隔）は、カメラ（たとえば３６０度カメラ）が画像を取り込んでいない時間によって、もたらされ得る。言い換えれば、カメラは、（映像のように）連続的にデータを取り込んでいないので、映像を取り込んでいない画像のシーケンスを取り込むことができる。したがって、取込み間隔２０－１、２０－２、２０－３、２０－４、および２０－ｎとして示されている画像取込みの間に、遅延が生じる期間（たとえば時間および距離）がある。いくつかの実装形態では、取込み間隔２０－１、２０－２、２０－３、２０－４、．．．、２０－ｎは、取込み間隔に相当する、少なくとも５ｍの距離間隙をもたらす可能性がある。取込み間隔２０－１、２０－２、２０－３、２０－４、．．．、２０－ｎの図解の結果は図１Ｂに示され得る。

【0015】

図１Ｂは、取り込まれているパノラマ画像に基づく３６０度の映像の一部を示す。図１Ｂに示されるように、３６０度の映像の一部を生成するために、複数のパノラマ３０－１、３０－２、３０－３、３０－４、３０－５、３０－６、３０－７、３０－８、３０－９（たとえば広いベースラインのパノラマまたは広いベースラインのパノラマ画像）が使用され得る。３６０度の映像の一部は、対応する位置（たとえば地理的な位置、空間、および／または同類のもの）の範囲内の３Ｄ位置（たとえばｘ、ｙ、ｚ）に基づき、たとえば全地球測位システム（ＧＰＳ）、位置アンカ、および／または同類のものを使用して生成され得る。図１Ｂに示されるように、２つ以上のパノラマ３０－１、３０－２、３０－３の間に間隙４０－１、４０－２（たとえば距離）がある。間隙４０－１、４０－２は、取込み間隔２０－１、２０－２、２０－３、２０－４、．．．、２０－ｎに基づき得る。間隙４０－１、４０－２はパノラマ３０－１、３０－２、３０－３よりも小さく示されているが、パノラマ３０－１、３０－２、３０－３より小さくも大きくもなり得、同一のサイズにもなり得る。言い換えれば、間隙４０－１、４０－２は、パノラマ３０－１、３０－２、３０－３に対して任意のサイズになり得る。間隙４０－１、４０－２は、水平な（たとえば水平方向の）シーケンスで示されているが、垂直な（たとえば垂直方向の）シーケンスおよび／または対角線（対角線方向）のシーケンスにもなり得る。間隙４０－１、４０－２は、３６０度の映像を見ているとき、ユーザ体験を損なう可能性がある。したがって、図１Ｃに関して概説されるように、例示の実装形態は、取込み間隔２０－１、２０－２、２０－３、２０－４、．．．、２０－ｎによってもたらされ得る間隙４０－１、４０－２、５０－１、５０－２を短縮または解消するように使用される技術を含むことができる。

【0016】

図１Ｃは、例示の一実施形態による、パノラマ画像合成の流れのブロック図を示す。図１Ｃに示されるように、画像合成の流れ１００は、ｎ個のパノラマ１０５、深度予測１１０ブロック、差分レンダリング１１５ブロック、融合１２０ブロック、および合成パノラマ１２５を含む。

【0017】

ｎ個のパノラマ１０５は、回転するカメラが取り込んだｎ個のパノラマ画像のシーケンスであり得る。ｎ個のパノラマ１０５は、各々が、３６０度の回転（たとえばカメラの回転）を用いて取り込まれている、３次元（３Ｄ）ビューの部分的な（たとえば１８０度の）２次元（２Ｄ）投影であり得る。

【0018】

深度予測１１０ブロックは、ｎ個のパノラマ１０５の各々に関連する深度を予測するように構成され得る。深度は、ｎ個のパノラマ１０５のシーケンスにおける２つの隣接したパノラマに基づき得る。差分レンダリング１１５ブロックは、目標位置に対応する深度予測および視点に基づいてＲＧＢパノラマおよび／またはＲＧＢＤパノラマを生成するように構成され得る。目標位置は、パノラマに関連する位置に基づく差分位置であり得る。目標位置は、取込み間隔２０－１、２０－２、２０－３、２０－４、．．．、２０－ｎによってもたらされ得る間隙４０－１、４０－２、５０－１、５０－２のうち１つまたは複数に関連付けられ得る。

【0019】

融合１２０ブロックは、少なくとも２つの差分レンダリングされているパノラマに基づいて合成パノラマ１２５を生成するように構成され得る。合成パノラマ１２５は、ｎ個のパノラマ１０５を含む画像のシーケンスの中へ、ｎ個のパノラマ１０５のうち２つの間に挿入され得る。合成パノラマを生成するためのより詳細な説明が、図２に関連して記述される。

【0020】

図２は、例示の一実施形態による、パノラマ画像合成の流れのブロック図を示す。図２に示されるように、パノラマ画像を合成する流れ２００は、パノラマ２０５、２１０、深度予測器２１５、２２０、深度予測２２５、２３０ブロック、差分メッシュレンダラ２３５、２４０、目標位置２４５、２５０ブロック、ＲＧＢ２５５－１、２６０－１ブロック、視認性２５５－２、２６０－２ブロック、融合ネットワーク２６５、および合成パノラマ２７０を含む。

【0021】

パノラマ２０５、２１０は、回転するカメラによって取り込まれる画像であり得る。パノラマ２０５、２１０は魚眼レンズを使用して取り込まれ得る。したがって、パノラマ２０５、２１０は、３６０度の回転（たとえばカメラの回転）を用いて取り込まれる、３Ｄビューの部分的な（たとえば１８０度の）２Ｄ投影であり得る。パノラマ２０５、２１０は、全体的な整列情報および局所的な整列情報を含み得る。全体的な整列情報および局所的な整列情報は、２つ以上のパノラマを整列させるために使用される、位置（たとえば座標）、変位、姿勢の情報、ピッチ、ロール、ヨー（たとえばｘ軸、ｙ軸、ｚ軸に対する位置）の情報、および／または他の情報を含み得る。位置は、全地球測位システム（ＧＰＳ）、（たとえば部屋の中の）位置アンカ、および／または同類のものであり得る。パノラマ２０５、２１０は、広いベースラインのパノラマであり得る。広いベースラインのパノラマでは、２つ以上の画像の収集特性が大幅に変化する可能性がある。例示の実装形態では、大幅な変化は収集カメラの位置に基づき得る。言い換えれば、カメラは、画像の間に間隙をもたらす速度で移動している。パノラマ２０５、２１０は、メッシュとして記憶（あるいは受信、入力、および／または同様なことが）され得る。

【0022】

深度予測器２１５、２２０は、パノラマ２０５、２１０の各画素に関連する深度を判定するように構成され得る。示されるように、深度予測器２１５、２２０は、パノラマ２０５とパノラマ２１０との両方を使用して深度を判定することができる。深度予測器２１５、２２０は、機械学習モデルを使用して各パノラマ２０５、２１０の深度を判定することができる。深度予測器２１５、２２０は、深度予測２２５、２３０を生成することができる。深度予測２２５、２３０は、単眼接続（１つまたは複数）を用いるステレオ深度推定であり得る。ステレオ深度推定は、整列した深度推定のために、２つ以上の３６０度の画像（たとえばパノラマ２０５、２１０）に提示される特徴の整合を可能にすることができる。単眼接続（１つまたは複数）は、第１の画像に閉じ込められている、第２の画像に閉じ込められていてもいなくてもよい領域の、深度予測を可能にすることができる。深度予測器２１５、２２０は、以下でより詳細に説明される。

【0023】

差分メッシュレンダラ２３５、２４０は、深度予測２２５、２３０および目標位置２４５、２５０に基づいて、ＲＧＢ２５５－１、２６０－１および視認性２５５－２、２６０－２を生成するように構成され得る。各画像は、目標位置２４５、２５０に対応する視点からレンダリングされ得る。目標位置２４５、２５０は、パノラマ２０５、２１０に関連する位置に基づく差分位置であり得る。目標位置２４５、２５０は、画像取込み間隔（または取込み時間間隔）（たとえば取込み間隔２０－１、２０－２、２０－３、２０－４、．．．、２０－ｎ）によってもたらされ得る画像のシーケンスにおける１つまたは複数の間隙（たとえば間隙４０－１、４０－２、５０－１、５０－２）に関連付けられ得る。差分メッシュレンダラ２３５、２４０は、パノラマ２０５、２１０の各々について球面メッシュを生成するように構成され得る。ポイントクラウド表現ではなく、パノラマ２０５、２１０のメッシュ表現が使用され得、これは、ＥＲＰ画像からポイントクラウドを生成することに関連する密度問題を回避することができるためである。たとえば、ＥＲＰ画像から生成されるポイントクラウドは、大きな距離を移動するとき、疎密度の大きな変化を含有することがあり、インペイント（たとえば、任意のトポロジの穴を埋めて、追加分が元の画像の一部であるように見えるようにすること）が困難になる可能性がある。

【0024】

Ｗ×Ｈの解像度の出力画像については、差分メッシュレンダラ２３５、２４０は、２Ｈの高さのセグメントおよび２Ｗの幅のセグメントを有するＵＶパターンを辿る球面メッシュを生成するように構成され得る。次に、頂点は、深度予測２２５、２３０からのユークリッド深度ｄに基づいて、正確な半径にオフセットされ得る。メッシュを生成して、頂点をそれらの正確な深度にオフセットした後に、差分メッシュレンダラ２３５、２４０は、θ方向およびφ方向に沿って深度マップの勾配を計算して、勾配画像ｄθおよびｄφをもたらすように構成され得る。これらの勾配画像は、各表面の法線の推定を表すことができる。深度画像における大きな勾配は、ＲＧＢ画像の内部の建築物および他の構造物の縁部に対応する。これらの表面は、カメラの位置からのベクトルに対して垂直な法線ベクトルを有し得る。差分メッシュレンダラ２３５、２４０は、３Ｄ構造物において（ｄθ＞ｋ）｜（ｄφ＞ｋ）となる不連続性を識別するために、両方の方向に沿って深度勾配の閾値を設定するように構成され得る。これらの領域については、差分メッシュレンダラ２３５、２４０は、内在する不連続性を正確に表すために、球面メッシュの内部の三角形を棄却するように構成され得る。

【0025】

メッシュが生成されて不連続性が計算されると、差分メッシュレンダラ２３５、２４０は、メッシュを、新規の視点から、ＲＧＢ２５５－１、２６０－１（たとえば３６０度のＲＧＢＤ画像）にレンダリングするように構成され得る。メッシュレンダリングは、元の画像における遮蔽による穴を含有することがある。これらの穴は、深度画像における負の値として表され得る。差分メッシュレンダラ２３５、２４０は、負の値から視認性２５５－２、２６０－２を抽出するように構成され得る。

【0026】

例示の実装形態では、差分メッシュレンダラ２３５、２４０は、メッシュレンダラ（たとえば内蔵メッシュレンダラ）を、３６０度の画像を出力するように適合させるように構成され得る。たとえば、ラスタライザは、頂点をワールド座標からカメラ座標へ、次いでスクリーン座標へと投影するように変更され得る。差分メッシュレンダラ２３５、２４０は、頂点のカメラ座標に投影行列を掛けるのではなく、直交座標から球面座標への変換を適用して、最終的な座標を、たとえば［－１；１］に正規化するように構成され得る。

【0027】

例示の実装形態では、差分メッシュレンダラ２３５、２４０は、通常のレンダリングパスと１８０度回転させるレンダリングパスとを実行して、パスを互いに合成するように構成され得、そのため、最終的なレンダリングにおいて、パノラマの左右の端部にまわり込む三角形は失われない。加えて、差分メッシュレンダラ２３５、２４０は、密なメッシュを使用して、最終的な画像における各三角形の長さを最小化するように構成され得る。レンダリングパスを２回実行し、密なメッシュを使用すると、パノラマ２０５、２１０の左右の端部にまわり込む三角形が切り落とされて直角座標の直線がＥＲＰ画像の座標の直線へと不正確にマッピングされるのを、最小化する（または防止する）ことができる。レンダリングパスを２回実行するステップと、密なメッシュを使用するステップとは、あるキューブマップの６つの視点面をレンダリングして、そのキューブマップを正距円筒図法の画像に投影することによって、同時に実行され得る。

【0028】

融合ネットワーク２６５は、合成パノラマ２７０を生成するように構成され得る。融合ネットワーク２６５は、ＲＧＢ２６０－１をＲＧＢ２５５－１と融合させるように構成され得る。ＲＧＢ２５５－１、２６０－１は、合成ビュー（たとえばＲＧＢ２５５－１、２６０－１は目標位置２４５、２５０において合成される）における遮蔽による穴を含むことがある。したがって、融合ネットワーク２６５は、穴をインペイントするように構成され得る。

【0029】

融合ネットワーク２６５は、訓練済みモデル（たとえば訓練済みニューラルネットワーク）を使用して合成パノラマ２７０（たとえば１つの不変のパノラマ）を生成するように構成され得る。訓練済みニューラルネットワークは、７つのダウンサンプリング要素および７つのアップサンプリング要素を含み得る。例示の一実装形態では、融合ネットワーク２６５は、視認性２５５－２、２６０－２に基づいてＲＧＢ２５５－１、２６０－１の各々における穴（たとえば深度画像をレンダリングするメッシュにおける負の領域）を識別するために、２値の視認性マスクを生成するように構成され得る。融合ネットワーク２６５は、各畳み込み層において循環パディングを使用し、循環畳み込みニューラルネットワーク（ＣＮＮ）をシミュレートして左右の端部を結合するように構成され得る。各特徴マップの先頭および末尾にはゼロパディングを使用することができる。

【0030】

前述の深度パイプラインは、特徴エンコーダとしての、５つのダウンサンプリングブロックおよび３つのアップサンプリングブロックを有するニューラルネットワーク（たとえばＣＮＮ）と、コストボリューム改良ネットワークとしての、３つのダウンサンプリングブロックおよび３つのアップサンプリングブロックを有する３Ｄニューラルネットワーク（たとえばＣＮＮ）と、深度デコーダとしての２つの畳み込みブロックとを使用することができる。深度パイプラインは、各畳み込み層の追加チャネルとしての、垂直方向の入力インデックスを使用することができる。これによって、畳み込み層は、正距円筒図法（ＥＲＰ）に関連する歪みを学習することができる。深度パイプラインは、図３に関してより詳細に論じられる。

【0031】

図３は、例示の一実施形態による、深度を予測するための流れのブロック図を示す。図３に示されるように、（たとえば深度予測器２１５、２２０に関連する）深度予測の流れ３００は、パノラマ３０５、３１０、２Ｄ畳み込み３１５、３２０、３５０、３６０ブロック、特徴マップ３２５、３３０、３４５ブロック、コストボリューム３３５ブロック、３Ｄ畳み込み３４０ブロック、および深度３５５、３６５ブロックを含む。

【0032】

パノラマ３０５、３１０は、回転するカメラによって取り込まれる画像であり得る。パノラマ３０５、３１０は魚眼レンズを使用して取り込まれ得る。したがって、パノラマ３０５、３１０は、３６０度の回転（たとえばカメラの回転）を用いて取り込まれる、３Ｄビューの部分的な（たとえば１８０度の）２Ｄ投影であり得る。パノラマ３０５、３１０は、全体的な整列情報および局所的な整列情報を含み得る。全体的な整列情報および局所的な整列情報は、２つ以上のパノラマを整列させるために使用される、位置（たとえば座標）、変位、姿勢の情報、ピッチ、ロール、ヨー（たとえばｘ軸、ｙ軸、ｚ軸に対する位置）の情報、および／または他の情報を含み得る。位置は、全地球測位システム（ＧＰＳ）、（たとえば部屋の中の）位置アンカ、および／または同類のものであり得る。パノラマ３０５、３１０は、広いベースラインのパノラマであり得る。広いベースラインのパノラマでは、２つ以上の画像の収集特性が大幅に変化することがある。例示の実装形態では、大幅な変化は収集カメラの位置に基づき得る。言い換えれば、カメラは、画像の間に間隙をもたらす速度で移動している。パノラマ３０５、３１０は、メッシュとして記憶（あるいは受信、入力、および／または同様なことが）され得る。

【0033】

２Ｄ畳み込み３１５、３２０ブロックは、パノラマ３０５、３１０に関連する特徴を生成するように構成され得る。２Ｄ畳み込み３１５、３２０ブロックは、訓練済みニューラルネットワーク（たとえばＣＮＮ）であり得る。２Ｄ畳み込み３１５、３２０ブロックは、畳み込みモデルに関連する縮小経路（たとえばエンコーダ）であり得る（２Ｄ畳み込み３５０、３６０は拡大経路（たとえばデコーダ）である）。２Ｄ畳み込み３１５、３２０は、（たとえばＶＧＧ／ＲｅｓＮｅｔのような）分類ネットワークであり得、畳み込みブロックに続いて最大プーリングによるダウンサンプリングが適用され、パノラマ３０５、３１０を複数の異なるレベルでの特徴表現へと符号化する。複数の異なるレベルでの特徴表現は特徴マップ３２５、３３０であり得る。

【0034】

コストボリューム３３５ブロックは、特徴マップ３２５、３３０に基づいて特徴の球面掃引コストボリュームを生成するように構成され得る。コストボリュームは、特徴マップ３２５、３３０における参照点とマッチング候補点とのすべての対の間の類似性の尺度になり得る。球面掃引は、特徴マップ３２５を特徴マップ３３０に整列させるように構成され得る。球面掃引は、特徴マップ３２５、３３０を球面領域に変換するステップを含み得る。特徴マップ３２５、３３０を変換するステップは、特徴マップ３２５、３３０を所定の球面上に投影するステップを含み得る。特徴の球面掃引コストボリュームを生成するステップは、特徴マップ３２５、３３０と関連する球面ボリュームを統合するステップを含み得、また、ステレオマッチング（たとえば位置ｐを中心とするパノラマ３０５からのパッチと位置ｐ－ｄを中心とするパノラマ３１０からのパッチとのマッチング）のために、コストは、コスト関数（たとえば差分絶対値の和（ＳＡＤ）、２乗差の和（ＳＳＤ）、正規化されている相互相関（ＮＣＣ）、ゼロ平均ベースのコスト（ＺＳＡＤ、ＺＳＳＤおよびＺＮＣＣのような））に対する入力として、統合されている球面ボリュームを使用して、第１の画像微分（勾配）または第２の画像微分（ガウシアンのラプラシアン）および／または同類のものに基づいて計算される。

【0035】

３Ｄ畳み込み３４０ブロックは、コストボリュームを改良するように構成され得る。コストボリュームを改良するステップは、特徴情報を不一致次元や空間次元（１つまたは複数）に沿って集約するステップを含み得る。３Ｄ畳み込み３４０は、３Ｄニューラルネットワーク（たとえばＣＮＮ）であり得る。３Ｄニューラルネットワークは、コストボリューム改良ネットワークとして、３つのダウンサンプリングブロックおよび３つのアップサンプリングブロックを含み得る。コストボリュームを改良すると、特徴マップを生成することができる。特徴マップは特徴マップ３４５であり得る。

【0036】

特徴マップ３４５は、２Ｄ畳み込み３５０ブロックおよび２Ｄ畳み込み３６０ブロックに入力され得る。２Ｄ畳み込み３５０、３６０ブロックは、深度３５５、３６５ブロックを生成する（たとえば予測する）ための深度デコーダ（たとえば深度予測）として使用され得る。深度復号は、２つの畳み込みブロックを使用するステップを含み得る。特徴マップ３４５は、２Ｄ畳み込み３６０ブロックに入力され得る。特徴マップ３２５は、深度予測ネットワークにおける各畳み込み層の追加チャネルとしての、垂直方向の入力インデックスとして使用され得る。これによって、畳み込み層は、正距円筒図法（ＥＲＰ）に関連する歪みを学習することができる。図３に関して説明されている深度予測は訓練され得る。たとえば、深度予測は深度予測器２１５、２２０に関連付けられ得る。深度予測に関連するニューラルネットワークの訓練は、図４Ａに関連して説明される。

【0037】

図４Ａは、例示の一実施形態による、深度を予測するためのモデルを訓練するための流れのブロック図を示す。図４Ａに示されるように、深度を予測するためのモデルの訓練は、パノラマ２０５、２１０、深度予測器２１５、２２０、深度予測２２５、２３０ブロック、損失４１０ブロック、および訓練４２０ブロックを含む。

【0038】

深度予測器２１５は、訓練のために、入力として２つのパノラマ２０５、２１０（たとえばシーケンス内の広いベースラインの画像）を使用する。深度予測器２１５は２つの出力（たとえば深度３５５および深度３６５）を含み、第１の出力（たとえば深度３５５）は、コストボリューム（たとえばコストボリューム３３５）のみに基づく低解像度深度ｄ_{ｐｒｅｄ＿ｌｏｗ}の予測を含み、第２の出力（たとえば深度３６５）は、特徴マップ（たとえば特徴マップ３２５）およびコストボリューム（たとえばコストボリューム３３５）からの高解像度深度ｄ_{ｐｒｅｄ＿ｈｉ}の予測を含む。第１の出力は、勾配流れに関連付けられ得る。例示の一実装形態では、損失４１０ブロックに関連する深度の損失関数は次式となり得、

【0039】

【数1】

【0040】

ここで、
ｌ_{ｄｅｐｔｈ}は深度損失であり、
ｄ_ｇｔは深度勾配の閾値であり、
λはスケーリング係数（たとえばλ＝０．５）であり、
ｄ_{ｐｒｅｄ＿ｈｉ}は高解像度深度であり、
ｄ_{ｐｒｅｄ＿ｌｏｗ}は低解像度深度である。

【0041】

訓練４２０ブロックは、深度予測器２１５の訓練をもたらすように構成され得る。例示の一実装形態では、深度予測器２１５は、２Ｄ畳み込み３１５、３２０、３５０、３６０ブロックおよび３Ｄ畳み込み３４０ブロックを含み、各々が、畳み込みに関連するウェイトを有する。深度予測器２１５の訓練は、これらのウェイトを変更するステップを含み得る。ウェイトを変更すると、（たとえば同一の入力パノラマを用いる場合でも）２つの出力（たとえば深度３５５および深度３６５）に変化をもたらし得る。２つの出力（たとえば深度３５５および深度３６５）における変化は、深度損失（たとえば損失４１０）に影響を与える可能性がある。訓練は、損失４１０が最小化されるまで、かつ／または繰返しの間で損失４１０の大幅な変化がなくなるまで、繰り返され得る。

【0042】

図４Ｂは、例示の一実施形態による、パノラマ画像融合のためのモデルを訓練するための流れのブロック図を示す。図４Ｂに示されるように、パノラマ画像の融合のためのモデルの訓練は、パノラマ４３０－１、４３０－２、４３０－３、目標位置２４５、２５０ブロック、ＲＧＢ２５５－１、２６０－１ブロック、視認性２５５－２、２６０－２ブロック、融合ネットワーク２６５、合成パノラマ２７０、損失４４０ブロック、および訓練４５０ブロックを含む。

【0043】

融合ネットワーク２６５の訓練は、３つのパノラマ（パノラマ４３０－１、４３０－２、４３０－３）のシーケンスを使用するステップを含む。中間のパノラマ（パノラマ４３０－２）の姿勢を使用して、最初のパノラマ（パノラマ４３０－１）および最後のパノラマ（パノラマ４３０－３）から、メッシュレンダリングが生成され得る。融合ネットワーク２６５は、メッシュレンダリングを受け取り、メッシュレンダリングを組み合わせて、中間のパノラマ（たとえばパノラマ２７０）を予測することができる。グラウンドトルースである中間のパノラマ（パノラマ４３０－２）は監督のために使用される。損失４４０は、融合ネットワーク２６５を訓練するために使用され得る。損失４４０は次式で決定され得、

【0044】

【数2】

【0045】

ここで、
ｌ_{ｆｕｓｉｏｎ}は融合損失（たとえば損失４４０）であり、
ｐ_１はグラウンドトルースのパノラマ（たとえばパノラマ４３０－２）であり、
ｐ_ｐｒｅｄは予測されているパノラマ（パノラマ２７０）である。

【0046】

訓練ブロック４５０は、融合ネットワーク２６５の訓練をもたらすように構成され得る。融合ネットワーク２６５の訓練は、融合ネットワーク２６５の畳み込みのうち少なくとも１つに関連するウェイトを変更するステップを含み得る。例示の一実装形態では、融合ネットワーク２６５は、予測されているパノラマ（たとえばパノラマ２７０）とグラウンドトルースのパノラマ（たとえばパノラマ４３０－２）との間の差に基づいて訓練され得る。損失（たとえば損失４４０）は、予測されているパノラマとグラウンドトルースのパノラマとの間の差に基づいて生成され得る。訓練は、損失４４０が最小化されるまで、かつ／または繰返しの間で損失４４０の大幅な変化がなくなるまで、繰り返され得る。例示の一実装形態では、損失がより小さくなれば、融合ネットワーク２６５による中間パノラマの合成（たとえば予測）は、より優れたものになる。加えて、深度予測器２１５と融合ネットワーク２６５とが一緒に訓練される場合には、全損失はｌ_{ｔｏｔａｌ}＝ｌ_{ｄｅｐｔｈ}＋ｌ_{ｆｕｓｉｏｎ}となり得る。

【0047】

図５は、例示の一実施形態による、パノラマ画像シーケンスを生成するための方法のブロック図を示す。図５に示されるように、ステップＳ５０５において、画像シーケンスにおける２つ以上のパノラマ画像の間に画像取込み間隔（または取込み時間間隔）が存在すると判定される。たとえば、画像シーケンスまたはパノラマ画像シーケンスは、回転するカメラによって取り込まれ得る。画像シーケンスにおける各パノラマ画像は、３６０度の回転（たとえばカメラの回転）を用いて取り込まれる、３Ｄビューの部分的な（たとえば１８０度の）２Ｄ投影であり得る。取込み間隔（または取込み時間間隔）は、カメラ（たとえば３６０度カメラ）が画像を取り込んでいない時間によって、もたらされ得る。言い換えれば、カメラは、（映像のように）連続的にデータを取り込んでいないので、映像を取り込んでいない画像のシーケンスを取り込むことができる。したがって、画像を取り込む間に遅延が生じる期間（たとえば時間および距離）がある。いくつかの実装形態では、取込み間隔は、画像の間に少なくとも５メートルの距離間隙をもたらす可能性がある。

【0048】

ステップＳ５１０において、２つ以上のパノラマ画像に基づいて合成画像が生成される。たとえば、画像取込み間隔（または取込み時間間隔）が存在する場合には、例示の実装形態は、２つのパノラマ画像の間の距離間隙を短縮する、かつ／または解消するために、画像のシーケンスに挿入する少なくとも１つのパノラマ画像を合成することができる。ステップＳ５１５において、２つ以上のパノラマ画像の間の画像シーケンスに合成画像が挿入される。たとえば、図１Ｂを参照して、間隙４０－１、４０－２、５０－１、５０－２のうち１つまたは複数を最小化する、かつ／または解消するために、合成画像が挿入され得る。

【0049】

図６は、例示の一実施形態による、パノラマ画像を合成するための方法のブロック図を示す。図６に示されるように、ステップＳ６０５において第１のパノラマ画像および第２のパノラマ画像が受け取られる。たとえば、パノラマ（パノラマ２０５、２１０）は回転するカメラによって取り込まれる画像であり得る。パノラマは魚眼レンズを使用して取り込まれ得る。したがって、パノラマは、３６０度の回転（たとえばカメラの回転）を用いて取り込まれる、３Ｄビューの部分的な（たとえば１８０度の）２Ｄ投影であり得る。パノラマは、全体的な整列情報および局所的な整列情報を含み得る。全体的な整列情報および局所的な整列情報は、２つ以上のパノラマを整列させるために使用される、位置（たとえば座標）、変位、姿勢の情報、ピッチ、ロール、ヨー（たとえばｘ軸、ｙ軸、ｚ軸に対する位置）の情報、および／または他の情報を含み得る。位置は、全地球測位システム（ＧＰＳ）、（たとえば部屋の中の）位置アンカ、および／または同類のものであり得る。パノラマは広いベースラインのパノラマであり得る。広いベースラインのパノラマでは、２つ以上の画像の収集特性が大幅に変化することがある。例示の実装形態では、大幅な変化は収集カメラの位置に基づき得る。言い換えれば、カメラは、画像の間に間隙をもたらす速度で移動している。パノラマは、メッシュとして記憶（あるいは受信、入力、および／または同様なことが）され得る。

【0050】

ステップＳ６１０において、第１のパノラマ画像および第２のパノラマ画像に基づいて第１の深度予測が生成される。たとえば、第１の深度予測は、第１のパノラマにおける各画素に関連する深度を判定するステップを含み得る。第１の深度予測は、第１のパノラマと第２のパノラマとの両方に基づき得る。第１の深度予測は、機械学習モデルを使用してパノラマの深度（１つまたは複数）を判定することができる。深度予測は、単眼接続（１つまたは複数）を用いるステレオ深度推定であり得る。ステレオ深度推定は、整列した深度推定のために、２つ以上の３６０度の画像（たとえばパノラマ２０５、２１０）に提示される特徴の整合を可能にすることができる。単眼接続（１つまたは複数）は、第１のパノラマ画像に閉じ込められている、第２のパノラマ画像に閉じ込められていてもいなくてもよい領域の、深度予測を可能にすることができる。

【0051】

ステップＳ６１５において、第１の深度予測に基づいて第１の差分メッシュが生成される。たとえば、差分メッシュレンダラ（たとえば差分メッシュレンダラ２３５）は、ＲＧＢ－Ｄ画像（たとえば、第１の深度予測（たとえば深度予測２２５）および目標位置（たとえば目標位置２４５）に基づいた、ＲＧＢ２５５－１および視認性マップ（たとえば視認性２５５－２））を生成することができる。各画像は、目標位置に対応する視点からレンダリングされ得る。目標位置は、第１のパノラマおよび第２のパノラマに関連する位置に基づく差分位置であり得る。第１の差分メッシュは第１のパノラマに対応する球面メッシュであり得る。ポイントクラウド表現ではなく、第１のパノラマのメッシュ表現が使用され得、これは、ＥＲＰ画像からポイントクラウドを生成することに関連する密度問題を回避することができるためである。たとえば、ＥＲＰ画像から生成されるポイントクラウドは、大きな距離を移動するとき、疎密度の大きな変化を含有することがあり、インペイント（たとえば、任意のトポロジの穴を埋めて、追加分が元の画像の一部であるように見えるようにすること）が困難になる可能性がある。

【0052】

ステップＳ６２０において、第２のパノラマ画像および第１のパノラマ画像に基づいて第２の深度予測が生成される。たとえば、第２の深度予測は、第２のパノラマにおける各画素に関連する深度を判定するステップを含み得る。第２の深度予測は、第１のパノラマと第２のパノラマとの両方に基づき得る。第２の深度予測は、機械学習モデルを使用してパノラマ（１つまたは複数）の深度を判定することができる。深度予測は、単眼接続（１つまたは複数）を用いるステレオ深度推定であり得る。ステレオ深度推定は、整列した深度推定のために、２つ以上の３６０度の画像（たとえばパノラマ２０５、２１０）に提示される特徴の整合を可能にすることができる。単眼接続（１つまたは複数）は、第２のパノラマ画像に閉じ込められている、第１のパノラマ画像に閉じ込められていてもいなくてもよい領域の、深度予測を可能にすることができる。

【0053】

ステップＳ６２５において、第２の深度予測に基づいて第２の差分メッシュが生成される。たとえば、差分メッシュレンダラ（たとえば差分メッシュレンダラ２３５）は、ＲＧＢ－Ｄ画像（たとえば、第２の深度予測（たとえば深度予測２３０）および目標位置（たとえば目標位置２５０）に基づいた、ＲＧＢ２６０－１および視認性マップ（たとえば視認性２６０－２））を生成することができる。各画像は、目標位置に対応する視点からレンダリングされ得る。目標位置は、第１のパノラマおよび第２のパノラマに関連する位置に基づく差分位置であり得る。第１の差分メッシュは第２のパノラマに対応する球面メッシュであり得る。ポイントクラウド表現ではなく、第２のパノラマのメッシュ表現が使用され得、これは、ＥＲＰ画像からポイントクラウドを生成することに関連する密度問題を回避することができるためである。たとえば、ＥＲＰ画像から生成されるポイントクラウドは、大きな距離を移動するとき、疎密度の大きな変化を含有することがあり、インペイント（たとえば、任意のトポロジの穴を埋めて、追加分が元の画像の一部であるように見えるようにすること）が困難になる可能性がある。

【0054】

ステップＳ６３０において、第１の差分メッシュを第２の差分メッシュと融合させることによって合成パノラマ画像が生成される。たとえば、融合ネットワーク（たとえば融合ネットワーク２６５）は、第１の差分メッシュに関連するＲＧＢ－Ｄ画像（たとえばＲＧＢ２５５－１）を第２の差分メッシュに関連するＲＧＢ－Ｄ画像（ＲＧＢ２６０－１）と融合させることができる。ＲＧＢ－Ｄ画像（１つまたは複数）は、目標位置２４５、２５０におけるビューの合成での遮蔽による穴を含み得る。したがって、融合は、穴のインペインティングを含み得る。融合は、訓練済みモデル（たとえば訓練済みニューラルネットワーク）を使用して合成パノラマを生成することができる。訓練済みニューラルネットワークは、７つのダウンサンプリング要素および７つのアップサンプリング要素を含み得る。例示の一実装形態では、融合は、ＲＧＢ－Ｄの各々において、視認性マップ（たとえば視認性２５５－２、２６０－２）を基に２値の視認性マスクを生成して、穴（たとえばメッシュレンダリング深度画像における負の領域）を識別するステップを含み得る。融合は、各畳み込み層において循環パディングを使用して、循環畳み込みニューラルネットワーク（ＣＮＮ）をシミュレートして左右の端部を結合するステップを含み得る。各特徴マップの先頭および末尾にはゼロパディングを使用することができる。

【0055】

図７は、例示の一実施形態による、深度を予測するための方法のブロック図を示す。図７に示されるように、ステップＳ７０５において第１のパノラマ画像および第２のパノラマ画像が受け取られる。たとえば、パノラマ（パノラマ２０５、２１０）は回転するカメラによって取り込まれる画像であり得る。パノラマは魚眼レンズを使用して取り込まれ得る。したがって、パノラマは、３６０度の回転（たとえばカメラの回転）を用いて取り込まれる、３Ｄビューの部分的な（たとえば１８０度の）２Ｄ投影であり得る。パノラマは、全体的な整列情報および局所的な整列情報を含み得る。全体的な整列情報および局所的な整列情報は、２つ以上のパノラマを整列させるために使用される、位置（たとえば座標）、変位、姿勢の情報、ピッチ、ロール、ヨー（たとえばｘ軸、ｙ軸、ｚ軸に対する位置）の情報、および／または他の情報を含み得る。位置は、全地球測位システム（ＧＰＳ）、（たとえば部屋の中の）位置アンカ、および／または同類のものであり得る。パノラマは広いベースラインのパノラマであり得る。広いベースラインのパノラマでは、２つ以上の画像の収集特性が大幅に変化することがある。例示の実装形態では、大幅な変化は収集カメラの位置に基づき得る。言い換えれば、カメラは、画像の間に間隙をもたらす速度で移動している。パノラマは、メッシュとして記憶（あるいは受信、入力、および／または同様なことが）され得る。

【0056】

ステップＳ７１０において、第１のパノラマ画像に基づいて第１のマップが生成される。たとえば、第１のパノラマに関連する特徴を生成するためにニューラルネットワークが使用され得る。例示の一実装形態では、２Ｄ畳み込みは、訓練済みニューラルネットワーク（たとえばＣＮＮ）であり得る。２Ｄ畳み込みは、畳み込みモデルに関連する縮小経路（たとえばエンコーダ）であり得る。２Ｄ畳み込みは、（たとえばＶＧＧ／ＲｅｓＮｅｔのような）分類ネットワークであり得、畳み込みブロックに続いて最大プーリングによるダウンサンプリングが適用され、第１のパノラマを複数の異なるレベルでの特徴表現へと符号化する。複数の異なるレベルでの特徴表現は、第１の特徴マップであり得る。

【0057】

ステップＳ７１５において、第２のパノラマ画像に基づいて第２特徴のマップが生成される。たとえば、第２のパノラマに関連する特徴を生成するためにニューラルネットワークが使用され得る。例示の一実装形態では、２Ｄ畳み込みは、訓練済みニューラルネットワーク（たとえばＣＮＮ）であり得る。２Ｄ畳み込みは、畳み込みモデルに関連する縮小経路（たとえばエンコーダ）であり得る。２Ｄ畳み込みは、（たとえばＶＧＧ／ＲｅｓＮｅｔのような）分類ネットワークであり得、畳み込みブロックに続いて最大プーリングによるダウンサンプリングが適用され、第２のパノラマを複数の異なるレベルでの特徴表現へと符号化する。複数の異なるレベルでの特徴表現は、第２の特徴マップであり得る。

【0058】

ステップＳ７２０において、第１の特徴マップおよび第２の特徴マップに基づいてコストボリュームが生成される。たとえば、第１の特徴マップおよび第２の特徴マップ（たとえば特徴マップ３２５、３３０）に基づいて、特徴の球面掃引コストボリュームが判定（または生成）され得る。コストボリュームは、特徴マップにおける参照点とマッチング候補点とのすべての対の間の類似性の尺度になり得る。球面掃引は、第１の特徴マップを第２の特徴マップと整列させるように構成され得る。球面掃引は、特徴マップを球面領域に変換するステップを含み得る。特徴マップを変換するステップは、特徴マップを所定の球面上に投影するステップを含み得る。特徴の球面掃引コストボリュームを生成するステップは、特徴マップと関連する球面ボリュームを統合するステップを含み得、また、ステレオマッチング（たとえば位置ｐを中心とする第１のパノラマからのパッチと位置ｐ－ｄを中心とする第２のパノラマからのパッチとのマッチング）のために、コストは、コスト関数（たとえば差分絶対値の和（ＳＡＤ）、２乗差の和（ＳＳＤ）、正規化されている相互相関（ＮＣＣ）、ゼロ平均ベースのコスト（ＺＳＡＤ、ＺＳＳＤおよびＺＮＣＣのような））に対する入力として、統合されている球面ボリュームを使用して、第１の画像微分（勾配）または第２の画像微分（ガウシアンのラプラシアン）および／または同類のものに基づいて計算される。

【0059】

ステップＳ７２５において、コストボリュームに基づいて第３の特徴のマップが生成される。たとえば、第３の特徴マップは、コストボリュームを改良することによって生成され得る。コストボリュームを改良するステップは、特徴情報を不一致次元や空間次元（１つまたは複数）に沿って集約するステップを含み得る。コストボリュームを改良するステップは、３Ｄ畳み込みニューラルネットワーク（たとえばＣＮＮ）を使用するステップを含み得る。３Ｄニューラルネットワークは、コストボリューム改良ネットワークとして、３つのダウンサンプリングブロックおよび３つのアップサンプリングブロックを含み得る。コストボリュームを改良すると、第３の特徴マップを生成することができる。

【0060】

ステップＳ７３０において、第３の特徴マップに基づいて第１の深度が生成される。たとえば、２Ｄ畳み込みは、第１の深度を生成する（たとえば予測する）ための深度デコーダ（たとえば深度予測）として使用され得る。深度復号は、２つの畳み込みブロックを使用するステップを含み得る。深度予測は、訓練済み深度予測であり得る。

【0061】

ステップＳ７３５において、第１の特徴マップおよび第３の特徴マップに基づいて第２の深度が生成される。たとえば、２Ｄ畳み込みは、第１の深度を生成する（たとえば予測する）ための深度デコーダ（たとえば深度予測）として使用され得る。深度復号は、２つの畳み込みブロックを使用するステップを含み得る。第１の特徴マップは、２Ｄ畳み込みに入力され得る。第１の特徴マップは、深度予測ネットワークにおける各畳み込み層の追加チャネルとしての、垂直方向の入力インデックスとして使用され得る。これによって、畳み込み層は、正距円筒図法（ＥＲＰ）に関連する歪みを学習することができる。

【0062】

図８は、例示の一実施形態による、深度を予測するためのモデルを訓練するための方法のブロック図を示す。図８に示されるように、ステップＳ８０５において第１のパノラマ画像および第２のパノラマ画像が受け取られる。たとえば、パノラマ（パノラマ２０５、２１０）は回転するカメラによって取り込まれる画像であり得る。パノラマは魚眼レンズを使用して取り込まれ得る。したがって、パノラマは、３６０度の回転（たとえばカメラの回転）を用いて取り込まれる、３Ｄビューの部分的な（たとえば１８０度の）２Ｄ投影であり得る。パノラマは、全体的な整列情報および局所的な整列情報を含み得る。全体的な整列情報および局所的な整列情報は、２つ以上のパノラマを整列させるために使用される、位置（たとえば座標）、変位、姿勢の情報、ピッチ、ロール、ヨー（たとえばｘ軸、ｙ軸、ｚ軸に対する位置）の情報、および／または他の情報を含み得る。位置は、全地球測位システム（ＧＰＳ）、（たとえば部屋の中の）位置アンカ、および／または同類のものであり得る。パノラマは広いベースラインのパノラマであり得る。広いベースラインのパノラマでは、２つ以上の画像の収集特性が大幅に変化することがある。例示の実装形態では、大幅な変化は収集カメラの位置に基づき得る。言い換えれば、カメラは、画像の間に間隙をもたらす速度で移動している。パノラマは、メッシュとして記憶（あるいは受信、入力、および／または同様なことが）され得る。

【0063】

ステップＳ８１０において、第１のパノラマ画像および第２のパノラマ画像に基づいて第１の深度が生成される。ステップＳ８１５において、第１のパノラマ画像および第２のパノラマ画像に基づいて第２の深度が生成される。第１の深度および第２の深度を生成するステップは、たとえば図７のステップＳ７３０およびステップＳ７３５に関連して上記で説明されている。たとえば、深度予測は、訓練のための入力として２つのパノラマ（たとえばシーケンスにおける広いベースラインの画像）を使用することができる。深度予測は２つの出力（たとえば深度３５５および深度３６５）を含むことができ、第１の出力（たとえば深度３５５）は、コストボリューム（たとえばコストボリューム３３５）のみに基づく低解像度深度ｄ_{ｐｒｅｄ＿ｌｏｗ}の予測を含み、第２の出力（たとえば深度３６５）は、特徴マップ（たとえば特徴マップ３２５）およびコストボリューム（たとえばコストボリューム３３５）からの、高解像度深度ｄ_{ｐｒｅｄ＿ｈｉ}の予測を含む。第１の出力は、勾配流れに関連付けられ得る。

【0064】

ステップＳ８２０において、第１の深度および第２の深度に基づいて損失が計算される。たとえば、上記で論じられたように、損失を計算するために、低解像度深度ｄ_{ｐｒｅｄ＿ｌｏｗ}および高解像度深度ｄ_{ｐｒｅｄ＿ｈｉ}に基づく深度用の損失関数が使用され得る。

【0065】

ステップＳ８２５において、深度予測は損失に基づいて訓練される。たとえば、深度予測は、各々が畳み込みに関連するウェイトを有する少なくとも１つの２Ｄ畳み込みおよび少なくとも１つの３Ｄ畳み込みの使用を含み得る。深度予測の訓練は、これらのウェイトを変更するステップを含み得る。ウェイトを変更すると、（たとえば同一の入力パノラマを用いる場合でも）２つの出力（たとえば深度３５５および深度３６５）に変化をもたらし得る。２つの出力（たとえば深度３５５および深度３６５）における変化は、深度損失（たとえば損失４１０）に影響を与える可能性がある。訓練は、損失が最小化されるまで、かつ／または繰返しの間で損失の大幅な変化がなくなるまで、繰り返され得る。

【0066】

図９は、例示の一実施形態による、パノラマ画像融合のためのモデルを訓練するための方法のブロック図を示す。図９に示されるように、ステップＳ９０５においてパノラマ画像のシーケンスが受け取られる。たとえば、パノラマ（たとえばパノラマ４３０－１、４３０－２、４３０－３）は回転するカメラによって取り込まれる画像であり得る。パノラマは魚眼レンズを使用して取り込まれ得る。したがって、パノラマは、３６０度の回転（たとえばカメラの回転）を用いて取り込まれる、３Ｄビューの部分的な（たとえば１８０度の）２Ｄ投影であり得る。パノラマは、全体的な整列情報および局所的な整列情報を含み得る。全体的な整列情報および局所的な整列情報は、２つ以上のパノラマを整列させるために使用される、位置（たとえば座標）、変位、姿勢の情報、ピッチ、ロール、ヨー（たとえばｘ軸、ｙ軸、ｚ軸に対する位置）の情報、および／または他の情報を含み得る。位置は、全地球測位システム（ＧＰＳ）、（たとえば部屋の中の）位置アンカ、および／または同類のものであり得る。パノラマは広いベースラインのパノラマであり得る。広いベースラインのパノラマでは、２つ以上の画像の収集特性が大幅に変化することがある。例示の実装形態では、大幅な変化は収集カメラの位置に基づき得る。言い換えれば、カメラは、画像の間に間隙をもたらす速度で移動している。パノラマは、メッシュとして記憶（あるいは受信、入力、および／または同様なことが）され得る。

【0067】

ステップＳ９１０において、パノラマ画像のシーケンスの第１のパノラマ画像に基づいて第１の差分メッシュが生成される。たとえば、差分メッシュレンダラ（たとえば差分メッシュレンダラ２３５）は、ＲＧＢ－Ｄ画像（たとえば、第１のパノラマ画像および目標位置（たとえば目標位置２４５）に関連する深度予測に基づいた、ＲＧＢ２５５－１および視認性マップ（たとえば視認性２５５－２））を生成することができる。各画像は、目標位置に対応する視点からレンダリングされ得る。目標位置は、第１のパノラマおよび第２のパノラマに関連する位置に基づく差分位置であり得る。第１の差分メッシュは第１のパノラマに対応する球面メッシュであり得る。ポイントクラウド表現ではなく、第１のパノラマのメッシュ表現が使用され得、これは、ＥＲＰ画像からポイントクラウドを生成することに関連する密度問題を回避することができるためである。たとえば、ＥＲＰ画像から生成されるポイントクラウドは、大きな距離を移動するとき、疎密度の大きな変化を含有することがあり、インペイント（たとえば、任意のトポロジの穴を埋めて、追加分が元の画像の一部であるように見えるようにすること）が困難になる可能性がある。

【0068】

ステップＳ９１５において、パノラマ画像のシーケンスの第２のパノラマ画像に基づいて第２の差分メッシュが生成される。たとえば、差分メッシュレンダラ（たとえば差分メッシュレンダラ２４０）は、ＲＧＢ－Ｄ画像（たとえば、第２のパノラマ画像および目標位置（たとえば目標位置２４５）に関連する深度予測に基づいて、ＲＧＢ２６０－１および視認性マップ（たとえば視認性２６０－２））を生成することができる。各画像は、目標位置に対応する視点からレンダリングされ得る。目標位置は、第１のパノラマおよび第２のパノラマに関連する位置に基づく差分位置であり得る。第１の差分メッシュは第１のパノラマに対応する球面メッシュであり得る。ポイントクラウド表現ではなく、第１のパノラマのメッシュ表現が使用され得、これは、ＥＲＰ画像からポイントクラウドを生成することに関連する密度問題を回避することができるためである。たとえば、ＥＲＰ画像から生成されるポイントクラウドは、大きな距離を移動するとき、疎密度の大きな変化を含有することがあり、インペイント（たとえば、任意のトポロジの穴を埋めて、追加分が元の画像の一部であるように見えるようにすること）が困難になる可能性がある。

【0069】

ステップＳ９２０において、第１の差分予測を第２の差分予測と融合させることによって合成パノラマ画像が生成される。たとえば、融合ネットワーク（たとえば融合ネットワーク２６５）は、第１の差分メッシュに関連するＲＧＢ－Ｄ画像（たとえばＲＧＢ２５５－１）を第２の差分メッシュに関連するＲＧＢ－Ｄ画像（ＲＧＢ２６０－１）と融合させることができる。ＲＧＢ－Ｄ（１つまたは複数）は、目標位置２４５、２５０におけるビューの合成での遮蔽による穴を含み得る。したがって、融合は、穴のインペインティングを含み得る。融合は、訓練済みモデル（たとえば訓練済みニューラルネットワーク）を使用して合成パノラマを生成することができる。訓練済みニューラルネットワークは、７つのダウンサンプリング要素および７つのアップサンプリング要素を含み得る。例示の一実装形態では、融合は、ＲＧＢ－Ｄの各々において、視認性マップ（たとえば視認性２５５－２、２６０－２）を基に２値の視認性マスクを生成して、穴（たとえばメッシュレンダリング深度画像における負の領域）を識別するステップを含み得る。融合は、各畳み込み層において循環パディングを使用して、循環畳み込みニューラルネットワーク（ＣＮＮ）をシミュレートして左右の端部を結合するステップを含み得る。各特徴マップの先頭および末尾にはゼロパディングを使用することができる。

【0070】

ステップＳ９２５において、合成パノラマ画像とパノラマ画像のシーケンスの第３のパノラマ画像とに基づいて損失が計算される。たとえば、第３のパノラマ画像（たとえばパノラマ４３０－２）は、第１のパノラマ画像（たとえばパノラマ４３０－１）と第２のパノラマ画像（たとえばパノラマ４３０－３）との間に順次に存在し得る。損失は、損失４４０に関して上記で説明されたように計算され得る。

【0071】

融合ネットワークの訓練は、３つのパノラマ（たとえばパノラマ４３０－１、４３０－２、４３０－３）のシーケンスを使用するステップを含み得る。中間のパノラマ（パノラマ４３０－２）の姿勢を使用して、最初のパノラマ（パノラマ４３０－１）および最後のパノラマ（パノラマ４３０－３）から、メッシュレンダリングが生成され得る。融合ネットワークは、メッシュレンダリングを受け取り、メッシュレンダリングを組み合わせて、中間のパノラマ（たとえばパノラマ２７０）を予測することができる。グラウンドトルースである中間のパノラマ（たとえばパノラマ４３０－２）は、監督のために使用され得る。損失は、融合ネットワークを訓練するために使用され得る。

【0072】

ステップＳ９３０において、パノラマ画像融合は損失に基づいて訓練される。たとえば、融合ネットワークの訓練は、融合ネットワークに関連する少なくとも１つの畳み込みに関連するウェイトを変更するステップを含み得る。例示の一実装形態では、融合ネットワークは、予測されているパノラマ（たとえばパノラマ２７０）とグラウンドトルースのパノラマ（たとえばパノラマ４３０－２）との間の差に基づいて訓練され得る。損失（たとえば損失４４０）は、予測されているパノラマとグラウンドトルースのパノラマとの間の差に基づいて生成され得る。訓練は、損失が最小化されるまで、かつ／または繰返しの間で損失の大幅な変化がなくなるまで、繰り返され得る。例示の一実装形態では、損失がより小さくなれば、融合ネットワークによる中間パノラマの合成（たとえば予測）は、より優れたものになる。

【0073】

図１０は、少なくとも１つの例示の実施形態によるコンピューティングシステムのブロック図を示す。図１０に示されるように、コンピューティングシステムは少なくとも１つのプロセッサ１００５および少なくとも１つのメモリ１０１０を含む。少なくとも１つのメモリ１０１０は、少なくとも、深度予測２２５ブロック、差分メッシュレンダラ２３５、および融合ネットワークを含み得る。

【0074】

図１０の例において、コンピューティングシステムは、少なくとも１つのコンピューティングデバイスでよく、またはこれを含んでもよく、本明細書で説明した技術を実行するように構成されている任意のコンピューティングデバイスを実質的に表すものと理解されたい。そのため、コンピューティングシステムは、本明細書で説明した技術またはその異なるバージョンもしくは将来のバージョンを実施するために利用され得る様々な構成要素を含むものと理解されてよい。例として、コンピューティングシステムは、少なくとも１つのプロセッサ１００５、ならびに少なくとも１つのメモリ１０１０（たとえば非一時的コンピュータ可読記憶媒体）を含むものとして図示されている。

【0075】

少なくとも１つのプロセッサ１００５は、少なくとも１つのメモリ１０１０に記憶されている命令を実行するように利用され得る。したがって、少なくとも１つのプロセッサ１００５は、本明細書で説明した様々な特徴および機能、あるいは追加または代替の特徴および機能を実施することができる。少なくとも１つのプロセッサ１００５および少なくとも１つのメモリ１０１０は、様々な他の目的のために利用され得る。たとえば、少なくとも１つのメモリ１０１０は、様々なタイプのメモリと、本明細書で説明したモジュールのうち任意のものを実施するように使用され得る関連するハードウェアおよびソフトウェアとの、一例を表し得る。

【0076】

少なくとも１つのメモリ１０１０は、コンピューティングシステムに関連するデータおよび／または情報を記憶するように構成され得る。少なくとも１つのメモリ１０１０は、共有リソースであり得る。たとえば、コンピューティングシステムは、より大きなシステム（たとえば、サーバ、パーソナルコンピュータ、モバイルデバイス、および／または同類のもの）の要素であり得る。したがって、少なくとも１つのメモリ１０１０は、より大きなシステムの内部の他の要素に関連するデータおよび／または情報（たとえば画像／映像の取扱い、ウェブ閲覧、または有線／無線の通信）を記憶するように構成され得る。

【0077】

図１１は、本明細書で説明した技術とともに使用され得るコンピュータデバイス１１００およびモバイルコンピュータデバイス１１５０の一例を示す。コンピューティングデバイス１１００は、ラップトップ、デスクトップ、ワークステーション、個人用デジタル情報処理端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、デジタルコンピュータの様々な形態を表すように意図されている。コンピューティングデバイス１１５０は、個人用デジタル情報処理端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスなどのモバイルデバイスの様々な形態を表すように意図されている。本明細書で示されている構成要素、それらの接続および関係、ならびにそれらの機能は、例を意味するのみであり、本明細書で説明される、かつ／または特許請求される本発明の実装形態を制限する意味はない。

【0078】

コンピューティングデバイス１１００は、プロセッサ１１０２と、メモリ１１０４と、記憶機器１１０６と、メモリ１１０４および高速拡張ポート１１１０に接続する高速インターフェース１１０８と、低速バス１１１４および記憶機器１１０６に接続する低速インターフェース１１１２とを含む。構成要素１１０２、１１０４、１１０６、１１０８、１１１０、および１１１２の各々が、様々なバスを使用して相互接続され、共通のマザーボードに実装され得、または必要に応じて他のやり方で実装され得る。プロセッサ１１０２は、コンピューティングデバイス１１００の内部で実行するように、メモリ１１０４内に、または記憶機器１１０６上に記憶されている命令を含む命令を処理して、高速インターフェース１１０８に結合されているディスプレイ１１１６などの外部入出力デバイス上に、ＧＵＩ用のグラフィカル情報を表示することができる。他の実装形態では、必要に応じて、複数のプロセッサおよび／または複数のバスが、複数のメモリおよびメモリのタイプとともに使用され得る。また、複数のコンピューティングデバイス１１００が接続されてよく、各デバイスが、（たとえばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の一部をもたらす。

【0079】

メモリ１１０４は、コンピューティングデバイス１１００の内部の情報を記憶する。一実装形態では、メモリ１１０４は１つまたは複数の揮発性メモリユニットである。別の実装形態では、メモリ１１０４は１つまたは複数の不揮発性メモリユニットである。メモリ１１０４は、磁気ディスクまたは光ディスクなど、コンピュータ可読媒体の別の形態でもよい。

【0080】

記憶機器１１０６は、コンピューティングデバイス１１００用の大容量記憶装置を用意することができる。一実装形態では、記憶機器１１０６は、フロッピー（登録商標）ディスク装置などのコンピュータ可読媒体、ハードディスク装置、光学ディスク装置、またはテープ装置、フラッシュメモリもしくは他の類似の半導体メモリデバイス、またはストレージエリアネットワークもしくは他の構成における装置を含む装置の配列でよく、あるいはこれらを含有し得る。コンピュータプログラム製品は、情報媒体の中に実体的に具現化され得る。コンピュータプログラム製品には、実行されると、上記で説明されているものなどの１つまたは複数の方法を実行する命令も含有され得る。情報媒体は、メモリ１１０４、記憶機器１１０６、またはプロセッサ１１０２上のメモリなどのコンピュータ可読媒体もしくは機械可読媒体である。

【0081】

高速コントローラ１１０８は、コンピューティングデバイス１１００の、大きな帯域幅を必要とする動作を管理し、低速コントローラ１１１２は、あまり大きい帯域幅は必要としない動作を管理する。そのような機能配分は例示でしかない。一実装形態では、高速コントローラ１１０８は、メモリ１１０４と、（たとえばグラフィックスプロセッサまたはアクセラレータを介した）ディスプレイ１１１６と、様々な拡張カード（図示せず）を受け入れる高速拡張ポート１１１０とに結合される。この実装形態において、低速コントローラ１１１２は、記憶機器１１０６および低速拡張ポート１１１４に結合される。低速拡張ポートは、様々な通信ポート（たとえばＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得、キーボード、ポインティングデバイス、スキャナなどの１つまたは複数の入出力デバイスに結合され得、またはたとえばネットワークアダプタを介してスイッチもしくはルータなどのネットワークデバイスに結合され得る。

【0082】

コンピューティングデバイス１１００は、図に示されるように、複数の別々の形態で実施され得る。たとえば、コンピューティングデバイス１１００は、標準的なサーバ１１２０として、またはしばしばそのようなサーバのグループとして、実施され得る。また、コンピューティングデバイス１１００はラックサーバシステム１１２４の一部として実施され得る。加えて、コンピューティングデバイス１１００はラップトップコンピュータ１１２２などのパーソナルコンピュータで実施され得る。代わりに、コンピューティングデバイス１１００の構成要素は、デバイス１１５０などのモバイルデバイス（図示せず）の他の構成要素と組み合わされ得る。そのようなデバイスの各々が、コンピューティングデバイス１１００、１１５０のうち１つまたは複数を含有し得、全体のシステムは、互いに通信する複数のコンピューティングデバイス１１００、１１５０から構成され得る。

【0083】

コンピューティングデバイス１１５０は、他の構成要素のうち特に、プロセッサ１１５２、メモリ１１６４、ディスプレイ１１５４などの入出力デバイス、通信インターフェース１１６６、およびトランシーバ１１６８を含む。デバイス１１５０には、追加記憶装置をもたらすためのマイクロドライブまたは他のデバイスなどの記憶機器も備わっていてよい。構成要素１１５０、１１５２、１１６４、１１５４、１１６６、および１１６８の各々が、様々なバスを使用して相互接続され、構成要素のうちいくつかが、共通のマザーボードに実装され得、または必要に応じて他のやり方で実装され得る。

【0084】

プロセッサ１１５２は、コンピューティングデバイス１１５０の内部で、メモリ１１６４に記憶されている命令を含む命令を実行することができる。プロセッサは、複数の個別のアナログプロセッサやデジタルプロセッサを含むチップのチップセットとして実施され得る。プロセッサは、たとえば、ユーザインターフェースの制御、デバイス１１５０が実行するアプリケーションの制御、デバイス１１５０による無線通信の制御など、デバイス１１５０の他の構成要素を調整し得る。

【0085】

プロセッサ１１５２は、ディスプレイ１１５４に結合されているインターフェース１１５８とディスプレイインターフェース１１５６とを制御することによって、ユーザと通信し得る。ディスプレイ１１５４は、たとえば薄膜トランジスタ液晶ディスプレイ（ＴＦＴ ＬＣＤ）もしくは有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または他の適切なディスプレイ技術でよい。ディスプレイインターフェース１１５６は、ディスプレイ１１５４を駆動してユーザにグラフィック情報や他の情報を提示するための適切な回路を備え得る。制御インターフェース１１５８は、ユーザから指令を受け取り、プロセッサ１１５２に提示するようにその指令を変換し得る。加えて、デバイス１１５０の他のデバイスとの近傍通信を可能にするために、プロセッサ１１５２と通信する外部インターフェース１１６２が設けられ得る。外部インターフェース１１６２は、たとえば、いくつかの実装形態では有線通信をもたらし得、または他の実装形態では無線通信をもたらし得、複数のインターフェースが使用されることもある。

【0086】

メモリ１１６４は、コンピューティングデバイス１１５０の内部の情報を記憶する。メモリ１１６４は、１つまたは複数のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、あるいは１つまたは複数の不揮発性メモリユニット、のうち１つまたは複数として実施され得る。増設メモリ１１７４も設けられてよく、たとえばシングルインラインメモリモジュール（ＳＩＭＭ）カードインターフェースを含み得る拡張インターフェース１１７２を介して、デバイス１１５０に接続され得る。そのような増設メモリ１１７４は、デバイス１１５０に追加の記憶空間をもたらし得、またはデバイス１１５０用のアプリケーションもしくは他の情報も記憶し得る。具体的には、増設メモリ１１７４は、上記で説明されている処理を実行するかまたは補足するための命令を含み得、安全情報も含み得る。したがって、増設メモリ１１７４は、たとえばデバイス１１５０用のセキュリティモジュールとして設けられてよく、デバイス１１５０の安全な使用を可能にする命令を用いてプログラムされ得る。加えて、ＳＩＭＭカードによって、セキュアアプリケーションが、ハッキング不可能なやり方でＳＩＭＭカードに識別情報をセットするなど、付加情報とともに用意され得る。

【0087】

メモリは、たとえば以下で論じられるようなフラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実装形態では、コンピュータプログラム製品は、情報媒体の中に実体的に具現化される。コンピュータプログラム製品には、実行されると、上記で説明されているものなどの１つまたは複数の方法を実行する命令が含有され得る。情報媒体は、たとえばトランシーバ１１６８または外部インターフェース１１６２に収容され得る、メモリ１１６４、増設メモリ１１７４、またはプロセッサ１１５２上のメモリなどのコンピュータ可読媒体もしくは機械可読媒体である。

【0088】

デバイス１１５０は、必要な場合にはデジタル信号処理回路を含み得る通信インターフェース１１６６を介して無線で通信し得る。通信インターフェース１１６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、もしくはＭＭＳのメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなど、様々なモードまたはプロトコルの下で通信をもたらし得る。そのような通信は、たとえば無線周波数トランシーバ１１６８を介して生じ得る。加えて、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、または他のそのようなトランシーバ（図示せず）などを使用して短距離通信が生じ得る。加えて、全地球測位システム（ＧＰＳ）受信モジュール１１７０は、デバイス１１５０上で作動するアプリケーションによって必要に応じて使用され得る、ナビゲーションに関連するおよび位置に関連する追加の無線データを、デバイス１１５０に供給し得る。

【0089】

デバイス１１５０は、ユーザから話した情報を受け取って、その情報を、使用可能なデジタル情報に変換し得る、音声コーデック１１６０を音声認識可能なように使用して、通信してもよい。音声コーデック１１６０は、同様に、たとえばデバイス１１５０のハンドセットの中のスピーカなどによって、ユーザ向けに可聴音を生成し得る。そのような音響には、音声通話からの音響、記録されている音響（たとえば音声メール、音楽ファイルなど）、が含まれ得、またデバイス１１５０上で動作するアプリケーションによって生成される音響も含まれ得る。

【0090】

コンピューティングデバイス１１５０は、図に示されるように、複数の別々の形態で実施され得る。たとえば、コンピューティングデバイス１１５０は携帯電話１１８０として実施され得る。コンピューティングデバイス１１５０は、スマートフォン１１８２、個人用デジタル情報処理端末、または他の類似のモバイルデバイスの一部として実施されてもよい。

【0091】

例示の実施形態は、様々な修正形態および代替形態の形式を含み得るが、それらの実施形態は例として図に示され、本明細書で詳細に説明される。しかしながら、例示の実施形態を、開示されている特定の形態に限定する意図はなく、むしろ、例示の実施形態は、特許請求の範囲に含まれるすべての修正形態、等価物、および代替形態を対象として含むことを理解されたい。図の説明を通して、類似の番号は類似の要素を指す。

【0092】

本明細書で説明したシステムおよび技術の様々な実装形態は、デジタル電子回路、集積回路、専用に設計されているＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組合せで実現され得る。これら様々な実装形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行可能かつ／または機械言語に翻訳処理可能な、１つまたは複数のコンピュータプログラムの実装形態を含み得、プログラマブルプロセッサは、専用または汎用のものであり得、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスに結合されてデータや命令をやり取りし得る。本明細書で説明したシステムや技術の様々な実装形態は、本明細書において、ソフトウェアの態様とハードウェアの態様とを組み合わせ得る、回路、モジュール、ブロック、またはシステムとして実現され得、かつ／または一般にこれらと称され得る。たとえば、モジュールは、プロセッサ（たとえばシリコン基板、ＧａＡｓ基板上に形成されているプロセッサなど）またはいくつかの他のプログラム可能なデータ処理装置において実行する機能／行為／コンピュータプログラム命令を含み得る。

【0093】

上記の例示の実施形態のうちのいくつかは、流れ図として表される処理または方法として説明されている。流れ図では、動作は順次の処理として説明されるが、動作の多くは、並行して、共に、すなわち同時に実行され得る。加えて、動作の順序は再編成されてよい。処理は、その動作が完了したら終了してよいが、図に含まれていない追加のステップも有し得る。処理は、方法、機能、プロシージャ、サブルーチン、サブプログラムなどに相当し得る。

【0094】

上記で論じられている方法は、そのいくつかが流れ図によって示されており、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実施され得る。必要なタスクを実行するプログラムコードまたはコードセグメントは、ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実施されると、記憶媒体などの機械可読媒体またはコンピュータ可読媒体に記憶され得る。プロセッサ（１つまたは複数）は必要なタスクを実行し得る。

【0095】

本明細書で開示されている特定の構造および機能の詳細は、例示の実施形態を説明するための単なる表現である。しかしながら、例示の実施形態は、多くの代替形態で具現化されるので、本明細書で説明されている実施形態のみに限定されるものと解釈されるべきではない。

【0096】

本明細書では、様々な要素を説明するために、「第１の」、「第２の」などの用語を使用することがあるが、これらの要素は、これらの用語によって制限されるべきではないことを理解されたい。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。たとえば、例示の実施形態の範囲から逸脱することなく、第１の要素が第２の要素と称されてよく、同様に、第２の要素が第１の要素と称されてもよい。本明細書で使用される「および／または」という用語は、関連して列挙されている品目のうち１つまたは複数の、任意の組合せも、それらのすべての組合せも含む。

【0097】

ある要素が、別の要素に接続または結合されると称されるとき、他の要素に直接接続もしくは結合されてよく、または介在要素があってもよいことが理解されよう。対照的に、ある要素が、別の要素に直接接続または結合されると称されるとき、介在要素は存在しない。要素の間の関係を説明するために使用される他の語（たとえば「の間を」対「の間を直接」、「近接」対「隣接」など）は、同じように解釈されるべきである。

【0098】

本明細書で使用される用語法は、特定の実施形態を説明することのみを目的としており、例示の実施形態を限定する意図はない。本明細書で使用される、「ある（ａ）」、「ある（ａｎ）」、「その（ｔｈｅ）」といった単数形は、文脈がそうでないことを明白に示さない限り、複数形も含むように意図されている。本明細書で使用される「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」および／または「含む（ｉｎｃｌｕｄｉｎｇ）」といった用語は、明示されている特徴、完全体、ステップ、動作、要素および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、完全体、ステップ、動作、要素、構成要素および／またはそれらのグループの存在や追加を排除しないことがさらに理解されよう。

【0099】

いくつかの代替の実装形態では、示されている機能／行為は、図に示されているものと違う順序で生じ得ることにも留意されたい。たとえば、連続して示されている２つの図が、実際には、包含される機能性／行為に依拠して、同時に実行されてよく、時には逆順に実行されてもよい。

【0100】

本明細書で使用されるすべての用語（技術用語および科学用語を含む）は、別様に定義されなければ、例示の実施形態が属する技術の当業者によって一般的に理解されるものと同一の意味を有する。たとえば、一般に使用される辞書において定義されている用語は、関連技術の状況に矛盾しない意味を有するものと解釈されるべきであり、したがって、本明細書においてそのように明確に定義されない限り、理想化されるまたは過度に形式化される意味には解釈されないことがさらに理解されよう。

【0101】

上記の例示の実施形態および対応する詳細な説明の一部は、ソフトウェア、またはコンピュータメモリの内部のデータビット上の動作のアルゴリズムおよび記号表現に関して提示されている。これらの記述および表現は、当業者が、自分の著作物の実体を他の当業者に効果的に伝えるものである。本明細書で一般に使用されているアルゴリズムという用語は、所望の結果につながる、自己矛盾がないステップのシーケンスであると理解される。ステップは、物理量の物理的操作を必要とするものである。必須ではないが、これらの量は、通常は、記憶、転送、組合せ、比較、または操作が可能な、光信号、電気信号、または磁気信号の形をとる。これらの信号を、主に共通の使用法の理由で、時にはビット、値、要素、シンボル、特性、用語、番号などと称すると便利であることが判明している。

【0102】

上記の実例となる実施形態において、プログラムモジュールまたは機能プロセスとして実施され得る、行為に対する参照および（たとえば流れ図の形式の）動作の記号表現は、特定のタスクを実行するか、または特定の抽象データ型を実施する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、既存の構造要素における既存のハードウェアを使用して、記述され、かつ／または実施され得る。そのような既存のハードウェアは、１つまたは複数の中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータなどを含み得る。

【0103】

しかしながら、すべてのこれら用語および類似の用語は、適切な物理量に関連付けられるべきであり、これらの量に適用される都合のよいラベルでしかないことも念頭に置くべきである。特に別記しない限り、すなわち議論から明らかなように、処理、演算、計算、判定、表示などの用語は、コンピュータシステムのレジスタおよびメモリの内部の物理的、電子的な量として表されるデータを、コンピュータシステムのメモリもしくはレジスタ、または他のそのような情報の記憶装置、伝送デバイスもしくは表示デバイスの内部の、物理量として同様に表される他のデータへと処理したり変換したりする、コンピュータシステムまたは類似のコンピューティングデバイスのアクションおよび処理を指す。

【0104】

例示の実施形態のソフトウェアで実施される態様は、一般的には何らかの形態の非一時的プログラム記憶媒体上に符号化されるか、またはいくつかのタイプの伝送媒体を通じて実施されることにも留意されたい。プログラム記憶媒体は、磁気媒体（たとえばフロッピーディスクまたはハードドライブ）または光媒体（たとえばコンパクトディスク読出し専用メモリすなわちＣＤ ＲＯＭ）であってよく、読出し専用媒体またはランダムアクセス媒体であってよい。同様に、伝送媒体は、ツイストペア線、同軸ケーブル、光ファイバ、または当技術で既知の他の適切な伝送媒体でよい。例示の実施形態は、いかなる所与の実装形態のこれらの態様によっても制限されない。

【0105】

最後に、添付の特許請求の範囲は、本明細書で説明されている特徴の特定の組合せを提示するが、本開示の範囲は、以下で特許請求される特定の組合せに限定されることなく、その特定の組合せが、現時点で添付の特許請求の範囲の中に具体的に列挙されているかどうかということに関係なく、本明細書で開示されている特徴または実施形態のあらゆる組合せを包含するように広がることにも留意されたい。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2023-12-14

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

時間間隔をおいて取り込まれている第１のパノラマ画像と第２のパノラマ画像とに関連するステレオ深度を予測するステップと、
前記第１のパノラマ画像と前記第１のパノラマ画像に対応するステレオ深度とに基づいて、第１のメッシュ表現を生成するステップと、
前記第２のパノラマ画像と前記第２のパノラマ画像に対応するステレオ深度とに基づいて、第２のメッシュ表現を生成するステップと、
前記第１のメッシュ表現を前記第２のメッシュ表現と融合させることに基づいて第３のパノラマ画像を合成するステップと
を含む方法。

【請求項2】

前記第１のパノラマ画像および前記第２のパノラマ画像は、３６０度の、広いベースラインの正距円筒図法（ＥＲＰ）のパノラマである、請求項１に記載の方法。

【請求項3】

前記ステレオ深度を予測する前記ステップは、前記第１のパノラマ画像および前記第２のパノラマ画像ならびに少なくとも１つの目標位置に基づき、球面掃引コストボリュームを使用して、前記第１のパノラマ画像および前記第２のパノラマ画像の各々の深度を推定する、請求項１に記載の方法。

【請求項4】

前記ステレオ深度を予測する前記ステップは、前記第１のパノラマ画像に関連した第１の特徴マップと、前記第２のパノラマ画像とに基づいて、低解像度深度を推定し、
前記ステレオ深度を予測する前記ステップは、前記第１の特徴マップと、前記第１のパノラマ画像に関連した第２の特徴マップとに基づいて、高解像度深度を推定する、
請求項１に記載の方法。

【請求項5】

前記第１のメッシュ表現を生成する前記ステップは、前記第１のパノラマ画像と、前記第１のパノラマ画像に対応する前記ステレオ深度に基づいて判定される不連続性とに基づき、
前記第２のメッシュ表現を生成する前記ステップは、前記第２のパノラマ画像と、前記第２のパノラマ画像に対応する前記ステレオ深度に基づいて判定される不連続性とに基づく、
請求項１に記載の方法。

【請求項6】

前記第１のメッシュ表現を生成する前記ステップは、第１の目標位置に基づいて前記第１のメッシュ表現を第１の３６０度のパノラマへとレンダリングするステップを含み、
前記第２のメッシュ表現を生成する前記ステップは、第２の目標位置に基づいて前記第２のメッシュ表現を第１の３６０度のパノラマへとレンダリングするステップを含み、
前記第１の目標位置および前記第２の目標位置は、前記第１のパノラマ画像の前記取込みと前記第２のパノラマ画像の前記取込みとの間の前記時間間隔に基づく、
請求項１に記載の方法。

【請求項7】

前記第３のパノラマ画像を合成する前記ステップは、前記第１のメッシュ表現を前記第２のメッシュ表現と融合させるステップと、
前記第１のメッシュ表現と前記第２のメッシュ表現との間の両義性を解消するステップと、
前記合成されている第３のパノラマ画像における穴をインペイントするステップと
を含む、請求項１に記載の方法。

【請求項8】

前記第３のパノラマ画像を合成する前記ステップは、前記第１のパノラマ画像に対応する前記ステレオ深度における負の領域に基づいて前記第１のメッシュ表現における穴を識別し、前記第２のパノラマ画像に対応する前記ステレオ深度における負の領域に基づいて前記第２のメッシュ表現における穴を識別するために、２値の視認性マスクを生成するステップを含む、請求項１に記載の方法。

【請求項9】

前記第３のパノラマ画像を合成する前記ステップは、訓練済みニューラルネットワークを使用するステップを含み、
前記訓練済みニューラルネットワークは、各畳み込み層において循環パディングを使用して、前記第３のパノラマ画像の左右の縁部を結合する、
請求項１に記載の方法。

【請求項10】

時間間隔をおいて取り込まれている第１のパノラマ画像と第２のパノラマ画像とに関連するステレオ深度を予測するように構成されている深度予測器と、
前記第１のパノラマ画像と前記第１のパノラマ画像に対応するステレオ深度とに基づいて、第１のメッシュ表現を生成するように構成されている第１の差分メッシュレンダラと、
前記第２のパノラマ画像と前記第２のパノラマ画像に対応するステレオ深度とに基づいて、第２のメッシュ表現を生成するように構成されている第２の差分メッシュレンダラと、
前記第１のメッシュ表現を前記第２のメッシュ表現と融合させることに基づいて第３のパノラマ画像を合成するように構成されている融合ネットワークと
を備えるシステム。

【請求項11】

前記第１のパノラマ画像および前記第２のパノラマ画像は、３６０度の、広いベースラインの正距円筒図法（ＥＲＰ）のパノラマである、請求項１０に記載のシステム。

【請求項12】

前記ステレオ深度を前記予測することは、前記第１のパノラマ画像および前記第２のパノラマ画像ならびに少なくとも１つの目標位置に基づき、球面掃引コストボリュームを使用して、前記第１のパノラマ画像および前記第２のパノラマ画像の各々の深度を推定する、請求項１０に記載のシステム。

【請求項13】

前記ステレオ深度を前記予測することは、前記第１のパノラマ画像に関連した第１の特徴マップと、前記第２のパノラマ画像とに基づいて、低解像度深度を推定し、
前記ステレオ深度を前記予測することは、前記第１の特徴マップと、前記第１のパノラマ画像に関連した第２の特徴マップとに基づいて、高解像度深度を推定する、
請求項１０に記載のシステム。

【請求項14】

前記第１のメッシュ表現を前記生成することは、前記第１のパノラマ画像と、前記第１のパノラマ画像に対応する前記ステレオ深度に基づいて判定される不連続性とに基づき、
前記第２のメッシュ表現を前記生成することは、前記第２のパノラマ画像と、前記第２のパノラマ画像に対応する前記ステレオ深度に基づいて判定される不連続性とに基づく、
請求項１０に記載のシステム。

【請求項15】

前記第１のメッシュ表現を前記生成することは、第１の目標位置に基づいて前記第１のメッシュ表現を第１の３６０度のパノラマへとレンダリングすることを含み、
前記第２のメッシュ表現を前記生成することは、第２の目標位置に基づいて前記第２のメッシュ表現を第１の３６０度のパノラマへとレンダリングすることを含み、
前記第１の目標位置および前記第２の目標位置は、前記第１のパノラマ画像の前記取込みと前記第２のパノラマ画像の前記取込みとの間の前記時間間隔に基づく、
請求項１０に記載のシステム。

【請求項16】

前記第３のパノラマ画像を前記合成することは、前記第１のメッシュ表現を前記第２のメッシュ表現と融合させることと、
前記第１のメッシュ表現と前記第２のメッシュ表現との間の両義性を解消することと、
前記合成されている第３のパノラマ画像における穴をインペイントすることと
を含む、請求項１０に記載のシステム。

【請求項17】

前記第３のパノラマ画像を前記合成することは、前記第１のパノラマ画像に対応する前記ステレオ深度における負の領域に基づいて前記第１のメッシュ表現における穴を識別し、前記第２のパノラマ画像に対応する前記ステレオ深度における負の領域に基づいて前記第２のメッシュ表現における穴を識別するために、２値の視認性マスクを生成することを含む、請求項１０に記載のシステム。

【請求項18】

前記第３のパノラマ画像を前記合成することは、訓練済みニューラルネットワークを使用することを含み、
前記訓練済みニューラルネットワークは、各畳み込み層において循環パディングを使用して、前記第３のパノラマ画像の左右の縁部を結合する、
請求項１０に記載のシステム。

【請求項19】

命令を含むコンピュータプログラムであって、前記命令は、コンピュータシステムの少なくとも１つのプロセッサによって実行されると、前記コンピュータシステムに、
第１のパノラマ画像の取込みと第２のパノラマ画像の取込みとの間の時間間隔で取り込まれている、３６０度の、広いベースラインの正距円筒図法（ＥＲＰ）のパノラマである、前記第１のパノラマ画像および前記第２のパノラマ画像に関連するステレオ深度を予測することと、
前記第１のパノラマ画像と前記第１のパノラマ画像に対応するステレオ深度とに基づいて、第１のメッシュ表現を生成することと、
前記第２のパノラマ画像と前記第２のパノラマ画像に対応するステレオ深度とに基づいて、第２のメッシュ表現を生成することと、
前記第１のメッシュ表現を前記第２のメッシュ表現と融合させることに基づいて第３のパノラマ画像を合成することと
を行わせるように構成されている、コンピュータプログラム。

【請求項20】

前記第１のメッシュ表現を前記生成することは、第１の目標位置に基づいて前記第１のメッシュ表現を第１の３６０度のパノラマへとレンダリングすることを含み、
前記第２のメッシュ表現を前記生成することは、第２の目標位置に基づいて前記第２のメッシュ表現を第１の３６０度のパノラマへとレンダリングすることを含み、
前記第１の目標位置および前記第２の目標位置は、前記第１のパノラマ画像の前記取込みと前記第２のパノラマ画像の前記取込みとの間の前記時間間隔に基づく、
請求項１９に記載のコンピュータプログラム。

【国際調査報告】