知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-23
(45)【発行日】2024-05-31
(54)【発明の名称】画像合成
(51)【国際特許分類】
G06T 19/00 20110101AFI20240524BHJP
H04N 13/111 20180101ALI20240524BHJP
【ＦＩ】
G06T19/00 A
H04N13/111
【請求項の数】
15
(21)【出願番号】P 2021516698
(86)(22)【出願日】2019-09-16
(65)【公表番号】
(43)【公表日】2022-01-11
(86)【国際出願番号】 EP2019074617
(87)【国際公開番号】W WO2020064381
(87)【国際公開日】2020-04-02
【審査請求日】2022-09-14
(31)【優先権主張番号】18196617.7
(32)【優先日】2018-09-25
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ヴァーエカンプ クリスティアン
【審査官】岡本 俊威
(56)【参考文献】
【文献】米国特許出願公開第２０１２／０１８８２３４（ＵＳ，Ａ１）
【文献】国際公開第２０１８／０６０３３４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｈ０４Ｎ １３／００－１３／３９８
(57)【特許請求の範囲】
【請求項1】
画像ソースから、受信された画像部分及び関連する深度データ並びに前記受信された画像部分における一群の画像部分の各画像部分に関する深度遷移尺度を受信するための受信器であって、前記画像部分が、異なるビュー姿勢からのシーンを表す画像の部分である、受信器と、レンダリングビュー姿勢を決定するための決定器と、
前記受信された画像部分における一群の画像部分の各画像部分に関する前記深度遷移尺度を有する記憶部であって、前記画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示し、前記一群の画像部分を表すデータに比べて前記深度遷移尺度を表すデータのサイズが小さい、記憶部と、
前記深度遷移尺度を受信した後、前記レンダリングビュー姿勢及び前記深度遷移尺度により示される前記深度遷移の方向に応答して、前記一群の画像部分の第１の画像部分を選択するためのセレクタと、
前記画像ソースから前記第１の画像部分を取り出すための検索器と、
前記第１の画像部分を含む受信された画像部分から少なくとも１つの画像を合成するための画像合成器と
を有する、画像合成装置。
【請求項2】
前記深度遷移尺度が前記深度遷移のサイズを示す、請求項１に記載の画像合成装置。
【請求項3】
前記セレクタが、更に、前記一群の画像部分の画像部分のビュー姿勢と前記レンダリングビュー姿勢との間の差に応答して前記第１の画像部分を選択する、請求項１又は請求項２に記載の画像合成装置。
【請求項4】
前記セレクタが前記一群の画像部分を該一群の画像部分に属する任意の画像部分のビュー姿勢と前記レンダリングビュー姿勢との間の差が閾値未満であるという制約の下で決定する、請求項３に記載の画像合成装置。
【請求項5】
前記セレクタは、前記一群の画像部分を、前記画像合成器により合成されるべき画像の画像区画と同一の前記シーンの領域を表す画像部分として決定し、前記一群の画像部分の前記画像部分が異なるビュー姿勢からの画像領域を表す、請求項１から４の何れか一項に記載の画像合成装置。
【請求項6】
前記一群の画像部分が、異なるビュー姿勢からの画像部分であって、合成されるべき画像の同じ部分に対応する画像部分を有する、請求項１から５の何れか一項に記載の画像合成装置。
【請求項7】
前記セレクタが、前記第１の画像部分の選択を、前記深度遷移の前から後への深度遷移が前記画像部分のビュー姿勢から前記レンダリングビュー姿勢への方向とは反対の方向である画像部分に向かってバイアスする、請求項１から６の何れか一項に記載の画像合成装置。
【請求項8】
前記少なくとも１つの画像の合成が、前記第１の画像部分から該少なくとも１つの画像の画像部分を合成することを有する、請求項１から７の何れか一項に記載の画像合成装置。
【請求項9】
前記深度遷移尺度が閾値を超える深度勾配の平均を表す、請求項１から８の何れか一項に記載の画像合成装置。
【請求項10】
遠隔ソースから画像部分リクエストを受信するための受信器と、一群の画像部分及び関連する深度データを記憶するための記憶部であって、前記画像部分が、異なるビュー姿勢からのシーンを表す画像の部分である、記憶部と、
前記一群の画像部分の各画像部分に関する深度遷移尺度を供給するためのメトリック生成器であって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示し、前記一群の画像部分を表すデータに比べて前記深度遷移尺度を表すデータのサイズが小さい、メトリック生成器と、
前記メトリック生成器が前記深度遷移尺度を供給した後、前記画像部分リクエスト及び前記深度遷移尺度により示される前記深度遷移の方向に応答して、前記一群の画像部分から画像部分を選択するためのセレクタと、
選択された画像部分及び関連する深度データを前記遠隔ソースに送信することにより画像部分を優先順位付けして送信するための送信器と
を有する、画像データストリームを生成するための装置。
【請求項11】
前記送信器が前記一群の画像部分に関する前記深度遷移尺度を前記遠隔ソースに送信する、請求項１０に記載の装置。
【請求項12】
前記画像部分リクエストはビュー姿勢指示情報を有し、前記セレクタが前記深度遷移尺度及び前記ビュー姿勢指示情報に応答して画像部分を選択する、請求項１０又は請求項１１に記載の装置。
【請求項13】
画像ソースから、受信された画像部分及び関連する深度データ並びに前記受信された画像部分における一群の画像部分の各画像部分に関する深度遷移尺度を受信するステップであって、前記画像部分が、異なるビュー姿勢からのシーンを表す画像の部分である、ステップと、レンダリングビュー姿勢を決定するステップと、
前記受信された画像部分における一群の画像部分の各画像部分に関する前記深度遷移尺度を記憶するステップであって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示し、前記一群の画像部分を表すデータに比べて前記深度遷移尺度を表すデータのサイズが小さい、ステップと、
前記深度遷移尺度を受信した後、前記レンダリングビュー姿勢及び前記深度遷移尺度により示される前記深度遷移の方向に応答して、前記一群の画像部分の第１の画像部分を選択するステップと、
前記第１の画像部分を前記画像ソースから取り出すステップと、
前記第１の画像部分を含む受信された画像部分から少なくとも１つの画像を合成するステップと
を有する、画像を合成する方法。
【請求項14】
遠隔ソースから画像部分リクエストを受信するステップと、一群の画像部分及び関連する深度データを記憶するステップであって、前記画像部分が、異なるビュー姿勢からのシーンを表す画像の部分である、ステップと、
前記一群の画像部分の各画像部分に関する深度遷移尺度を供給するステップであって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示し、前記一群の画像部分を表すデータに比べて前記深度遷移尺度を表すデータのサイズが小さい、ステップと、
前記深度遷移尺度を供給した後、前記画像部分リクエスト及び前記深度遷移尺度により示される前記深度遷移の方向に応答して、前記一群の画像部分から画像部分を選択するステップと、
選択された画像部分及び関連する深度データを前記遠隔ソースに送信することにより画像部分を優先順位付けして送信するステップと
を有する、画像データストリームを生成する方法。
【請求項15】
コンピュータ上で実行された場合に請求項１４に記載の画像データストリームを生成する方法の全ステップを実行するためのコンピュータプログラムコード手段を有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像合成及び該画像合成のための画像データストリームの生成に係り、専らではないが、特には例えば仮想現実アプリケーション及びサービスのための画像の画像部分に基づく画像合成に関する。
【背景技術】
【0002】
近年、画像及びビデオアプリケーションの多様性及び範囲が大幅に増加しており、ビデオを利用及び消費する新たなサービス及び方法が、継続的に開発され、導入されている。
【0003】
例えば、人気が高まっている１つのサービスは、視聴者（ビューア）が能動的且つ動的にシステムと対話してレンダリングのパラメータを変更できるような態様で画像シーケンスを提供することである。多くの用途において非常に魅力的なフィーチャは、例えば、視聴者が提示されているシーン内で動き回り及び「見回す」ことを可能にする等の、視聴者の実効観察位置及び観察方向（観察姿勢）を変更する能力である。
【0004】
このようなフィーチャは、特に、仮想現実体験がユーザに提供されることを可能にし得る。これにより、ユーザは仮想環境内で（相対的に）自由に動き回ることができ、自身の位置及び何処を見ているかを動的に変更できる。典型的に、このような仮想現実アプリケーションは、シーンの３次元モデルに基づいており、該モデルは特定の要求されたビューを提供するために動的に評価される。このアプローチは、例えば、ファーストパーソンシュータのゲーム分類におけるような、コンピュータ及びコンソールのためのゲームアプリケーションから良く知られている。
【0005】
特に仮想現実アプリケーションの場合、提示される画像が３次元画像であることも望ましい。実際、視聴者の没入を最適化するために、ユーザが、提示されるシーンを３次元シーンとして体験することが典型的に好ましい。実際、仮想現実体験は、好ましくは、ユーザが自身の位置、カメラ視点、及び仮想世界に対する時点を選択することを可能にすべきである。
【0006】
シーンの特に３次元の表現に基づく種々のサービスをサポートする際の主な問題は、大量のデータが必要とされることである。これにより、大きな記憶資源の必要性等の、高い資源要件が生じる。しかしながら、多くのシナリオにおいて、最大の制約は記憶又は処理要件ではなく、通信要件である。シーンを表すデータが、帯域幅が制限された通信チャンネル（内部的か外部的かによらず）を介して通信されねばならないことが要求される場合、通信されることを要するデータの量を低減するよう試みることが極めて望ましい。
【0007】
例えば、多くのシナリオにおいて及び多くのアプリケーションの場合、クライアントサーバ手法を使用することができ、該手法において、例えば仮想現実アプリケーションを実行する遠隔クライアントは、帯域幅が制限されたリンクを介して必要なシーンデータを供給する中央サーバに結合される。しかしながら、マルチビュー表現は典型的に高いビットレートに関連付けられる（深さ情報がなくても、高いビットレートが必要とされ、実際、これは、この場合より多くのビューが必要とされるので、しばしば、より高くなり得る）。例えば、動きの自由度を有する仮想現実再生は、シーンの異なるビューを観察者が３Ｄ空間を介して移動している速度で必要とするであろう。このような通信チャンネルを介して十分なデータを供給するという難題は、実際には対処するのが非常に困難である。
【0008】
帯域幅が制限された通信チャンネルを介しての３Ｄ幾何学形状及びテクスチャ情報の効率的ストリーミングのために、特にはインターネット等のネットワークで使用するために、幾つかのフォーマットが提案されている。例えば、MPEG Omnidirectional MediA Format(ＯＭＡＦ)規格は、HTTP(MPEG DASH)を介したダイナミック適応ストリーミングを利用する３６０ ビデオ（３自由度（ＤｏＦ））のタイルストリーミング（tiled streaming）を含むであろう。ＯＭＡＦの将来のバージョンは、限定された動き視差をサポートすることが期待される（３ＤｏＦ＋）。
【0009】
前述したように、実際のところ、深さコーティングによるマルチビューにおける最も緊急な問題は、しばしば、記憶要求ではなく、むしろ伝送帯域幅及び待ち時間（レイテンシ）である。滑らかな体験を有するためには、画像がヘッドセットに適時に到着しなければならない。しかしながら、開発されたフォーマット及び符号化はデータレートを低減しようとするものの、依然として、典型的にはクライアント側で達成され得る品質及びユーザ体験に対する主たる制限である。
【0010】
更に、生成される画像の十分に高い品質を維持するために、適切なデータがビュー合成のために利用可能であることが重要である。特に、異なる視点から画像を合成すると、被写体の深さに依存した視差シフトが生じる。これに応じて、このシフトが画像内に孔を出現させ得る未隠蔽（de-occlusion）を引き起こす可能性があり、これは、他の視点からのデータにより又は外挿により埋められなければならないが、このことは準最適となりがちである。このように、必要とされるデータレートと合成器に供給されるデータ量との間には重大なトレードオフが存在する。
【発明の概要】
【発明が解決しようとする課題】
【0011】
従って、画像データストリームを生成し、使用するための改善されたアプローチが有利であろう。特に、改善された動作、容易化された動作、シーンの改善された表現、柔軟性の増大、容易化された実施化、容易化された動作、減少されたデータレート、減少されたデータ記憶、分配、及び／又は処理資源要件、改善された適応性、改善された画像品質、及び／又は改善された性能を可能にするアプローチが有利であろう。
【0012】
従って、本発明は、好ましくは上述した欠点の１以上を単独で若しくは任意の組み合わせで軽減、緩和又は除去しようとするものである。
【課題を解決するための手段】
【0013】
本発明の一態様によれば、画像合成装置が提供され、該画像合成装置は：画像ソースから、画像部分及び関連する深度データを受信するための受信器であって、前記画像部分が、異なるビュー姿勢からのシーンを表す画像の部分である、受信器と；レンダリングビュー姿勢を決定するための決定器と；前記受信された画像部分における一群の画像部分の各画像部分に関する深度遷移尺度を有する記憶部であって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示す記憶部と；前記レンダリングビュー姿勢及び前記深度遷移尺度に応答して、前記一群の画像部分の第１の画像部分を選択するためのセレクタと；前記画像ソースから前記第１の画像部分を取り出すための検索器と；前記第１の画像部分を含む受信された画像部分から少なくとも１つの画像を合成するための画像合成器と；を有する。
【0014】
本発明は、例えば自由視点ビデオシステムにおけるように、画像合成及び配信システムのための改善された動作及び／又は性能を提供することができる。このアプローチは、ビューが適応される仮想／人工／拡張現実体験にとり特に有利な性能を提供できる。このアプローチは、多くのシナリオにおいて、低減された複雑さをもたらし得る。該アプローチは、多くのシナリオにおいて、ビットストリームのための大幅に低減されたデータレート及び／又は改善された品質をもたらす。改善された品質／データレートのトレードオフが、多くのシナリオにおいて達成される。
【0015】
多くの実施形態において、このアプローチは、特に、画像合成から生じる非隠蔽（デオオクルージョン）エラー及びアーチファクトを低減又は軽減し得る。
【0016】
画像部分に対する関連する前記深度データは、該画像部分に関する視点から該画像部分におけるオブジェクトまでの距離を示す深度データであり得る。
【0017】
前記画像合成器は、第１の画像部分から、合成される画像の画像領域／部分を合成するように構成される。該合成は、第１の画像部分のビュー姿勢からレンダリングビュー姿勢へのビュー姿勢シフトを含むことができる。
【0018】
画像部分に関する前記深度遷移尺度は、特には当該画像部分／該画像部分の画像の画像面（又は平行面）であり得る画像面における深度遷移の方向を示す。該方向は、より前方からより後方への（前景から背景に向かう）遷移の画像面方向であってもよく、又は、例えば、より後方からより前方への（背景から前景に向かう）遷移の画像面方向であってもよい。
【0019】
前記画像ソースは、遠隔サーバ等の遠隔ソースであり得る。ビュー姿勢に対する画像は、典型的に、複数の画像部分に分割され得るが、１以上の画像を単一の画像部分に分割することもでき、即ち、画像部分はビュー姿勢に対する画像全体に対応してもよい。
【0020】
前記一群の画像部分は、前記受信器により受信された画像部分の組であり、完全な組又は該組の部分組であってもよい。
【0021】
ステップ状の遷移は、画像部分における深度の優勢な又は最大の遷移であり得る。
【0022】
幾つかの実施形態において、前記セレクタは、更に、目標のビュー姿勢に対する前記一群の画像部分の可視性尺度に応答して、第２の部分群の画像部分を選択するように構成され得る。
【0023】
幾つかの実施形態において、前記画像部分は事前にエンコードされた画像部分である。
【0024】
幾つかの実施態様において、前記一群の画像部分は、異なるビュー姿勢に関するシーンの多面体投影の面を有する。
【0025】
幾つかの実施形態において、前記画像部分は、画像の所定の分割（セグメンテーション）に対応する。
【0026】
幾つかの実施形態において、前記装置は、更に、画像のピクセル値及び画像の深度値のうちの少なくとも１つに基づく画像の分割に応答して、前記一群の画像部分の少なくとも幾つかの画像部分を生成するための分割器を有する。幾つかの実施形態において、少なくとも幾つかの画像部分は重なり合う。
【0027】
本発明のオプションのフィーチャによれば、前記深度遷移尺度は前記深度遷移のサイズを示す。
【0028】
この構成は、多くの実施形態において改善された性能を提供し得る。該深度遷移のサイズは、例えば、深度ステップの絶対値とすることができ、又は深度勾配若しくは深度勾配ベクトルの大きさとすることができる。
【0029】
本発明のオプションのフィーチャによれば、前記セレクタは、更に、前記一群の画像部分の画像部分のビュー姿勢と前記レンダリングビュー姿勢との間の差に応答して前記第１の画像部分を選択するよう構成される。
【0030】
この構成は、性能を更に改善することができ、例えば大きなビューシフト処理から生じるエラー又はアーチファクトを低減できる。
【0031】
本発明のオプションのフィーチャによれば、前記セレクタは、前記一群の画像部分を該一群の画像部分に属する任意の画像部分のビュー姿勢と前記レンダリングビュー姿勢との間の差が閾値未満であるという制約の下で決定するように構成される。
【0032】
この構成は、複雑さ及び資源要件を低く維持しながら、性能を更に改善し得る。
【0033】
本発明のオプションのフィーチャによれば、前記セレクタは前記一群の画像部分を前記画像合成器により合成されるべき画像の画像区画と同一の前記シーンの領域を表す画像部分として決定するように構成され、前記一群の画像部分の前記画像部分は異なるビュー姿勢からの画像領域を表す。
【0034】
該アプローチは、画像の改善された合成をもたらし得ると共に、特に多くのシナリオにおいて非隠蔽から生じるエラー及びアーチファクトを低減し得る。
【0035】
本発明のオプションのフィーチャによれば、前記一群の画像部分は、異なるビュー姿勢からの画像部分であって、合成されるべき画像の同じ部分に対応する画像部分を有する。
【0036】
該アプローチは、画像の改善された合成をもたらし得ると共に、特に多くのシナリオにおいて非隠蔽から生じるエラー及びアーチファクトを低減し得る。
【0037】
本発明のオプションのフィーチャによれば、前記セレクタは、前記第１の画像部分の選択を、前記深度遷移の前から後への深度遷移が前記画像部分のビュー姿勢から前記レンダリングビュー姿勢への方向とは反対の方向である画像部分に向かってバイアスするよう構成される。
【0038】
この構成は、特に効率的な性能をもたらし得ると共に、多くのシナリオにおいて、ビュー姿勢シフトを実行する際に非隠蔽から生じるエラー及びアーチファクトを低減するための特に効率的なアプローチを提供し得る。
【0039】
前記方向は、画像面方向であり得、特に前記画像部分／画像部分の画像の画像面（又は平行面）内の画像面方向であり得る。画像部分の前から後の深度遷移の前記方向は、より前景のオブジェクト／領域／ピクセルから、より背景のオブジェクト／領域／ピクセルへの遷移の画像面における方向であり得る。画像部分に関するビュー姿勢からレンダリングビュー姿勢への前記方向は、画像部分／画像の画像面内の方向であり得る。該方向は、ビュー姿勢の画像面への該画像面に直交する方向に沿う投影から、レンダリングビュー姿勢の画像面への該画像面に直交する方向に沿う投影への方向であり得る。前記バイアスは、画像面における前記方向の間の相関／整列の程度に依存し得る。
【0040】
前記画像面における方向及び点は、前記バイアスを実行するために、明示的に計算又は決定することを要さないことが理解される。
【0041】
前記セレクタは、前記選択を、該選択を前記前から後への遷移の方向の間の整列が増加すると、及び前記ビュー姿勢からレンダリングビュー姿勢の差（例えば、前記画像面における）が増加すると増加する値を持つ費用関数に応答して実行することによりバイアスするよう構成することができる。
【0042】
本発明のオプションのフィーチャによれば、前記少なくとも１つの画像の合成は、前記第１の画像部分から該少なくとも１つの画像の画像部分を合成することを有する。
【0043】
該アプローチは、異なるレンダリングビュー姿勢に対して改善された画像の合成をもたらす。
【0044】
本発明のオプションのフィーチャによれば、前記深度遷移尺度は、閾値を超える深度勾配の平均を表す。
【0045】
この構成は、多くの実施形態において特に有利な性能を提供する。
【0046】
本発明の一態様によれば、画像データストリームを生成するための装置が提供され、該装置は：遠隔ソースから画像部分リクエストを受信するための受信器と；一群の画像部分及び関連する深度データを記憶するための記憶部であって、前記画像部分が、異なるビュー姿勢からのシーンを表す画像の部分である、記憶部と；前記一群の画像部分の各画像部分に関する深度遷移尺度を供給するためのメトリック生成器であって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示す、メトリック生成器と；前記画像部分リクエスト及び前記深度遷移尺度に応答して、前記一群の画像部分から画像部分を選択するためのセレクタと；選択された画像部分及び関連する深度データを前記遠隔ソースに送信するための送信器と；を有する。
【0047】
本発明のオプションのフィーチャによれば、前記送信器は前記一群の画像部分に関する前記深度遷移尺度を前記遠隔ソースに送信するように構成される。
【0048】
本発明のオプションのフィーチャによれば、前記画像部分リクエストはビュー姿勢指示情報を有し、前記セレクタは前記深度遷移尺度及び前記ビュー姿勢指示情報に応答して画像部分を選択するように構成される。
【0049】
本発明の一態様によれば、画像を合成する方法が提供され、該方法は：画像ソースから、画像部分及び関連する深度データを受信するステップであって、前記画像部分が、異なるビュー姿勢からのシーンを表す画像の部分である、ステップと；レンダリングビュー姿勢を決定するステップと；前記受信された画像部分における一群の画像部分の各画像部分に関する深度遷移尺度を記憶するステップであって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示す、ステップと；前記レンダリングビュー姿勢及び前記深度遷移尺度に応答して、前記一群の画像部分の第１の画像部分を選択するステップと；前記第１の画像部分を前記画像ソースから取り出すステップと；前記第１の画像部分を含む受信された画像部分から少なくとも１つの画像を合成するステップと；を有する。
【0050】
本発明の一態様によれば、画像データストリームを生成する方法が提供され、該方法は：遠隔ソースから画像部分リクエストを受信するステップと；一群の画像部分及び関連する深度データを記憶するステップであって、前記画像部分が、異なるビュー姿勢からのシーンを表す画像の部分である、ステップと；前記一群の画像部分の各画像部分に関する深度遷移尺度を供給するステップであって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示す、ステップと；前記画像部分リクエスト及び前記深度遷移尺度に応答して、前記一群の画像部分から画像部分を選択するステップと；選択された画像部分及び関連する深度データを前記遠隔ソースに送信するステップと；を有する。
【0051】
本発明の上記及び他の態様、フィーチャ並びに利点は、後述される実施形態から明らかになり、実施形態を参照して説明される。
【図面の簡単な説明】
【0052】
【発明を実施するための形態】
【0053】
本発明の実施形態を、単なる例として、図面を参照して説明する。
【0054】
以下の説明は、仮想現実アプリケーションのための画像合成及び画像データストリームの生成に適用可能な本発明の実施形態に焦点を当てる。しかしながら、本発明は斯かる用途に限定されず、例えば、多くの異なる画像処理及びレンダリング用途に適用されてもよいことが理解されるであろう。
【0055】
図１は、本発明概念の実施形態の例及び変形例を具体化することが可能なシステムの例を示す。
【0056】
この例において、画像合成装置１０１の形態のクライアントは、シーンを異なる視点（view points）から表す画像を生成するように構成される。即ち、該シーンの異なる観察姿勢（ビュー姿勢；view pose）に対する異なるビューポート（表示域）に対応する画像を生成できる。画像合成装置１０１は、画像部分及び関連する深さを有し、これによりシーンの部分的な三次元画像表現を提供する画像データストリームを受信するように構成される。該装置は、次いで、受信されたデータに基づいて、所与のビューポート及び姿勢に対応する適切な画像を生成できる。この例において、上記画像データストリームは、遠隔サーバとして動作する画像データストリーム生成装置１０３から受信される。画像データストリーム生成装置１０３は、例えばインターネットであり得るネットワーク１０５を介して当該画像データストリームを供給するように構成される。当該構成は、クライアントサーバ構成に相当し得るものであるので、画像合成装置１０１をクライアントと、データストリーム生成装置１０３をサーバとも呼ぶ。
【0057】
該特定の例において、画像データストリーム生成装置１０３は仮想現実サーバであり、該サーバは３次元環境を表す３次元画像データを供給して、画像合成装置１０１が例えば該環境における仮想ユーザの動きに対応するビューを生成するようにする。
【0058】
当該分野において、配置（placement）又は姿勢（ポーズ）という用語は、位置及び／又は方向／向きに関する共通の用語として使用され、例えば、被写体（オブジェクト）、カメラ又はビューの該位置及び方向／向きの組合せは、事実、典型的に姿勢又は配置と呼ばれる。このように、配置又は姿勢の表示は６つの値／成分／自由度を有し得るものであり、各値／成分は、典型的に、対応するオブジェクトの位置／場所又は向き／方向の個々の特性を記述する。勿論、多くの状況において、例えば、１以上の成分が固定又は無関係であると考えられる場合、配置又は姿勢は一層少ない成分で考察又は表現され得る（例えば、全てのオブジェクトが同じ高さにあり、水平の向きを有すると考えられる場合、４つの成分がオブジェクトの姿勢の完全な表現を提供し得る）。以下では、姿勢という用語が、１～６の値（可能な最大自由度に対応する）によって表され得る位置及び／又は向きを示すために使用される。当該説明は姿勢が最大自由度を有する、即ち、位置及び向きの各々の３つの自由度が合計で６つの自由度（６ＤｏＦ）をもたらす実施形態および例に焦点を当てる。このように、姿勢は６つの自由度を表す６つの値の組（セット）又はベクトルによって表すことができ、したがって、該姿勢ベクトルは、三次元位置及び／又は三次元方向指示情報を与えることができる。しかしながら、他の実施形態において、姿勢は一層少ない値によって表されてもよいことが理解されるであろう。
【0059】
多くのアプリケーションにおいて、サーバに存在するシーンの三次元画像表現は、例えば深さ感知カメラを使用した現実世界のシーンまたは環境のキャプチャから生成されたものであり得る。これは、視覚的特性が三次元情報と共にキャプチャされることを可能にする。シーンを十分にキャプチャするために、しばしば、異なる観察姿勢（ビュー姿勢）に対応する極めて多数のキャプチャが採用される。幾つかのアプリケーションでは、異なる観察姿勢からのシーン全体の正確で詳細な表現を提供するために、数百の又は数千もの画像（関連付けられた奥行き情報を伴う）が使用され得る。
【0060】
シーンの仮想データ表現は、有利なユーザ体験を提供する上で重要な要素である。シーンを記述するデータが、視覚特性及び空間特性の両方の正確な表現を提供することが要求される。同時に、シーンを表すのに必要とされるデータの量を減少させることが重要である。このことは、多くのアプリケーションにおいて、達成され得る品質に対する制限要因となる傾向があるからである。
【0061】
特に、画像合成装置１０１に十分な情報が提供され、該装置が、例えば当業者に知られているように視点シフトを行うことにより、所望の観察姿勢に対応する適切な画像をローカルに生成できるようにすることが要求される。しかしながら、同時に、送信されるデータ量が少なく保たれ、且つ、レイテンシも可能な限り最小に保たれることが要求される。多くのシナリオにおいて、制限された通信帯域幅は、高品質および低レイテンシで高品質のユーザ体験を提供しようとする際の制約要因である。
【0062】
更に、深さ感知カメラのキャプチャから環境／シーンのデータ表現への変換も、しばしば、非常に困難であり、エラー又はアーチファクトを生じる可能性がある。例えば、幾つかのアプリケーションでは、キャプチャされたデータを使用して、現実世界のシーンの三次元モデルを開発し得る。次いで、三次元仮想現実体験が提供されているユーザのためのビュー画像を、特定の視点から該モデルを評価することによって生成できる。他のアプリケーションにおいて、特定のビューポート又は視点のための画像は、例えば、最も近いキャプチャ画像の１以上を選択し、所望の視点に対応するように視点シフトを実行することによって、又は場合によってはキャプチャされた画像を直接使用することによって、キャプチャされた画像及び深さ情報から直接生成できる。
【0063】
この場合において、シーンは、深さデータと一緒の一群の画像により画像ドメインにおいて表される。多くの実施形態において、上記画像は所与の観察姿勢のビューを反映する視覚情報を提供することができ、上記深さデータは該画像内のピクセル又はオブジェクトの深さを表すことができる。具体的には、各画像は当該シーンの所与の観察姿勢の所与のキャプチャに対応し得、上記深さデータは、当業者に知られているように、付随する深度マップである。幾つかの実施態様において、後に一層詳細に説明するように、上記画像は例えばテクスチャアトラス画像又はテクスチャマップであり得る一方、上記深さデータは当該シーンのメッシュ及びテクスチャ表現を提供するメッシュであり得る。
【0064】
画像データストリーム生成装置１０３は、したがって、当該シーンを一群の観察姿勢から表す画像及び関連する深さデータを有することができ、具体的には、該画像及び深さデータはキャプチャされたデータとすることができる。したがって、画像データストリーム生成装置１０３は、３Ｄシーンの表現を別個の組の観察姿勢に関する深さを伴う一群の画像により記憶する。このような画像が利用可能である観察姿勢は、基準又はアンカ観察姿勢とも呼ばれ、これら画像は基準ビュー又はアンカビュー画像とも呼ばれるであろう。シーンが別個の基準視点／位置／姿勢に関して記憶されたビューデータによって記述／参照されるシステムにおいて、これらはアンカ視点／位置／姿勢とも呼ばれるフィールド内にあり、以下では基準及びアンカなる用語は等価／同一として使用される。典型的に、実世界環境が異なる点／位置／姿勢から画像をキャプチャすることによってキャプチャされた場合、これらのキャプチャ点／位置／姿勢は、基準／アンカ点／位置／姿勢でもある。
【0065】
基準／アンカビュー画像は、幾つかの実施形態においては、例えば３６０°の方位範囲及び１８０°の仰角範囲をカバーする完全な半球画像であり得る。他の実施形態において、アンカ画像は、例えば４０°の仰角範囲で３６０°又は１８０°の方位角範囲等の、より小さい視角をカバーできる。
【0066】
アンカ画像は更に画像部分に分割することができ、典型的に、画像データストリーム生成装置１０３はアンカ姿勢に関して大きな群の斯様なアンカ画像部分を記憶し得る。幾つかの実施形態において、画像部分はアンカ画像を（能動的に）セグメント化又は分割することによって生成できる。他の実施形態において、画像部分は、例えば所与のアンカ姿勢について利用可能な全てのデータを有し得る。即ち、画像部分は所与のアンカ姿勢ついての画像全体とすることができる。画像部分は、特には、アンカビュー画像のタイリング（タイル化）によって生成できる。代わりに、重なり合う画像部分を使用することもできる。
【0067】
画像部分は、しばしば、依然として相対的に大きいものであり得、例えば、アンカ画像は４～２０個の一層小さな画像部分／タイルに分割できる。例えば、各画像部分は、６０°の方位角及び２２．５°の仰角を有することができる。
【0068】
画像データストリーム生成装置１０３は、したがって、一群の画像部分及び関連する深度マップによるシーンの（潜在的に部分的であるが、しばしば実質的に完全である）三次元画像表現を有する。画像データストリーム生成装置１０３は、関連するデータを画像合成装置１０１に供給することができ、これにより、該画像合成装置がアンカ／基準観察姿勢とは典型的に異なり得る所望のレンダリング観察姿勢からの画像をローカルに合成することを可能にする。更に、当該システムは、画像合成装置１０１に合成を行うことができるように関連する画像データが連続的に伝送される、柔軟且つ動的な動作をサポートできる。このように、画像データストリーム生成装置１０３は、全ての記憶されたデータを処理のために画像合成装置１０１に単に送信するだけではない。このようなアプローチは実用的ではないであろう。極めて大量のデータが伝送され、記憶されることを必要とし、このことは、殆どのアプリケーションにおいて実現可能ではないからである。更に、このことは、シーンが変化し得る動的シーンには適していない。
【0069】
画像データストリーム生成装置１０３は、特に、画像合成装置１０１からデータのリクエストを、例えば該画像合成装置１０１が実行されるべき合成のための観察姿勢指示情報を供給するという形で、受信できる。例えばユーザが見回すために自身の頭を動かすことにより該リクエストが変化すると、新たな画像データが必要とされ、該新たなデータが画像データストリーム生成装置１０３から画像合成装置１０１に送信されて、該合成装置が必要なビューを合成することを可能にする。このようにして、連続した画像データストリームが画像データストリーム生成装置１０３によって生成され、画像合成装置１０１に送信され得る。
【0070】
しかしながら、全アンカ画像を送信するのではなく、図１のアプローチは、当該データストリームが画像部分のストリームであることに基づいている。具体的には、画像データストリーム生成装置１０３は、合成に必要な場合に、適切な画像部分を画像合成装置１０１に送信できる。このアプローチは、必要とされる画像部分しか送信される必要がないので、データレート要件を低減できる。同時に、当該画像部分は、効率的な管理及びコーティング等を提供するのに十分な大きさであり得る。
【0071】
しかしながら、このようなシステムに関する重大な問題は、何の画像部分が画像データストリーム生成装置１０３から画像合成装置１０１に送信されるかを選択及び優先付けすることである。
【0072】
各光強度／テクスチャ画像部分に対して、画像データストリーム生成装置１０３は、当該光強度／テクスチャ画像部分のピクセルに関する深さ情報を提供する関連する深度マップを記憶する。該深度マップは、典型的には、所与のビュー位置からオブジェクトまでの当該深度値の位置に対応する観察方向における距離を示す深度値を有し得る。深度値は、例えば視点からオブジェクトまでの距離が増加することにつれて増加する値を有することができ、又は視点からオブジェクトまでの距離が増加することにつれて減少する値を有してもよい。深度値は、多くの実施形態において、視差値として供給され得る。
【0073】
深さ情報と画像（テクスチャ）情報の両方の供給は、画像合成装置１０１による改善された処理を可能にする追加情報を供給できる。特に、該情報は、アンカ観察姿勢以外の観察姿勢のためのビュー画像の生成を可能にし、又は容易化若しくは改善できる。
【0074】
このような処理を容易にするためには、観察姿勢の間の距離は可能な限り小さいことが望ましい。特に、アンカ姿勢の間の大きな間隔は目に見える未隠蔽（デオクルージョン）領域を生じ、中間ビューの合成のために非常に正確な深度マップ又はメッシュモデルを必要とする。レンダリングユニットは、複数のアンカを組み合わせることによって未隠蔽領域を埋めることができるが、このことは、送信、復号及びレンダリングのために一層多くの資源を必要とし、品質を低下させる傾向がある。
【0075】
しかしながら、アンカの間の小さい間隔はビットレートの増加につながり、このようなビットレートは、典型的に、自由な移動を可能にする仮想現実アプリケーション等のアプリケーションの場合は特に高いものである。その理由は、（通常のビデオとは対照的に）奥行きのあるライトフィールドは３つの空間次元の関数として変化するからである。このことは、固定要素（剰余ではない）のコーティング費用が、データの高次元性のために高くなることを意味する。
【0076】
以下では、多くのシナリオにおいて改善されたパフォーマンスを提供することができ、特に、低いデータレート及び複雑さを依然として維持しながら、隠蔽（オクルージョン）エラー及びアーチファクトを軽減又は低減できるアプローチを説明する。該アプローチは、柔軟で効率的なシステムを実施化できる。このアプローチは、どの画像部分が画像合成装置１０１に送信され、合成に使用されるべきかを決定する場合に、特定の深さの見地を考慮することに基づいている。詳細には、発明者は、当該画像部分における方向及び典型的には深度遷移のサイズを示す深度遷移測定量（尺度）を考慮することにより、多くのシナリオにおいて改善された性能及び画質を提供し得ると共に、特に、非隠蔽により引き起こされるアーチファクトを改善及び低減し得る、改善された選択を行うことができることを理解した。
【0077】
画像部分に関する深度遷移尺度は、画像面における深度遷移の方向を示すことができ、該画像面は、特には、当該画像部分／該画像部分の画像の画像面（又は平行面）であり得る。
【0078】
当該アプローチを、最初に、画像データストリーム生成装置１０３が、何の画像部分（又は複数の画像部分）を送信するかの判断の多くが画像合成装置１０１によって行われるという意味で、比較的低い複雑さ及び「低能力」のサーバであり得る実施形態に関して説明する。具体的には、画像合成装置１０１は単に（繰り返して）特定の画像部分をリクエストすればよく、画像データストリーム生成装置１０３はリクエストされた画像部分を単に供給すればよい。
【0079】
このような実施形態において、画像データストリーム生成装置１０３は、異なる観察姿勢からのシーンを表す画像の、一群の画像部分（アンカ又は基準画像部分とも呼ばれる）及び関連する深度データを記憶するように構成された記憶部２０１を有することができる。例えば、記憶部２０１は、異なるアンカ姿勢に関する複数の異なるアンカ画像のタイルを有することができる。
【0080】
画像データストリーム生成装置１０３は更にリクエスト受信器２０３を有することができ、該リクエスト受信器は、該特定の例では画像合成装置１０１である遠隔ソースから画像部分リクエストを受信するように構成される。当該例において、受信される各画像部分リクエストは、画像合成装置１０１に送信されるべき特定の画像部分をリクエストできる。例えば、画像部分リクエストは、特定のアンカ画像の特定のタイルを識別できる。
【0081】
リクエスト受信器２０３はセレクタ２０５に結合され、該セレクタは更に記憶部２０１に結合される。セレクタ２０５は、画像部分リクエストに応答して、対応する画像部分を選択し、該画像部分を記憶部２０１から取り出すことができる。例えば、セレクタ２０９は画像部分リクエストの識別情報を記憶部２０１内の適切なロケーションに変換するルックアップテーブルを備えることができ、該セレクタは、次いで、該ロケーションにおけるデータを取り出すことができる。
【0082】
セレクタ２０５は、更に、取り出された画像部分が供給される送信器２０７に結合される。送信器２０７は、取り出された画像部分を画像合成装置１０１に送信するように構成される。このように、画像データストリーム生成装置１０３は、特定の画像部分を要求する画像部分リクエストを受信することに応答して、該リクエストされた画像部分を取り出し、該画像部分を画像合成装置１０１に返送する。該画像部分の送信は、更に、該画像部分に関する関連付けられた深度データの送信を含む。
【0083】
更に、画像データストリーム生成装置１０３は、記憶部２０１に記憶された画像部分の深度遷移尺度を生成するように構成されたメトリックプロセッサ２０９を備える。このようにして、一群の画像部分の各画像部分（必ずしも必要ではないが、典型的には記憶された画像部分のすべてを含む）に関して、深度遷移尺度が決定される。画像部分に関する深度遷移尺度は、少なくとも該画像部分における深度遷移の方向、及び典型的には該深度遷移のサイズも示す尺度である。該深度遷移は、典型的には、当該画像において生じる最大の深度遷移であり得る。
【0084】
例えば、深度遷移尺度は、画像部分に関して、前部から後部への最大深度遷移の方向を示すように生成され得る。該深度遷移尺度は、特に、該遷移が右から左の方向に起きるか、又は左から右の方向に起こるかを示すことができる。このように、多くの実施形態において、深度遷移尺度の方向指示情報は一次元方向であり得、特には、水平方向であり得る。このことは、多くの実施形態において、特に有利なアプローチである。殆どの実施形態における視界のずらしは水平方向であるからである（人間の目の水平構成及び視界の高さは典型的には変化しないことを反映している）。
【0085】
多くの実施形態において、メトリックプロセッサ２０９は深度遷移のサイズも決定し、特にステップの深度勾配を決定できる。
【0086】
特定の例として、メトリックプロセッサ２０９は、画像部分の深度マップに基づいて、該画像部分を実質的に同じ深度値を有する異なるセグメントに分割できる。幾つかの実施形態において、この分割は、例えばセグメントの領域が当該セグメント内の領域が実質的に同じ視覚特性（例えば、同じテクスチャ又は色）を有することを保証するように決定されることによって、更に視覚を考慮に入れることができる。
【0087】
次いで、メトリックプロセッサ２０９は、２つのセグメント間の境界の各点（例えば、ピクセル）について、勾配のサイズ及び方向の両方を含む深度勾配を決定できる。例えば、境界の左側の小さいピクセルグループ及び境界の右側の小さいピクセルグループに関する深度平均の間の深度ステップを決定し、方向を示す符号を持つ深度勾配として使用できる。結果として得られる深度勾配は、次いで、適切な空間ローパスフィルタによってローパスフィルタ処理され、最大のフィルタリングされた深度勾配を識別して、当該画像部分の深度遷移尺度として使用できる。このようにして、当該画像部分における深度遷移の特性を示す単一の値が生成される。幾つかの実施形態において、当該深度遷移尺度は、水平方向における該深度遷移尺度の方向を示す単一ビットであり得る。例えば、決定された符号ビットのみが使用され得る。
【0088】
多くの実施形態において、深度遷移尺度は、当該画像部分の深度マップに存在する最も優勢な深度ステップを表す勾配ベクトルを反映するように決定できる。
【0089】
一例として、深度遷移尺度は、閾値を超える深度勾配の平均を表すように決定できる。深度遷移尺度は、深度勾配の大きさが所与の閾値を与えるピクセルの部分集合の平均を決定することによって決定され得る。例えば、メトリックプロセッサ２０９は、当該画像部分内の全てのピクセルについて、深度勾配を例えば現在のピクセルの左側のピクセルグループの深度値から現在のピクセルの右側のピクセルグループの深度値を引いた値として決定できる。該プロセッサは、次いで、（恐らくは、空間ローパスフィルタリングの後に）所与の閾値未満のすべての勾配値を除去し、残りの勾配値の平均として深度遷移尺度を決定する。
【0090】
三角形メッシュ表現が使用される場合、深度遷移尺度は、三角形メッシュ内の隣接する頂点間の３Ｄ位置の差を分析することによって決定され得る。好適な深度遷移尺度は、当該メッシュ内の任意の２つの接続された頂点間に生じる最大の３Ｄ距離であり得る。
【0091】
メトリックプロセッサ２０９は、特にはアンカ画像が受信される際等の、何らかの適切な時点に深度遷移尺度を決定し得ることが理解されよう。幾つかの実施形態において、メトリックプロセッサ２０９は深度遷移尺度を、遠隔ソースから該深度遷移尺度を（能動的又は受動的に）取り出すことにより決定するように構成され得ることも理解されよう。例えば、深度遷移尺度は、コンテンツ生成中に決定し、アンカ画像と共に画像データストリーム生成装置１０３に供給できる。
【0092】
本例において、画像データストリーム生成装置１０３は画像合成装置１０１に深度遷移尺度を送信するように構成され、該画像合成装置は該データを何の画像部分を取り出すべきか決定する際に使用するように構成されている。更に詳細に説明されるように、幾つかの実施形態において、深度遷移尺度は、画像合成装置１０１には送信されず、画像データストリーム生成装置１０３により、何の画像部分を画像合成装置１０１に送信すべきかをローカルに決定するために使用される。
【0093】
深度遷移尺度が画像合成装置１０１に送信される例において、このことは、任意の適切な時点に、及び任意の適切なフォーマットで行うことができる。例えば、幾つかの実施形態において、全組の深度遷移メトリックを、サービスのセットアップ中に画像合成装置１０１に送信できる。この構成は、多くの実施形態において実用的であり得る。深度遷移尺度を表すために必要とされるデータは非常に少ないからである。例えば、前述したように、深度遷移尺度は、多くの実施形態では、画像部分における主な深度遷移の水平方向を示す単一ビットによって表され得る。各画像が例えば１０個の画像部分に分割された例えば１００個のアンカ画像を使用する典型的な実施化例の場合、全深度遷移尺度の組は１ｋビット未満により表すことができる。サイズが例えば８ビットワードにより含まれる実施形態の場合であっても、全体の深度遷移尺度の組は、１ｋバイト未満のデータによって表すことができる。
【0094】
他の実施形態において、例えば深度遷移尺度が長いワード長によって表され、且つ、非常に多数の画像部分が存在する場合、画像データストリーム生成装置１０３は、深度遷移尺度データを画像合成装置１０１に動的に送信するように構成できる。例えば、新たな画像部分が画像合成装置１０１に送信される場合、画像データストリーム生成装置１０３は、送信される画像部分の近傍の全ての画像部分に関する深度遷移尺度データを含めることができる。これらは将来の選択の候補であるからである。
【0095】
【0096】
画像合成装置１０１は、画像データストリーム生成装置１０３からデータストリームを受信するように構成されたデータ受信器３０１を備える。具体的には、データ受信器３０１は異なるアンカ画像の画像部分を適宜受信する。
【0097】
画像合成装置１０１は、画像データストリーム生成装置１０３から受信された画像部分が供給される画像合成器３０３を更に有する。更に、画像合成装置１０１は、画像をレンダリングすべきレンダリングビュー姿勢を決定するように構成された姿勢決定器３０５を有する。
【0098】
レンダリングビュー姿勢入力は、異なるアプリケーションでは異なる方法で決定され得る。多くの実施形態においては、ユーザの物理的な動きを直接追跡できる。例えば、ユーザ領域を監視するカメラがユーザの頭部（又は目さえも）を検出し、追跡できる。多くの実施形態では、ユーザが外部及び／又は内部手段によって追跡され得るＶＲヘッドセットを装着できる。例えば、該ヘッドセットは、該ヘッドセットの、したがって頭部の移動及び回転に関する情報を供給する加速度計及びジャイロスコープを備えることができる。幾つかの例において、該ＶＲヘッドセットは、信号を送信することができ、又は外部センサが該ＶＲヘッドセットの位置を決定することを可能にする（例えば、視覚的）識別子を有することができる。
【0099】
幾つかのシステムにおいて、レンダリングビュー姿勢は、手動手段によって、例えばユーザがジョイスティック又は同様の手動入力を手動で制御することによって供給され得る。例えば、ユーザは、一方の手で第１のアナログジョイスティックを制御し、他方の手で第２のアナログジョイスティックを手動で動かすことにより仮想視聴者（仮想ビューア）が見ている方向を手動で制御することによって、仮想シーン内で仮想視聴者を手動で動き回させることができる。
【0100】
幾つかのアプリケーションでは、手動アプローチと自動アプローチとの組合せを使用して、レンダリングビュー姿勢を生成できる。例えば、ヘッドセットは頭部の向きを追跡することができ、シーン内のビューアの動き／位置はジョイスティックを使用してユーザにより制御できる。
【0101】
レンダリングビュー姿勢は画像合成器３０３に供給され、該画像合成器は該レンダリングビュー姿勢に対応する画像を合成するように構成される。画像合成器３０３は、特に、新たな視点からの画像を合成するために視点シフト等を行うように構成できる。当業者が斯様なビューのシフト／合成のための多くの異なるアプローチ及びアルゴリズムを認識し、任意の適切なアプローチを使用できることが理解されるであろう。
【0102】
画像合成器３０３は、特に、画像部分単位で画像合成を行うように構成できる。具体的には、画像合成部３０３は、画像を合成する際に、該画像を複数の画像部分、領域又はタイルに分割し得る。各画像部分に対し、画像合成器３０３は１以上の受信された画像部分を選択し、該画像部分に視点シフトを適用して、合成画像内に対応する画像部分を生成できる。
【0103】
現在のレンダリングビュー姿勢のために必要なビュー画像を合成できるようにするために、画像合成装置１０１は、画像データストリーム生成装置１０３から必要な画像部分を取り出す機能を備える。
【0104】
具体的には、画像合成装置１０１は、何の画像部分が画像データストリーム生成装置１０３から取り出されて合成に使用されるべきかを選択するように構成された合成セレクタ３０７を備える。合成セレクタ３０７は、上記の選択された画像部分を画像データストリーム生成装置１０３から取り出すように構成された検索器３０９に結合される。検索器３０９は、例えば、適切なメッセージフォーマットを用いて画像部分リクエストを画像データストリーム生成装置１０３に送信するように構成され得る。例えば、該画像部分リクエストは、所望の画像部分を直接識別できる。これに応答して、画像データストリーム生成装置１０３は、要求された画像部分を送信する。
【0105】
画像合成装置１０１は、更に、画像データストリーム生成装置１０３から受信された深度遷移尺度を記憶するように構成されたメトリック記憶部３１１を備える。以下の説明では、全ての可能性のある画像部分に対する深度遷移尺度が、例えば当該サービスの初期化時にダウンロードされている故に、画像合成装置１０１に記憶され、利用可能であると仮定する。例えば、サービスの初期化時にダウンロードされているので、したがって、メトリック記憶部３１１は、受信された画像部分、及び、より重要なことに、未だ受信されていない画像部分の両方に関する深度遷移尺度を記憶する。
【0106】
幾つかの実施形態では、深度遷移尺度を動作中に受信することができ、画像部分の部分集合に関する深度遷移尺度のみを任意の所与の時間にメトリック記憶部３１１に記憶できることが理解されるであろう。例えば、最後に要求された画像部分の画像姿勢の近傍における画像姿勢に関する画像部分の深度遷移尺度を送信できる。例えば、画像データストリーム生成装置１０３は、画像部分のリクエストを受信した場合、距離基準を満たすアンカ姿勢を有する全てのアンカ画像／画像部分を識別し得る。この距離基準は、例えば他のビュー位置に関する画像部分の部分集合のみを選択するためにリクエストされた画像部分の向きを含み得るが、多くの実施形態において、画像データストリーム生成装置１０３は、リクエストされたビューの位置に十分に近い位置のアンカビュー姿勢を有するアンカ画像を単に識別し、これらの画像のすべての画像部分を含めることができる。該装置は、次いで、識別された画像部分について何の深度遷移尺度が既に送信されているかを判定し、残りを画像部分と共に送信できる。
【0107】
合成セレクタ３０７は、一群の画像部分から第１の画像部分を選択するように構成される。該第１の画像部分は、レンダリングビュー姿勢のために画像合成器３０３により合成されるべき画像の画像部分／領域のために選択される（又は、例えばユーザの動きをモデル化したモデルの評価による将来のレンダリングビュー姿勢の予測により、これから決定されるもの）。
【0108】
具体的には、合成される画像の合成は、異なる画像部分を合成した後、これらの部分を組み合わせることによって行うことができる。このように、画像合成器３０３は、合成される画像の所与の画像部分について、画像データストリーム生成装置１０３から受信された受信アンカ画像部分に視点シフトを適用することにより出力画像を生成できる。この処理は、完全な画像を生成するために、合成画像の全ての画像部分に対して繰り返され得る。しかしながら、画像部分に基づく合成のために、異なる画像部分の間の許容できないアーチファクト及び悪化を引き起こさないほど十分に小さい。更に、多くの実施形態において、画像合成器３０３は、このような不整合を軽減するために後処理を実行するように構成できる。例えば、テクスチャを重ね合わせることができる一貫した深度マップを生成するために、画像部分エッジの周辺のメッシュに深度調整を適用できる。別の例として、合成された画像部分を、強い不整合を伴わない滑らかな遷移をもたらすために、エッジにおいて一緒に混合することもできる。
【0109】
合成セレクタ３０７は、合成される画像の所与の画像部分について、合成される画像の該画像部分（これは合成画像部分とも呼ばれる）の合成に使用されるべきアンカ視点を選択するように構成され得る。このように、所与の合成画像部分について、合成セレクタ３０７は、ビューシフトを実行すべき基準／アンカ画像部分として何の画像部分が使用されるべきかを選択するように構成される。画像部分は、必ずしもレンダリングビュー姿勢に最も近いアンカ姿勢を有するものではないアンカ画像からのものを含む、全ての利用可能な画像部分から選択され得る。
【0110】
したがって、セレクタ２０５は、典型的には、一群のアンカ画像部分から、画像合成器３０３によって合成されるべき画像（画像部分）の画像区域のためのアンカビュー姿勢／画像部分を選択するように構成される。上記一群のアンカ画像部分は、具体的には、合成画像部分に対応するもの、特にはシーンの同じ領域を表すものであり得る。典型的に、合成される画像及びアンカ画像に対しては同じセグメンテーションが使用され、レンダリングビュー姿勢がアンカ姿勢に近いことに対しては、対応する画像部分が、単に、画像部分が各画像において同じ位置を有することである。
【0111】
前記セレクタは、アンカ画像部分に対する深度遷移尺度の考慮を含む決定基準を適用することによって、第１の画像部分を合成画像部分の合成のための画像部分として選択するように構成され得る。該選択基準は、他の考慮事項を含むことができ、典型的には、レンダリングビュー姿勢とアンカ画像部分のアンカ姿勢との間のビュー姿勢の差を考慮することもできる。
【0112】
多くの実施形態において、レンダリングビュー姿勢を、セレクタ２０５が深度遷移尺度に基づいて第１の画像部分を選択できるアンカ画像部分の候補群を選択するために用いることができる。例えば、アンカ画像部分の候補群は、反対方向の２つの最も近いアンカ画像における対応するアンカ画像部分を選択することによって決定できる。例えば、レンダリングビュー姿勢の左右の最も近いアンカ画像を選択でき、これら２つの画像における、合成画像部分と同じ画像位置にある画像部分が候補として選択されるであろう。
【0113】
上記方向は、画像面方向であり得、特には当該画像部分／画像部分の画像の画像面（又は平行な面）における画像面方向であり得る。画像部分の前後の深度遷移の方向は、当該画像面におけるより前景のオブジェクト／領域／ピクセルから、より背景のオブジェクト／領域／ピクセルへの遷移の方向であり得る。当該画像部分のビュー姿勢からレンダリングビュー姿勢への方向は、該画像部分／画像の画像面内の方向であり得る。該方向は、画像面に直交する方向に沿った画像面へのビュー姿勢の投影から、画像面に直交する方向に沿った画像面へのレンダリングビュー姿勢の投影への方向であり得る。
【0114】
他の実施形態では、アンカ姿勢が所与の近接要件（例えば、ユークリッド距離が閾値未満である）を満たすアンカ画像又は画像部分を、候補群に属するものとして選択できる。
【0115】
セレクタ２０５は、次いで、候補画像部分の深度遷移尺度を評価して、画像部分を選択できる。
【0116】
合成セレクタ３０７は、特に、深度遷移の方向に依存して第１の画像部分を選択し得る。特に、合成セレクタ３０７は、前から後への主な／優勢な深度遷移が所要の視点シフトの方向とは反対である方向に生じるアンカ画像部分を、前から後への主な／優勢な深度遷移が所要の視点シフトの方向と同一の方向である方向に生じるアンカ画像部分よりも勝って選択するように構成され得る。例えば、２つの候補アンカ画像部分が前景オブジェクトから背景への優勢な深度遷移を有し、背景が前景オブジェクトの右にある場合、前から後への深度遷移は、右に向かう方向であろう。第１の候補アンカ画像部分がレンダリングビュー姿勢より左のアンカ姿勢に関するものであり、第２の候補アンカ画像部分がレンダリングビュー姿勢より右のアンカ姿勢に関するものである場合、セレクタ２０５は第１の候補よりも第２の候補アンカビュー姿勢を選択するであろう。
【0117】
多くの実施形態では、もっと漸進的なアプローチが使用される。例えば、複数のアンカ画像部分（例えば、レンダリングビュー姿勢の所与の距離内の全ての画像部分）に関して、深度遷移尺度を含む複数のパラメータに依存する費用尺度を決定できる。例えば、当該画像部分のレンダリングビュー姿勢とアンカ姿勢との間の距離が増加するにつれて増加し、レンダリングビュー姿勢からアンカ姿勢へのベクトルと、深度遷移尺度により表される優勢な深度遷移の方向との間の整列の関数として減少もする費用尺度を決定できる。この場合、合成セレクタ３０７は、該費用尺度が最小化されるアンカ姿勢を選択できる。
【0118】
いくつかのこのような実施形態では、深度遷移のサイズも考慮できる。例えば、深度遷移サイズが大きいほど、費用関数は大きくなる。別の例として、閾値を超える深度遷移サイズは、固定値だけ費用関数を増加させ得る。
【0119】
前記セレクタは、特に、第１の画像部分の選択を、深度遷移の前から後の深度遷移が、当該画像部分のビュー姿勢からレンダリングビュー姿勢への方向とは反対の方向である画像部分に向かってバイアスし得る。前述したように、該バイアスは具体的には前記２つの方向が互いに十分に反対である（例えば、これらの間の角度が例えば９０°、１２０°又は１５０°を超える）画像部分のみを選択することによるものであり得る。
【0120】
従って、該セレクタは、例えば両方が画像部分／画像の画像面内にある、２つの方向を考慮できる。これら方向は、例えばベクトルによって表わされ得る。
【0121】
１つの方向は、前から後へのステップの方向、すなわち、ステップが前景から背景に向かう方向である。この方向は、例えば、当該画像部分に対して左から右であり得る。例えば、前景から背景への最大の遷移の方向が、左から右であり得る。具体例として、当該画像部分の左側は前景オブジェクト（例えば、木の幹の一部）であり得る一方、右側は背景（例えば、空）であり得る。従って、このような例では、前から後ろへのステップの方向は左から右方向である。即ち、当該深度遷移の前から後への深度遷移は、左から右の方向である。
【0122】
前記セレクタは、更に、当該画像部分のビュー姿勢（即ち、該画像部分のアンカ姿勢）からレンダリングビュー姿勢への第２の方向を考慮できる。例えば、レンダリングビュー姿勢は当該画像部分のアンカ姿勢の右側にオフセットされ得、その場合、当該方向は左から右の方向となり、又は該レンダリングビュー姿勢はアンカ姿勢の左側にオフセットされ得、その場合、当該方向は右から左の方向となる。
【0123】
該セレクタは、当該選択を、これらの２つの方向の間の関係に基づいてバイアスし得る。具体的には、これらの方向が互いに反対である画像部分に向かう選択をバイアスする。該バイアスは、例えば、相対的な方向を考慮し、方向間の整列が増加すると（方向間の角度が減少すると）費用値が増加する費用関数により導入され得る。
【0124】
該バイアスは、当該画像面内の方向間の相関／整列の程度に依存し得る。
【0125】
当該画像面内の方向及び点を、該バイアスを実行するために明示的に計算又は決定する必要はないことが理解される。
【0126】
このようなアプローチは、２つの方向が反対である場合、主たる深度遷移の結果としてレンダリングビュー姿勢にシフトする際により多くの隠蔽が生じ、したがって、非隠蔽処理は余り必要とされないのに対し、２つの方向が同じ方向である場合、主な深度遷移の結果として、レンダリングビュー姿勢にシフトする際により少ない隠蔽（したがって、背景のより多くの非隠蔽）が生じ、したがって、より多くの非隠蔽処理が必要となるという発明者の認識を反映している。
【0127】
このように、当該固有の選択バイアスは、実用的実施化において大きな利点を提供する固有の選択バイアスを提供することができる。
【0128】
合成セレクタ３０７は、このようにして、レンダリングビュー姿勢のために合成されるべき画像の特定の画像部分を合成するために使用する第１の画像部分を選択する。該選択は画像合成器３０３に供給され、該合成器は、次いで、該選択されたアンカ画像部分に基づいて合成を実行する。該選択されたアンカ画像部分が既に受信され、前もって記憶されている場合、画像合成器３０３は該画像部分を検索し、合成のために使用する。
【0129】
図３の画像合成装置１０１において、上記選択は検索器３０９にも供給され、該検索器は、選択されたアンカ画像を画像データストリーム生成装置１０３に要求する。この検索は、多くの実施形態では、当該画像部分が既に受信されたか否かに依存するようにされる。即ち、検索器３０９は、最初に、適切なアンカ画像部分が受信されて、常に記憶されているか否かを評価し、そうでない場合、該画像部分を画像データストリーム生成装置１０３に要求し得る。
【0130】
選択されたアンカ画像部分が画像データストリーム生成装置１０３により画像合成装置１０１に供給されるには遅延があり得、画像合成装置１０１は、このような遅延を種々の方法で補償できることが理解される。例えば、合成セレクタ３０７は、上記選択をユーザ入力から生成された予測レンダリングビュー姿勢に基づいて実行できる。別の例として、伝送遅延に対応するために、要求されたレンダリングビュー姿勢と比較して、合成に使用されるレンダリングビュー姿勢に遅延を導入することができる。
【0131】
記載されたアプローチは、特に、画像部分／タイルベースの送信及び関連する深度（深度マップ及び／又はメッシュ等）を伴う画像データのレンダリングを使用して、実用的なストリーミング再生を提供できる。所与のユーザの視方向及び所与の３Ｄシーンの深度分布に対して、当該システムは、画像部分（例えば、事前定義されたタイル）の送信に、画質に最大の影響を有する画像部分が最初に（より高い優先度で）送信され、画質に余り影響を及ぼさないタイルが後に送信されるように優先順位を付けようとし得るものである。
【0132】
記載されたアプローチは、何の画像部分が次に送信されるべきかを決定する際に、したがって、画像部分の送信の優先順位付け及び順序付けにおいて、深度遷移尺度を利用する。このアプローチは、例えば、メタデータとして送信され記憶される深度遷移尺度として、予め計算された深度ステップサイズ及び方向を使用できる。このデータは、次いで、何の画像部分が画像データストリーム生成装置１０３から画像合成装置１０１に送信されるべきかを評価するために使用される。
【0133】
発明者は、当該アプローチが改善された性能を提供し得ることを、特に、視点シフトから生じる非隠蔽に起因して生じ得るエラー又はアーチファクトを低減若しくは軽減し得ることを認識した。
【0134】
当該問題は、下に関連する深度マップを有する左眼及び右眼画像を示す図４の状況を考慮することによって解説され得る。該深度マップのコーティングは、白がカメラに近いことを表し、黒がカメラから遠いことを表すようなものである。該例は、背景オブジェクトの前に前景オブジェクトを示している。単純化のために、当該背景は、以下の説明では無視され得る単なる一定の白い背景であると仮定する。
【0135】
中間の視点は、関連する深度マップを有する左画像、又は関連する深度マップを有する右画像の何れかから深度画像ベースのレンダリングを使用して合成され得る。代替例として、深度マップをメッシュに変換でき、標準グラフィックステクスチャマッピングを使用して、中間の視点を合成できる（左画像又は右画像の何れかを基準として使用して）。
【0136】
この例において、中間視点が左画像を使用して合成される場合、パターン化された背景オブジェクトの情報は図５に示すように保存される。これは、当該画像内に存在する前景オブジェクトと背景オブジェクトとの間の単一の深度ステップエッジが、左画像からのビューシフトを実行する場合に、付加的な隠蔽解除が発生せず、２つのオブジェクトの相対的な視差シフトからの覆い／隠蔽のみが生じるように配向されているためである。
【0137】
しかしながら、中間視点が右画像を使用して合成される場合、背景オブジェクトは、図６に示すように部分的に遮蔽解除される。これは、当該画像内に存在する単一の深度ステップエッジが、視差シフトが右画像に対して実行される際に隠蔽解除をもたらすためである。この例において、中間視点はエラー／アーチファクトを伴って合成される。 該中間視点を右画像からレンダリングする際に背景オブジェクトの「暴露」又は隠蔽解除が発生するからである。使用される特定のレンダリング方法に依存して、局部的な背景オブジェクトが「伸張される」か、又は孔が形成される。
【0138】
図５及び図６は、画像内に単一の深度ステップが存在し、これが既知の向きを有する場合、単一の視点から正しいビュー合成を達成することができることを示す。しかしながら、一般的に、画像内には複数のオブジェクトが存在し、したがって、多数の深度ステップが異なる深度ステップ方向で存在するであろう。これが図７に示されており、該図では、図４～図６の例が、前記前景オブジェクトの背後に配置された第３のオブジェクトで拡張されている。この場合、隠蔽解除は、左の基準／アンカビューが使用される場合、及び右の基準／アンカビュー画像が使用される場合の両方で発生する。このように、該例では、画像が反対方向に２つの深度ステップを含む（前から後に向かうステップは、２つの背景オブジェクトに対して、各々、左及び右方向にある）。中間ビュー画像は、両方の場合に隠蔽解除が発生するので、左画像又は右画像の何れかを使用して正しく合成することはできない。
【0139】
しかしながら、画像部分ベースの合成が実行される上述のアプローチでは、これを達成することができ、何の画像部分が存在し、合成に使用されるかを選択するための深度遷移尺度の使用が、この問題に対処し得る。
【0140】
これが、図７の画像が、各々、１２の画像部分／タイルによって表される図８の例によって示される。各タイルは、当該画像の場合によっては重なり合う領域に対応する。タイル化の第１の利点は、送信されることを要するデータの量を低減できることである。レンダリングビュー姿勢に近く、小さな視点シフトが画像更新を必要とする画像の部分のみを選択することが可能であるからである。３Ｄの複雑さがより少ないタイル及びレンダリングビュー姿勢から一層離れて位置するタイルは、更新優先度がより低い。これらは、異なる視点（クライアント側に既に存在していた）を使用して許容可能な品質でレンダリングされ得るからである。
【0141】
このように、タイル化は、画像データのより柔軟でグラニュラな提供を可能にし得るので、６自由度（６ＤｏＦ）画像をストリーミングすることにとり利点を有する。しかしながら、更に、発明者は再生の間にレンダリングビュー姿勢（従って、この例では、ユーザの位置及び移動）及び深度遷移尺度に応じてタイルを選択することにより、隠蔽（オクルージョン）問題にも対処できることを理解した。図８に示されるようなタイル化構造が与えられた場合、より複雑なシーンのための中間視点は、異なる基準／アンカ視点からのタイルの組合せを使用して構成でき、その場合において、タイルの選択は、前述のように、当該タイルにおける優勢な深度遷移の方向（及び恐らくはサイズ）に依存する。図８の例に関する例示的なタイルベースの合成が、図９に示されている。該アプローチは、特に、非隠蔽性能を改善できる。該アプローチは、ビューシフト処理のために何のアンカ画像／画像部分を使用するかの選択に関して、競合する深度遷移、したがって非隠蔽の量を低減するからである。
【0142】
該アプローチの非常に特有な例として、画像合成装置１０１は、タイル当たりの６ＤｏＦ再生中に、以下のステップを使用して近傍の基準アンカタイルの群から最良の基準アンカタイルを選択できる：
１．アンカ位置ｐｉが現在のレンダリングビュー姿勢ｐviewerに最も近いＮ個の基準アンカ画像部分／タイルの群を決定する；
２．各基準視点ｉに対して優勢な深度勾配ベクトルを反映する深度遷移尺度を含むメタデータを読み取る；
３．各タイルについて、深度遷移尺度に基づく費用関数が最小化されるアンカタイルを選択する。
１．アンカ位置ｐｉが現在のレンダリングビュー姿勢ｐviewerに最も近いＮ個の基準アンカ画像部分／タイルの群を決定する；
２．各基準視点ｉに対して優勢な深度勾配ベクトルを反映する深度遷移尺度を含むメタデータを読み取る；
３．各タイルについて、深度遷移尺度に基づく費用関数が最小化されるアンカタイルを選択する。
【0143】
好適な深度遷移尺度は優勢な深度勾配ベクトルであり得、好適な費用関数は、優勢な深度勾配ベクトルと、基準ビュー位置とビューア位置とを結ぶベクトルの投影（基準ビュー面上への）との内積の逆数であり得る。
【0144】
例えば、ｑｉ≡ｐviewer－ｐｉを、アンカ／基準ビュー姿勢の位置とレンダリングビュー姿勢とを結ぶベクトルとする。また、ｄijを、近くのアンカ姿勢ｐｉからタイルｊの中心を指す方向ベクトルとする。この方向ベクトルは、全画像におけるタイルの位置及びアンカ画像の作成に使用された特定の投影（例えば、遠近法的又は正距円筒図法的）から計算できることに注意されたい。面Ｐを、ｄijに直交する面とする。ここで、面P内にあり、且つ、定義により視方向ベクトルｄijと直交するｑｉの成分を決定することができる。ｑij
(orthogonal)を、この成分を示すものとする。ここで、タイルｊに関する選択された基準視点ｉは、全ての近傍の視点ｉにわたって内積を最大にすべきである（該内積の逆数である費用関数を最小にすることに対応する）。即ち、ｍａｘｉ(ｑjj
(orthogonal)・ｇij)である。
【0145】
ベクトルｑij
(orthogonal)及びｇijが同じ方向を有する場合、ビューアは基準ビューｉに対して覆い／隠蔽が隠蔽／深度ステップで生じるように配置される。したがって、上記に示された内積の最大値は、有用な判断尺度である。
【0146】
以上の例は、何の画像部分を選択するかの判断が画像合成装置１０１において実行され、特に「インテリジェント」な画像合成装置１０１及び「低能力」の画像データストリーム生成装置１０３によるアプローチが実施された例に焦点を当てた。
【0147】
しかしながら、幾つかの実施形態において、上記判断アルゴリズムは、例えば、画像データストリーム生成装置１０３において実行され得る。例えば、画像合成装置１０１は、レンダリングビュー姿勢を画像データストリーム生成装置１０３に直接送信するように構成してもよい。画像データストリーム生成装置１０３は生成された深度遷移尺度データをローカルに記憶でき、合成セレクタ３０７に関して説明した処理は、代わりに、セレクタ２０５により実行され得る。この場合、選択されたアンカ画像部分は、例えば何の合成される画像の何の画像部分が受信されたアンカ画像部分に基づいて合成されるべきかの指示情報と共に、画像合成装置１０１に送信される。
【0148】
このような実施形態では、画像合成装置１０１によって複雑な選択を実行する必要はなく、深度遷移尺度データを受信して記憶する必要もない。むしろ、画像合成装置１０１は、単にアンカ画像部分を受信し、指示された合成を行えばよい。したがって、このようなアプローチは、雑度でない画像合成装置１０１が実施化されることを可能にし得る。
【0149】
いくつかの実施形態において、画像部分は画像の所定の分割に対応し得る。例えば、図８及び図９の例におけるように、長方形画像を所定の複数の正方形タイルに分割することができ、各正方形は個別に選択可能な画像部分に対応する。
【0150】
このようなアプローチは、低複雑さの実施化を可能にし得るが、それでも優れた性能を提供し得る。
【0151】
幾つかの実施形態において、当該画像部分（又は少なくとも幾つかの画像部分）は、例えば立方体マップ内の正方形又は二十面体内の三角形のような、異なるビュー姿勢に対するシーンの多面体投影の面であり得る。
【0152】
具体的には、所与の視点に対して、半球状のビューは、一緒になって半球状幾何学構造を形成する一群の対応する平面多角形に分割できる。このことは、多くの実施形態において、ビュー合成処理を容易にし、更に、受信される新たな画像部分を、以前に受信又は予測された画像部分と統合することを容易にするであろう。正距円筒図法投影と比較して、及び平坦な面を有する多面体投影により、画像を標準的なＧＰＵ上でレンダリングするのがより安価である。少数の三角形が、投影に関連する形状を正確に描くことができるからである。十分な数の面を持つ多面体投影（正二十面体投影のような）の場合、平均投影歪みは、正距円筒図法投影よりも低くなる。更に、面は、画像の自然な分割をもたらす。
【0153】
幾つかの実施形態において、画像データストリーム生成装置１０３は、アンカ画像を分割することにより少なくともいくつかの画像部分を生成するように構成された分割器を備え得る。幾つかの実施形態において、この分割は予め決められたものであり得る。例えば、該分割器は通常のタイル化を使用して画像を分割できる。
【0154】
しかしながら、多くの実施形態では、より自由に成形された区画又はセグメントを生成でき、特に、画像部分の生成は、画像及び／又は深度マップの特性に依存する分割によるものであり得る。このことは、例えば、特定のオブジェクトが異なる画像部分によって表され、背景が他の個々の画像部分によって表され、等々のようにすることを可能にし得る。
【0155】
画像分割のための任意の適切なアプローチを、本発明から逸脱することなく使用し得ることが理解される。例えば、セグメントは、一貫した色及び／又は輝度を有するように、若しくは顔のような認識されたオブジェクト画像に対応するように生成でき、又は例えば、セグメントは、同様の深度値を有する領域に対応するように生成されてもよい。多数のセグメント化アルゴリズム及び基準が当業者に知られていることが理解される。
【0156】
幾つかの実施形態では、少なくともいくつかの画像部分は重なり合う。
【0157】
多くの実施形態では、２つの隣接する画像部分の両方が重なり合う境界領域の画像データを含むようにして、画像部分を重ね合わせることを可能にすることが有益であり得る。このことは、記憶要求の増加をもたらし、ビットストリームのデータレートを増加させ得る。しかしながら、多くの実施形態において、このことは、（例えば、コーティングブロックが画像部分間の境界と整列しない場合）改善されたコーティング効率を可能にし得る。更に、重なり合う領域は、例えば、画像合成装置１０１において以前に生成された他の画像部分と、新たな画像部分との混合を大幅に容易にし得る。
【0158】
以上の説明は標準的な画像及び深度マップを使用する表現に焦点を当てたが、他の実施形態では他のアプローチが使用されてもよいことが理解される。
【0159】
例えば、画像は、シーンのメッシュ及びテクスチャ表現からのテクスチャ部分を含むテクスチャアトラス画像を含み得る。このような表現の例は、例えば、ACollet他の文献“高品質のストリーム可能な自由視点ビデオ”ACM Transactions on Graphics (TOG)、Proceedings of ACM SIGGRAPH ２０１５．Ｖｏｌｕｍｅ ３４ Ｉｓｓｕｅ ４、２０１５年８月に見られる。
【0160】
このような例において、アンカ画像はアンカ位置（領域）から見るのに最も適したテクスチャアトラスに対応し得る。（ばらばらの）メッシュと組み合わされたテクスチャアトラスは、オブジェクト又はシーンの幾何学的モデルを形成し得る。この場合、画像部分は、例えば、このようなアトラスにおけるシーン内の１つの表面に対応する１つのテクスチャであり得る。
【0161】
幾つかの実施形態において、画像部分（又は、これらの少なくとも幾つか）は事前にエンコードされ得る。したがって、これら画像部分はエンコードされ、トランスコーディング又は（再）エンコーディングを必要とせずにビットストリームに直接含めることが可能なフォーマットで格納され得る。むしろ、ビットストリームに含まれるべき画像部分は、単に記憶部から取り出され、エンコード処理なしでビットストリームに追加できる。このことは、画像データストリーム生成装置１０３における複雑さ及び資源要件を大幅に低減し、非常に効率的な処理を提供する。
【0162】
幾つかの実施形態において、深度遷移尺度は画像部分の深度データに基づいて決定され得る。しかしながら、説明された原理及びアプローチは、例えば、合成のために受信され使用されるもの等の、画像部分に関する深度データと、深度遷移尺度との間の如何なる特定の関係にも限定されない。深度データと深度遷移尺度との間に何らかの特定の関係が存在すること、又は深度遷移尺度が何らかの特定の方法で生成されることは、決して、技術的な必要性でも実際的な必要性でもないことに留意されたい。
【0163】
実際に、深度遷移尺度は、多くの実施形態では、画像部分に関する深度データを評価し、処理することによって生成される。更に、このことは、実際に、多くの実施形態において、受信された深度データに基づいて前記合成装置によって実行され得る。しかしながら、多くの他の実用的な実施形態において、深度遷移尺度は、例えば画像ソースにおいて決定される。例えば、サーバが深度遷移尺度を生成し、これを深度データとは独立に前記合成装置に単に供給することができる。このような実施形態において、サーバは深度遷移尺度を深度データに基づいて生成し得るが、このことは必ずしも必要ではなく、実際に、生成された深度データを考慮することなく深度遷移尺度を生成することが可能である。例えば、深度遷移尺度は、画像部分の分析に基づいて決定できる（例えば、画像を優勢な背景色（例えば、最大領域をカバーする色）を決定するために分析でき、次いで、画像部分が、この色の領域を識別するために分析される。この領域が画像部分の側部に隣接している場合、この側部が左側であるか右側であるかに基づいて、深度遷移の方向を決定することができる）。実際、幾つかの実施形態において、深度遷移尺度は操作者によって手動で入力され得る。このように、多くの実施形態では、画像部分に関する深度遷移尺度は、該画像部分の深度データとは完全に独立して決定できる。このことからは技術的な困難さは生じず、好ましいアプローチは、個々の実施形態の要件及び選好に完全に依存する。
【0164】
合成された画像は任意の適切な方法で使用することができ、これは、説明された原理を適用する前後関係の単に好みの問題であることも理解される。多くの典型的なアプリケーションでは、該合成画像は実際に直接表示され、それによって、例えば個人的なＶＲ体験を生じさせる。しかしながら、他の実施形態では、該合成画像は、例えば、適切な記憶装置に記憶されてもよく、又は潜在的に大きなグループの人々等にストリーミングされてもよい。実際、合成画像は、必要に応じて任意の他の画像として使用することができる。
【0165】
また、記述された選択概念は、クライアント側、サーバ側、又は実際には複数に分散して実装できることに留意されたい。
【0166】
本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せを含む任意の適切な形態で実施できる。本発明は、任意選択で、１つ又は複数のデータプロセッサ及び/又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実装され得る。本発明の実施形態の構成要素及び構成部品は、任意の適切な方法で物理的、機能的、及び論理的に実装され得る。実際、機能は、単一のユニットで、複数のユニットで、又は他の機能ユニットの一部として実装され得る。したがって、本発明は、単一のユニットで実施されてもよく、又は異なるユニット、回路、及びプロセッサの間で物理的及び機能的に分散されてもよい。
【0167】
本発明は、幾つかの実施形態に関連して説明されてきたが、本明細書に記載された特定の形態に限定されることは意図されていない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、フィーチャは特定の実施形態に関連して説明されるように見えるかもしれないが、当業者は、説明された実施形態の様々なフィーチャが本発明に従って組み合わされ得ることを認識するであろう。請求項において、「有する」という用語は、他の要素又はステップの存在を排除するものではない。
【0168】
更に、個別に列挙されているかも知れないが、複数の手段、素子、回路、又は方法ステップは、例えば、単一の回路、ユニット、又はプロセッサによって実装され得る。更に、個々のフィーチャが異なる請求項に含まれているかも知れないが、これらは場合によっては有利に組み合わされてもよく、異なる請求項に含まれることは、フィーチャの組み合わせが実現可能ではなく、及び／又は有利ではないことを意味しない。また、請求項の１つのカテゴリにフィーチャを含めることは、このカテゴリへの限定を意味するものではなく、むしろ、そのフィーチャが必要に応じて他の請求項カテゴリに等しく適用可能であることを示す。さらに、請求項におけるフィーチャの順序は当該フィーチャが実施されなければならない特定の順序を意味するものではなく、特に、方法請求項における個々のステップの順序は、当該ステップがこの順序で実施されなければならないことを意味するものではない。むしろ、ステップは、任意の適切な順序で実行されてもよい。更に、単数形の言及は、複数形を除外しない。したがって、「一つの」、「第１の」、「第２の」などへの言及は、複数を排除するものではない。請求項中の参照符号は、単に明確にする例として提供されるにすぎず、いかなる方法によっても請求項の範囲を限定するものと解釈してはならない。
【0169】
幾つかの実施形態によれば、下記のものが提供され得る。
１．画像合成装置であって、該画像合成装置は：
－ 画像ソースから、異なるビュー姿勢からのシーンを表す画像の画像部分及び関連する深度データを受信するための受信器（３０１）と；
－ レンダリングビュー姿勢を決定するための決定器（３０５）と；
－ 一群の画像部分の各画像部分に関する深度遷移尺度を含む記憶部（３１１）であって、画像部分に関する深度遷移尺度が該画像部分における深度遷移の方向を示す記憶部と；
－ 受信された画像部分から少なくとも１つの画像を合成するための画像合成器（３０３）と；
－ 前記深度遷移尺度に応答して、前記一群の画像部分の第１の画像部分を選択するためのセレクタと；
－ 前記画像ソースから前記第１の画像部分を取り出すための検索器（３０９）と；
を有する。
２．上記画像合成装置であって、前記深度遷移尺度は前記深度遷移のサイズを示す。
３．上記の何れかの画像合成装置であって、前記セレクタ（３０７）は、更に、前記一群の画像部分の画像部分のビュー姿勢と前記レンダリングビュー姿勢との間の差に応答して前記第１の画像部分を選択するように構成される。
４．上記３に記載の画像合成装置であって、前記セレクタ（３０７）は、前記一群の画像部分を該一群の画像部分に属する任意の画像部分のビュー姿勢と前記レンダリングビュー姿勢との間の差が閾値未満であるという制約の下で決定するように構成される。
５．上記の何れかの画像合成装置であって、前記セレクタ（３０７）は、前記第１の画像部分を前記画像合成器により合成されるべき画像の画像区画のための画像部分として選択すると共に、前記一群の画像部分を異なるビュー姿勢からの画像領域のための画像部分として決定するように構成される。
６．上記の何れかの画像合成装置であって、前記一群の画像部分は、異なるビュー姿勢からの画像部分であって、合成されるべき画像の同じ部分に対応する画像部分を有する。
７．上記の何れかの画像合成装置であって、前記セレクタ（３０７）は、前記第１の画像部分の選択を、前記深度遷移の前から後への深度遷移が前記画像部分のビュー姿勢から前記レンダリングビュー姿勢への方向とは反対の方向である画像部分に向かってバイアスするように構成される。
８．上記の何れかの画像合成装置であって、前記少なくとも１つの画像の合成は、前記第１の画像部分から該少なくとも１つの画像の画像部分を合成することを有する。
９．上記の何れかの画像合成装置であって、前記深度遷移尺度は、閾値を超える深度勾配の平均を表す。
１０．画像データストリームを生成するための装置であって、該装置は：
－ 遠隔ソースから画像部分リクエストを受信するための受信器（２０３）と；
－ 異なるビュー姿勢からのシーンを表す画像の一群の画像部分及び関連する深度データを記憶するための記憶部（２０１）と；
－ 前記一群の画像部分の各画像部分に関する深度遷移尺度を供給するためのメトリック生成器（２０３）であって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示すメトリック生成器と；
－ 前記画像部分リクエストに応答して、前記一群の画像部分から画像部分を選択するためのセレクタ（２０５）と；
－ 選択された画像部分及び関連する深度データを前記遠隔ソースに送信するための送信器（２０７）と；
を有する。
１１．上記１０の装置であって、前記送信器（２０７）は前記一群の画像部分に関する前記深度遷移尺度を前記遠隔ソースに送信するように構成される。
１２．上記１０又は１１の装置であって、前記画像部分リクエストはビュー姿勢指示情報を含み、前記セレクタ（２０５）は前記深度遷移尺度及び前記ビュー姿勢指示情報に応答して画像部分を選択するように構成される。
１３．画像を合成する方法であって、該方法は：
－ 画像ソースから、異なるビュー姿勢からのシーンを表す画像の画像部分及び関連する深度データを受信するステップと；
－ レンダリングビュー姿勢を決定するステップと；
－ 一群の画像部分の各画像部分に関する深度遷移尺度を記憶するステップであって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示すステップと；
－ 受信された画像部分から少なくとも１つの画像を合成するステップと；
－ 前記深度遷移尺度に応答して、前記一群の画像部分の第１の画像部分を選択するステップと；
－ 前記第１の画像部分を前記画像ソースから取り出すステップと；
を有する。
１４．画像データストリームを生成する方法であって、該方法は：
－ 遠隔ソースから画像部分リクエストを受信するステップと；
－ 異なるビュー姿勢からのシーンを表す一群の画像部分及び関連する深度データを記憶するステップと；
－ 前記一群の画像部分の各画像部分に関する深度遷移尺度を供給するステップであって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示すステップと；
－ 前記画像部分リクエストに応答して、前記一群の画像部分から画像部分を選択するステップと；
－ 選択された画像部分及び関連する深度データを前記遠隔ソースに送信するステップと；
を有する。
１．画像合成装置であって、該画像合成装置は：
－ 画像ソースから、異なるビュー姿勢からのシーンを表す画像の画像部分及び関連する深度データを受信するための受信器（３０１）と；
－ レンダリングビュー姿勢を決定するための決定器（３０５）と；
－ 一群の画像部分の各画像部分に関する深度遷移尺度を含む記憶部（３１１）であって、画像部分に関する深度遷移尺度が該画像部分における深度遷移の方向を示す記憶部と；
－ 受信された画像部分から少なくとも１つの画像を合成するための画像合成器（３０３）と；
－ 前記深度遷移尺度に応答して、前記一群の画像部分の第１の画像部分を選択するためのセレクタと；
－ 前記画像ソースから前記第１の画像部分を取り出すための検索器（３０９）と；
を有する。
２．上記画像合成装置であって、前記深度遷移尺度は前記深度遷移のサイズを示す。
３．上記の何れかの画像合成装置であって、前記セレクタ（３０７）は、更に、前記一群の画像部分の画像部分のビュー姿勢と前記レンダリングビュー姿勢との間の差に応答して前記第１の画像部分を選択するように構成される。
４．上記３に記載の画像合成装置であって、前記セレクタ（３０７）は、前記一群の画像部分を該一群の画像部分に属する任意の画像部分のビュー姿勢と前記レンダリングビュー姿勢との間の差が閾値未満であるという制約の下で決定するように構成される。
５．上記の何れかの画像合成装置であって、前記セレクタ（３０７）は、前記第１の画像部分を前記画像合成器により合成されるべき画像の画像区画のための画像部分として選択すると共に、前記一群の画像部分を異なるビュー姿勢からの画像領域のための画像部分として決定するように構成される。
６．上記の何れかの画像合成装置であって、前記一群の画像部分は、異なるビュー姿勢からの画像部分であって、合成されるべき画像の同じ部分に対応する画像部分を有する。
７．上記の何れかの画像合成装置であって、前記セレクタ（３０７）は、前記第１の画像部分の選択を、前記深度遷移の前から後への深度遷移が前記画像部分のビュー姿勢から前記レンダリングビュー姿勢への方向とは反対の方向である画像部分に向かってバイアスするように構成される。
８．上記の何れかの画像合成装置であって、前記少なくとも１つの画像の合成は、前記第１の画像部分から該少なくとも１つの画像の画像部分を合成することを有する。
９．上記の何れかの画像合成装置であって、前記深度遷移尺度は、閾値を超える深度勾配の平均を表す。
１０．画像データストリームを生成するための装置であって、該装置は：
－ 遠隔ソースから画像部分リクエストを受信するための受信器（２０３）と；
－ 異なるビュー姿勢からのシーンを表す画像の一群の画像部分及び関連する深度データを記憶するための記憶部（２０１）と；
－ 前記一群の画像部分の各画像部分に関する深度遷移尺度を供給するためのメトリック生成器（２０３）であって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示すメトリック生成器と；
－ 前記画像部分リクエストに応答して、前記一群の画像部分から画像部分を選択するためのセレクタ（２０５）と；
－ 選択された画像部分及び関連する深度データを前記遠隔ソースに送信するための送信器（２０７）と；
を有する。
１１．上記１０の装置であって、前記送信器（２０７）は前記一群の画像部分に関する前記深度遷移尺度を前記遠隔ソースに送信するように構成される。
１２．上記１０又は１１の装置であって、前記画像部分リクエストはビュー姿勢指示情報を含み、前記セレクタ（２０５）は前記深度遷移尺度及び前記ビュー姿勢指示情報に応答して画像部分を選択するように構成される。
１３．画像を合成する方法であって、該方法は：
－ 画像ソースから、異なるビュー姿勢からのシーンを表す画像の画像部分及び関連する深度データを受信するステップと；
－ レンダリングビュー姿勢を決定するステップと；
－ 一群の画像部分の各画像部分に関する深度遷移尺度を記憶するステップであって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示すステップと；
－ 受信された画像部分から少なくとも１つの画像を合成するステップと；
－ 前記深度遷移尺度に応答して、前記一群の画像部分の第１の画像部分を選択するステップと；
－ 前記第１の画像部分を前記画像ソースから取り出すステップと；
を有する。
１４．画像データストリームを生成する方法であって、該方法は：
－ 遠隔ソースから画像部分リクエストを受信するステップと；
－ 異なるビュー姿勢からのシーンを表す一群の画像部分及び関連する深度データを記憶するステップと；
－ 前記一群の画像部分の各画像部分に関する深度遷移尺度を供給するステップであって、画像部分に関する前記深度遷移尺度が該画像部分における深度遷移の方向を示すステップと；
－ 前記画像部分リクエストに応答して、前記一群の画像部分から画像部分を選択するステップと；
－ 選択された画像部分及び関連する深度データを前記遠隔ソースに送信するステップと；
を有する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】