特許 7471307 シーンの画像表現

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-11

(45)【発行日】2024-04-19

(54)【発明の名称】シーンの画像表現

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240412BHJP

   G06F 3/01 20060101ALI20240412BHJP

【ＦＩ】

G06T19/00 300B

G06F3/01 510

【請求項の数】 16

(21)【出願番号】P 2021543369

(86)(22)【出願日】2020-01-19

(65)【公表番号】

(43)【公表日】2022-03-18

(86)【国際出願番号】 EP2020051205

(87)【国際公開番号】W WO2020156844

(87)【国際公開日】2020-08-06

【審査請求日】2023-01-18

(31)【優先権主張番号】19154468.3

(32)【優先日】2019-01-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ブリュル ウィルヘルムス ヘンドリクス アルフォンサス

(72)【発明者】

【氏名】ヴァーエカンプ クリスティアン

(72)【発明者】

【氏名】クルーン バート

【審査官】岡本 俊威

(56)【参考文献】

【文献】特表２０１７－５１８６６３（ＪＰ，Ａ）

【文献】特表２０１８－５２４８３２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００９２２３５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／２０

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ １３／００ － １３／３９８

Ｇ０９Ｇ ５／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

画像をレンダリングするための装置であって、前記装置が、
シーンの画像表現を受信するための受信部であって、前記画像表現が、シーン座標系に基づいて提供され、前記シーン座標系が、基準位置を含む、受信部と、
視認者に対する視認者ポーズを特定するための特定部であって、前記視認者ポーズが、視認者座標系に基づいて提供される、特定部と、
シーン基準位置を前記視認者座標系における視認者基準位置と位置合わせすることにより、前記シーン座標系を前記視認者座標系と位置合わせするための位置合わせ部と、
前記画像表現と前記視認者座標系に対する前記シーン座標系の前記位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするためのレンダラーと、
を備え、
前記装置は、
位置合わせが実施される対象の視認者ポーズである第１の視認者ポーズに応じて前記視認者基準位置を特定するオフセットプロセッサであって、前記視認者基準位置が、前記第１の視認者ポーズの配向に依存し、及び、前記第１の視認者ポーズに対する視認者眼球位置に対するオフセットをもち、前記オフセットが、前記視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、オフセットプロセッサ、
を更に備え、
前記受信部が、前記画像表現を含むとともにオフセット標示を更に含む画像データ信号を受信し、前記オフセットプロセッサが、前記オフセット標示に応じて前記オフセットを特定する、
装置。

【請求項2】

前記オフセット成分が、２ｃｍ以上である、
請求項１に記載の装置。

【請求項3】

前記オフセット成分が、１２ｃｍ以下である、
請求項１又は２に記載の装置。

【請求項4】

前記オフセットプロセッサが、少なくとも１つの視認者ポーズに対する誤差尺度に応じて前記オフセットを特定し、前記誤差尺度が、前記オフセットの候補値に依存する、
請求項１から３のいずれか一項に記載の装置。

【請求項5】

前記オフセットプロセッサが、複数の視認者ポーズに対する前記誤差尺度の組み合わせに応じて候補値に対する前記誤差尺度を特定する、
請求項４に記載の装置。

【請求項6】

視認者ポーズ及び前記オフセットの候補値に対する前記誤差尺度が、前記画像表現の少なくとも１つの画像から合成された前記視認者ポーズに対するビュー画像に対する画像品質尺度を含み、前記少なくとも１つの画像が、前記候補値に応じた前記視認者ポーズに対する位置を含む、
請求項４又は５に記載の装置。

【請求項7】

視認者ポーズ及び前記オフセットの候補値に対する前記誤差尺度が、前記画像表現の少なくとも２つの画像から合成された前記視認者ポーズに対するビュー画像に対する画像品質尺度を含み、前記少なくとも２つの画像が、前記候補値に応じた前記視認者ポーズに対する基準位置をもつ、
請求項４又は５に記載の装置。

【請求項8】

前記画像表現が、全方向画像表現を含む、
請求項１から７のいずれか一項に記載の装置。

【請求項9】

前記オフセットが、前記視認者眼球位置のビュー方向に直交する方向におけるオフセット成分を含む、
請求項１から８のいずれか一項に記載の装置。

【請求項10】

前記オフセットが、縦成分を含む、
請求項１から９のいずれか一項に記載の装置。

【請求項11】

画像信号を生成するための装置であって、前記装置が、
１つ又は複数のポーズからのシーンを表す多数の画像を受信するための受信部と、
前記シーンの画像表現を提供する画像データを生成するための表現プロセッサであって、前記画像データが、前記多数の画像とシーン座標系に基づいて提供される前記画像表現とを含み、前記シーン座標系が、シーン基準位置を含む、表現プロセッサと、
オフセット標示を生成するためのオフセット生成器であって、前記オフセット標示が、視認者座標系に対して前記シーン座標系を位置合わせするときに前記シーン基準位置と視認者眼球位置との間に適用するためのオフセットを示し、前記オフセットが、前記視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、オフセット生成器と、
前記画像データと前記オフセット標示とを含むように前記画像信号を生成するための出力プロセッサと、
を備える、装置。

【請求項12】

前記オフセット生成器は、少なくとも１つの視認者ポーズに対する誤差尺度に応じて前記オフセットを特定し、前記誤差尺度が、前記オフセットの候補値に依存する、
請求項１１に記載の装置。

【請求項13】

前記オフセット生成器が、複数の視認者ポーズに対する前記誤差尺度の組み合わせに応じて候補値に対する前記誤差尺度を特定する、
請求項１２に記載の装置。

【請求項14】

画像をレンダリングする方法であって、前記方法が、
シーンの画像表現を受信するステップであって、前記画像表現が、シーン座標系に基づいて提供され、前記シーン座標系が、基準位置を含む、受信するステップと、
視認者に対する視認者ポーズを特定するステップであって、前記視認者ポーズが、視認者座標系に基づいて提供される、特定するステップと、
シーン基準位置を前記視認者座標系における視認者基準位置と位置合わせするステップにより、前記シーン座標系を前記視認者座標系と位置合わせするステップと、
前記画像表現と前記視認者座標系に対する前記シーン座標系の前記位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするステップと、
を有し、
前記方法が、
第１の視認者ポーズに応じて前記視認者基準位置を特定するステップであって、前記視認者基準位置が、前記第１の視認者ポーズの配向に依存し、及び、前記第１の視認者ポーズに対する視認者眼球位置に対するオフセットをもち、前記オフセットが、前記視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、特定するステップ、
を更に有し、
前記シーンの前記画像表現を前記受信するステップが、前記画像表現を含むとともにオフセット標示を更に含む画像データ信号を受信するステップを有し、前記オフセット標示に応じて前記オフセットを特定するステップを更に有する、
方法。

【請求項15】

画像信号を生成するための方法であって、前記方法が、
１つ又は複数のポーズからのシーンを表す多数の画像を受信するステップと、
前記シーンの画像表現を提供する画像データを生成するステップであって、前記画像データが、前記多数の画像とシーン座標系に基づいて提供される前記画像表現とを含み、前記シーン座標系が、シーン基準位置を含む、生成するステップと、
オフセット標示を生成するステップであって、前記オフセット標示が、視認者座標系に対して前記シーン座標系を位置合わせするときに前記シーン基準位置と視認者眼球位置との間に適用するためのオフセットを示し、前記オフセットが、前記視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、生成するステップと、
前記画像データと前記オフセット標示とを含むように画像信号を生成するステップと、
を有する、方法。

【請求項16】

コンピュータにおいて実行されたときに請求項１４又は１５に記載のすべてのステップを実施するコンピュータプログラムコード手段を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シーンの画像表現に関し、特に、限定されないが、仮想現実アプリケーションの一部としての画像表現の生成及びこの画像表現からの画像のレンダリングに関する。

【背景技術】

【0002】

ビデオを使用及び消費する新しいサービス及び手法が継続的に開発され、及び導入されることに伴って、画像及びビデオアプリケーションの多様性及び範囲が近年大幅に増加している。

【0003】

例えば、人気の高まっている１つのサービスは、視認者がレンダリングのパラメータを変えるためにシステムと能動的に、及び動的に相互作用することができる手法による画像シーケンスの提供である。多くのアプリケーションにおける非常に魅力的な特徴は、視認者の効果的な視認位置及び視認方向を変える能力であり、例えば視認者が提示されているシーンにおいて動くこと、及び「見て回る」ことを可能にする。

【0004】

このような特徴は、特に仮想現実体験がユーザーに提供されることを可能にし得る。これは、ユーザーが例えば仮想環境において（比較的）自由に動き回ること、及び、ユーザーの位置及びユーザーが視認している場所を動的に変えることを可能にする。典型的には、このような仮想現実アプリケーションは、モデルが特定の要求されたビューを提供するために動的に評価されることを伴うシーンの三次元モデルに基づく。このアプローチは、例えば、コンピュータ及びコンソールのための例えば一人称シューティングゲームのカテゴリにおけるゲームアプリケーションにおいてよく知られている。

【0005】

特に仮想現実アプリケーションに対して、提示される画像が三次元画像であることが更に望ましい。実際、視認者の没入感を最適化するために、典型的にはユーザーにとって、三次元シーンとして提示されたシーンを体験することが好ましい。実際、仮想現実体験は好ましくは、仮想世界に対するユーザー自身の位置、カメラビューポイント、及び時点をユーザーが選択することを可能にしなければならない。

【0006】

典型的には、仮想現実アプリケーションがシーンの所定のモデル、及び典型的には仮想世界の人工モデルに基づくという点で、仮想現実アプリケーションは本質的に制限される。仮想現実体験が現実世界のキャプチャに基づいて提供されることが多くの場合望ましい。しかし、多くの場合、このようなアプローチは制限されるか、又は、現実世界の仮想モデルが現実世界のキャプチャにより構築されることを必要とする傾向がある。したがって、仮想現実体験はこのモデルを評価することにより生成される。

【0007】

しかし、現在のアプローチは最適ではない傾向があり、多くの場合、高い演算又は通信リソース要求を伴い、及び／又は、例えばより低い品質又は制限された自由度を伴う最適ではないユーザー体験を提供する傾向がある。

【0008】

多くの、例えば仮想現実アプリケーションでは、シーンは、例えばシーンに対する特定のビューポーズを表す１つ又は複数の画像により画像表現により表される。幾つかの例において、このような画像はシーンの広角ビューを提供し、例えば完全な３６０°ビューをカバーし、又は完全ビュー球体をカバーする。

【0009】

多くのアプリケーションにおいて、及び特に仮想現実アプリケーションに対して、画像データストリームがシーンにおけるユーザーの（仮想）位置を反映するように、シーンを表すデータから画像データストリームが生成される。このような画像データストリームが仮想シーン内におけるユーザーの動きを反映するように、このような画像データストリームは典型的には動的に、及びリアルタイムで生成される。画像データストリームは、画像データストリームの画像データからユーザーに対する画像をレンダリングするレンダラーに提供される。多くのアプリケーションにおいて、レンダラーに対する画像データストリームの提供は、帯域幅の限られた通信リンクを介する。例えば、画像データストリームは、リモートサーバーにより生成され、例えば通信ネットワークを介してレンダリングデバイスに送信される。しかし、ほとんどのこのようなアプリケーションに対して、高効率の通信を可能にするために相応のデータレートを維持することが重要である。

【0010】

３６０°ビデオストリーミングに基づいて仮想現実体験を提供することが提案されており、ここで、シーンの完全な３６０°ビューが所与の視認者位置に対してサーバーにより提供され、以て、クライアントが異なる方向に対するビューを生成することを可能にする。特に、仮想現実（ＶＲ）の有望なアプリケーションのうちの１つは、全方向ビデオ（例えばＶＲ３６０又はＶＲ１８０）である。本アプローチは、高データレートをもたらす傾向を示し、したがって、完全な３６０°ビュー球体が提供される対象のビューポイントの数は、典型的には少ない数に制限される。

【0011】

特定の例として、仮想現実眼鏡が市場に参入している。これらの眼鏡は、視認者がキャプチャされた３６０度（パノラマ）ビデオを体験することを可能にする。これらの３６０度ビデオは多くの場合、カメラリグを使用して事前にキャプチャされ、この場合、個々の画像は１つの球形マッピングへと一緒に連結される。幾つかのこのような実施形態では、所与のビューポイントからの完全な球形ビューを表す画像が生成され、ユーザーの現在のビューに対応した眼鏡に対する画像を生成するように構成されたドライバに送信される。

【0012】

多くのシステムにおいて、画像表現がシーンにおける１つ又は複数のキャプチャポイント／ビューポイントに対する画像を含み、及び多くの場合、深さを含むように、シーンの画像表現が提供される。多くのこのようなシステムにおいて、レンダラーは、現在のローカルな視認者ポーズに整合したビューを動的に生成するように構成される。このようなシステムにおいて、視認者ポーズが動的に特定され、ビューがこの視認者ポーズに整合するように動的に生成される。このような動作は、視認者ポーズが画像表現と位置合わせされること、又は画像表現に対してマッピングされることを必要とする。これは、典型的には、アプリケーションの開始時にシーン／画像表現における所与の最適な、又はデフォルト位置に視認者を配置すること、及び、次にこれに対する視認者の動きを追跡することにより行われる。最適な、又はデフォルト位置は、典型的には、画像表現が画像データを含む対象の位置、すなわちキャプチャ又はアンカー位置に対応するように選択される。

【発明の概要】

【発明が解決しようとする課題】

【0013】

しかし、視認者ポーズがこの位置から変化するにつれて、ビュー補間及び合成が必要とされ、これは、劣化及びアーティファクトをもたらし、以て画像品質を下げる傾向を示す。

【0014】

したがって、シーンの画像表現を処理するための、及び生成するための改善されたアプローチが有益である。特に、改善された動作、改善された柔軟性、改善された仮想現実体験、より低いデータレート、より高い効率、円滑化された配布、より低い複雑さ、円滑化された実施、低減されたストレージ要求、より高い画像品質、改善されたレンダリング、改善されたユーザー体験、及び／又は、改善されたパフォーマンス及び／又は動作を可能にするシステム及び／又はアプローチが有益である。

【0015】

したがって、本発明は、好ましくは、単独で、又は任意の組み合わせにより、上述の欠点のうちの１つ又は複数を緩和、軽減、又は、除去することを目的とする。

【課題を解決するための手段】

【0016】

本発明の一態様によると、画像をレンダリングするための装置であって、装置が、シーンの画像表現を受信するための受信部であって、画像表現が、シーン座標系に基づいて提供され、シーン座標系が、基準位置を含む、受信部と、視認者に対する視認者ポーズを特定するための特定部であって、視認者ポーズが、視認者座標系に基づいて提供される、特定部と、シーン基準位置を視認者座標系における視認者基準位置と位置合わせすることにより、シーン座標系を視認者座標系と位置合わせするための位置合わせ部と、画像表現と、及び視認者座標系に対するシーン座標系の位置合わせに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするためのレンダラーと、を備え、装置が、位置合わせが実施される対象の視認者ポーズである第１の視認者ポーズに応じて視認者基準位置を特定するように構成されたオフセットプロセッサであって、視認者基準位置が、第１の視認者ポーズの配向に依存し、及び第１の視認者ポーズに対する視認者眼球位置に関連したオフセットをもち、オフセットが、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、オフセットプロセッサを更に備え、受信部が、画像表現を含むとともに、オフセット標示を更に含む画像データ信号を受信するように構成され、オフセットプロセッサが、オフセット標示に応じてオフセットを特定するように構成された、装置が提供される。

【0017】

本発明は、多くの実施形態において改善された動作及び／又はパフォーマンスを提供する。本発明は、特に、ある範囲の視認者ポーズに対して改善された画像品質を提供する。

【0018】

本アプローチは、多くの実施形態において、改善されたユーザー体験を提供し、例えば、本アプローチは、多くのシナリオにおいて、柔軟性のある、効率的な、及び／又は高パフォーマンスの仮想現実（ＶＲ）アプリケーションを可能にする。多くの実施形態において、本アプローチは、異なる視認者ポーズに対する画像品質間の大幅に改善されたトレードオフを伴うＶＲアプリケーションを可能にし、又はできるようにする。

【0019】

本アプローチは、例えば、受信側における動き及び頭部の回転への適応をサポートしたビデオサービスをブロードキャストすることに特に適している。

【0020】

画像表現は、シーンの１つ又は複数の画像を備える。画像表現の各画像は、シーンに対する視認又はキャプチャポーズに関連付けられ、及び結び付けられる。視認又はキャプチャポーズは、シーン座標系に基づいて提供される。シーン基準位置は、シーン座標系における任意の位置である。シーン基準位置は、視認者ポーズに依存しない。シーン基準位置は、所定の位置及び／又は固定位置である。シーン基準位置は、少なくとも幾つかの連続した位置合わせの間で変化しない。

【0021】

ビュー画像のレンダリングは位置合わせの後である。オフセット成分は、位置合わせ視認者ポーズに対するビュー方向の反対であることにより、視認者眼球位置のビュー方向の反対方向である。

【0022】

第１の視認者ポーズは、位置合わせ視認者ポーズとも呼ばれる（位置合わせ視認者ポーズは、位置合わせが実施される対象の視認者ポーズである）。

【0023】

位置合わせ／第１の視認者ポーズは、視認者眼球位置、及び視認者眼球位置のビュー方向を示す／表す／説明する。位置合わせ／第１の視認者ポーズは、視認者眼球位置、及び視認者眼球位置のビュー方向が特定されることを可能にするデータを含む。

【0024】

オフセット標示は、視認者座標系に対してシーン座標系を位置合わせするときにシーン基準位置と視認者眼球位置との間に適用するためのターゲットオフセットを表す。ターゲットオフセットは、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む。

【0025】

本発明の任意選択的な特徴によると、オフセット成分は２ｃｍ以上である。

【0026】

これは、多くの実施形態において特に有益な動作を提供する。それは、多くのシナリオにおいて、多くの視認者ポーズに対して十分に高い品質改善が達成されることを可能にする。

【0027】

幾つかの実施形態において、オフセット成分は、１ｃｍ、４ｃｍ、５ｃｍ、又は更には７ｃｍ以上である。典型的には遥かに低い程度であるが前方ビューに対する画像品質を下げる可能性を伴いながら、頭部の回転に対応したビューポーズに対して生成された画像の品質を改善するために、より大きいオフセットが導出されている。

【0028】

本発明の任意選択的な特徴によると、オフセット成分は１２ｃｍ以下である。

【0029】

これは、多くの実施形態において特に有益な動作を提供する。それは、多くのシナリオにおいて、異なる視認者ポーズに対して生成された画像に対する改善された画像品質のトレードオフを提供する。

【0030】

幾つかの実施形態において、オフセット成分は、８ｃｍ又は１０ｃｍ以下である。

【0031】

本発明の任意選択的な特徴によると、受信部（３０１）は、画像表現を含むとともに、オフセット標示を更に含む画像データ信号を受信するように構成され、オフセットプロセッサが、オフセット標示に応じてオフセットを特定するように構成される。

【0032】

これは、多くのシステム及びシナリオにおいて、例えば特にブロードキャスティングするシナリオに対して有益な動作を提供する。それは、オフセット最適化が複数の異なるレンダリングデバイスに対して同時に実施されることを可能にする。

【0033】

本発明の任意選択的な特徴によると、オフセットプロセッサは、少なくとも１つの視認者ポーズに対する誤差尺度に応じてオフセットを特定するように構成され、誤差尺度はオフセットの候補値に依存する。

【0034】

これは、多くの実施形態において改善された動作及び／又はパフォーマンスを提供する。それは、特に、多くの実施形態において、異なる視認者ポーズに対する品質における改善されたトレードオフを可能にし、及び、多くの実施形態において、動的な最適化を可能にする。それは、更に、多くの実施形態において、低複雑度の、及び／又は、高効率の／低リソースの動作を可能にする。

【0035】

オフセットは、多くの実施形態において、１つ又は複数の視認者ポーズに対する（組み合わされた）最小誤差尺度をもたらすオフセットとして特定される。

【0036】

幾つかの実施形態において、誤差尺度は、候補値の連続的な範囲に対する誤差測定結果又は値を表す。例えば、誤差尺度は、候補オフセットの関数として表され、オフセットは、この関数が最小化される対象の候補オフセットとして特定される。

【0037】

幾つかの実施形態において、離散的な数の候補オフセット値のみが考慮され、オフセットプロセッサは、これらの候補値の各々に対して誤差尺度／測定結果／値を特定する。次に、オフセットプロセッサは、（例えば、複数の視認者ポーズに対する誤差尺度を組み合わせた後）最低誤差尺度が導出された対象の候補オフセットとしてオフセットを特定する。

【0038】

本発明の任意選択的な特徴によると、オフセットプロセッサは、複数の視認者ポーズに対する誤差尺度の組み合わせに応じて候補値に対する誤差尺度を特定するように構成される。

【0039】

これは、多くの実施形態において、改善された動作及び／又はパフォーマンスを提供する。

【0040】

幾つかの実施形態において、オフセットプロセッサは、凝視方向の範囲に対する誤差尺度に応じて、ある範囲の視認者ポーズのうちの１つの視認者ポーズに対する誤差尺度を特定するように構成される。

【0041】

本発明の任意選択的な特徴によると、視認者ポーズ及びオフセットの候補値に対する誤差尺度は、画像表現の少なくとも１つの画像から合成された視認者ポーズに対するビュー画像に対する画像品質尺度を含み、少なくとも１つの画像が、候補値に応じて視認者ポーズに対する位置をもつ。

【0042】

これは、多くの実施形態において改善された動作及び／又はパフォーマンスを提供する。

【0043】

本発明の任意選択的な特徴によると、視認者ポーズ及びオフセットの候補値に対する誤差尺度は、画像表現の少なくとも２つの画像から合成された視認者ポーズに対するビュー画像に対する画像品質尺度を含み、少なくとも２つの画像は、候補値に応じて視認者ポーズに対する基準位置をもつ。

【0044】

これは、多くの実施形態において改善された動作及び／又はパフォーマンスを提供する。

【0045】

本発明の任意選択的な特徴によると、画像表現は、全方向画像表現を包含する。

【0046】

本発明は、特に、例えば特に全方向ステレオ（ＯＤＳ）画像といった全方向画像に基づいて画像表現に対する改善されたパフォーマンスを提供する。

【0047】

本発明の任意選択的な特徴によると、オフセットは、視認者眼球位置のビュー方向に直交する方向におけるオフセット成分を含む。

【0048】

これは、多くの実施形態において改善された動作及び／又はパフォーマンスを提供する。

【0049】

視認者眼球位置のビュー方向に直交する方向は水平方向であってもよい。特に、それは、視認者ポーズの一方の眼球から他方の眼球への方向に対応した方向であってもよい。縦成分は、シーン座標系における水平方向に対応した方向であってもよい。

【0050】

本発明の任意選択的な特徴によると、オフセットは縦成分を含む。

【0051】

これは、多くの実施形態において改善された動作及び／又はパフォーマンスを提供する。縦成分は、視認者眼球位置のビュー方向と視認者ポーズの眼球間の方向とにより形成された平面に直交する方向であってもよい。縦成分は、シーン座標系における垂直方向に対応した方向であってもよい。

【0052】

本発明の一態様によると、画像信号を生成するための装置であって、装置が、１つ又は複数のポーズからシーンを表す多数の画像を受信するための受信部と、シーンの画像表現を提供する画像データを生成するための表現プロセッサであって、画像データが、多数の画像とシーン座標系に基づいて提供される画像表現とを含み、シーン座標系が、シーン基準位置を含む、表現プロセッサと、オフセット標示を生成するためのオフセット生成器であって、オフセット標示が、視認者座標系に対してシーン座標系を位置合わせするときにシーン基準位置と視認者眼球位置との間に適用するためのオフセットを示し、オフセットが、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、オフセット生成器と、画像データとオフセット標示とを含むように画像信号を生成するための出力プロセッサとを備える、装置が提供される。

【0053】

本発明の一態様によると、画像をレンダリングする方法であって、方法が、シーンの画像表現を受信するステップであって、画像表現が、シーン座標系に基づいて提供され、シーン座標系が、基準位置を含む、受信するステップと、視認者に対する視認者ポーズを特定するステップであって、視認者ポーズが、視認者座標系に基づいて提供される、特定するステップと、シーン基準位置を視認者座標系における視認者基準位置と位置合わせすることにより、シーン座標系を視認者座標系と位置合わせするステップと、画像表現と視認者座標系に対するシーン座標系の位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするステップとを有し、方法は更に、第１の視認者ポーズに応じて視認者基準位置を特定するステップであって、視認者基準位置が、第１の視認者ポーズの配向に依存し、及び、第１の視認者ポーズに対する視認者眼球位置に対するオフセットをもち、オフセットが、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、特定するステップを有し、シーンの画像表現を受信するステップが、画像表現を含むとともにオフセット標示を更に含む画像データ信号を受信するステップを有し、更に、オフセット標示に応じてオフセットを特定するステップを有する、方法が提供される。

【0054】

本発明の一態様によると、画像信号を生成する方法であって、方法が、１つ又は複数のポーズからのシーンを表す多数の画像を受信するステップと、シーンの画像表現を提供する画像データを生成するステップであって、画像データが、多数の画像とシーン座標系に基づいて提供される画像表現とを含み、シーン座標系が、シーン基準位置を含む、生成するステップと、オフセット標示を生成するステップであって、オフセット標示が、視認者座標系に対してシーン座標系を位置合わせするときにシーン基準位置と視認者眼球位置との間に適用するためのオフセットを示し、オフセットが、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、生成するステップと、画像データとオフセット標示とを含むように画像信号を生成するステップとを有する、方法が提供される。

【0055】

本発明のこれらの、及び、他の態様、特徴及び利点が、以下で説明される実施形態から明らかとなり、以下で説明される実施形態を参照しながら説明される。

【0056】

本発明の実施形態が図面を参照しながら、単なる例示として説明される。

【図面の簡単な説明】

【0057】

【図1】仮想現実体験を提供するための構成体の例を示す図である。

【図2】本発明の幾つかの実施形態による、装置の要素の例を示す図である。

【図3】本発明の幾つかの実施形態による、装置の要素の例を示す図である。

【図4】シーンに対する画像表現に対する構成の例を示す図である。

【図5】シーンの全方向ステレオ画像表現の例を示す図である。

【図6】シーンの全方向ステレオ画像表現の例を示す図である。

【図7】深さマップを伴う全方向ステレオ画像の例を示す図である。

【図8】視認者ポーズに対する視認者基準位置の特定の例を示す図である。

【図9】視認者ポーズに対する視認者基準位置の特定の例を示す図である。

【図10】視認者ポーズに対する視認者基準位置の特定の例を示す図である。

【図11】視認者ポーズに対する視認者基準位置の特定の例を示す図である。

【図12】視認者ポーズに対する視認者基準位置に対するオフセットの特定の例を示す図である。

【図13】視認者ポーズに対する視認者基準位置に対するオフセットの特定の例を示す図である。

【図14】視認者ポーズに対する視認者基準位置に対するオフセットの特定の例を示す図である。

【図15】視認者ポーズに対する視認者基準位置に対するオフセットの特定の例を示す図である。

【発明を実施するための形態】

【0058】

ユーザーが仮想世界において動き回ることを可能にする仮想体験は、益々一般的になりつつあり、このような需要を満たすためのサービスが開発されている。しかし、特に、体験が完全に仮想的に生成された人工的な世界ではなく、現実世界環境のキャプチャに基づく場合、効率的な仮想現実サービスの提供は非常に困難を伴う。

【0059】

多くの仮想現実アプリケーションにおいて、視認者ポーズ入力はシーンにおける仮想視認者のポーズを反映して特定される。したがって、仮想現実装置／システム／アプリケーションは、視認者ポーズに対応した視認者に対するシーンのビュー及びビューポートに対応した１つ又は複数の画像を生成する。

【0060】

典型的には、仮想現実アプリケーションは、左目及び右目に対する別々のビュー画像の形態を取る三次元出力を生成する。次に、これらのビュー画像は、例えば典型的にはＶＲヘッドセットの個々の左目ディスプレイ及び右目ディスプレイといった適切な手段によりユーザーに提示される。他の実施形態において、画像は、例えば裸眼立体視ディスプレイに提示され（この場合、より多くのビュー画像が視認者ポーズに対して生成される）、又は、実際に幾つかの実施形態において、（例えば従来の二次元ディスプレイを使用して）１つの二次元画像のみが生成される。

【0061】

視認者ポーズ入力は、異なるアプリケーションにおいて異なる手法により特定されてもよい。多くの実施形態において、ユーザーの物理的動きが直接追跡される。例えば、ユーザーエリアを見渡すカメラが、ユーザーの頭部（又は更には眼球）を検出及び追跡する。多くの実施形態において、ユーザーは、外部手段及び／又は内部手段により追跡され得るＶＲヘッドセットを装着する。例えば、ヘッドセットは、ヘッドセットの、ひいては頭部の動き及び回転に関する情報を提供する加速度計とジャイロスコープとを備える。幾つかの例において、ＶＲヘッドセットは信号を送信し、又は、外部センサーがＶＲヘッドセットの動きを特定することを可能にする（例えば視覚的）識別体を備える。

【0062】

幾つかのシステムにおいて、視認者ポーズは、例えばユーザーがジョイスティックを手動で制御すること、又は同様の手動入力といった手動の手段により提供される。例えば、ユーザーは、一方の手で第１のアナログジョイスティックを制御すること、及び、他方の手で第２のアナログジョイスティックを手動で動かすことにより仮想視認者が視認する方向を手動で制御することにより、シーンにおいて仮想視認者を手動で動き回らせる。

【0063】

幾つかのアプリケーションでは、手動アプローチと自動アプローチとの組み合わせが、入力視認者ポーズを生成するために使用される。例えば、ヘッドセットは頭部の配向を追跡し、シーンにおける視認者の動き／位置が、ジョイスティックを使用してユーザーにより制御される。

【0064】

画像の生成は、仮想世界／環境／シーンの適切な表現に基づく。幾つかの用途では、完全な三次元モデルがシーンに対して提供され、特定の視認者ポーズからのシーンのビューが、このモデルを評価することにより特定され得る。

【0065】

多くの実用的なシステムにおいて、シーンは、画像データを含む画像表現により表される。画像データは、典型的には、１つ又は複数のキャプチャ又はアンカーポーズに関連した画像を含み、特に、画像は１つ又は複数のビューポートに対して含まれ、各ビューポートが特定のポーズに対応する。１つ又は複数の画像を含む画像表現が使用され、各画像が所与のビューポーズに対する所与のビューポートのビューを表す。（画像データは、典型的には、キャプチャポーズに対応した位置及び配向をもつシーンに配置されたカメラによりキャプチャされる、又は、される可能性のある画像に対応するので）画像データが提供された対象のこのようなビューポーズ又は位置は、多くの場合、アンカーポーズ又は位置又はキャプチャポーズ又は位置と呼ばれる。

【0066】

多くの典型的なＶＲアプリケーションは、このような画像表現に基づいて、現在の視認者ポーズに対するシーンに対するビューポートに対応したビュー画像を提供することを行い、画像が視認者ポーズの変化を反映するように動的に更新され、画像が（場合によっては）仮想シーン／環境／世界を表す画像データに基づいて生成される。アプリケーションは、当業者に理解可能であるように、ビュー合成及びビューシフトアルゴリズムを実施することによりこれを行う。

【0067】

本分野において、配置及びポーズという用語は、位置及び／又は方向／配向に対する共通用語として使用される。例えば物体、カメラ、頭部、又はビューの位置及び方向／配向の組み合わせは、ポーズ又は配置と呼ばれる。したがって、配置又はポーズ標示は６つの値／成分／自由度を含み、各値／成分は、典型的には、対応する物体の配置／位置又は配向／方向の個々の特性を説明する。もちろん、多くの状況において、例えば、１つ又は複数の成分が固定されている、又は関連しないと考えられる場合、配置又はポーズはより少ない成分をもつと考えられ、又はより少ない成分を表す（例えば、すべての物体が同じ高さにあり、横配向であると考えられる場合、４つの成分は、物体のポーズの完全な表現を提供する）。以下で、ポーズという用語は、（最大の取り得る自由度に対応した）１つから６つの値により表される位置及び／又は配向を表すために使用される。

【0068】

多くのＶＲアプリケーションは、最大自由度、すなわち、位置及び配向の各々の３つの自由度をもつポーズに基づき、全部で６つの自由度をもたらす。したがって、ポーズは、６つの自由度を表す６つの値の集合又はベクトルにより表され、したがって、ポーズベクトルは、三次元位置及び／又は三次元方向の標示を提供する。しかし、他の実施形態において、ポーズがより少ない値により表されることが理解される。

【0069】

ポーズは、配向及び位置のうちの少なくとも１である。ポーズ値は、配向値及び位置値のうちの少なくとも１つを表す。

【0070】

視認者に対する最大自由度を提供することに基づくシステム又は実体は、典型的には、６つの自由度（６ＤｏＦ）をもつものとして参照される。多くのシステム及び実体が配向又は位置のみを提供し、これらは典型的には、３つの自由度（３ＤｏＦ）をもつものとして知られる。

【0071】

幾つかのシステムにおいて、ＶＲアプリケーションは、例えば、リモートＶＲデータ又は処理を全く使用しない、又は更にはリモートＶＲデータ又は処理への任意のアクセスを含む独立型デバイスにより、視認者に対してローカルに提供される。例えば、デバイス、例えばゲームコンソールは、シーンデータを記憶するための記憶部、視認者ポーズを受信／生成するための入力、及び、シーンデータから対応する画像を生成するためのプロセッサを備える。

【0072】

他のシステムにおいて、ＶＲアプリケーションは、視認者からリモートに実現され、及び実施される。例えば、ユーザーにとってローカルなデバイスは、視認者ポーズを生成するためにデータを処理するリモートデバイスに送信された動き／ポーズデータを検出／受信する。リモートデバイスは、次に、シーンデータを説明するシーンデータに基づいて、視認者ポーズに対する適切なビュー画像を生成する。次に、ビュー画像が提示される視認者にとってローカルなデバイスに、ビュー画像が送信される。例えば、リモートデバイスは、ローカルデバイスにより直接提示されるビデオストリーム（典型的にはステレオ／３Ｄビデオストリーム）を直接生成する。したがって、このような例において、ローカルデバイスは、動きデータを送信することと、受信されたビデオデータを提示することとを除く任意のＶＲ処理を実施しない場合がある。

【0073】

多くのシステムにおいて、機能は、ローカルデバイス及びリモートデバイスにわたって分散される。例えば、ローカルデバイスが、受信された入力及びセンサーデータを処理して、リモートＶＲデバイスに連続的に送信される視認者ポーズを生成する。次に、リモートＶＲデバイスが対応するビュー画像を生成し、提示するためにローカルデバイスにこれらの対応するビュー画像を送信する。他のシステムにおいて、リモートＶＲデバイスはビュー画像を直接生成しないが、関連するシーンデータを選択してローカルデバイスにこれを送信し、次にローカルデバイスが、提示されるビュー画像を生成する。例えば、リモートＶＲデバイスは最も近いキャプチャポイントを識別し、対応するシーンデータ（例えば、キャプチャポイントからの球形画像及び深さデータ）を抽出し、ローカルデバイスにこれを送信する。次にローカルデバイスが、受信されたシーンデータを処理して、特定の現在のビューポーズに対する画像を生成する。ビューポーズは典型的には頭部ポーズに対応し、ビューポーズに対する基準は、典型的には同様に、頭部ポーズに対する基準に対応すると考えられる。

【0074】

特にブロードキャストサービスのための多くのアプリケーションにおいて、源は、視認者ポーズに依存しないシーンの（ビデオを包含する）画像表現の形態によりシーンデータを送信する。例えば、１つのキャプチャ位置に対する１つのビュー球体に対する画像表現が、複数のクライアントに送信される。次に、個々のクライアントは、現在の視認者ポーズに対応したビュー画像をローカルに合成する。

【0075】

特定の関心を引くアプリケーションは、小さい頭部の動き及び頭部の回転のみをもたらす非常に静的な視認者に対応した小さい動き及び回転に従うように提示されたビューが更新されるように、限られた動き量がサポートされる場合である。例えば、座っている視認者は、視認者の頭部を回転させ、及びそれをわずかに動かし得、提示されたビュー／画像がこれらのポーズ変化に沿うように適応される。このようなアプローチは、非常に没入させる、例えばビデオ体験を提供する。例えば、スポーツイベントを見ている視認者は、視認者がアリーナにおける特定のスポットに存在していると感じる。

【0076】

このような限られた自由度のアプリケーションは、多くの異なる位置からのシーンの正確な表現を必要とせずに、改善された体験を提供し、以てキャプチャ要求を大幅に低減するという利点をもつ。同様に、レンダラーに提供される必要があるデータの量は大幅に少なくされ得る。実際、多くのシナリオにおいて、１つのビューポイントに対する画像、及び典型的には深さデータのみが提供される必要があり、ローカルレンダラーがここから所望のビューを生成することができる。

【0077】

本アプローチは、特に、データが、例えばブロードキャスト又はクライアントサーバーアプリケーションのために、帯域制限のある通信チャンネルを介して源から宛先に通信させられる必要があるアプリケーションに非常に適する。

【0078】

図１は、リモートＶＲクライアントデバイス１０１が例えばインターネットなどのネットワーク１０５を介してＶＲサーバー１０３と連携するこのようなＶＲシステムの例を示す。サーバー１０３は、場合によっては多数のクライアントデバイス１０１を同時にサポートするように構成される。

【0079】

ＶＲサーバー１０３は、例えば、特定のビューポイントに対する画像データ及び深さを送信することによりブロードキャスト体験をサポートし、更に、クライアントデバイスは、この情報を処理して現在のポーズに対応したビュー画像をローカルに合成するように構成される。

【0080】

図２は、ＶＲサーバー１０３の例示的な実施態様の例示的な要素を示す。

【0081】

装置は１つ又は複数のポーズからのシーンを表す多数の画像を受信するように構成された受信器２０１を備える。

【0082】

本例において、受信部２０１は、多数の画像を提供する源２０３に結合されている。源２０３は、特に、画像を記憶するローカルメモリであり、又は、源２０３は、例えばカメラの集合などの適切なキャプチャユニットである。

【0083】

受信部２０１は、多数の画像を供給される表現プロセッサ２０５と呼ばれるプロセッサに結合されている。表現プロセッサ２０５は、多数の画像から導出された画像データを含む画像表現を含むシーンの画像表現を生成するように構成されている。

【0084】

表現プロセッサ２０５は、画像表現を含む画像信号を生成する出力プロセッサ２０７に結合されており、したがって、画像信号は、特に、多数の画像の画像データを含む。多くの実施形態において、出力プロセッサ２０７は、画像を符号化するように、及び、例えば適切な規格に従って生成されたデータストリームといった適切なデータストリームにそれらを含むように構成される。

【0085】

出力プロセッサ２０７は、リモートクライアント／デバイスに画像信号を送信するように、又はブロードキャストするように更に構成され、特に、画像信号はクライアントデバイス１０１に通信される。

【0086】

図３は、本発明の幾つかの実施形態による画像をレンダリングするための装置の幾つかの要素の例を示す。本装置は図１のシステムに関するコンテキストにおいて説明され、特に、本装置はクライアントデバイス１０１である。

【0087】

クライアントデバイス１０１は、サーバー１０３から画像信号を受信するように構成されたデータ受信器３０１を備える。本発明を損なわない限り、通信のための任意の適切なアプローチ及び形式が使用されてよいことが理解される。

【0088】

データ受信器３０１は、異なるビューポート／視認者ポーズに対するビュー画像を生成するように構成されたレンダラー３０３に結合される。

【0089】

クライアントデバイス１０１は、現在の視認者ポーズを動的に特定するように構成されたビューポーズ特定部３０５を更に備える。特に、ビューポーズ特定部３０５は、ヘッドセットの動きを反映したヘッドセットからのデータを受信する。ビューポーズ特定部３０５は、受信されたデータに基づいてビューポーズを決定するように構成される。幾つかの実施形態において、ビューポーズ特定部３０５は、例えばセンサー情報（例えば、加速器及びジャイロデータ）を受信し、センサー情報からビューポーズを特定する。他の実施形態において、ヘッドセットはビューポーズデータを直接提供する。

【0090】

ビューポーズはレンダラー３０３に供給され、レンダラー３０３が、現在の視認者ポーズにおける視認者の２つの眼球からのシーンのビューに対応したビュー画像を生成することを行う。ビュー画像は、任意の適切な画像生成及び合成アルゴリズムを使用して、受信された画像表現から生成される。特定のアルゴリズムは、特定の画像表現、及び、個々の実施形態の設定及び要求に依存する。

【0091】

一例として、画像表現は、各々が所与のビューポイントから、及び所与の方向によりシーンを視認することに対応した１つ又は複数の画像を含む。したがって、多くのキャプチャ又はアンカーポーズの各々に対して、そのビューポイントからの、及びその方向における、シーンに対するビューポートに対応した画像が提供される。多くの実施形態において、複数のカメラは、例えば一列に配置されて、この線に沿った異なる位置からシーンをキャプチャし、すべてが例えば図４の例に示されるように同じ方向に向けられる。他の実施形態において、より多い、又はより少ないアンカーポイント及び／又は画像を含む他のキャプチャ構成が使用されることが理解される。

【0092】

多くの実施形態において、画像表現は、全方向ステレオ（ＯＤＳ）として知られる特定の既存の３Ｄ画像形式に従う。ＯＤＳに対して、左目画像及び右目画像に対する半直線が、典型的には例えば約６．３ｃｍの瞳孔間距離に等しい直径をもつ円上にそれらの半直線の原点をもつように、左目画像及び右目画像に対する半直線が生成される。ＯＤＳに対して、狭角度画像セクションが、ビュー円の接線に対応した逆方向に対して、及びビュー円の周囲における規則的な角距離においてキャプチャされる（図５を参照されたい）。

【0093】

したがって、ＯＤＳに対して、画像が左目に対して生成され、ここで、各ピクセル列が単位円上の１つの位置に対応し、この位置におけるＯＤＳビュー円に対する接線である方向に半直線を反射する。ＯＤＳビュー円上の位置は各列に対して異なり、典型的には、ＯＤＳビュー円上における比較的多数の等距離の位置が、３６０°の視野の全体をカバーするように規定され、各列が１つの位置に対応する。したがって、１つのＯＤＳ画像は完全な３６０°の視野をキャプチャし、各列がＯＤＳビュー円上の異なる位置に対応し、及び異なる半直線方向に対応する。

【0094】

ＯＤＳは、右目に対する画像と左目に対する画像とを含む。図６に示されるように、これらの画像における所与の列に対して、左目画像と右目画像とはＯＤＳビュー円上の反対側の位置の半直線を反映する。したがって、ＯＤＳ画像形式は、３６０°ビューと、２つの画像のみに基づく立体情報との両方を提供する。

【0095】

以下の説明は、２つのステレオ画像が（左目画像及び右目画像に対応して）提供される対象のＯＤＳについて検討するが、ただ１つの画像が提供される対応する形式が使用され得ること、すなわち、全方向モノラル画像形式が使用されてもよいことが理解される。この画像はビュー円に関連して依然として提供され、以て、一方の眼球が例えば眼球の中心点の周りで回転するときの、一方の眼球からのビューを提供する。

【0096】

代替的に、ビュー円の半径をゼロに近づけることにより、単眼視形式が実現される。この場合において、左ビューと右ビューとは同じであり、したがって、ただ１つの画像が両方を表すために必要とされる。

【0097】

概して、全方向ビデオ／画像は、例えば、全方向ステレオビデオ／画像として、又は、全方向モノラルビデオ／画像として提供される。

【0098】

所与の配向（視認角度）に対して、所与の配向に対するビューポート内におけるビュー方向に整合した方向に対する狭角度画像セクションを組み合わせることにより、画像が生成される。したがって、異なる方向におけるキャプチャに対応した狭角度画像セクションを組み合わせるが、異なる狭角度画像セクションが円上の異なる位置からのものとすることにより、所与のビュー画像が形成される。したがって、ビュー画像は、１つのビューポイントのみからではなく、ビュー円上の異なる位置からのキャプチャを含む。しかし、ＯＤＳ表現のビュー円が（シーンのコンテンツに対して）十分に小さい場合、この影響は、許容可能なレベルまで低減され得る。更に、所与の方向に沿ったキャプチャが多くの異なる視認配向に対して再使用され得るので、必要な画像データ量の大幅な減少が実現される。視認者の２つの眼球に対するビュー画像は、典型的には、適切な接線に対して逆方向にキャプチャすることにより生成される。

【0099】

ＯＤＳによりサポートされ得る理想的な頭部の回転の例が図６に示される。本例において、両目が瞳孔間距離に等しい直径をもつ円に沿って動くように、頭部が回転する。これがＯＤＳビュー円の幅に対応すると仮定すると、異なる配向に対するビュー画像は、異なるビュー配向に対応した適切な狭角度画像セクションを選択することにより簡単に特定され得る。

【0100】

しかし、標準的なＯＤＳに対して、観測者は立体視を知覚するが、運動視差を知覚しない。運動視差の無いことは、（数センチメートル程度の）少しの観測者の運動に対しても不快な体験を提供する傾向がある。例えば、眼球がもはや厳密にＯＤＳビュー円上に位置しないように視認者が動く場合、単に適切な狭角度画像セクションを選択して組み合わせることに基づいてビュー画像を生成することは、生成されたビュー画像が、ユーザーの眼球がビュー円上に留まっている場合と同じになることをもたらし、したがって、ユーザーがユーザーの頭部を動かすことによりもたらされなければならない視差が表されず、これは、知覚が現実世界に対して動くことができないということをもたらす。

【0101】

これを解決するために、及び、ＯＤＳデータに基づく運動視差の生成を可能にするために、ＯＤＳ形式は、深さ情報を含むように拡張される。１つの狭角度深さマップセクションが、各狭角度画像セクションに対して追加される。関連する深さマップを伴うＯＤＳ画像の例が図７に示される。この深さ情報は、生成された画像がビュー円の外部（又は内部）の新しい位置に対応するようにビューポイントシフトを実施するために使用される（例えば、各ビュー画像又は狭角度画像セクションは、知られた画像と深さベースのビューポイントシフトアルゴリズムとを使用して処理される）。例えば、３Ｄメッシュが各眼球に対して生成され、左目及び右目に対するメッシュ及びテクスチャに基づくＯＤＳデータのレンダリングが、運動視差を導入するために使用され得る。

【0102】

しかし、画像表現が、例えば、異なるキャプチャポーズに対する多くの画像に、又はＯＤＳデータに基づくか否かに関わらず、画像データが提供される対象のアンカーポーズと異なるポーズに対するビュー画像を生成することは、生じ得る画像の劣化をもたらすアーティファクト及び誤差を導入する傾向を示す。

【0103】

レンダラー３０３は、受信された画像表現に基づいて現在のビューポーズに対するビュー画像を生成するように構成される。特に、右目画像及び左目画像が立体ディスプレイ（例えばヘッドセット）のために生成され、又は、複数のビュー画像が裸眼立体視ディスプレイのビューのために生成される。シーンの提供された画像からビュー画像を生成するための多くの異なるアルゴリズム及び技術が知られていること、及び、任意の適切なアルゴリズムが特定の実施形態に応じて使用されることが理解される。

【0104】

しかし、レンダリングのための重要な動作は、特定された視認者ポーズ及び画像表現が互いに位置合わせされなければならないことである。

【0105】

画像表現はシーンに対する所与の座標系に基づいて提供される。画像表現は特定のアンカーポーズに関連した画像データを含み、これらのアンカーポーズはシーン座標系に基づいて提供される。

【0106】

同様に、視認者ポーズは視認者座標系に基づいて提供される。例えば、ビューポーズ特定部３０５により提供される視認者ポーズデータは、視認者の頭部位置及び回転の変化を示し、このデータは座標系に基づいて提供される。

【0107】

したがって、本質的に、画像表現及び視認者ポーズは独立して提供され、別々に生成されるので、画像表現及び視認者ポーズは２つの異なる座標系に基づいて提供される。したがって、画像表現に基づいて視認者ポーズに対する画像をレンダリングするために、これらの座標系を互いに結び付ける／位置合わせすることが必要である。多くの状況において、使用される座標は同じ縮尺をもち、特に、現実世界の縮尺に整合した縮尺をもつ座標系に基づいて提供される。例えば、２つのアンカー位置が現実世界において１メートル離れたカメラによりキャプチャされたこと、又は、２つのアンカー位置が１メートル離れていると解釈されなければならないビューを提供することを反映して、２つのアンカー位置が１メートル離れているように規定され、又は説明される。同様に、視認者ポーズデータは、ユーザーが現実世界においてユーザーの頭部をどのように動かすか、例えば、ユーザーがユーザーの頭部を何センチメートル動かしたかを示す。

【0108】

しかし、座標系の縮尺が同じであると知られている（又は推測されている）状況においても、座標系の相対位置を互いに位置合わせすることが必要とされる。従来、これは典型的には、アプリケーションを始動させたとき、シーン座標系における基準ポーズ（及び特に位置）を現在の視認者ポーズと位置合わせすることにより行われる。したがって、アプリケーションを始動させたとき、視認者は、ノミナル又はデフォルト開始位置においてシーンに効果的に配置される。次に、シーン座標系における視認者ポーズにより示される相対変化を追跡することにより、（ビューをレンダリングするときにレンダラーにより使用される）シーン座標系における視認者位置が特定されるように、この位置合わせが後で使用される。したがって、視認者ポーズが視認者座標系において左に２センチメートル変化したことの標示は、シーン座標系における左への２センチメートルのシフトに対応している。

【0109】

したがって、２つの座標系の位置合わせを開始することは、従来、決められており、実際の視認者ポーズに依存しない。それは、典型的には、最大品質に対応したシーン座標系における位置において、例えば、画像表現が画像データを含む対象のデフォルト位置において視認者を初期化する位置合わせである。ユーザーは、シーンにおける所定の開始位置において体験を開始し、次に、視認者ポーズの任意の変化が追跡される。

【0110】

しかし、本発明者らは、このようなアプローチが多くのアプリケーションに適するが、このようなアプローチはすべてのアプリケーションに対して理想的というわけではないことに気付いた。更に、位置合わせが視認者ポーズに依存した、特に視認者配向に依存したより適応的なアプローチが多くの実施形態において改善された動作を提供することにも気付いた。それは、特に、ユーザーが例えば小さい頭部の動き及び頭部の回転に制限されるような、多くの、動きに制限のあるサービスに有益である。このようなサービスでは、特定の時点において（例えば、視認者ポーズが、基準を満たす最後の位置合わせの後に動きを示す場合に）再度の位置合わせを実施することが特に魅力的であり、以下で説明される適応的なアプローチはこのようなシナリオにおいて特に有益である。

【0111】

したがって、図３の装置はシーン座標系を視認者座標系と位置合わせするように構成された位置合わせ部３０７を備える。位置合わせは、特に、シーン座標系におけるシーン基準位置を視認者座標系における視認者基準位置と位置合わせする／結び付けることにより、座標系を位置合わせする。したがって、位置合わせは、シーン座標系におけるシーン基準位置が視認者座標系における視認者基準位置と同位置にされるようにされ、すなわちシーン基準位置と視認者基準位置とが同じ位置にされる。

【0112】

シーン座標系における基準位置は、任意の適切な位置であり、特に固定の一定のシーン基準位置である。特に、シーン基準位置は、視認者ポーズに依存しないものであり、多くの場合、所定の基準位置である。位置合わせが繰り返し実施される実施形態において、シーン基準位置は、（少なくとも２つの）連続した位置合わせ動作間において一定である。

【0113】

多くの実施形態において、シーン基準位置は、アンカー位置に対して規定される。例えば、基準位置は、アンカー位置、又は、例えばアンカー位置に対する平均位置である。幾つかの実施形態において、シーン基準位置は、画像表現が画像データを含む対象の位置、及び／又は、最適な画像品質が実現され得る対象の位置に対応する。

【0114】

視認者ポーズに依存しないシーン基準位置とは対照的に、視認者基準位置は、位置合わせが実施される対象の視認者ポーズである第１の視認者ポーズに依存する。この第１の視認者ポーズは、以下で位置合わせ視認者ポーズと呼ばれる。位置合わせ視認者ポーズは、位置合わせが実施されることが所望される対象の任意の視認者ポーズである。多くの場合、位置合わせ視認者ポーズは、位置合わせが実施されるときの現在の視認者ポーズである。位置合わせ視認者ポーズは、典型的には現在の視認者ポーズであり、特に、（再度の）位置合わせが初期化された時点における視認者ポーズデータにより示されるポーズである。したがって、位置合わせが発生したときに、視認者基準位置が動的に特定され、視認者基準位置は視認者ポーズに依存し、特に、視認者基準位置は視認者ポーズの配向に依存する。

【0115】

したがって、図３の装置は、位置合わせ部３０７とビューポーズ特定部３０５とに結合されたオフセットプロセッサ３０９を備える。オフセットプロセッサ３０９は、位置合わせ視認者ポーズに基づいて、及び特に、位置合わせが実施されるときの現在の視認者ポーズに基づいて、視認者基準位置を特定するように構成される。位置合わせ視認者ポーズは、２つの座標系間の位置合わせが実施される対象の視認者ポーズであり、位置合わせ視認者ポーズは、以下の説明では、（位置合わせが実施されるときの）現在の視認者ポーズであると考えられる。

【0116】

オフセットプロセッサ３０９は、特に、視認者基準位置が位置合わせ／現在の視認者ポーズの配向に依存するように、視認者基準位置を特定するように構成される。オフセットプロセッサ３０９は、視認者基準位置が現在の視認者ポーズに対する視認者眼球位置に対してオフセットされるように、視認者基準位置を生成するように構成される。更に、オフセットは、視認者眼球位置のビュー方向と反対の方向の成分をもつ。

【0117】

したがって、所与の視認者ポーズに対して、視認者基準位置がその視認者ポーズに対する眼球位置のうちのいずれとも同位置に配置されず、及び、視認者基準位置が眼球位置に対して側方に（又は、２つの眼球間の線上に）配置されないように、視認者基準位置が特定される。むしろ、視認者基準位置は、現在の視認者ポーズに対する眼球位置の「背部に」位置する。したがって、例えば視認者ポーズ位置が常に基準位置と位置合わせされるように２つの座標系が位置合わせされる従来のシステムとは対照的に、図３の装置は、視認者ポーズ（及びその眼球位置）に対するオフセット視認者基準位置を特定する。オフセットは、２つの座標系間のオフセットをもたらす現在の視認者位置に対するビュー方向の後方に向かう方向にある。更に、オフセットは後方に向かう成分をもつので、オフセットは視認者ポーズの配向に依存し、異なる視認者ポーズは異なる視認者基準位置をもたらし、したがって、異なる位置合わせオフセットをもたらす。

【0118】

特に、特定された視認者基準位置は、同じ視認者位置だが異なる視認者配向を表す２つの視認者ポーズに対して異なる。同様に、同じ視認者基準位置は、２つの視認者ポーズが異なる位置を表す場合、異なる配向を表す２つの視認者ポーズに対してのみ取得され得る。

【0119】

一例として、図８は、現在の視認者ポーズがビュー／ビューポート８０３を所与の方向８０５としたときの眼球位置８０１を示す単純な例を示す。この場合において、視認者基準位置８０７は、眼球位置８０１に対する後方オフセット８０９を伴って特定されている。図８は、異なる配向を伴う２つの例を示す。明確に確認され得るように、視認者基準位置は回転に依存する（２つの例における眼球位置８０１が同じ位置にあると考えられる場合、視認者基準位置８０７として特定された位置は明確に異なる）。

【0120】

図９は、視認者ポーズ９０１がユーザーの眼球間の中点を示す対応する例を示す。後方へのオフセット９０３が視認者基準位置９０５を提供する。図１０は、視認者ポーズが同じ位置だが異なる配向を表す２つの重ね合わされた例を示す。明確に確認され得るように、対応する視認者基準位置は異なる。

【0121】

結果として、視認者基準位置がシーン基準位置と位置合わせされたとき、異なる配向は、特にアンカーポーズと視認者ポーズとの間の異なる位置合わせをもたらす。これは、ＯＤＳ円画像表現に対して図１１に示されており、３つのキャプチャポーズに対する画像による画像表現の例に対して図１２に示されている。後者の例において、キャプチャ構成の配向は変えられていないが、幾つかの実施形態において、これが、例えば、視認者ポーズ間の配向の違いに対応するように回転されることが理解される。

【0122】

本発明者らは、配向依存オフセットを伴うこのような位置合わせが、多くの実用的なアプリケーションにおいて大幅に改善された品質を提供することに気付いた。特に、視認者が比較的小さい頭部の動き及び回転に制限されるアプリケーションにおいて大幅に改善された品質を提供することが見出された。この場合において、オフセットの適応的変化は、従来使用されるノミナル及びデフォルト位置から離れるように画像データを効果的に動かす。これは、この特定のビューポーズに対する画像品質を下げる何らかの更なるビューシフトが実施されることを必要とする。しかし、本発明者らは、それが典型的には、他の近位のポーズに対する、及び特に回転する動きに対する画像品質を改善することに気付いた。実際、適切なオフセットを適用することにより、幾つかの他のポーズに必要なビューシフトが小さくされ、以て、これらのポーズに対する改善された品質を可能にする。本発明者らは、適応的な後方オフセットが、典型的には、位置合わせ視認者ポーズに対する任意の品質劣化より大幅に勝る非位置合わせ視認者ポーズに対する（すなわち、ノミナルデフォルトポーズに対応しないポーズに対する）品質改善を提供することに更に気付いた。本発明者らは、特に、適応的な後方オフセットが、前方向（及び後方向）へのビューポイントシフトの品質に対する影響が（例えばデオクルージョン効果に起因した）側方ビューポイントシフトに対する品質に対する影響より大幅に小さいことを利用し得ることに気付いた。

【0123】

本アプローチは、したがって、ある範囲の他の視認者ポーズにわたる大幅に改善された品質と引き換えに、ノミナル視認者ポーズに対する何らかの品質劣化を犠牲にすることにより、改善されたトレードオフを提供する。特に、制限された頭部の動きを伴うアプリケーションに対して、これは、多くの場合、大幅に改善されたユーザー体験を提供し、より大きい範囲のポーズにわたって所与の要求される画像品質がサポートされ得るので、再位置合わせに関する要求を更に下げる。

【0124】

オフセットの厳密なサイズは異なる実施形態において異なり、多くの実施形態において動的に特定される。しかし、多くの実施形態において、後方オフセット成分、ひいては、ビュー方向の逆方向におけるオフセットは、視認者座標系において１ｃｍ、２ｃｍ、又は４ｃｍ以上である。視認者座標系は、典型的には、視認者ポーズ、及び特に現実世界における位置の実際の変化を反映した、現実世界の縮尺の座標系である。したがって、後方オフセット成分は、視認者ポーズに対する現実世界における縮尺における少なくとも１ｃｍ、２ｃｍ、又は４ｃｍに対応する。

【0125】

このような最小オフセット値は、典型的にはオフセットが大幅な影響を与えること、及び、多くの実際の視認者ポーズ及びポーズ変動に対して大幅な品質改善が実現され得ることを確実なものとする。

【0126】

多くの実施形態において、後方オフセット成分、ひいてはビュー方向の逆方向におけるオフセットは、視認者座標系において８ｃｍ、１０ｃｍ、又は１２ｃｍ以下である。後方オフセット成分は、視認者ポーズに対する現実世界における縮尺における８ｃｍ、１０ｃｍ、又は１２ｃｍ以下に対応する。

【0127】

このような最小オフセット値は、典型的には、オフセットが位置合わせ視認者ポーズに対する生成された画像に対する品質に不合理に影響を与えないことを確実なものとするために、オフセットが十分に小さいことを確実なものとする。

【0128】

このようなパラメータを伴うオフセットの選択は、特に、視認者基準位置が典型的には視認者の頭部内に配置されることをもたらす。

【0129】

オフセット値は、前方視認品質と側方視認品質との間においてバランスを取ると考えられ得る。より小さいオフセット値は、より小さいビューポイントシフトを理由として、前方視認に対してより小さい誤差をもたらす。しかし、頭部の回転は、デオクルージョンに起因した品質の急激な劣化をもたらす。劣化の影響、及び実際に側方視認におけるオフセットは、典型的には、前方視認に対する影響より遥かに大きい傾向を示し、それに対するオフセットを使用する利点は、頭部の回転に対して大幅に改善された利点を提供する傾向を示すとともに、前方視認に対して少しの劣化しかもたらさない。

【0130】

したがって、より小さいオフセット値（１ｃｍ～４ｃｍ）は、視認者が主に前方を見ることが想定される場合に有用である。（首から上に突出した）頭部の回転軸に対応したオフセット値までの、より大きいオフセット値（８ｃｍ～１２ｃｍ）は、頭部の回転にそれほど大きく依存しない品質をもたらす。したがって、視認者が大きく見回すことが想定される場合、大きいオフセット値が適切である。中間オフセット値は典型的な視認者の挙動に対して最適であると想定されるものに対応し、この場合、前方を見ることに対するバイアスが存在し、したがって、前方視認に対して、より高い品質をもつことが好ましく、本アプローチは、側方視認に対する劣化を小さくするために適用される。

【0131】

多くの実施形態において、後方オフセット成分、ひいてはビュー方向の逆方向におけるオフセットは、（ノミナル／デフォルト／推測）眼球間距離の１／１０、１／５、１／３、又は１／２以上である。多くの実施形態において、後方オフセット成分、ひいてはビュー方向の逆方向におけるオフセットは、（ノミナル／デフォルト／推測）眼球間距離の１倍、１．５倍、又は２倍以下である。

【0132】

幾つかの実施形態において、オフセットに対する正規化された縮尺は［０，１］の範囲内であると考えられ、０はカメラにおける（例えば、回転によりもたらされる位置の変化を伴わない）値であり、１は首／頭部回転位置における値である。１の正規化された距離は、多くの場合、例えば、８ｃｍ、１０ｃｍ、又は１２ｃｍに対応すると考えられる。

【0133】

オフセットを特定するための異なるアプローチが、異なる実施形態に使用される。例えば、幾つかの実施形態において、所定の、及び固定のオフセットが、すべての状況において単に適用される。したがって、オフセットは、位置合わせ処理に内在する部分であり、アルゴリズムにハードコーディングされる。しかし、多くの実施形態において、オフセットは動作中に動的に決定される。

【0134】

幾つかの実施形態において、オフセットは、サーバー側において生成され、画像表現と一緒に、及び特に画像信号の一部としてレンダリングデバイスに提供される。

【0135】

特に、図２のＶＲサーバー１０３は、位置合わせが実施される対象の視認者ポーズに対する視認者基準位置と視認者眼球位置との間のオフセットを特定するように構成されたオフセット生成器２０９を備える。したがって、オフセット生成器２０９は、視認者座標系に対してシーン座標系を位置合わせするときにシーン基準位置と視認者眼球位置との間に適用するために、オフセットを特定する。上述のように、オフセットは視認者眼球位置のビュー方向の反対方向、すなわち位置合わせ視認者ポーズに対するビュー方向の反対におけるオフセット成分を含む。次に、オフセット標示が、オフセットを少なくとも部分的に表すように生成され、このオフセット標示は、クライアントデバイス１０１に送信される画像信号に含まれる。次に、クライアントデバイス１０１は、オフセット標示から適用されるオフセットを特定することに進み、次に、クライアントデバイス１０１は、シーン座標系と視認者座標系とを位置合わせするときにこのオフセットを使用し、特に、クライアントデバイス１０１は、視認者基準位置を特定するために視認者眼球位置にオフセットを適用する。このようなアプローチは、多くの実施形態において、例えばブロードキャストアプリケーションに対して、特に有益である。本アプローチは、特に、適切な基準に従って最良のオフセットを特定するために最適化処理が実施されることを可能にし、次に、この最適化されたオフセットは、位置合わせを実施するときに最適化されたオフセットを使用し得るすべてのクライアントデバイスに通信される。

【0136】

したがって、このような実施形態において、クライアントデバイス１０１は、画像表現に加えてオフセット標示を更に含む画像データ信号を受信する。次に、クライアントデバイス１０１は、このオフセットを直接（又は、例えば変更後に）使用する。

【0137】

したがって、オフセットは、例えば最適化処理に基づいて動的に特定される。このような処理は、源において実施され、又は、例えばレンダリングデバイスにより、すなわち前述の例におけるクライアントデバイス１０１により実施される。

【0138】

オフセット生成器２０９は、適切なオフセットを生成するための任意の適切なアプローチを使用する。例えば、幾つかの実施形態において、ユーザー入力は、例えばユーザーがオフセットを動的に調節することを可能にすること、及び次に異なる視認者ポーズに対する画像を生成することにより、好ましいオフセットを選択するために使用される。他の実施形態において、オフセットに対する候補値の範囲を評価するために自動化された処理が使用され、適切な範囲の視認者ポーズにわたって最高品質をもたらす値が使用される。

【0139】

サーバーは、特に、異なるオフセットの影響を評価するためにレンダリング側において実施される演算をエミュレートする。例えば、サーバーは、レンダラーにより実施される処理をエミュレートすることにより異なる候補値を評価し、次に、適切な品質尺度を使用して結果として得られる品質を評価する。実際、レンダラー／受信部／クライアントに関連して、及び特にオフセットプロセッサ３０９に関連して説明されるアプローチ、アルゴリズム、及び検討は、画像データストリームにおいて示されるオフセットを特定するときに、オフセット生成器２０９により更に実施される。

【0140】

オフセットの標示を提供する任意の適切な手法が使用されてもよいことが更に理解される。多くの実施形態において、適用される完全に説明されているオフセットは、例えば二次元又は三次元ベクトル標示を提供することにより説明される。このようなオフセットベクトルは、例えば、適用されるオフセットの方向及びサイズを示す。視認者基準位置を特定するとき、レンダラーは、次に、位置合わせ眼球位置に、位置合わせ視認者ポーズに対する眼球ビュー方向に対して特定された方向のベクトルを配置する。

【0141】

幾つかの実施形態において、オフセット標示は、オフセットの部分的表現のみを備える。例えば、多くの実施形態において、オフセット標示は、距離／サイズ標示及び／又は方向標示のみを含む。このような場合において、レンダラーは、例えば、これらに対する適切な値を特定する。したがって、幾つかの実施形態において、オフセットの特定は、サーバー側とクライアント側との両方において行われた判断に基づく。例えば、方向がオフセット標示により与えられ、サーバーにより特定されるのに対し、サイズ／距離はレンダラーにより特定される。以下で、オフセットプロセッサ３０９によりオフセットを特定するためのアプローチが説明される。説明される原理及びアプローチはオフセット生成器２０９により同じく実施され得、結果として得られるオフセットは画像データストリームに含まれることが理解される。したがって、以下で、オフセットプロセッサ３０９に対する言及は、オフセット生成器２０９に（必要な変更を加えた上で）同じく適用されると考えられる。

【0142】

本アプローチは、オフセットに対する異なる候補値に対する１つ又は複数の視認者ポーズに対する誤差尺度（値／測定結果）を特定するオフセットプロセッサ３０９に基づいている。それは、次に、最低誤差尺度をもたらす候補値を選択し、位置合わせを実施するときにオフセットに対してこの値を使用する。

【0143】

多くの実施形態において、所与の候補オフセットに対する誤差尺度は、複数の視認者ポーズに対する、例えば特にある範囲の視認者ポーズに対する誤差尺度の組み合わせに応じて特定される。例えば、異なる視認者ポーズに対して、オフセットが候補オフセットに設定されたときに画像表現からそのビューポーズに対するビュー画像を生成するときの画像品質の劣化を示す誤差尺度が特定される。次に、異なる視認者ポーズに対する結果として得られる誤差尺度は、候補値に対する組み合わされた誤差尺度を提供するために平均化される。次に、異なる候補値に対する組み合わされた誤差尺度が比較され得る。

【0144】

多くの実施形態において、候補値に対する誤差尺度は、複数の異なる位置からの、及び／又は、複数の異なるポーズに対する誤差尺度を組み合わせることにより生成される。

【0145】

幾つかの実施形態において、１つの候補値に対する１つの視認者ポーズに対する誤差尺度は、複数の、及び典型的にはある範囲の凝視方向に対する誤差尺度に応じたものである。したがって、異なる位置及び／又は配向が考慮されるだけでなく所与のポーズに対して、異なる凝視方向における、すなわち所与のビューポーズに対するビューポートの異なる方向における品質が考慮される。

【0146】

一例として、オフセットプロセッサ３０９は、２ｃｍ、４ｃｍ、６ｃｍ、８ｃｍ、１０ｃｍ、及び１２ｃｍの後方オフセットに対する誤差尺度を特定する。誤差尺度は、例えば、、現在のユーザーが例えば、１５°、３０°、及び４５°の大きさぶん左又は右にユーザーの頭部を回転させることに対応した視認者ポーズといった視認者ポーズの集合に対するレンダリングされた画像に対する画像品質の標示として、対応する候補オフセットの各々に対して特定される。次に、最低誤差尺度をもたらす候補オフセットが選択される。

【0147】

考慮される厳密な誤差尺度は、異なる実施形態において異なる。典型的には、適切な誤差尺度はそのポーズ及び候補オフセットに対する画像表現からのビュー合成に対する品質劣化を示す。したがって、視認者ポーズ及び候補値に対する誤差尺度は、画像表現（のうちの少なくとも１つの画像）から合成された視認者ポーズに対するビュー画像に対する画像品質尺度を含む。

【0148】

シーンのモデルから画像生成に基づいてサーバー側においてオフセットが特定される実施形態では、所与の候補オフセット及び視認者ポーズに対する画像が生成されて、モデルから直接生成された対応する画像と比較される。

【0149】

他の実施形態において、より間接的な尺度が使用される。例えば、（所与の候補オフセットとともに）画像データが提供される対象のキャプチャポーズに画像データが合成される対象の視認者ポーズからの距離が特定される。距離が長いほど、誤差尺度が大きいと考えられる。

【0150】

幾つかの実施形態において、誤差尺度の特定は、１つより多いキャプチャポーズの考慮を含む。したがって、所与の視認者ポーズに対して合成された画像は、画像表現が１つより多くのものを含む場合、異なるアンカーポーズ画像に基づいて生成され得ることが特に考慮される。例えば、図１２の画像表現などの画像表現に対して、合成はいずれかのアンカー画像に基づき、実際、合成された画像の所与のピクセルは、アンカー画像のうちの２つ以上を考慮することにより生成される。例えば、補間が使用される。

【0151】

したがって、幾つかの実施形態において、視認者ポーズ及び候補値に対する誤差尺度は、画像表現の少なくとも２つの画像から合成された視認者ポーズに対するビュー画像に対する画像品質尺度を含み、この少なくとも２つの画像は、候補オフセット値に応じた視認者ポーズに対する基準位置をもつ。

【0152】

オフセットを選択するためのアプローチの特定の例が、図１３～図１５を参照して説明される。本例において、画像表現は、１つのＯＤＳステレオ画像である。

【0153】

図１３は、楕円として視認者の頭部を示し、２つの眼球位置／ビューポイントは前方に向いている。現在の／位置合わせ視認者ポーズに対応したノミナル頭部ポーズは、ｙ軸に一致するように示されている。図は、それぞれ左に４５°及び９０°の幾つかの生じ得る頭部の回転を更に示す（右への対応する回転は眼球位置のみにより示されている）。

【0154】

図１３は、ＯＤＳビュー円が視認者の眼球に一致するように配置されるように、位置合わせが従来どのようになるかを更に示す。

【0155】

図１４は、頭部の回転αに対応したビューポーズに対して誤差尺度がどのように生成され得るかの例を示す。本例において、左目に対する結果として得られる位置ｘｌ，ｙｌが特定され得、この位置に対して凝視方向βが特定される。凝視方向における半直線に対する画像データを含む位置ｘｌ’，ｙｌ’におけるＯＤＳビュー円に対する接線までの眼球位置ｘｊ，ｘｙからの距離ｄが特定される。この距離Ｄは、ＯＤＳビュー円が示されるように配置されたとき、これがＯＤＳビュー画像から生成されたとき、頭部の回転αに対して凝視方向βにおけるピクセルに対して発生する画像の劣化を示す。したがって、組み合わされた誤差尺度は、ある範囲の凝視方向（例えば、－４５°＜β＜＋４５°）にわたる、及び、ある範囲の頭部回転角度（例えば、－９０°＜β＜＋９０°）にわたる、対応する誤差尺度を平均化することにより生成される（幾つかの実施形態において、頭部の異なる位置も検討される）。結果として得られる組み合わされた誤差尺度は、したがって、示されるように配置されたＯＤＳステレオ画像から頭部の回転に対してビュー画像を生成するときに必要とされる「ビューポイントシフト距離」の平均化された大きさを示す。

【0156】

多くの実施形態において、本アプローチは、左目と右目との両方に対して実施され、これらに対する尺度が組み合わされる。

【0157】

図１５により示されるように、これは、ＯＤＳビュー円の異なる位置に対して、及び特にｙ方向における異なるオフセットに対して実行され、最小誤差尺度が導出される対象のオフセット／位置は、位置合わせに対して使用するオフセットとして選択される。

【0158】

幾つかの実施形態において、オフセットは、直接的に後方向であり、したがって直接的に、現在の／位置合わせ視認者ポーズに対するビュー方向の逆方向である。視認者座標系（したがって、視認者）に関連して、後方向は、視認者に対する矢状面又は正中面と横断面又はアキシャル面との交差部の方向である（又は、交差部と平行である）（例えば、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ａｎａｔｏｍｉｃａｌ＿ｐｌａｎｅを参照されたい）。この方向は、（例えば超音波において）アキシャル（体内への、前）方向としても知られる。

【0159】

しかし、幾つかの実施形態及びシナリオにおいて、オフセットは横成分を更に含み、すなわち、オフセットは、位置合わせ視認者ポーズに対するビュー方向に直交した方向におけるオフセット成分を含む。この横成分は、依然として水平方向であり、特に、視認者の２つの眼球間の方向に対応した方向である。

【0160】

横成分は、視認者座標系（したがって視認者）に基づいており、視認者に対する冠状面又は前頭面と横断面又はアキシャル面との交差部の方向である（又は、交差部と平行である）。この方向は、（例えば超音波において）横方向としても知られる。

【0161】

横方向オフセット成分は、多くの実施形態において、ある範囲の視認者ポーズにわたって改善された品質を提供する、より柔軟なアプローチを提供する。例えば、位置合わせが実施される対象の現在の視認者ポーズが視認者の想定される、又は推測される更なる動きに対して対称でないことが知られている、又は前提である場合、将来の視認者ポーズに対する改善された平均的品質が、視認者の将来の位置に対してより可能性が高い位置に向けて視認者基準位置を横方向にオフセットすることにより達成される。

【0162】

幾つかの実施形態において、オフセットは縦成分を含む。

【0163】

縦成分は、視認者座標系（したがって視認者）に基づき、視認者に対する冠状面又は前頭面と矢状面又は正中面との交差部の方向である（又は、交差部に平行である）。この方向は（例えば超音波において）トランスバース方向としても知られる。

【0164】

例えば、典型的なシーンは、眼球レベルより下方、及びその後の上方におけるより多くの状況を含む。視認者が見下げた後に見上げる可能性が高い場合、視認者が見下げるときのデオクルージョンの量を減らすために、小さい上向きオフセットをもつことが好ましい。

【0165】

別の例として、視認者が上下にうなずくことにより視認者の頭部を動かすことが考えられる。これは、眼球位置及び配向の動きをもたらし、したがって、ビューポイントシフトに影響を与える。前述のアプローチは、縦オフセットを特定することを更に考慮するように拡張される。例えば、所与の候補オフセット値に対する誤差尺度を特定する場合、これは、異なる上下の頭部の回転に対応した視認者ポーズを評価することを有する。同様に、縦成分を含む候補オフセット値が評価される。

【0166】

このようなアプローチは、ユーザーの動きに対して改善された柔軟性を提供し、より広い範囲の動きに対して改善された全体的な品質を提供する。

【0167】

上述の説明は明確となるように、異なる機能回路、ユニット、及びプロセッサを参照しながら本発明の実施形態を説明していることが理解される。しかし、本発明を損なうことなく、異なる機能回路、ユニット又はプロセッサの間における機能の任意の適切な分散が使用されてもよいことが明らかである。例えば、独立したプロセッサ又は制御装置により実施されるように示されている機能は、同じプロセッサ又は制御装置により実施されてもよい。したがって、特定の機能ユニット又は回路についての言及は、厳密な理論的な、又は物理的な構造又は組織を表すわけではなく、説明される機能を提供する適切な手段への言及と考えられるにすぎない。

【0168】

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含む任意の適切な形態で実現され得る。本発明は、１つ又は複数のデータプロセッサ及び／又はデジタル信号プロセッサにおいて動作するコンピュータソフトウェアとして少なくとも部分的に任意選択的に実現されてもよい。本発明の実施形態の要素及びコンポーネントは、任意の適切な手法により物理的に、機能的に、及び論理的に実現されてもよい。実際、機能が１つのユニットにおいて、複数のユニットにおいて、又は、他の機能ユニットの一部として実現されてもよい。したがって、本発明は、１つのユニットにおいて実現されてもよく、又は、異なるユニット、回路、及びプロセッサ間において物理的に、及び機能的に分散されてもよい。

【0169】

本発明は幾つかの実施形態との関連において説明されているが、本発明は本明細書に記載されている特定の形態に限定されることを意図したものではない。むしろ、本発明の範囲は、添付の特許請求の範囲のみにより限定される。更に、機能が特定の実施形態に関連して説明されるように見受けられるが、説明される実施形態の様々な特徴が本発明により組み合わされてもよいことを当業者は認識する。特許請求の範囲において、備える（含む、有する、もつ）という表現は、他の要素又はステップの存在を否定するわけではない。

【0170】

更に、独立して列記されている場合でも、複数の手段、要素、回路、又は方法のステップが、例えば１つの回路、ユニット、又はプロセッサにより実現されてもよい。更に、個々の機能が異なる請求項に含まれる場合があるが、場合によってはこれらが有益に組み合わされてもよく、異なる請求項に含まれていることは、特徴の組み合わせが実行可能でないこと、及び／又は、有益でないことを意味するわけではない。更に、請求項のあるカテゴリにおける機能の包含は、このカテゴリへの限定を意味するわけではなく、むしろ、機能が必要に応じて他の請求項のカテゴリに同様に適用可能であることを示す。更に、特許請求の範囲における機能の順序は、機能が実行されなければならない何らかの特定の順序を意味しているわけではなく、特に、方法の請求項における個々のステップの順序は、ステップがこの順序で実施されなければならないことを意味するわけではない。むしろ、ステップは、任意の適切な順序で実施されてもよい。加えて、単数形による記載は複数を排除しない。したがって、単数形の表現、「第１の」、「第２の」などの表現は複数を除外しない。特許請求の範囲における参照符号は明確にするための例として提供されるにすぎず、いかなる手法によっても請求項の範囲を限定すると解釈されない。

【0171】

幾つかの実施形態により、以下のものが提供される。

【0172】

画像をレンダリングするための装置であって、装置が、
シーンの画像表現を受信するための受信部（３０１）であって、画像表現が、シーン座標系に基づいて提供され、シーン座標系が、基準位置を含む、受信部（３０１）と、
視認者に対する視認者ポーズを特定するための特定部（３０５）であって、視認者ポーズが、視認者座標系に基づいて提供される、特定部（３０５）と、
シーン基準位置を視認者座標系における視認者基準位置と位置合わせすることにより、シーン座標系を視認者座標系と位置合わせするための位置合わせ部（３０７）と、
画像表現と視認者座標系に対するシーン座標系の位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするためのレンダラー（３０３）と、
を備え、
装置が、
位置合わせ視認者ポーズに応じて視認者基準位置を特定するように構成されたオフセットプロセッサ（３０９）であって、視認者基準位置が、位置合わせ視認者ポーズの配向に依存し、及び、位置合わせ視認者ポーズに対する視認者眼球位置に対するオフセットをもち、オフセットが、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、オフセットプロセッサ（３０９）
を更に備える、
装置。

【0173】

画像信号を生成するための装置であって、装置が、
１つ又は複数のポーズからのシーンを表す多数の画像を受信するための受信部（２０１）と、
シーンの画像表現を提供する画像データを生成するための表現プロセッサ（２０５）であって、画像データが、多数の画像とシーン座標系に基づいて提供される画像表現とを含み、シーン座標系が、シーン基準位置を含む、表現プロセッサ（２０５）と、
オフセット標示を生成するためのオフセット生成器（２０９）であって、オフセット標示が、視認者座標系におけるシーン基準位置と視認者基準位置との間のオフセットを示す、オフセット生成器（２０９）と、
画像データとオフセット標示とを含むように画像信号を生成するための出力プロセッサ（２０７）と、
を備える、装置。

【0174】

画像をレンダリングする方法であって、方法が、
シーンの画像表現を受信するステップであって、画像表現が、シーン座標系に基づいて提供され、シーン座標系が、基準位置を含む、受信するステップと、
視認者に対する視認者ポーズを特定するステップであって、視認者ポーズが、視認者座標系に基づいて提供される、特定するステップと、
シーン基準位置を視認者座標系における視認者基準位置と位置合わせすることにより、シーン座標系を視認者座標系と位置合わせするステップと、
画像表現と視認者座標系に対するシーン座標系の位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするステップと、
を有し、
方法は、
位置合わせ視認者ポーズに応じて視認者基準位置を特定するステップであって、視認者基準位置が、位置合わせ視認者ポーズの配向に依存し、位置合わせ視認者ポーズに対する視認者眼球位置に対するオフセットをもち、オフセットが、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、特定するステップ、
を更に有する、
方法。

【0175】

画像信号を生成するための方法であって、方法が、
１つ又は複数のポーズからのシーンを表す多数の画像を受信するステップと、
シーンの画像表現を提供する画像データを生成するステップであって、画像データが、多数の画像とシーン座標系に基づいて提供される画像表現とを含み、シーン座標系が、シーン基準位置を含む、生成するステップと、
オフセット標示を生成するステップであって、オフセット標示が、視認者座標系におけるシーン基準位置と視認者基準位置との間のオフセットを示す、生成するステップと、
画像データとオフセット標示とを含むように画像信号を生成するステップと、
を有する、方法。

【0176】

上述の装置及び方法は、個別に、又は任意の組み合わせにより従属請求項の特徴の各々と組み合わされてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】