知財求人 - 知財ポータルサイト「IP Force」
特表2024-545187表示された３次元画像の歪み及び変位をキャンセルするための方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-05
(54)【発明の名称】表示された３次元画像の歪み及び変位をキャンセルするための方法及び装置
(51)【国際特許分類】
H04N 13/117 20180101AFI20241128BHJP
H04N 13/305 20180101ALI20241128BHJP
H04N 13/31 20180101ALI20241128BHJP
H04N 13/366 20180101ALI20241128BHJP
G02B 30/26 20200101ALI20241128BHJP
【ＦＩ】
H04N13/117
H04N13/305
H04N13/31
H04N13/366
G02B30/26
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024534662
(86)(22)【出願日】2022-12-19
(85)【翻訳文提出日】2024-08-06
(86)【国際出願番号】 NL2022050729
(87)【国際公開番号】W WO2023113604
(87)【国際公開日】2023-06-22
(31)【優先権主張番号】2030187
(32)【優先日】2021-12-18
(33)【優先権主張国・地域又は機関】NL
(81)【指定国・地域】
(71)【出願人】
【識別番号】524219647
【氏名又は名称】ディメンコ ホールディング ビー．ブイ．
【氏名又は名称原語表記】ＤＩＭＥＮＣＯ ＨＯＬＤＩＮＧ Ｂ．Ｖ．
【住所又は居所原語表記】Ｄｅ Ｒｕｎ ４２８１， ５５０３ ＬＭ Ｖｅｌｄｈｏｖｅｎ （ＮＬ）
(74)【代理人】
【識別番号】100105131
【弁理士】
【氏名又は名称】井上 満
(74)【代理人】
【識別番号】100105795
【弁理士】
【氏名又は名称】名塚 聡
(72)【発明者】
【氏名】カールス，ジュルジェン
(72)【発明者】
【氏名】デ ヨング，ピーテル ヴィルヘルムス テオドルス
(72)【発明者】
【氏名】ピーターズ，パトリック ゴデフリダス ヤコバス マリア
【テーマコード（参考）】
2H199
【Ｆターム（参考）】
2H199BA08
2H199BA09
2H199BA42
2H199BA45
2H199BA68
2H199BB04
2H199BB27
(57)【要約】
【課題】
【解決手段】 本発明はオートステレオスコピックディスプレイ装置の観察者によって知覚される３次元画像の歪み及び変位をキャンセルするための方法に関し、キャンセリングは、１）ディスプレイ装置の屈折特性、２）ディスプレイ装置内の各ピクセルの位置、及び３）観察者の目の観察位置を考慮することによって実行される。このようにして、観察者は、３次元仮想コンテンツのより現実的な知覚を有し得る。これは、例えば、観察者のための改善されたルックアラウンド効果、及び表示された３次元仮想コンテンツとの観察者の改善された相互作用を含む。好ましくは、歪み及び／又は変位のキャンセリングがディスプレイ装置のための屈折モデルを使用することによって実行される。
【選択図】 図２
【解決手段】 本発明はオートステレオスコピックディスプレイ装置の観察者によって知覚される３次元画像の歪み及び変位をキャンセルするための方法に関し、キャンセリングは、１）ディスプレイ装置の屈折特性、２）ディスプレイ装置内の各ピクセルの位置、及び３）観察者の目の観察位置を考慮することによって実行される。このようにして、観察者は、３次元仮想コンテンツのより現実的な知覚を有し得る。これは、例えば、観察者のための改善されたルックアラウンド効果、及び表示された３次元仮想コンテンツとの観察者の改善された相互作用を含む。好ましくは、歪み及び／又は変位のキャンセリングがディスプレイ装置のための屈折モデルを使用することによって実行される。
【選択図】 図２
【特許請求の範囲】
【請求項1】
オートステレオスコピックディスプレイ装置によって観察者に表示される３次元画像の歪み及び変位をキャンセルする方法であって、前記歪み及び変位は前記観察者によって知覚され、前記オートステレオスコピックディスプレイ装置は、－前記オートステレオスコピックディスプレイ装置に対する前記観察者の目の位置を決定するためのアイトラッキングシステムと、
－前記観察者の左眼で観察される左画像と、前記観察者の右眼で観察される右画像とからなる合成３次元画像を表示するように構成される表示部であって、
・ディスプレイ出力を生成するためのピクセルのアレイであって、各ピクセルがピクセル出力を生成し得る、該ピクセルのアレイと、
・透明なプレートであって、
－前記アレイの上に設けられ、視差バリア又はレンチキュラー要素を備えるレンチキュラーレンズを含み、前記透明プレートの前面が前記観察者に面し、前記透明プレートの背面が前記ピクセルのアレイに面し、
－前記ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を前記観察者に知覚させる光屈折特性を有する、該透明なプレートと、を含む該表示部と、を備え、前記方法は、
－前記アイトラッキングシステムを用いて前記オートステレオスコピックディスプレイ装置に対する前記観察者の目の観察位置を決定するステップと、
－３次元画像データを提供するステップと、
－前記３次元画像データを前記ピクセルのアレイにウィービングするステップであって、前記オートステレオスコピックディスプレイ装置に対する前記観察者の目の観察位置を考慮に入れて、前記左画像のためのピクセル出力を生成するピクセルと、前記右画像のためのピクセル出力を生成するピクセルとを選択することを含む、該ウィービングするステップと、
－前記選択されたピクセルを制御して、前記観察者に前記３次元画像を表示するステップと、を含み、
前記方法は、前記透明プレートの屈折特性、前記透明プレートに対する各ピクセルの位置、及び前記オートステレオスコピックディスプレイ装置に対する前記観察者の目の観察位置を考慮に入れて、前記ディスプレイ装置によって表示される前記３次元画像の、前記透明プレートによって引き起こされる前記知覚される歪み及び／又は変位をキャンセルすることを特徴とする、方法。
【請求項2】
前記３次元画像データは最初に、前記透明プレートの屈折特性、前記透明プレートに対する各ピクセルの位置、及び前記観察者の目の観察位置を考慮に入れて、修正された３次元画像データへと修正され、その結果、前記修正された３次元画像データを使用して前記ウィービングが実行され、前記観察者は、前記修正されていない３次元画像データに含まれるものに対応する比率及び位置を有する前記３次元画像を知覚し得る、請求項１に記載の方法。
【請求項3】
前記ウィービング中のピクセルの前記選択に対して修正が行われ、前記修正は、前記透明プレートの屈折特性、前記透明プレートに対する各ピクセルの位置、及び前記観察者の目の観察位置を考慮に入れて、前記アレイ内の第一位置にある選択されたピクセルの特定のピクセル出力を、前記アレイ内の第二位置にある異なるピクセルに帰属させることを含み、その結果、前記観察者は、前記特定のピクセル出力が前記アレイ内の第一位置から来ることを知覚し、一方、実際には前記アレイ内の第二位置から来ており、それにより、前記観察者は前記３次元画像データに含まれるものに対応する比率及び位置を有する前記３次元画像を知覚し得る、請求項１に記載の方法。
【請求項4】
前記３次元画像データの前記修正は、前記画像データの選択のための前記修正を計算し、続いて、前記選択の一部ではない前記画像データのための前記修正を決定するために補間を行うことによって実行される、請求項２に記載の方法。
【請求項5】
ピクセルのグループに対して、ピクセルの選択に対する前記修正を計算し、続いて、前記選択の一部ではないピクセルに対する前記修正を決定するために補間を行うことによって、前記ピクセルの選択に対する前記修正を決定するために補間が行われる、請求項３に記載の方法。
【請求項6】
前記３次元画像の前記知覚される歪み及び／又は変位をキャンセルすることは、－前記表示部のための屈折モデルを定義するステップであって、前記屈折モデルは、前記透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する前記観察者の目の観察位置についての少なくとも１つの変数と、前記透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、その後
－前記透明プレートに対する各ピクセルの位置についての前記少なくとも１つの変数と、前記透明プレートを特徴付けるための前記少なくとも１つの変数とを決定するステップと、その後
－前記３次元画像の前記知覚される歪み及び／又は変位をキャンセルするために前記屈折モデルを使用するステップであって、前記アイトラッキングシステムを用いて取得した前記観察者の目の観察位置を前記モデルに供給することを含む、該ステップと、を含む、請求項１に記載の方法。
【請求項7】
前記３次元画像の前記知覚される歪み及び／又は変位をキャンセルすることは、－前記表示部のための屈折モデルを定義するステップであって、前記屈折モデルは、前記透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する前記観察者の目の観察位置についての少なくとも１つの変数と、前記透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、その後
－前記透明プレートに対する各ピクセルの位置についての前記少なくとも１つの変数と、前記透明プレートを特徴付けるための前記少なくとも１つの変数とを決定するステップと、その後
－前記３次元画像データを修正するために前記屈折モデルを使用して、修正された３次元画像データを生成するステップであって、前記アイトラッキングシステムを用いて得られた前記観察者の目の観察位置を前記モデルに供給することを含む、該ステップと、を含む、請求項２又は４に記載の方法。
【請求項8】
前記３次元画像の前記知覚される歪み及び／又は変位をキャンセルすることは、－前記表示部のための屈折モデルを定義するステップであって、前記屈折モデルは、前記透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する前記観察者の目の観察位置についての少なくとも１つの変数と、前記透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、その後
－前記透明プレートに対する各ピクセルの位置についての前記少なくとも１つの変数と、前記透明プレートを特徴付けるための前記少なくとも１つの変数とを決定するステップと、その後
－前記屈折モデルを用いて前記ピクセルの選択に対して前記修正を行うステップであって、前記アイトラッキングシステムを用いて取得した前記観察者の目の観察位置を前記モデルに供給することを含む、該ステップと、を含む、請求項３又は５に記載の方法。
【請求項9】
前記屈折モデルを使用する前に、前記表示部は、前記表示部の全てのピクセルについて以下のステップを繰り返すことによって較正される、請求項６～８のいずれか一項に記載の方法：－較正データを取得するステップであって、
・少なくとも２つの観察方向における前記透明プレートを通る特定のピクセルの視認性を観察するステップであって、前記特定のピクセルは、次いで、前記少なくとも２つの観察方向の各々に対して第二ピクセルの適格性が割り当てられる、該ステップと、
・前記少なくとも２つの観察方向の各々において、どのピクセルが、前記ピクセルと前記観察位置との間に透明プレートが存在しないかのように視認可能であるかを決定するステップであって、前記ピクセルは、次いで、前記少なくとも２つの観察方向の各々に対して第一ピクセルの適格性が割り当てられる、該ステップと、
・各観察方向に対して前記第一ピクセルからの前記第二ピクセルのオフセットを決定するステップと、によって取得する該ステップ、
－前記透明プレートを特徴付けるための前記少なくとも１つの変数に関連する前記パラメータを取得するために、前記較正データを前記それぞれの表示部のための前記屈折モデルにフィッティングするステップ、及び
－前記それぞれの表示部のための前記パラメータを格納するステップ。
【請求項10】
前記透明プレートが、均一な厚さを有するプレートであるか、又は前記透明プレートが、前記透明プレートの屈折特性を考慮するとき、均一な厚さを有するプレートによって近似される、請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記透明プレートが、前記透明プレートの前面を形成する透明カバー層で裏打ちされたレンチキュラーレンズを含み、前記レンチキュラーレンズが、前記透明プレートの背面を形成する透明なスペーサプレートを含む、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
前記観察者の目の観察位置は、両目の位置、典型的には両目の間の中央にある位置に対して単一の値を使用することによって近似される、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
前記方法が、クロストーク補正を実行することを含む、請求項１～１２のいずれか一項に記載の方法。
【請求項14】
オートステレオスコピックディスプレイ装置であって、－前記オートステレオスコピックディスプレイ装置に対する観察者の目の位置を決定するためのアイトラッキングシステムと、
－前記観察者の左目で観察される左画像と、前記観察者の右目で観察される右画像とから構成される合成３次元画像を表示するように構成される表示部であって、
・ディスプレイ出力を生成するためのピクセルのアレイであって、各ピクセルがピクセル出力を生成し得る、該ピクセルのアレイと、
・透明なプレートであって、
－前記アレイの上に設けられ、視差バリア又はレンチキュラー要素を備えるレンチキュラーレンズを含み、前記透明プレートの前面が前記観察者に面し、前記透明プレートの背面が前記ピクセルのアレイに面し、
－前記ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を観察者に知覚させる光屈折特性を有する、該透明なプレートと、を含む該表示部と、
－前記オートステレオスコピックディスプレイ装置に対する前記観察者の眼の観察位置を考慮に入れて、３次元画像データから前記３次元画像を前記観察者に表示するために前記ピクセルを制御する手段と、を備える装置であって、
前記ピクセルを制御する手段が、前記透明プレートの屈折特性、前記透明プレートに対する各ピクセルの位置、及びオートステレオスコピックディスプレイ装置に対する前記観察者の目の観察位置を考慮に入れて、前記ディスプレイ装置によって表示される前記３次元画像の、前記透明プレートによって引き起こされる前記知覚される歪み及び／又は変位をキャンセルするための手段を含むことを特徴とする、オートステレオスコピックディスプレイ装置。
【請求項15】
前記表示部のための屈折モデルを含むメモリを備える、請求項１４に記載のオートステレオスコピックディスプレイ装置。
【請求項16】
プロセッサ及びメモリを備え、前記メモリは前記プロセッサによって実行されると、前記プロセッサに、請求項１～１３のいずれか一項に記載の方法を実行させるコンピュータ実行可能コードを備える、請求項１４又は１５に記載のオートステレオスコピックディスプレイ装置。
【請求項17】
請求項１～１３のいずれか一項に記載の方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体。
【請求項18】
コンピュータ上で実行されると、請求項１～１３のいずれか一項に記載の方法を実行するように構成されたソフトウェア。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察者（又は、見る者／viewer）に表示される３次元画像の歪み及び変位をキャンセルする方法及び装置に関する。
【背景技術】
【0002】
＜背景＞
オートステレオスコピックディスプレイ（又は、自動立体視ディスプレイ／autostereoscopic display）は、過去２０年間で大きな注目を集めている。それらの最も優れた特徴の１つは、専用のアイウェアデバイス（又は、眼鏡装置／eyewear device）を用いずに、観察者が３次元画像を知覚することを可能にすることである。この技術の鍵はスクリーン内にレンチキュラーレンズ又は視差バリアが存在することであり、これは、左目画像を観察者の左目にのみ向け、右目画像を観察者の右目にのみ向ける。結果として生じる３次元画像は次いで、ディスプレイの前に現れるが、ディスプレイよりも遠くにも現れる（ディスプレイの「背後」）。実際には、常に、少ない割合の光が、それが意図されていなかった目に到達し、その結果、視認されるべき３次元画像が損なわれ、これは「クロストーク」として知られる現象である。オートステレオスコピックディスプレイ内のどのピクセルが左目画像のためのピクセル出力を生成するか、及びどのピクセルが右目画像のためのピクセル出力を生成するかを決定するプロセスは、画像のインターレース、一般に「ウィービング（weaving）」と呼ばれるプロセスに関係する。オートステレオスコピックディスプレイのためにこれを実行するユニットは、典型的には「３Ｄウィーバー（3D-weaver）」と呼ばれる。
オートステレオスコピックディスプレイ（又は、自動立体視ディスプレイ／autostereoscopic display）は、過去２０年間で大きな注目を集めている。それらの最も優れた特徴の１つは、専用のアイウェアデバイス（又は、眼鏡装置／eyewear device）を用いずに、観察者が３次元画像を知覚することを可能にすることである。この技術の鍵はスクリーン内にレンチキュラーレンズ又は視差バリアが存在することであり、これは、左目画像を観察者の左目にのみ向け、右目画像を観察者の右目にのみ向ける。結果として生じる３次元画像は次いで、ディスプレイの前に現れるが、ディスプレイよりも遠くにも現れる（ディスプレイの「背後」）。実際には、常に、少ない割合の光が、それが意図されていなかった目に到達し、その結果、視認されるべき３次元画像が損なわれ、これは「クロストーク」として知られる現象である。オートステレオスコピックディスプレイ内のどのピクセルが左目画像のためのピクセル出力を生成するか、及びどのピクセルが右目画像のためのピクセル出力を生成するかを決定するプロセスは、画像のインターレース、一般に「ウィービング（weaving）」と呼ばれるプロセスに関係する。オートステレオスコピックディスプレイのためにこれを実行するユニットは、典型的には「３Ｄウィーバー（3D-weaver）」と呼ばれる。
【0003】
この技術はアイ／フェイストラッキングと組み合わされて、いわゆる「ルックアラウンド」効果も可能にし、これにより、観察者は表示された３次元オブジェクト（すなわち、仮想オブジェクト）を、異なる角度から、したがって、異なる視点から観察することが可能になり、仮想オブジェクトは、現実世界において同じ位置で知覚される。さらにより現実的な体験が、観察者が表示された仮想コンテンツと実際に対話するときに提供される。例えば、観察者は単に仮想オブジェクトに手を伸ばし、指で仮想ボタンを押すこと、又は実際のピンで仮想バルーンを穿刺することなど、仮想オブジェクトが実際であるかのように、仮想オブジェクトと相互作用し得る。次いで、ディスプレイは、指又はピンなどの実際の物体を識別し追跡するセンサー技術を利用する。このような実際の（又は、現実の、リアルな／real）オブジェクトの位置を知ると、ディスプレイ装置は、それらを、表示する仮想画像の位置に関連付けることができる。
【0004】
しかしながら、仮想オブジェクトとの相互作用は、場合によっては特にスクリーン（又はその一部）がスクリーンの法線に近くない角度で見られるときに妨げられることが経験されている。３次元画像は、歪んだ、及び／又は変位したように見える。より重要なことには、観察者がオブジェクトと相互作用することを望むとき、相互作用は、それがあることを観察者が期待する時間及び場所で起こらない。したがって、既知のオートステレオスコピックディスプレイは、正しいサイズ、形状、及び位置を有する（with）３次元画像をレンダリングする能力に関して、いくつかの欠点を有するように思われる。
【0005】
この欠点の関連する結果は、ルックアラウンド効果が妨げられることである。表示された３次元オブジェクトを異なる角度から見るとき、オブジェクトは角度に応じて変形し、静止位置には現れない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
＜発明の概要＞
本発明の目的は、画像のサイズ、形状、及び位置のずれが低減されるか、又はキャンセル（又は、削除、相殺／cancel）されさえするという点で、オートステレオスコピックディスプレイによって表示される仮想３次元画像のレンダリングを改善する手段及び／又は方法を提供することである。特に、ディスプレイによって生成されるルックアラウンド効果を改善することが目的である。さらなる目的は、観察者の表示された仮想コンテンツとの相互作用、特に観察者の仮想体験全体を改善することである。
本発明の目的は、画像のサイズ、形状、及び位置のずれが低減されるか、又はキャンセル（又は、削除、相殺／cancel）されさえするという点で、オートステレオスコピックディスプレイによって表示される仮想３次元画像のレンダリングを改善する手段及び／又は方法を提供することである。特に、ディスプレイによって生成されるルックアラウンド効果を改善することが目的である。さらなる目的は、観察者の表示された仮想コンテンツとの相互作用、特に観察者の仮想体験全体を改善することである。
【0007】
３次元コンテンツの不正確な表示を引き起こす効果を中和する特定の方法を適用することによって、これらの目的のうちの１つ又は複数に到達し得ることが見出された。
【課題を解決するための手段】
【0008】
したがって、第一態様では、本発明がオートステレオスコピックディスプレイ装置（又は、オートステレオスコピックディスプレイデバイス／autostereoscopic display device）によって観察者に表示される３次元画像の知覚される歪み及び／又は変位をキャンセルするための方法に関し、オートステレオスコピックディスプレイ装置は、
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を決定するためのアイトラッキングシステム（又は、視線追跡システム／eye tracking system）と、
－観察者の左目で観察される左画像と、観察者の右目で観察される右画像との合成３次元画像（composite three-dimensional image）を表示するように構成された表示部であって、
・ディスプレイ出力（又は、表示出力／display output）を生成するためのピクセルのアレイであって、各ピクセルがピクセル出力を生成し得る、該ピクセルのアレイと、
・透明なプレートであって、
－前記アレイの上に設けられ、視差バリア又はレンチキュラー要素を備えるレンチキュラーレンズを含み、透明プレートの前面が観察者に面し、透明プレートの背面がピクセルのアレイに面し、
－ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を観察者に知覚させる光屈折特性（light refraction properties）を有する、該透明なプレートと、を含む該表示部と、を備え、
前記方法は、
－アイトラッキングシステムを用いてオートステレオスコピックディスプレイ装置に対する観察者の目の観察位置（viewing position）を決定するステップと、
－３次元画像データを提供するステップと、
－３次元画像データをピクセルのアレイにウィービングする（又は、織り込む／weaving）ステップであって、オートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、左画像のためのピクセル出力を生成するピクセルと、右画像のためのピクセル出力を生成するピクセルとを選択することを含む、該ステップと、
－選択されたピクセルを制御して、観察者に３次元画像を表示するステップと、を含み、
前記方法は、前記透明プレートの屈折特性、前記透明プレートに対する各ピクセルの位置、及び前記オートステレオスコピックディスプレイ装置に対する前記観察者の目の位置を考慮に入れて、前記ディスプレイ装置によって表示される前記３次元画像の、前記透明プレートによって引き起こされる前記知覚される歪み及び／又は変位をキャンセルすることを特徴とする。
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を決定するためのアイトラッキングシステム（又は、視線追跡システム／eye tracking system）と、
－観察者の左目で観察される左画像と、観察者の右目で観察される右画像との合成３次元画像（composite three-dimensional image）を表示するように構成された表示部であって、
・ディスプレイ出力（又は、表示出力／display output）を生成するためのピクセルのアレイであって、各ピクセルがピクセル出力を生成し得る、該ピクセルのアレイと、
・透明なプレートであって、
－前記アレイの上に設けられ、視差バリア又はレンチキュラー要素を備えるレンチキュラーレンズを含み、透明プレートの前面が観察者に面し、透明プレートの背面がピクセルのアレイに面し、
－ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を観察者に知覚させる光屈折特性（light refraction properties）を有する、該透明なプレートと、を含む該表示部と、を備え、
前記方法は、
－アイトラッキングシステムを用いてオートステレオスコピックディスプレイ装置に対する観察者の目の観察位置（viewing position）を決定するステップと、
－３次元画像データを提供するステップと、
－３次元画像データをピクセルのアレイにウィービングする（又は、織り込む／weaving）ステップであって、オートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、左画像のためのピクセル出力を生成するピクセルと、右画像のためのピクセル出力を生成するピクセルとを選択することを含む、該ステップと、
－選択されたピクセルを制御して、観察者に３次元画像を表示するステップと、を含み、
前記方法は、前記透明プレートの屈折特性、前記透明プレートに対する各ピクセルの位置、及び前記オートステレオスコピックディスプレイ装置に対する前記観察者の目の位置を考慮に入れて、前記ディスプレイ装置によって表示される前記３次元画像の、前記透明プレートによって引き起こされる前記知覚される歪み及び／又は変位をキャンセルすることを特徴とする。
【0009】
別の態様では、本発明は、
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を決定するためのアイトラッキングシステムと、
－観察者の左目で観察される左画像と、観察者の右目で観察される右画像との合成３次元画像を表示するように構成された表示部であって、
・ディスプレイ出力を生成するためのピクセルのアレイであって、各ピクセルがピクセル出力を生成し得る、該ピクセルのアレイと、
・透明なプレートであって、
－前記アレイの上に設けられ、視差バリア又はレンチキュラー要素を備えるレンチキュラーレンズを含み、透明プレートの前面が観察者に面し、透明プレートの背面がピクセルのアレイに面し、
－ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を観察者に知覚させる光屈折特性を有する、該透明なプレートと、を含む、該表示部と、
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、画像データから３次元画像を観察者に表示するためにピクセルを制御する手段と、を備えるオートステレオスコピックディスプレイ装置であって、
前記ピクセルを制御するための手段が、透明プレートの屈折特性、透明プレートに対する各ピクセルの位置、及びオートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、ディスプレイ装置によって表示される３次元画像の、透明プレートによって引き起こされる知覚される歪み及び／又は変位をキャンセルするための手段を含むことを特徴とする、オートステレオスコピックディスプレイ装置に関する。
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を決定するためのアイトラッキングシステムと、
－観察者の左目で観察される左画像と、観察者の右目で観察される右画像との合成３次元画像を表示するように構成された表示部であって、
・ディスプレイ出力を生成するためのピクセルのアレイであって、各ピクセルがピクセル出力を生成し得る、該ピクセルのアレイと、
・透明なプレートであって、
－前記アレイの上に設けられ、視差バリア又はレンチキュラー要素を備えるレンチキュラーレンズを含み、透明プレートの前面が観察者に面し、透明プレートの背面がピクセルのアレイに面し、
－ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を観察者に知覚させる光屈折特性を有する、該透明なプレートと、を含む、該表示部と、
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、画像データから３次元画像を観察者に表示するためにピクセルを制御する手段と、を備えるオートステレオスコピックディスプレイ装置であって、
前記ピクセルを制御するための手段が、透明プレートの屈折特性、透明プレートに対する各ピクセルの位置、及びオートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、ディスプレイ装置によって表示される３次元画像の、透明プレートによって引き起こされる知覚される歪み及び／又は変位をキャンセルするための手段を含むことを特徴とする、オートステレオスコピックディスプレイ装置に関する。
【0010】
本発明はさらに、プロセッサシステムに、上記のような知覚される歪み及び／又は変位をキャンセルするための方法を実行させるための命令を表す一時的又は非一時的データを備えるコンピュータ可読媒体に関する。
【0011】
本発明はさらに、コンピュータ上で実行されたときに、上記のような知覚される歪み及び／又は変位をキャンセルするための方法を実行するように構成されたソフトウェアに関する。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
図中の要素は簡単且つ明確に示されており、必ずしも縮尺通りに描かれていない。例えば、図中のいくつかの要素の寸法は本発明の様々な例示的な実施形態の理解を助けるために、他の要素に対して誇張されている場合がある。特に、レンチキュラーレンズ（特に、そのレンチキュラー要素）と、上下の層との相対的な寸法は、図から導き出すことができず、屈折角も導き出すことができない。さらに、本明細書における「第一」、「第二」などの用語はもしあれば、一般に、同様の要素を区別するために使用され、必ずしも連続的又は時系列的な順序を説明するために使用されるわけではない。
【0014】
本発明の文脈において、用語「ピクセル」は、ディスプレイ装置における最小のアドレス指定可能な（制御可能な）発光素子を意味する。いくつかの事例ではピクセルのグループが１つのピクセルとして、例えば、赤ピクセル、青ピクセル、及び緑ピクセルの組み合わせとして扱われ、それらは距離を置いて観察されるときに、一緒に特定の単一色として感知される。このような場合、カラーピクセルはサブピクセルと呼ばれる。
【0015】
本発明の文脈において、「左画像」という用語は、左目専用のオートステレオスコピックディスプレイ装置によって表示される画像を意味する。それに対応して、「右画像」という用語は、右目専用のオートステレオスコピックディスプレイ装置によって表示される画像を意味する。本明細書では実際には特定の目に対する独占性に到達することはできないことが多いが、そのような場合には観察者の３次元の観察体験がそれにもかかわらず、観察者にとって満足のいくものであることが理解される。
【0016】
本明細書及び特許請求の範囲を通して、「３次元画像」及び「オートステレオスコピック画像」という用語は、互換的に使用される。ここで、オートステレオスコピック画像は、厳密には３次元画像と同じではなく、観察者によって３次元であると知覚されるだけの画像であることが認識される。同じことが、「３次元ビュー」及び「オートステレオスコピックビュー」という用語に当てはまる。
【0017】
これに続いて、「３次元画像の知覚される歪み及び変位」という用語は、実際には左画像及び右画像の知覚される歪み及び変位を指すことが認識された。
【0018】
（例えば、観察者の目の）特定の位置がオートステレオスコピックディスプレイ装置に対して定義される場合、その位置が表示部又は透明プレートなどのオートステレオスコピックディスプレイ装置の一部を形成するアイテムに対して定義される場合と同等であることが認識される。
【0019】
本発明の文脈において、「３次元画像データ」という用語は、何らかの方法で本発明の方法のオートステレオスコピックディスプレイ装置に入力され、この装置によって処理可能なフォーマットに変換される画像情報を指す。それは、装置に関連付けられたメモリ部分に記録されてもよく、又は装置に関連付けられたカメラによってキャプチャされてもよい（そのようなカメラはシーン、例えば、異なる環境におけるビデオ会議に参加している人の周りのシーンの画像をキャプチャすることが可能な、装置から遠隔のカメラであり得る）。３次元画像データは、３次元画像データを使用して装置上に２次元又は３次元画像を生成し得るという点で、可視３次元画像を表す情報を含む。３次元画像データは左画像データと右画像データとからなり、それぞれ可視左画像又は右画像を表す情報を含む。３次元画像は、典型的には左画像データ及び対応する右画像データを使用して、オートステレオスコピックディスプレイ装置上で生成される。
【0020】
本発明の文脈において、「観察者」という用語は、本発明の方法に従って彼に提示されるコンテンツを消費する人を意味する。３次元画像を見ることに加えて、観察者は、音又は触覚刺激のような他の感覚刺激を経験することもできる。しかしながら、便宜上、上記人はしたがって、「観察者」と呼ばれるが、同時に、例えば、「聞く人（又は、リスナー）」であり得ることが理解される。
【0021】
本文全体を通して、観察者への言及は、「彼は」、「彼を」、又は「彼の」のような男性の言葉によってなされる。これは、明瞭さと簡潔さの目的のために過ぎず、「彼女は」及び「彼女の」のような女性の言葉が等しく適用されることが理解される。
【0022】
本発明の方法は、例えばＷＯ２０１３１２０７８５Ａ２に記載されているような従来のオートステレオスコピックディスプレイ装置を利用する。その主な構成要素は、アイトラッキングシステム及び表示部である。
【0023】
典型的には、アイトラッキングシステムが、オートステレオスコピックディスプレイ装置に対するユーザの目の位置を追跡するための手段を備え、オートステレオスコピックディスプレイ装置に動作可能に接続される。
【0024】
表示部は、典型的にはアイトラッキング装置によって目が追跡される観察者に３次元映像を表示するための手段を含む。そのような手段はディスプレイ出力を生成するためのピクセルのアレイと、左画像を観察者の左目に、右画像を観察者の右目に向けるためにアレイの上に提供される視差バリア又は複数のレンチキュラー要素を備えるレンチキュラーレンズとを備える。
【0025】
通常、視差バリア又はレンチキュラーレンズはアレイ上に設けられるより透明な構造の一部であり、本発明の文脈において、用語「透明プレート」で示される。例えば、透明プレートは、支持層、保護層、接着剤の層、硬化樹脂の層又はディスプレイの２次元ビューと３次元ビューとを切り替えるための手段を含み得る。実際、透明プレートは、ディスプレイ出力が外に出て（egress）オートステレオスコピックディスプレイ装置と観察者の目との間の媒体（通常は大気）に入るまでの、ピクセルのディスプレイ出力を観察者に伝達する全ての透明材料を含む。
【0026】
通常、透明プレートは、透明プレートの前面、すなわち観察者に面する面を形成する透明カバー層で裏打ちされた少なくとも１つのレンチキュラーレンズを含む。レンチキュラーレンズは、通常、透明プレートの裏側を形成する透明スペーサプレートを備える。透明プレートがオートステレオスコピックディスプレイ装置内に存在する場合、そのようなスペーサプレートは、レンチキュラーレンズのレンチキュラー要素とピクセルのアレイとの間に間隔を作り出す。
【0027】
好ましくは、透明プレートが均一な厚さを有するプレートであり、これは透明プレートによって引き起こされる知覚される歪み及び変位の正しいキャンセレーション（cancellation）を適用するために必要とされる計算を単純化する。あるいは透明プレートの屈折特性を考慮するとき、透明プレートは均一な厚さを有するプレートによって近似される。
【0028】
一般に、表示部は、画像データからの３次元画像を観察者に表示するためにピクセルを制御するための手段を備える。特に、ピクセルを制御するための手段はいわゆる３Ｄウィーバーを含み、これは、左画像データ及び右画像データを受け取り、ピクセルのアレイに対して左画像及び右画像をウィービングする。そうする際、ウィーバーは、どのピクセルがそれぞれの画像に対応してピクセル出力を生成すべきかを決定する。これにより、左右の画像データから特定の位置の観察者に３次元画像を表示し得る。
【0029】
本発明者らは表示された３次元画像のサイズ、形状、及び位置のずれ（又は、偏差／deviation）が、ピクセルと観察者との間の透明プレートによって引き起こされる光の屈折にその起源を見出し得ることを認識した。このようなずれは、法線に近い光入射角では小さく、より斜めの入射光では大きくなる。画像の異なる領域が異なる角度で見られることは本質的であり、したがって、画像の異なる領域の表示は、異なるずれを受ける可能性がある。これにより、観察者は、ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を知覚することが考えられた。
【0030】
この問題は、アレイ内の第一位置にある第一ピクセルの特定のピクセル出力を、アレイ内の第二位置にある第二ピクセルに帰属させる（attributing）ことによって、各ピクセルのピクセル出力のオフセットを作成することによって解決され得ることが想定された。このようにして、観察者は特定のピクセル出力がアレイ内の第一位置から来ることを知覚するが、実際にはそれはアレイ内の第二位置から来る。このとき、アレイ内の第一位置は、観察者が経験するピクセルの見かけの位置である。
【0031】
本発明の方法では、特定の３次元ピクチャが表示されるとき、オフセットの範囲は、各ピクセルについて、各ピクセルからの光が透明プレートを通過するときに受ける望ましくない屈折をオフセットが正確にキャンセルするように、観察者の位置に対して調整される。各ピクセルに対する特定のオフセットは、１）透明プレートに対する各ピクセルの位置、２）透明プレートに対する観察者の目の位置、及び３）透明プレートの屈折特性（これはまた、全てのレンチキュラー要素における屈折を含む）を考慮する計算によって得られる。このようにして、透明プレートの望ましくない光学的影響がピクセル毎又はピクセルのグループ毎に補償される（すなわち、影響がキャンセルされる）。
【0032】
これは、透明カバー層（３）で裏打ちされたレンチキュラーレンズ（２）を含む、本発明の方法において適用され得る表示部（１）の断面図である図１に示されている。レンチキュラーレンズ（２）の他方の側はピクセルのアレイ（４）に向かって面している。このアレイは、図１の断面の平面に垂直である。図１は、第一ピクセル（４ａ）及び第二ピクセル（４ｂ）によって放射される光を示し、第一ピクセル（４ａ）は第一観察位置（５ａ）に放射し、第二ピクセル（４ｂ）は第二観察位置（５ｂ）に放射する。光は図１の断面の平面内を進む。表示部（１）の光学特性のために、第三ピクセル（４ｃ）によって放射されると知覚される光は、実際には観察位置（５ａ）のための第一ピクセル（４ａ）と、観察位置（５ｂ）のための第二ピクセル（４ｂ）とによって放射される。したがって、知覚される光の見かけの起源は、光の実際の起源からオフセットされる（off-set）。図１では、ピクセル及び観察位置は、両方のピクセル（４ａ、４ｂ）の光が第三ピクセル（４ｃ）の位置から生じるように観察者に見えるように選択される。
【0033】
図２は図１の表示部の拡大図であり、光が放射される位置の周囲を示している。第一ピクセル（４ａ）と第三ピクセル（４ｃ）との間の差は第一オフセット（６ａ）であり、第二ピクセル（４ｂ）と第三ピクセル（４ｃ）との間の差は、第二オフセット（６ｂ）である。図２では２つの観察位置のそれぞれが、光の知覚される起源（すなわち、位置Ａ）に対して異なるオフセットを受ける（又は、経験する／experience）ことが分かる。これは、知覚される光の見かけの起源が光の実際の起源とは異なる（すなわち、オフセットがある）ことだけでなく、オフセットがディスプレイに対する視角（viewing angle）に依存することも実証する。これは画像が歪んだ態様で表示されるという結果を有し、画像のいくつかの位置は画像の他の位置よりもずれている。
【0034】
上述のように、アイトラッキングシステムが使用される。このシステムは、オートステレオスコピックディスプレイ装置に対する（したがって、透明プレートに対する）観察者の目の位置を決定する。しかしながら、補正を計算するために両目の位置を使用する必要はない。また、両目の位置、典型的には両目の間の中央の位置に対して単一の値を使用することによって、観察者の目の位置を近似することも可能である。左目が経験する歪みは右目が経験する歪みとほんのわずかしか異ならず、これは両目の間の中間の位置をとることの近似を正当化する。
【0035】
本発明の方法の重要な点は、ディスプレイ装置によって３次元画像が表示されるときに、透明プレートによって生じる知覚される歪み及び変位をキャンセルすることである。キャンセリングは、透明プレートの屈折特性、透明プレートに対する各ピクセルの位置、及びオートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮することによって実行される。
【0036】
この方法を実装するには様々な方法がある。第一方法は、３Ｄウィービングが施される前の３次元画像データの修正に依存する。第二方法は、３Ｄウィービングプロセス中のピクセルの選択に依存する。
【0037】
第一方法は、画像生成のプロセスのかなり早い段階で介入を行う。ここで、３次元画像データは、歪められた及び変位された画像を、これが表示部によって引き起こされる実際の歪み及び／又は変位によってキャンセルされるような方法で生成するように修正される。結果として、表示される画像は元の（すなわち、修正されていない）画像データに含まれる画像に正確に対応する。より具体的には、そのような実施形態では、３次元画像データ（修正されていない画像データ又は元の画像データ）が最初に、透明プレートの屈折特性、透明プレートに対する各ピクセルの位置、及び観察者の目の観察位置を考慮して、修正された３次元画像データへと修正され、その結果、修正された３次元画像データを使用してウィービングが実行され、観察者は修正されていない３次元画像データに含まれるような、意図されたものに対応する比率及び位置を有する３次元画像のビュー（view）を知覚し得る。図３は、本発明によるこの方法を概略的に示す。
【0038】
第二方法は、画像生成のプロセスにおいて幾分遅い段階で、すなわち、３Ｄウィービングの間のピクセルの選択において介入を行う。（画像データによって定義される）特定の位置におけるピクセル出力は、異なる位置におけるピクセルにシフトされる。この位置のずれが、透明プレートによって引き起こされるオフセット（例えば、図２に示されるようなオフセット）をキャンセルする。より具体的には、そのような実施形態では、ウィービング中のピクセルの選択に対して修正が行われ、この修正は、透明プレートの屈折特性、透明プレートに対する各ピクセルの位置、及び観察者の目の観察位置を考慮に入れて、アレイ内の第一位置にある選択されたピクセルの特定のピクセル出力をアレイ内の第二位置にある異なるピクセルに帰属させることを含み、その結果、観察者は特定のピクセル出力がアレイ内の第一位置から来ることを知覚し、一方、実際にはそれはアレイ内の第二位置から来ており、これにより、観察者は、（修正されていない）３次元画像データに含まれるような、意図されたものに対応する比率及び位置を有する３次元画像のビューを知覚し得る。図４は、本発明によるこの方法を概略的に示す。
【0039】
透明プレートによって生じる知覚される歪み及び変位のキャンセリングは、オートステレオスコピックディスプレイ装置の表示部のための屈折モデルを使用することによって計算し得る。そのような場合、キャンセリングは、
－表示部のための屈折モデルを定義するステップであって、この屈折モデルは、透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する観察者の目の観察位置についての少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、
－透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数とを決定するステップと、
－３次元画像の知覚される歪み及び／又は変位をキャンセルするために上記モデルを使用するステップであって、アイトラッキングシステムを用いて得られた位置データ（すなわち、オートステレオスコピックディスプレイ装置に対する観察者の目の観察位置）をモデルに供給することを含む、該ステップと、を含む。
－表示部のための屈折モデルを定義するステップであって、この屈折モデルは、透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する観察者の目の観察位置についての少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、
－透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数とを決定するステップと、
－３次元画像の知覚される歪み及び／又は変位をキャンセルするために上記モデルを使用するステップであって、アイトラッキングシステムを用いて得られた位置データ（すなわち、オートステレオスコピックディスプレイ装置に対する観察者の目の観察位置）をモデルに供給することを含む、該ステップと、を含む。
【0040】
ここで、透明プレートに対する各ピクセルの位置は既に屈折モデルに含まれており、モデルに供給する必要はないものとする。
【0041】
具体的には、本発明の方法が、３Ｄウィービングが施される前に、３次元画像データを修正することによって実施される場合、屈折モデルの使用は、
－表示部のための屈折モデルを定義するステップであって、この屈折モデルは、透明プレートに対する各ピクセルの位置のための少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する観察者の目の観察位置のための少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、
－透明プレートに対する各ピクセルの位置のための少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数とを決定するステップと、
－３次元画像データを修正するために屈折モデルを使用して、修正された３次元画像データを生成するステップであって、アイトラッキングシステムを用いて得られた観察者の目の観察位置をモデルに供給することを含む、該ステップと、を含む。
－表示部のための屈折モデルを定義するステップであって、この屈折モデルは、透明プレートに対する各ピクセルの位置のための少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する観察者の目の観察位置のための少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、
－透明プレートに対する各ピクセルの位置のための少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数とを決定するステップと、
－３次元画像データを修正するために屈折モデルを使用して、修正された３次元画像データを生成するステップであって、アイトラッキングシステムを用いて得られた観察者の目の観察位置をモデルに供給することを含む、該ステップと、を含む。
【0042】
ここで、透明プレートに対する各ピクセルの位置は既に屈折モデルに含まれており、モデルに供給する必要はないものとする。
【0043】
具体的には、本発明の方法がウィービング中にピクセルの選択を修正することによって実施される場合、屈折モデルの使用は、
－表示部のための屈折モデルを定義するステップであって、この屈折モデルは、透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する観察者の目の観察位置についての少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、
－透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数とを決定するステップと、
－屈折モデルを用いてピクセルの選択に修正を行うステップであって、アイトラッキングシステムを用いて得られた観察者の目の観察位置をモデルに供給することを含む、該ステップと、を含む。
－表示部のための屈折モデルを定義するステップであって、この屈折モデルは、透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、オートステレオスコピックディスプレイ装置に対する観察者の目の観察位置についての少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数と、これらの変数に関連するパラメータとを有する、該ステップと、
－透明プレートに対する各ピクセルの位置についての少なくとも１つの変数と、透明プレートを特徴付けるための少なくとも１つの変数とを決定するステップと、
－屈折モデルを用いてピクセルの選択に修正を行うステップであって、アイトラッキングシステムを用いて得られた観察者の目の観察位置をモデルに供給することを含む、該ステップと、を含む。
【0044】
ここで、透明プレートに対する各ピクセルの位置は既に屈折モデルに含まれており、モデルに供給する必要はないものとする。
【0045】
透明プレートは、最も好都合には、均質な屈折率及び均一な厚さを有する平坦で均質なプレートとして特徴付けることができる。この目的のために、平均総厚及び平均屈折率を仮定し得る。これは、その真の同一性を正確に反映するものではないが（例えば、定義上、不均質な屈折率の原因である、内部にレンチキュラー要素が存在するため）、通常、良好な近似として役立つ。透明プレートのより正確な特徴付けは、空気との界面及び／又はピクセルのアレイとの界面における透明プレートの形状を考慮に入れることができる。また、透明プレートの内部組成を考慮に入れることができる（例えば、接着剤の層、ピクセルアレイに面するスペーサプレート、レンチキュラー要素）。製造された透明プレートの仕様を知ることは、透明プレートの特性を計算することを可能にする。しかしながら、同じプロセスによって製造された透明プレートは、依然として異なる特性を示し得るが、プロセスの製造公差内に入る。これはまた、スクリーンの曲率及び透明プレートに対するピクセルの位置などの特性を確保するため、透明プレートが一部を形成する表示部全体又はオートステレオスコピックディスプレイ装置全体の製造にも当てはまる。この点において、空気との界面における小さな傾斜の表面レリーフでさえ、表示部から放射される光の方向に影響を及ぼし得ることに留意されたい。異なる透明プレート間の任意の付随的な変動を考慮するために、各透明プレートは、別々に特徴付けられなければならない。これは、好ましくは透明プレートが表示部又は最終的なオートステレオスコピックディスプレイ装置に組み込まれるときに、透明プレートの較正を実行することによって行うことができる。
【0046】
したがって、一実施形態では、屈折モデルを使用する前に、表示部はディスプレイの全てのピクセルについて以下のステップを繰り返すことによって較正される、
－較正データを取得するステップであって、
・少なくとも２つの観察方向における透明プレートを通る特定のピクセルの視認性（visibility）を観察するステップであって、特定のピクセルは、次いで、少なくとも２つの観察方向の各々に対して第二ピクセルの適格性（qualification）が割り当てられる、該ステップと、
・少なくとも２つの観察方向の各々において、どのピクセルが、ピクセルと観察位置との間に透明プレートが存在しないか（及び、両方の間に空気のような１つの媒体しか存在しないか）のように視認可能であるかを決定するステップであって、次いで、そのピクセルは、少なくとも２つの観察方向の各々に対して第一ピクセルの適格性が割り当てられる、該ステップと、
・各観察方向に対して第一ピクセルからの第二ピクセルのオフセットを決定するステップと、によって取得するステップ、
－透明プレートを特徴付けるための少なくとも１つの変数に関連するパラメータを得るために、較正データをそれぞれの表示部のための屈折モデルにフィッティングするステップ、及び
－それぞれの表示部のためのパラメータを格納するステップ。
－較正データを取得するステップであって、
・少なくとも２つの観察方向における透明プレートを通る特定のピクセルの視認性（visibility）を観察するステップであって、特定のピクセルは、次いで、少なくとも２つの観察方向の各々に対して第二ピクセルの適格性（qualification）が割り当てられる、該ステップと、
・少なくとも２つの観察方向の各々において、どのピクセルが、ピクセルと観察位置との間に透明プレートが存在しないか（及び、両方の間に空気のような１つの媒体しか存在しないか）のように視認可能であるかを決定するステップであって、次いで、そのピクセルは、少なくとも２つの観察方向の各々に対して第一ピクセルの適格性が割り当てられる、該ステップと、
・各観察方向に対して第一ピクセルからの第二ピクセルのオフセットを決定するステップと、によって取得するステップ、
－透明プレートを特徴付けるための少なくとも１つの変数に関連するパラメータを得るために、較正データをそれぞれの表示部のための屈折モデルにフィッティングするステップ、及び
－それぞれの表示部のためのパラメータを格納するステップ。
【0047】
知覚された歪み及び変位のキャンセリングは好ましくは、各画像データ点又は各ピクセルについて別々に、より好ましくは色ごとの異なる屈折のために各ピクセル中の色成分ごとに実行され、なぜなら、これは最も少ない歪み及び変位を有する、表示された画像の最良の品質をもたらすからである。しかしながら、画像データ点の一部について、又はピクセルの一部について、歪み及び変位をどのようにキャンセルする必要があるかを決定し、残りの画像データ点又はピクセルについてはそれぞれ補間（interpolation）を実行することも可能である。したがって、歪み及び変位のキャンセルは最初に、画像の一部に対して実行されることができ、その後、補間を行うことによって残りの部分に対して完了され得る。
【0048】
本発明の方法が、３Ｄウィービングが施される前に３次元画像データを修正することによって実施される場合、補間は以下のように行われる。修正は、画像データの選択に対して計算され、それに続いて、選択の一部ではない画像データに対する修正を決定するために補間が行われる。
【0049】
本発明の方法が、ウィービング中にピクセルの選択を修正することによって実施される場合、補間は以下のように行われる。修正は、ピクセルの選択に対して計算され、それに続いて、選択の一部ではないピクセルに対する修正を決定するために補間が行われる。
【0050】
本発明の利点は、観察者が３次元仮想コンテンツのより現実的な知覚を提供されることである。これは、例えば、観察者のための改善されたルックアラウンド効果を含む。物体を見回すことは、オートステレオスコピックディスプレイ装置に対する観察位置の変化を意味し、これは通常、表示された３次元画像の歪み及び／又は変位を引き起こす。本発明の方法は、この歪み及び／又は変位をキャンセルする。
【0051】
別の利点は、観察者と表示された３次元仮想コンテンツとの知覚された相互作用が従来のオートステレオスコピックディスプレイ装置よりもはるかに正確になされ得ることである。これは、コンテンツの知覚された位置が画像データに囲まれた実際の位置とより密接に一致するからであり、観察者と３次元仮想コンテンツとの相互作用を表示するために使用されるのはこの実際の位置であるからである。
【0052】
本発明の有益な効果を文脈に置くために（又は、説明するために）、オートステレオスコピックディスプレイ装置による３次元画像の表示時に起こり得る２つの異なる現象を区別することが必要であり、これは両方とも画像知覚の障害につながり得る。これらは１）クロストークの発生、及び２）表示された３次元画像の知覚される歪み及び／又は変位の発生（例えば、画像内の仮想オブジェクトはそれらが意図される場所では知覚されない）である。両方とも、画像知覚の障害をもたらし得るが、それらは基本的に異なる性質のものである。
【0053】
クロストークは、特定の眼を対象とする画像が他方の眼によっても見られるときに生じる物理的で測定可能な現象である。この効果は画像内の表示された要素の知覚されるサイズ、形状、及び位置のいかなるずれ（deviation）としても現れない（又はもたらさない）（すなわち、クロストークは、表示された３次元画像の歪み及び／又は変位の発生に関連しない）。
【0054】
クロストークの現象とは対照的に、表示された３次元画像の知覚される歪み及び／又は変位の現象は、その表示部上のそれぞれのピクセル位置から生じるものとして見られることが意図される表示部のピクセルの光が透明プレート内の屈折に起因して別の位置から生じるものとして知覚されるという事実に起因する。これは、（３次元）立体画像によって表される意図される３次元オブジェクトの知覚される歪み（反りwarping／変位displacing）をもたらす。歪み及び／又は変位の発生は、クロストークも顕在化することを意味しない。したがって、両方の現象は互いに独立して起こる。
【0055】
しかしながら、それらの独立した発生は、両方の現象が（少なくとも部分的に）透明プレートにおける光屈折である共通の原因を有し得ることに逆らえない。しかし、これはクロストークをキャンセルすることが、表示された３次元画像の歪み及び／又は変位を同時にキャンセルすることを意味しない。これは、透明プレート自体は典型的には両方の現象のいずれの解決にも関与しないからである（本発明は例えば、透明プレートの歪み／変位効果をキャンセルするために、立体入力画像の左部分及び右部分を互いに独立して補正するだけ）。
【0056】
クロストークは、立体画像入力の左部分及び右部分からのピクセルを組み合わせて、表示部の光学的混合を大幅に取り消すことによって対処することができ、これは、表示部の前もって実行された較正に依拠し得る従来の処理である。適切に実行されると、従来のクロストーク補正（特にクロストークキャンセル）は、クロストークが事実上存在しない３次元画像を見ることを可能にする。しかしながら、任意のそのような従来の方法（又はより高度な従来の方法）は、依然として、画像の知覚される歪み及び／又は変位をキャンセルしない。
【0057】
したがって、一実施形態では、本発明の方法が、オートステレオスコピックディスプレイ装置によってオートステレオスコピックディスプレイ装置の観察者に表示される３次元画像に関してクロストーク補正を実行することを含み得る。その場合、クロストークの現象は本発明の方法に従って実行されるように、知覚される歪み及び／又は変位の現象とは独立に対処される。
【0058】
本発明はさらに、
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を決定するためのアイトラッキングシステムと、
－観察者の左目で観察される左画像と、観察者の右目で観察される右画像との合成３次元画像を表示するように構成される表示部であって、
・ディスプレイ出力を生成するためのピクセルのアレイであって、各ピクセルがピクセル出力を生成し得る、該ピクセルのアレイと、
・透明なプレートであって、
－アレイの上に設けられ、視差バリア又はレンチキュラー要素を備えるレンチキュラーレンズを含み、透明プレートの前面が観察者に面し、透明プレートの背面がピクセルのアレイに面し、
－ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を観察者に知覚させる光屈折特性を有する、該透明なプレートと、を含む該表示部と、
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、画像データから３次元画像を観察者に表示するためにピクセルを制御する手段と、を備えるオートステレオスコピックディスプレイ装置であって、
前記ピクセルを制御する手段が、透明プレートの屈折特性、透明プレートに対する各ピクセルの位置、及びオートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、ディスプレイ装置によって表示される３次元画像の、透明プレートによって引き起こされる知覚される歪み及び／又は変位をキャンセルするための手段を含むことを特徴とする、オートステレオスコピックディスプレイ装置に関する。
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を決定するためのアイトラッキングシステムと、
－観察者の左目で観察される左画像と、観察者の右目で観察される右画像との合成３次元画像を表示するように構成される表示部であって、
・ディスプレイ出力を生成するためのピクセルのアレイであって、各ピクセルがピクセル出力を生成し得る、該ピクセルのアレイと、
・透明なプレートであって、
－アレイの上に設けられ、視差バリア又はレンチキュラー要素を備えるレンチキュラーレンズを含み、透明プレートの前面が観察者に面し、透明プレートの背面がピクセルのアレイに面し、
－ディスプレイ装置によって表示される３次元画像の歪み及び／又は変位を観察者に知覚させる光屈折特性を有する、該透明なプレートと、を含む該表示部と、
－オートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、画像データから３次元画像を観察者に表示するためにピクセルを制御する手段と、を備えるオートステレオスコピックディスプレイ装置であって、
前記ピクセルを制御する手段が、透明プレートの屈折特性、透明プレートに対する各ピクセルの位置、及びオートステレオスコピックディスプレイ装置に対する観察者の目の位置を考慮に入れて、ディスプレイ装置によって表示される３次元画像の、透明プレートによって引き起こされる知覚される歪み及び／又は変位をキャンセルするための手段を含むことを特徴とする、オートステレオスコピックディスプレイ装置に関する。
【0059】
好ましくは、オートステレオスコピックディスプレイ装置が、表示部、特に透明プレートのための屈折モデルを含むメモリを備える。
【0060】
一実施形態では、オートステレオスコピックディスプレイ装置がプロセッサとメモリとを備え、メモリは、プロセッサによって実行されると、プロセッサに、上記のような知覚される歪み及び／又は変位をキャンセルするための方法を実行させるコンピュータ実行可能コードを備える。
【0061】
本発明はさらに、プロセッサシステムに、上記のような知覚される歪み及び／又は変位をキャンセルするための方法を実行させるための命令を表す一時的又は非一時的データを備えるコンピュータ可読媒体に関する。
【0062】
本発明はさらに、コンピュータ上で実行されたときに、上記のような知覚される歪み及び／又は変位をキャンセルするための方法を実行するように構成されたソフトウェアに関する。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】