特表 2025-500188 ３Ｄビュー及び３Ｄ－音響を提示する裸眼立体ディスプレイ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-09

(54)【発明の名称】３Ｄビュー及び３Ｄ－音響を提示する裸眼立体ディスプレイ装置

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20241226BHJP

   G06F 3/01 20060101ALI20241226BHJP

   G06F 3/0346 20130101ALI20241226BHJP

   G06F 3/16 20060101ALI20241226BHJP

   H04S 7/00 20060101ALI20241226BHJP

   H04N 13/366 20180101ALI20241226BHJP

   H04N 13/302 20180101ALI20241226BHJP

【ＦＩ】

G06F3/04815

G06F3/01 510

G06F3/0346 421

G06F3/16 500

G06F3/16 610

H04S7/00 320

H04N13/366

H04N13/302

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024535387

(86)(22)【出願日】2022-12-17

(85)【翻訳文提出日】2024-07-10

(86)【国際出願番号】 NL2022050728

(87)【国際公開番号】W WO2023113603

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】2030186

(32)【優先日】2021-12-17

(33)【優先権主張国・地域又は機関】NL

(81)【指定国・地域】

(71)【出願人】

【識別番号】524219647

【氏名又は名称】ディメンコ ホールディング ビー．ブイ．

【氏名又は名称原語表記】ＤＩＭＥＮＣＯ ＨＯＬＤＩＮＧ Ｂ．Ｖ．

【住所又は居所原語表記】Ｄｅ Ｒｕｎ ４２８１， ５５０３ ＬＭ Ｖｅｌｄｈｏｖｅｎ （ＮＬ）

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ファン クリンゲン，フベルトゥス ペトルス コルネリス

(72)【発明者】

【氏名】メルクス，リック ヨハネス コルネリス

(72)【発明者】

【氏名】デ ヨング，ピーター ヴィルヘルムス テオドルス

【テーマコード（参考）】

5B087

5D162

5E555

【Ｆターム（参考）】

5B087AA07

5B087AB02

5B087BC03

5B087BC32

5B087DE03

5D162AA05

5D162EG04

5E555AA27

5E555AA76

5E555BA02

5E555BA03

5E555BA05

5E555BA06

5E555BA13

5E555BA20

5E555BA83

5E555BA87

5E555BB02

5E555BB03

5E555BB05

5E555BB06

5E555BB13

5E555BB20

5E555BC08

5E555BC17

5E555BE16

5E555CA03

5E555CA29

5E555CA42

5E555CA47

5E555CB02

5E555CB10

5E555CB33

5E555CB65

5E555CB66

5E555CC05

5E555DA23

5E555DB53

5E555DC43

5E555EA22

5E555FA00

(57)【要約】

本発明は、裸眼立体ディスプレイ装置の視聴者に３次元画像と３次元音響とを同時に提示する方法であって、３次元画像及び３次元音響を裸眼立体ディスプレイ装置に対する視聴者の眼及び耳の位置に適合させることを含む方法に関する。このようにして、全く同一の仮想シーンの画像及び音をあたかも実際のシーンのものであるかのように視聴者に同時に提示することができ、これら両方が、３次元的かつシーン内の視聴者の動きに従って、体験される。更に、これは、視聴者とシーンとの対話、例えば、裸眼立体ディスプレイ装置上に表示された仮想物体との対話についても達成される。このようにして、視聴者には、シーンへの没入度の増大が提供され、これは、例えば、遠隔会議及びコンピュータゲームにおいて有用な用途を見出すことができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

裸眼立体ディスプレイ装置の視聴者に、
－裸眼立体ディスプレイ装置によって表示される３次元画像と、
－前記裸眼立体ディスプレイ装置によって生成される３次元音響とを同時に提示する方法であって、
前記方法が、３次元画像及び３次元音響を、裸眼立体ディスプレイ装置に対する視聴者の眼及び耳の位置にそれぞれ適合させることを含む、方法。

【請求項2】

前記裸眼立体ディスプレイ装置が、
－前記裸眼立体ディスプレイ装置に対する前記視聴者の眼の位置を決定するための視線追跡システムと、
－前記裸眼立体ディスプレイ装置に対する前記視聴者の耳の位置を決定する手段と、
－３次元画像を表示するように構成されるディスプレイ部と、
－３次元音響を生成するように構成される音声手段と、
－前記表示部を駆動するための画像データを生成し、前記音声手段を駆動するための音データを生成するように構成されるプロセッサと、を含み、
前記方法が、
ａ）前記視線追跡システムを使用して、前記裸眼立体ディスプレイ装置に対する前記視聴者の眼の位置を決定することと、
ｂ）前記裸眼立体ディスプレイ装置に対する前記視聴者の眼の位置を考慮して、前記ディスプレイ部用の画像データを生成することと、
ｃ）前記視線追跡システム及び／又は耳追跡システムを使用して、前記裸眼立体ディスプレイ装置に対する視聴者の耳の位置を決定することと、
ｄ）前記裸眼立体ディスプレイ装置に対する前記視聴者の耳の位置を考慮して、前記音声手段用の音データを生成することと、
ｅ）前記画像データ及び前記音データを用いて前記ディスプレイ部及び前記音声手段をそれぞれ駆動することにより、３次元画像及び３次元音響を同時に視聴者に提示することと、
ｆ）任意選択で、特定の時間間隔後にステップａ）～ｆ）を繰り返すことと、を含む、請求項１に記載の方法。

【請求項3】

前記裸眼立体ディスプレイ装置に対する前記視聴者の耳の位置を決定する前記手段が、耳追跡システム、及び／又は前記視線追跡システムで決定された眼の位置から耳の位置を導出する手段を含む、請求項２に記載の方法。

【請求項4】

－前記プロセッサが、２つの仮想カメラ及び２つの仮想マイクロホンを備える視聴覚アプリケーションを更に備え、
－前記視聴覚アプリケーションが、少なくとも仮想３次元環境が前記視聴者の眼及び耳を含む程度まで、前記仮想３次元環境を前記表示部の前の現実環境と組み合わせ、前記仮想３次元環境に対する前記視聴者の眼及び耳の位置は既知であり、
－前記２つの仮想カメラの各々が、前記視聴者の眼の位置を有し、前記仮想３次元環境を表す視聴覚入力データから前記画像データを共に生成し、
－前記２つの仮想マイクロホンの各々が、前記視聴者の耳の位置を有し、前記仮想３次元環境を表す視聴覚入力データから前記音データを一緒に生成する、請求項２又は３に記載の方法。

【請求項5】

－前記音声手段が、前記裸眼立体ディスプレイ装置に対して実質的に固定された位置を有するスピーカを備え、
－前記裸眼立体ディスプレイ装置が、前記スピーカによって生成された音を前記視聴者の両耳の間で分離し、耳とスピーカとの間に生じる歪みをキャンセルするクロストークキャンセルユニットを備える、請求項２～４のいずれか一項に記載の方法。

【請求項6】

前記音声手段が、前記視聴者の耳に対して実質的に固定された位置を有するヘッドホン又はイヤホンを備える、請求項２～４のいずれか一項に記載の方法。

【請求項7】

前記ステップａ）～ｅ）が、１秒あたり少なくとも１回の繰り返し速度で、好ましくは１秒あたり少なくとも１０回の繰り返し速度で、より好ましくは１秒あたり少なくとも５０回の繰り返し速度で繰り返される、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記３次元音響の少なくとも一部が、前記３次元画像又はそのいずれの部分にも関連付けられない、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記裸眼立体ディスプレイ装置が、テレビ、モニタ付きデスクトップコンピュータ、ラップトップ、映画表示システム、携帯電話、タブレット及びゲーム機の群から選択される、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記裸眼立体ディスプレイ装置が、物体、又は眼若しくは耳以外の身体部分である更なる身体部分を追跡するための追加の追跡システムを備え、前記方法が、
１）追加の追跡システムを使用することによって、裸眼立体ディスプレイ装置に対する物体又は更なる身体部分の位置及び／又は速度を決定するステップと、
２）特定の３次元画像及び／又は特定の３次元音響が前記物体又は更なる身体部分に関連付けられるべきかどうかを決定するステップと、
３）ステップ２）の前記決定を考慮して、ステップ１）において前記追加の追跡システムによって決定された、前記裸眼立体ディスプレイ装置に対する前記物体又は更なる身体部分の位置及び／又は速度を使用して、前記ディスプレイ部用の前記画像データ及び／又は前記音声手段用の前記音データを生成するステップと、を含む、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記物体は、ペン、鉛筆又はスタイラスペンなどのポインティングデバイスである、請求項１０に記載の方法。

【請求項12】

前記３次元画像及び前記３次元音響が、前記裸眼立体ディスプレイ装置に関連付けられたメモリユニットに含まれるか、又は特定のシーンのライブストリーミングによって提供される、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記方法は遠隔会議で使用される、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

裸眼立体ディスプレイ装置であって、
－前記裸眼立体ディスプレイ装置に対する視聴者の眼の位置を決定するための視線追跡システムと、
－前記裸眼立体ディスプレイ装置に対する視聴者の耳の位置を決定する手段と、
－視聴者の左眼に提示される左画像と視聴者の右眼に提示される右画像とからなる３次元画像を表示するように構成されるディスプレイ部と、
－３次元音響を生成するように構成された音声手段と、
－前記表示部を駆動するための画像データを生成し、前記音声手段を駆動するための音データを生成するように構成されるプロセッサと、を含み、
前記プロセッサが、視聴覚アプリケーションを含み、
－前記裸眼立体ディスプレイ装置に対する前記視聴者の眼の位置を考慮して、前記表示部を駆動するための左画像データ及び右画像データを生成するように構成された２つの仮想カメラと、
－前記裸眼立体ディスプレイ装置に対する前記視聴者の耳の位置を考慮して、前記音声手段を駆動するための左音データ及び右音データを生成するように構成された２つの仮想マイクロホンと、を備える、裸眼立体ディスプレイ装置。

【請求項15】

－前記音声手段が、前記裸眼立体ディスプレイ装置に対して実質的に固定された位置を有するスピーカを備え、
－前記裸眼立体ディスプレイ装置が、前記スピーカによって生成された音を前記視聴者の両耳の間で分離し、耳とスピーカとの間に生じる歪みをキャンセルするクロストークキャンセルユニットを備える、請求項１４に記載の裸眼立体ディスプレイ装置。

【請求項16】

前記音声手段が、前記裸眼立体ディスプレイ装置に対して可変位置を有するヘッドホン又はイヤホンを含む、請求項１４に記載の裸眼立体ディスプレイ装置。

【請求項17】

前記裸眼立体ディスプレイ装置に対する前記視聴者の耳の位置を決定するための前記手段が、耳追跡システム、及び／又は前記視線追跡システムで決定された前記眼の位置から前記耳の位置を導出するための手段を含む、請求項１４～１６のいずれか一項に記載の裸眼立体ディスプレイ装置。

【請求項18】

物体、又は手若しくは足など、眼若しくは耳以外の身体部分である更なる身体部分を追跡するように構成された追加の追跡システムを更に備え、前記裸眼立体ディスプレイ装置が、
－前記裸眼立体ディスプレイ装置に対する前記視聴者の前記耳の位置と、前記裸眼立体ディスプレイ装置に対する前記物体又は前記更なる身体部分の位置とを考慮して、前記物体又は前記身体部分に関連付けられた３次元音響を再生し、
－前記裸眼立体ディスプレイ装置に対する前記視聴者の前記眼の位置と、前記裸眼立体ディスプレイ装置に対する前記物体又は前記更なる身体部分の位置とを考慮して、前記物体又は前記身体部分に関連付けられた３次元画像を表示するように構成されている、請求項１４～１７のいずれか一項に記載の裸眼立体ディスプレイ装置。

【請求項19】

請求項１８に記載の裸眼立体ディスプレイ装置と、スタイラスペンとを含む構成であって、前記追加の追跡システムが、前記スタイラスペンを追跡するように構成され、前記裸眼立体ディスプレイ装置が、
－前記裸眼立体ディスプレイ装置に対する前記視聴者の前記耳の位置と、前記裸眼立体ディスプレイ装置に対する前記スタイラスペンの位置とを考慮して、前記スタイラスペンに関連付けられた３次元音響を再生し、
－前記裸眼立体ディスプレイ装置に対する前記視聴者の前記眼の位置と、前記裸眼立体ディスプレイ装置に対する前記スタイラスペンの位置とを考慮して、前記スタイラスペンに関連付けられた３次元画像を表示するように構成されている、構成。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、裸眼立体ディスプレイ装置によって表示される３次元画像と３次元音響とを視聴者に同時に提示する方法及び装置に関する。

【背景技術】

【0002】

裸眼立体ディスプレイは、ここ２０年間で大きな注目を集めてきた。それらの最も顕著な特徴の１つは、視聴者がディスプレイに対して移動するときにも、専用の眼鏡装置なしで視聴者が３次元画像を知覚可能となることである。この技術の鍵は、レンチキュラーレンズ又は視差バリアを備えるスクリーンと組み合わせた視線追跡器の存在である。これによって、裸眼立体ディスプレイは、左眼画像を視聴者の左眼に、右眼画像を視聴者の右眼に同時に向くことが確実となる。結果として得られる３次元画像は、ディスプレイの前に、又はディスプレイよりも遠くに（ディスプレイの「後ろに」）あるように見え得る。この技術はまた、例えばある仮想物体の周囲を見るために視聴者がディスプレイに対して移動するとき、表示されたコンテンツの遠近変化を体験することを可能にする。視聴者は、ヘッドセット、ヘッドマウントディスプレイ、眼鏡などの不自然な周辺機器を必要とせずに３次元現実をそのように知覚することができる。これにより、視聴者は、実環境の重要な部分（自身の手及び足、床、視聴者と対話する他の人など）を直接見たり聞いたりすることができ、裸眼立体ディスプレイは、仮想世界へのウィンドウを形成する。そのような設定では、視聴者は、彼が現実世界に物理的に存在することを体験する。この一部は真に信頼できる３次元仮想環境である。このような体験は、「没入型体験」と呼ばれることが多い。

【0003】

そのような仮想環境の視聴者の体験を向上させるために、裸眼立体ディスプレイは、他の特徴を用いて拡張されることができる。例えば、表示されるシーンと視聴者が対話することを可能にする機能、又は視覚以外の感覚、特に聴覚を刺激する機能である。しかしながら、音と３次元表示との組み合わせにはいくつかの欠点がある。

【0004】

所望の仮想視聴覚体験の一部は、シーンの視聴者（この場合は聴取者でもある）が裸眼立体ディスプレイに対して自分の頭部を動かすと、これがシーン上の視覚的視点だけでなく、音が知覚される方法にも反映されることである。例えば、特定の可視仮想アイテムが音を生成するとき、視聴者は、音が実際に特定のアイテムから発生していることを認識することができなければならない。更に、一方の耳をアイテムに向けるとき、実際と同様に、視聴者は、その耳でより強い音を知覚し、より離れた耳では（それほど多くは）知覚しないはずである。

【0005】

しかしながら、これは、従来の裸眼立体ディスプレイの場合には当てはまらず、この場合、音は、通常はディスプレイの前の中心にある特定の位置にいる視聴者に対して最適化される。これは、従来、視聴者の周囲の特定の位置に複数のスピーカ（例えば、５つ又は７つ）を配置することによって達成される（口語的にホームシネマシステムとして知られる）。感音を改善するための別の従来の努力は、ヘッドホン又はイヤホンの使用に関する。しかしながら、そのような不自然な周辺機器を装着することは、それらが視聴者の視聴覚体験を妨害するので望ましくない（上記でも強調されているように）。

【0006】

従来の裸眼立体ディスプレイで体験される別の欠点は、シーンとの視聴者の対話に関する。例えば、視聴者が、ディスプレイの前で知覚する仮想物体を（例えば、スワイプすることによって）移動させるとき、そのような動作に関連付けられた音は、表示された画像又は映画の音と適切に対応しない。

【0007】

したがって、従来の手段によって視聴者に提供される没入型体験は、特に仮想環境の現実世界感音を提供することに関して不十分であるように見える。

【発明の概要】

【0008】

したがって、本発明の目的は、裸眼立体ディスプレイによって提供される視聴覚体験を改善するための手段及び／又は方法を提供することであり、特に、視聴者が裸眼立体ディスプレイに対して彼／彼女の頭部を動かすとき、及び／又は視聴者が表示されたシーンと対話するときに、よりリアルな感音を実現するための手段及び／又は方法を提供することである。

【0009】

更なる目的は、従来の裸眼立体ディスプレイで可能な体験よりも没入感のある体験を視聴者に提供することである。

【0010】

これらの目的の１つ以上は、ビューだけでなく音も裸眼立体ディスプレイに対する視聴者の頭部の位置に適合させることによって達成され得ることが分かった。

【0011】

したがって、第１の態様において、本発明は、自動立体ディスプレイ装置の視聴者に、
－裸眼立体ディスプレイ装置によって表示される３次元画像と、
－裸眼立体ディスプレイ装置によって生成される３次元音響とを同時に提示する方法であって、
方法は、３次元画像及び３次元音響を、裸眼立体ディスプレイ装置に対する視聴者の眼及び耳の位置にそれぞれ適合させることを含む、方法に関する。

【0012】

第２の態様では、本発明は、裸眼立体ディスプレイ装置に関し、
－ディスプレイ装置に対する視聴者の眼の位置を決定するための視線追跡システムと、
－ディスプレイ装置に対する視聴者の耳の位置を決定する手段と、
－視聴者の左眼に提示される左画像と視聴者の右眼に提示される右画像とからなる３次元画像を表示するように構成されるディスプレイ部と、
－３次元音響を生成するように構成された音声手段と、
－表示部を駆動するための画像データを生成し、音声手段を駆動するための音データを生成するように構成されるプロセッサと、を含み、
プロセッサは、視聴覚アプリケーションを含み、
－ディスプレイ装置に対する視聴者の眼の位置を考慮して、表示部を駆動するための左画像データ及び右画像データを生成するように構成された２つの仮想カメラと、
－ディスプレイ装置に対する視聴者の耳の位置を考慮して、音声手段を駆動するための左音データ及び右音データを生成するように構成された２つの仮想マイクロホンと、を備える。

【図面の簡単な説明】

【0013】

【図1】視聴者が裸眼立体ディスプレイ装置の前に座っている２つの設定の上面図を概略的に示す。

【図2】本発明の方法を実行するためのアーキテクチャの第１の概略図である。

【図3】本発明の方法を実行するためのアーキテクチャの第２の概略図である。

【発明を実施するための形態】

【0014】

図中の要素は、簡略化及び明確化のために示されており、必ずしも縮尺通りに描かれていない。例えば、図中のいくつかの要素の寸法は、本発明の様々な例示的な実施形態の理解を向上させるのを助けるために、他の要素に対して誇張されている場合がある。特に、特定の設定における視聴者、裸眼立体ディスプレイ装置、及び仮想物体の相対的な寸法は、図から導出することができない。更に、本明細書における「第１」、「第２」などの用語は、もしあれば、一般に、同様の要素を区別するために使用され、必ずしも連続的又は経時的な順序を説明するために使用されるわけではない。

【0015】

説明及び特許請求の範囲を通して、「３次元画像」及び「裸眼立体ディスプレイ画像」という用語は、互換的に使用され、同じタイプの画像を指す。ここで、裸眼立体ディスプレイ画像は厳密には３次元画像と同じではないと言われることが認識される。裸眼立体ディスプレイ画像は、視聴者の左眼に提示されるべき左画像と、視聴者の右眼に提示されるべき右画像とから構成されるので、視聴者によって３次元としてのみ知覚される画像である。同じことが、「３次元ビュー」及び「裸眼立体ビュー」という用語にも当てはまり、これらの用語は、この説明全体を通して、同じタイプのビューを指す。

【0016】

本発明の文脈において、「左画像」という用語は、左眼用の裸眼立体ディスプレイ装置によって表示される画像を意味する。これに対応して、「右画像」という用語は、右眼用の裸眼立体ディスプレイ装置によって表示される画像を意味する。左画像及び右画像はまた、それが他方の眼に当たらない限り、それぞれの眼に近い領域に表示されてもよい。しかしながら、実際には、他方の眼に「漏れる」光の小さな（又は非常に小さな）部分（クロストーク）が常に存在するが、視聴者はこれを常に認識しているわけではなく、依然として彼らの－３次元視聴体験を満足のいくものとみなす。

【0017】

本発明の文脈において、「画像データ」という用語は、何らかの方法で本発明の方法の裸眼立体ディスプレイ装置に入力され、この装置によって処理可能なフォーマットに変換される画像情報を指す。それは、装置に関連付けられたメモリ部分に記録されてもよく、又は装置に関連付けられたカメラによってキャプチャされてもよい（そのようなカメラは、異なる環境においてビデオ会議に参加している人の周りのシーンの画像をキャプチャすることができる、装置から離れたカメラであってもよい）。画像データは、画像データを使用して装置上に２次元又は３次元画像を生成することができるという点で、可視画像を表す情報を含む。左画像データ及び右画像データは、上記の画像データの説明に該当する画像データの特定の形態である。特に、左画像データ及び右画像データは、それぞれ可視の左画像又は右画像を表す情報を含む。３次元画像は、典型的には、左画像データ及び対応する右画像データを使用して裸眼立体ディスプレイ装置上に生成される。

【0018】

本発明の文脈において、「音データ」という用語は、何らかの方法で本発明の方法の裸眼立体ディスプレイ装置に入力され、この装置によって処理可能なフォーマットに変換される音情報を指す。それは、装置に関連付けられたメモリ部分に記録されてもよく、又は装置に関連付けられたマイクロホンによってキャプチャされてもよい（そのようなマイクロホンは、異なる環境においてビデオ会議に参加している人の周りのシーンの音をキャプチャすることができる、装置から離れたマイクロホンであってもよい）。音データは、音データが二次元又は３次元音響を生成するために装置によって使用され得るという点で、可聴音を表す情報を含む。左音データ及び右音データは、上述した音データの説明に該当する音データの具体的な形態である。特に、左音データ及び右音データは、それぞれ可聴の左音又は右音を表す情報を含む。３次元音響は、左音データ及び対応する右音データを使用して裸眼立体ディスプレイ装置によって再生される。

【0019】

本発明の文脈では、「視聴者」という用語は、本発明の方法によって生成される提示されたコンテンツを消費する人を意味する。このような人は、３次元画像だけでなく３次元音響も消費する。便宜上、その人は「視聴者」と呼ばれるが、同時に「聴取者」でもあることが理解される。本文全体を通して、視聴者への言及は、「彼（he）」、「彼（him）」又は「彼（his）」のような男性の単語によって行われる。これは、明確さ及び簡潔さの目的のためだけであり、「彼女（she）」及び「彼女（her）」のような女性の単語が等しく適用されることが理解される。

【0020】

本発明の文脈では、「３次元音響」は、人間が現実世界で日常生活において音を体験する方法を指す。音は、あらゆる方向及び様々な距離から耳に到達し、耳介（耳介）及び人の頭部の内部で修正を受ける。これらの要因は人間が聞く３次元聴覚画像に寄与する。本発明の文脈において、３次元音響は、人間が生きている環境における実際の音であってもよく、又は人間に実際の音の知覚を与える技術的手段によるそのシミュレーションであってもよい。

【0021】

本発明の文脈では、「３次元音響」は、音波の記録、例えば、ライブ記録された音波、ストリーミングされた音波、又は人工的に作成された音波を指し、これらから３次元音響が生成され得る。その結果、たとえ音がちょうど２つのスピーカから生成されたとしても、異なる音が異なる３次元位置から知覚される。したがって、３次元音声システムは、音がスピーカ又はヘッドホンからではなく、３次元空間内の任意の点から生じることを脳に確信させることによって、現実的な聴覚イベントをシミュレートすることができる。

【0022】

３次元音響声は、ライブで記録された３次元音響であってもよく、あるいは、予め記録された音又は音効果を、それらが仮想空間を通って移動し、その中の仮想頭部に巻き付くときに変更するために、音処理アルゴリズムを使用してコンピュータ生成されてもよい。ライブ記録された３次元音響の場合、記録は「バイノーラル音声」記録と呼ばれる。これは、聴取者の両耳を表す２つのマイクロホンを使用する音を記録する方法である。これはダミーヘッド記録として知られており、例えばマネキンヘッドが各耳にマイクロホンを装着される。したがって、バイノーラル音声は、人間が現実世界で聞こえるように正確に音を聞く方法で３次元音響像を生成することができる音声コンテンツを記述するために使用される用語である。

【0023】

バイノーラル音声は、（技術的な制限の結果として）ヘッドホンを使用した再生のために元々意図されているが、最近の新しい技術の進歩は、スピーカを介した適切な変換を可能にした。ここで、それらが聴取者を囲む必要はない。これは、クロストークキャンセルユニットによって駆動される２つ以上のスピーカ、典型的には４つ以上のスピーカのアレイを必要とする。特定の開発は、聴取者の位置に対するクロストークキャンセルの適応性に関するものであり、その結果、聴取者は、音場のいわゆるスイートスポットにおいて行われることに限定されない（例えば、国際公開第２０１７１５８３３８（Ａ１）号を参照されたい）。

【0024】

本発明の方法は、裸眼立体ディスプレイ装置を利用する。これは、典型的には、デスクトップ装置又は壁掛け装置など、その使用中に現実世界において大部分が静止している装置である。例えば、裸眼立体ディスプレイ装置は、テレビ、モニタを有する（デスクトップ）コンピュータ、ラップトップ、又は映画ディスプレイシステムである。しかしながら、それは、視聴者が裸眼立体ディスプレイ装置と共に現実世界において（自由に）移動することを可能にする、携帯電話、タブレット又はゲーム機などの携帯装置であってもよい。

【0025】

裸眼立体ディスプレイ装置は、例えば国際公開第２０１３１２０７８５（Ａ２）号によって当技術分野で知られている。裸眼立体ディスプレイ装置の主な構成要素は、視線追跡システム、プロセッサ、ディスプレイ部、及び音声手段である。

【0026】

視線追跡システムは、裸眼立体ディスプレイ装置に対する視聴者の眼の位置を追跡するための手段を備え、プロセッサと電気的に通信する。その主要な構成要素は、１）ディスプレイ部分の視野に向けられたカメラ、及び２）カメラによって生成されたデータを処理する視線追跡器である。

【0027】

ディスプレイ部は、視線追跡システムによって眼が追跡される視聴者に３次元画像を表示するための手段を備える。そのような手段は、表示出力を生成するための画素のアレイと、左画像を視聴者の左眼に向け、右画像を視聴者の右眼に向けるためにアレイ上に設けられた視差バリア又はレンチキュラーレンズとを備える。

【0028】

音声手段は、視聴者に対して３次元音響を再生する手段を含む。例えば音声手段は、ステレオスピーカ、スピーカアレイ、ヘッドホン又はイヤホンなどのアイテムを含む。

【0029】

プロセッサは、視線追跡システムによって取得されたデータを考慮して、左右の画像データを生成し、それを用いてディスプレイ部を駆動するように構成されている。したがって、プロセッサの重要な構成要素はいわゆる「ウィーバ」であり、左画像及び右画像をピクセルのアレイに織り込み、それによって、どのピクセルがそれぞれの画像に対応するピクセル出力を生成するかを決定する。このようにして、特定の位置にいる視聴者に対して、左右の画像データから３次元画像を表示することができる。

【0030】

プロセッサはまた、左右の音データを生成して３次元音声を生成し、眼（及び任意選択で耳）追跡システムによって取得されたデータを考慮して音声手段を駆動するように構成されている。

【0031】

プロセッサの任意の構成要素は、いわゆる「クロストークキャンセルユニット」であり、これは、音声手段がヘッドホン、イヤホン、又は耳に装着される他の装置を含まない場合に使用される。それは、左耳に向けられた音が右耳によって知覚されることを防止し、その逆も同様である。

【0032】

本発明の方法では、裸眼立体ディスプレイ装置は、視聴覚アプリケーション、耳追跡システム、眼及び耳以外の身体部分を追跡するためのシステム、視聴者に関連付けられた物体を追跡するためのシステム、及び複数の自動立体ビューを提供するための手段（以下で更に詳述する）などの追加の特徴を更に備えることができる。

【0033】

本発明の方法では、３次元画像及び３次元音声は、－視聴者に同時に提示される。これにより、３次元画像が視聴者の位置に適合されるだけでなく、３次元音響も視聴者の位置に適合される。特に、３次元画像は視聴者の眼の位置に適合され、３次元音響は視聴者の耳の位置に適合される。ここで、視聴者の位置とは、裸眼立体ディスプレイ装置に対する位置を意味する。

【0034】

３次元画像を視聴者の眼の位置に適合させることは、３次元画像の斜視図が、裸眼立体ディスプレイ装置に対する視聴者の位置に従って変更されることを意味する。このようにして、視聴者は、物体をリアルに見回すことができる（いわゆる「ルックアラウンド効果」）。

【0035】

同様に、３次元音響を視聴者の眼の位置に適応させることは、３次元音響が裸眼立体ディスプレイ装置に対する視聴者の位置に従って変更されることを意味する（これは、同様に「ヒアアラウンド効果」と呼ばれる）。

【0036】

３次元画像と３次元音が視聴者の位置に適合される状況を図１に示し、２つの設定（Ａ及びＢ）の上面図を示しており、視聴者（１）は、カメラ（５）と、音声スピーカのアレイによって表される音声手段（４）とを備える裸眼立体ディスプレイ装置（２）の前に座っている。設定Ａにおいて、視聴者（１）は、裸眼立体ディスプレイ装置の前の環境において固定位置を有する仮想視聴覚物体（３）を右前方で見る。設定Ｂでは、視聴者は自分の位置を変更しており、その結果、同じ仮想物体（３）を自分の左前方に見る。視聴者の位置の変化の間、この仮想物体（３）の聴覚及び視覚認知は、視聴者の位置に適合されている。例えば、音声手段（４）によって生成された音は、設定Ａでは視聴者の右前方にあり、設定Ｂでは視聴者の左前方にある仮想物体（３）から生じるように知覚される（すなわち、視聴者はヒアアラウンド効果を知覚する）。同時に、裸眼立体ディスプレイ（２）によって提供される仮想物体（３）のビューは、設定Ａにおいて視認可能であったいくつかの部分が設定Ｂにおいて見えなくなり、他の部分のみが設定Ｂにおいて初めて視認可能になるという意味で変化している（すなわち、視認者は、ルックアラウンド効果を知覚する）。したがって、図１は、本発明の方法が、仮想コンテンツが現実として視覚的及び聴覚的に体験されるように、仮想コンテンツが視聴者の位置に適合されることを可能にすることを示す。完全を期すために、仮想視聴者（１）に対する仮想物体（３）の移動中に、視聴者（１）が裸眼立体ディスプレイ（２）に対して静止したままであるとき、同じ効果が知覚されることに留意されたい。

【0037】

本発明は、３次元画像及び３次元音響を同時に視聴者に提示することに関するが、３次元音響又は少なくともその一部は、必ずしも３次元画像又はその任意の一部と関連付けられないことを強調しなければならない。視聴者には見えない仮想物体は、視聴者の頭部の上に飛んでいる仮想バグ、又は視聴者の後ろでカチカチと鳴っている仮想時計など、視聴者によって知覚される音を生成することができる。そのような物体は、たとえ視聴者が彼／彼女の頭をそれらに向けても、それらが視聴者と表示部分との間に存在しないので、定義により視聴者には見えない。それにもかかわらず、視聴者がディスプレイに対して彼／彼女の頭を動かすとき、彼は、バグ又は時計の音の異なる知覚を有する。同時に、ユーザは、表示された３次元画像の変化する視点を知覚する。すなわち、３次元画像が視聴者に提示される領域は、３次元音響が視聴者に提示される領域よりも小さくてもよい。

【0038】

本発明の方法において、裸眼立体ディスプレイ装置は、典型的には、
－ディスプレイ装置に対する視聴者の眼の位置を決定するための視線追跡システムと、
－ディスプレイ装置に対する視聴者の耳の位置を決定する手段と、
－視聴者の左眼に提示される左画像と視聴者の右眼に提示される右画像とからなる３次元画像を表示するように構成されるディスプレイ部と、
－３次元音響を生成するように構成された音声手段と、
－表示部を駆動するための左画像データ及び右画像データを生成し、音声手段を駆動するための左音データ及び右音データを生成するように構成されるプロセッサと、を含む。

【0039】

そのような方法は、典型的には以下：
ａ）視線追跡システムを使用して、裸眼立体ディスプレイ装置に対する視聴者の眼の視聴位置を決定するステップと、
ｂ）裸眼立体ディスプレイ装置に対する視聴者の眼の位置を考慮して、表示部分のための左画像データ及び右画像データを生成するステップと、
ｃ）視線追跡システム及び／又は任意選択の耳追跡システムを使用して、裸眼立体ディスプレイ装置に対する視聴者の耳の聴取位置を決定するステップと、
ｄ）ディスプレイ装置に対する視聴者の耳の位置を考慮して、音声手段のための左音データ及び右音データを生成するステップと、
ｅ）画像データ及び音データを用いてディスプレイ部及び音声手段をそれぞれ駆動し、それによって、３次元画像及び３次元音響を同時に視聴者に提示するステップと、を含む。

【0040】

通常、方法ステップａ）～ｅ）は、複数回、例えば、１秒あたり少なくとも１回の繰り返し速度で、１秒あたり少なくとも１０回、少なくとも２５回、少なくとも４０回又は少なくとも５０回の繰り返し速度で繰り返される。特に、速度は、毎秒２７～３３回の繰り返しの範囲内、５７～６３回の繰り返しの範囲内、又は８７～９３回の繰り返しの範囲内である。より高い速度は、より高い周波数で連続画像を生成し、これは、視聴者によって映画として知覚される。より高い速度はまた、３次元画像及び３次元音響がより正確に視聴者の位置に適合されることを意味する。例えば、視聴者が裸眼立体ディスプレイ装置に対して速い動きをするとき、これらの動きは、本発明の方法が高い繰り返し速度で実行されるときに適時に考慮される。

【0041】

別の表現では、本発明は、裸眼立体ディスプレイ装置を駆動する方法に関し、この方法は、裸眼立体ディスプレイ装置の視聴者に、
－裸眼立体ディスプレイ装置によって表示される３次元画像と、
－裸眼立体ディスプレイ装置によって生成される３次元音響とを同時に提示する方法であって、
３次元画像及び３次元音響は、裸眼立体ディスプレイ装置に対する視聴者の眼及び耳の位置にそれぞれ適合される。

【0042】

一実施形態では、裸眼立体ディスプレイ装置のプロセッサは、３次元画像及び３次元音がそれぞれ生成される画像データ及び音データを生成するように構成された視聴覚アプリケーションを含む（画像データは、左画像データ及び右画像データからなり、音データは、左音データ及び右音データからなる）。視聴覚アプリケーションでは、裸眼立体ディスプレイ装置に対する視聴者の位置（より具体的には、それぞれ眼の位置及び耳の位置）への３次元画像及び３次元音響の実際の適応が行われる。これにより、視聴者は、「ルックアラウンド効果」と「ヒアアラウンド効果」とを同時に知覚することができる。視線追跡システムによって生成された位置データは、任意選択で別個の耳追跡システムを使用することによって、この機能を実行するための入力として働く。

【0043】

視聴覚アプリケーションは、典型的には、仮想３次元環境をディスプレイ部の前の（典型的にはその視野内にある）現実環境と組み合わせる。これは、少なくとも、本発明の方法を実行することによって得られる視聴者の眼及び耳に関する位置データを使用して、仮想３次元環境に対する視聴者（現実のエンティティ）の位置、特に視聴者の眼及び耳の位置をもたらすように行われる。言い換えれば、（少なくとも）視聴者の眼及び耳であるいくつかの現実世界のアイテムで補完される仮想３次元環境が存在する。更に、視聴者の眼及び耳は、仮想３次元環境に対して既知の位置を有する。視聴者の他の身体部分（例えば、指又は足）又はスタイラスペン又は鉛筆などの物体など、現実世界に存在する他の要素も仮想３次元環境に「追加」され得る。もちろん、これは、仮想３次元環境に対するそのような身体部分又は物体の既知の位置によっても生じる。

【0044】

視聴覚アプリケーションは、２つの仮想カメラ及び２つの仮想マイクロホンを含み、それらの全てが仮想３次元環境内に位置を有し、２つの仮想カメラの各々は、視聴者の眼の位置を有し、２つの仮想マイクロホンの各々は、視聴者の耳の位置を有する。そして、２つの仮想カメラが左画像データ及び右画像データを生成（レンダリング）し、２つの仮想マイクが左音データ及び右音データを生成する。

【0045】

これらの仮想カメラ及び仮想マイクロホンのための入力は、典型的には、視聴覚メモリ（例えば、視聴覚アプリケーションに関連付けられた関連ライブラリ及びサポートプログラム）によって提供される。視聴覚メモリは、典型的には、視聴者に提示されるべき３次元環境の表現を含み、ユーザの動作などの現実世界からの入力によって修正されることが可能である。そのような動作は、例えば、仮想３次元環境内に配置された仮想ボタンを押すこと、又は仮想３次元環境内で飛んでいるバグ（表示部分上に提示され、表示部分の前にあると知覚されるボタン又はバグ）を打つことである。動作はまた、例えば、ボタンを押すか、又は３次元描画を行うために、スタイラスペンの使用を含んでもよい。

【0046】

仮想カメラ及び仮想マイクロホンを頭部に装着することにより、視聴者は、仮想３次元環境内をリアルタイムでナビゲートすることができる。一方では、裸眼立体ディスプレイに対して自身を移動させることによって、他方では、例えばマウス、ジョイスティック、又はキーボードショートカットを使用することによって、自身に対して仮想３次元環境を移動させることによって。ユーザはまた、ボタンを押すか、又はバグを打つことによって、仮想３次元環境を操作することができ、その動作は、裸眼立体ディスプレイ装置に、そのような動作に対応する音を再生させ得る。

【0047】

仮想カメラは、次いで、所与の位置及び配向（６自由度）における仮想３次元環境内の点として定義される。それらは、その中で移動及び／又は再配向されることができ、したがって、左右の画像データを生成するための位置、方向、及び画角を定義する。

【0048】

仮想マイクロホンについても同様の考察が適用される。なぜなら、仮想マイクロホンは、移動及び／又は再配向され得る仮想３次元環境内の点としても定義されるからである。それらは、音が仮想３次元環境内のそれらの特定の位置及び配向で知覚される方法を定義し、これに従って左右の音データを生成する。

【0049】

上述したように、仮想カメラ及び仮想マイクロホンのための入力は、通常、視聴覚メモリによって形成される。それは、仮想世界における要素のデータベースを備えてもよく、視聴者に対するその位置及び配向は、視線追跡システム及び耳追跡システムのおかげでリアルタイムで知られている。それらの位置及び配向に加えて、表面特性、機械的挙動（例えば、要素が衝突するときに適用される）、音の生成、音の反射、及び光の反射など、要素の他の特性も知られ得る。

【0050】

仮想カメラ及び仮想マイクロホンのための入力は、例えば遠隔シーンの視聴覚ライブストリームによって提供されてもよい。このような場合は、視聴者が異なる（典型的には遠隔の）シーンにいる別の人と、それぞれのシーンからの画像及び音によって対話するビデオ会議において有利な用途が見出される。各人が他の人のシーンから体験する位置適合された３次元画像及び３次元音響は、彼らの対話を、従来の遠隔会議手段で達成され得るよりも自然に感じさせる。

【0051】

したがって、本発明の方法では、３次元画像及び３次元音響は、裸眼立体ディスプレイ装置に関連付けられたメモリユニットに含まれてもよく、又は特定のシーンのライブストリーミングによって提供される。

【0052】

本発明の方法を実行することができるアーキテクチャが図２に概略的に示されており、図２は、仮想物体（３）を表示するディスプレイ部（２）の前に視聴者（１）が位置しているシーンの上面図である。音声手段（４）も視聴者（１）に提供され、音声スピーカ（４ａ）のアレイ又はヘッドホン（４ｂ）のセットによって表される。更に、カメラ（５）は、視聴者（１）を含むディスプレイ部（２）の前のシーンに向けられる。カメラ（５）は、シーンの３次元に関するデータをキャプチャするように設計されている。視聴覚データプロバイダ（７）は、視聴覚データの入力を提供するために存在する。プロセッサ（６）は、ディスプレイ部（２）、音声手段（４）、カメラ（５）、及び視聴覚データプロバイダ（７）に動作可能に接続される。プロセッサ（６）は、カメラ（５）から受信したデータを視聴覚データプロバイダ（７）から受信したデータと共に処理して、ディスプレイ部（２）への入力として画像データを生成し、音声手段（４）への入力として音データを生成する。

【0053】

図３は、図２のアーキテクチャを詳細に示し、プロセッサの異なる構成要素と、それらがどのように対話するかを示す。プロセッサは、眼及び耳、並びに終的な他の身体部分又は物体に関する位置データを生成するように構成された視聴者追跡器を備える。そうするために、視聴者追跡器は、カメラによってキャプチャされたデータを受信する。ウィーバ、クロストークキャンセルユニット、及び視聴覚アプリケーションもプロセッサの一部であり、視聴者追跡器から位置データを取得する。視聴覚アプリケーションは、２つの仮想カメラ及び２つの仮想マイクロホンを備える。仮想カメラは、ウィーバに対する入力として左画像データ及び右画像データを生成する。仮想マイクロホンは、音声手段への入力として左音データ及び右音データを生成する。音声スピーカが音声手段として使用される場合、左音データ及び右音データは、最初にクロストークキャンセルユニットによって処理される。音声手段としてヘッドホンを用いる場合には、このようなユニットは不要であり、ヘッドホンは、左音データ及び右音データを直接受信することができる。

【0054】

本発明の方法では、裸眼立体ディスプレイ装置に対する視聴者の眼の位置は、通常、１）裸眼立体ディスプレイ装置のディスプレイ部の視野内の視聴者に向けられたカメラと、２）カメラによって生成されたデータを処理する視線追跡器とを備える視線追跡システムを使用して視聴者の眼を追跡することによって得られる。得られた眼の位置データは、左画像及び右画像が視聴者のそれぞれの眼に正確に投影されることを可能にし、これらのデータはまた、３次元画像の表示が視聴者の位置に適合されることを可能にし、その結果、視聴者はルックアラウンド効果を知覚することができる。

【0055】

視線追跡システム内のカメラ（当技術分野では「レンジカメラ」としても知られる）は、一般に、シーン内の１つ以上の特定の点（一方）とカメラ（他方）との間の距離に関する情報を収集することができる光センサ装置である。点は、典型的には、カメラの視野内にある頭部の一部又は眼の一部である。装置は、いくつかの異なる技術のうちの１つに従って動作することができる。典型的には、これらの技術は、ステレオ三角測量、シート光三角測量、構造化光及び飛行時間である。視線追跡システムには複数のカメラが存在してもよい。

【0056】

カメラは、特に、シーンの視覚画像又は赤外線画像をキャプチャし、シーン内の１つ以上の特定の点と、頭部の一部又は眼の一部であるカメラとの間の距離に関する情報を、典型的にはステレオ三角測量によって収集することができる装置であってもよい。

【0057】

カメラのデータを処理する視線追跡システム内の視線追跡器は、カメラ又は表示部分などのカメラに固定された別の部分に対する両眼（具体的には眼窩、より具体的には瞳孔）の位置を実際に計算するように構成されている。カメラがシーンの視覚画像又は赤外線画像をキャプチャすることができる場合、視線追跡器は、通常、キャプチャされた視覚画像又は赤外線画像内の眼を認識することもできる。

【0058】

本発明の方法で使用される視線追跡システムは、少なくとも１人の人の眼を追跡することができる。また、複数の人の眼を追跡することも可能である。その場合には、顔認識を用いて個人を区別したり、個人を識別したりするように構成されてもよい。

【0059】

視線追跡システムは、手、足、腕、脚又は耳など、眼以外の身体部分を追跡するように構成されてもよい。視聴者の身体部分に加えて、システムは、物体、特に視聴者によって制御される物体を追跡するように構成されてもよい。そのような物体は、ランダムなペン又はボールなどの「ランダム」物体、又は、例えば、スタイラスペンなどの認識可能なマーカを備えることによって、追跡システムによって検出することができる「適合化された」物体であり得る。

【0060】

眼に加えて視聴者の１つ以上の身体部分、及び／又は視聴者に関連付けられた最終的な物体を追跡するシステムの能力を説明することが所望されるとき、用語「視線追跡システム」及び「視線追跡器」は、本説明では、それぞれ、「視聴者追跡システム」及び「視聴者追跡器」に一般化される。したがって、「視聴者追跡システム」という用語は、少なくとも視線追跡システムを含むことを意味する。

【0061】

視聴者の耳の位置は、本発明の方法において異なる方法で決定することができる。それは、例えば、眼の位置から導出され得る。この位置は視線追跡システムを介して知られているので、耳追跡システムを適用する必要はない。

【0062】

しかしながら、耳追跡システムによって耳を具体的に追跡することも可能である（そうである場合、そのようなシステムは、典型的には、上記で定義されるような視聴者追跡システムの一部である）。しかしながら、これは、耳が耳追跡のためのカメラの視野から外れる可能性があるので、全ての場合において効果的であるわけではない。そのような場合、視線追跡情報と耳追跡とを使用することの組み合わせが有効であり得る。したがって、本発明の方法では、裸眼立体ディスプレイ装置に対する視聴者の耳の位置を決定する手段は、耳追跡システム及び／又は視線追跡システムで決定された眼の位置から耳の位置を導出する手段を備えることができる。

【0063】

本発明の方法では、３次元音響は音声手段によって作られる。これらの手段は、３つのグループ、すなわち、１）視聴者によって装着され、したがって視聴者の耳に対して実質的に固定された位置を有するものと、２）裸眼立体ディスプレイ装置に取り付けられるか、又は裸眼立体ディスプレイ装置に対して実質的に固定された位置を有する別の静止位置を有するものと、３）現実世界に対して静止位置を有するが、視聴者及び裸眼立体ディスプレイ装置に対しては静止位置を有さないものとに分けることができる。第１の場合、３次元音響は、典型的には、ヘッドホン又はイヤホンを通して体験される（したがって、そのような場合、音声手段は、ヘッドホン又はイヤホンを備える）。第２及び第３のケースでは、３次元音響は、典型的には、遠隔スピーカ又はスピーカアレイを通して体験される（したがって、そのようなケースにおける音声手段は、スピーカ又はスピーカアレイを備える）。

【0064】

第２及び第３の場合（即ち、遠隔スピーカを有する場合）、裸眼立体ディスプレイ装置、特にそのプロセッサは、クロストークキャンセルユニットを有することが必要とされる。そのようなユニットは、音声手段によって生成された音を視聴者の両耳の間で分離するように構成されている（すなわち－左耳用に意図された音が右耳によって知覚されることを防止する、逆もまた同様である）。離れたスピーカは、通常１つの特定の耳に到達する際には選択的ではないため、それ以外の場合ではこれが生じる。一方、ヘッドホン又はイヤホンは、設計によってこの能力を有する。そのようなユニットはまた、典型的には、耳とスピーカとの間に生じる任意の歪みをキャンセルするように構成される。なぜなら、それは、耳介の非対称形態及びそれらの内部構造（頭部関連伝達関数（ＨＲＴＦ）とも呼ばれる）によって音の歪みを補償するからである。効果的なクロストークキャンセルユニットは、聴取者の耳に仮想ヘッドホンを作成し、バイノーラル信号のセットがきれいに歪みなく配信されるようにする。したがって、クロストークキャンセルユニットは、１）音声手段によって再生された音を視聴者の両耳の間で分離すること、及び２）耳とスピーカとの間で発生する歪みをキャンセルすることができる。

【0065】

本発明の方法において使用される裸眼立体ディスプレイ装置は、典型的には、単一の裸眼立体ビューを提供するように、２つのビューを表示することができる。しかしながら、３つ以上のビューを表示することも可能であり得、これによって複数の自動立体ビューが可能となり、したがって、複数の同時視聴者が参加することが可能になる。その場合、裸眼立体ディスプレイ装置は、顔認識によって個々の人物を区別するように、又は個々の人物を識別するように構成されてもよい。

【0066】

複数の視聴者が参加する場合の３次元音響に関して、音声手段は、視聴者が他の視聴者に向けられた音を聞くことを防止するので、視聴者によって耳に装着されることが好ましい。

【0067】

本発明の方法は、１つの同じ仮想シーンの画像及び音が、あたかも実際のシーンであるかのように視聴者に同時に提示され得ることを実証する。両方とも、３次元的に、かつシーン内の視聴者の動きに従って体験される。シーンが実際のシーンではなく（実際のシーンの記録ではないという意味で）、アニメーションなどの人工的に加工されたシーンであることも可能である。したがって、本発明は、コンピュータゲームのプレイにも有利に適用される。（実際の又は人工的な）シーンへの視聴者のこの没入は、シーンへの没入を実現するための既知の方法に対して大きな改善を形成する。

【0068】

本発明の方法は、視聴者が表示されるシーンと対話する状況において、及びそのような対話が特定の音を生成する意図を有する場合に、特に有利に適用することができる。例えば、視聴者は、例えば手又は足で、仮想ボタンを押すか、又は仮想ガラスを破ってもよい。そのようなイベントに関連付けられた音は、視聴者がそのようなイベントを実際に知覚する方法を厳密に模倣する方法で視聴者に提示され得る。この目的のために、本発明の方法は、既に上述したように、更なる身体部分を追跡するための追加の追跡システムで補足されてもよい。そのような更なる身体部分は、例えば眼又は耳以外の身体部分、例えば手又は足である。本発明のこれらの有利な特徴は、本発明をコンピュータゲームをプレイするための魅力的な手段にする。

【0069】

更なる身体部分は、スクリーンの視野内に必ずしも存在しない。例えば、足は、少なくとも対話との瞬間ではないが、視聴者には見えないシーンの一部と対話とし得る。この目的のために、そのような身体部分は、好ましくは、裸眼立体ディスプレイ装置から離れたカメラを有する追跡システムによって追跡されてもよく、その結果、カメラの視野内により良好に位置決めされる。

【0070】

本発明の方法は、視聴者に関連付けられた物体を追跡するための追加の追跡システムで補足されてもよい。そのような物体、例えば鉛筆又はスタイラスペンを手に持つ視聴者は、そのようにすることで自分の裸眼立体ディスプレイ装置上で見ることができる３次元描画を行うことができる。あるいは、別の人との遠隔会議設定では、この別の人が図面を見ることが可能である。物体は、仮想ボタンを押すこと、仮想物体をスワイプすること、又は３次元選択空間を作成することなど、様々な他の目的のために使用され得る。

【0071】

したがって、本発明の方法では、裸眼立体ディスプレイ装置は、物体、又は手若しくは足など、眼若しくは耳以外の身体部分である更なる身体部分を追跡するための追加の追跡システムを備えてもよく、方法は、
１）追加の追跡システムを使用することによって、裸眼立体ディスプレイ装置に対する物体又は更なる身体部分の位置及び／又は速度を決定するステップと、
２）特定の３次元画像及び／又は特定の３次元音響が、物体又は更なる身体部分の決定された速度及び／又は位置に関連付けられるべきかどうかを決定するステップと、
３）ステップ２）の決定を考慮して、ディスプレイ部用の画像データ及び／又は音声手段用の音データを生成するステップと、を含む。

【0072】

この実施形態では、典型的には、ステップ１）において追加の追跡システムによって決定されるような、裸眼立体ディスプレイ装置に対する物体又は更なる身体部分の位置及び／又は速度も使用される。これらの位置及び／又は速度データから、及び裸眼立体ディスプレイ装置に対する視聴者の眼及び耳の位置から、視聴者の眼及び耳に対する物体又は更なる身体部分の位置を導出することができる。この位置は、画像データ及び音データの生成のための入力を形成する。例えば、現実の鉛筆で仮想的な３次元線画を描いた場合、鉛筆で描かれた線は３次元表示する必要がある（これは、画像データによって表される鉛筆に関連付けられた画像である）。又は、仮想ベルが実際の指によってトリガされるとき、ベルの音は３次元で再生される必要がある（これは、音データによって表される、指に関連付けられた音である）。したがって、これら２つの例では、視聴者の眼及び耳に対する鉛筆又は指のそれぞれの位置を考慮して、表示部分のための画像データ及び音声手段のための音データをそれぞれ生成する。次いで、画像データは、鉛筆に関連付けられた３次元画像を表し、次いで、音データは、追跡された物体又は更なる身体部分に関連付けられた３次元音響を表す。

【0073】

物体は、特に、ペン、鉛筆又はスタイラスペンなどのポインティングデバイスであってもよい。ここで、「スタイラスペン」（又は単に「スタイラス」）とは、マウス又はタッチパッドと同様に、ポインティングデバイス及び／又は描画装置としての機能を有するペン形状の器具を意味する。この目的のために、スタイラスペンは、裸眼立体ディスプレイ装置によって、特に、視聴者追跡システムなどの、そのために設計された追跡システムによって検出され得る。

【0074】

画像及び音が（視聴者によって制御される物体を含む）視聴者と仮想コンテンツとの対話にも適合するこの機能は、本発明の方法によって得られる仮想体験を視聴者にとって更に没入感のあるものにする。

【0075】

本発明の方法は、特に遠隔会議において使用され得る。遠隔会議とは、互いに離れているが遠隔通信システムによってリンクされた数人の人及び機械の間での情報のライブ交換を意味する。

【0076】

本発明は更に、裸眼立体ディスプレイ装置に関し、
－ディスプレイ装置に対する視聴者の眼の位置を決定するための視線追跡システムと、
－ディスプレイ装置に対する視聴者の耳の位置を決定する手段と、
－視聴者の左眼に提示される左画像と視聴者の右眼に提示される右画像とからなる３次元画像を表示するように構成されるディスプレイ部と、
－３次元音響を生成するように構成された音声手段と、
－表示部を駆動するための画像データを生成し、音声手段を駆動するための音データを生成するように構成されるプロセッサと、を含み、
プロセッサは、視聴覚アプリケーションを含み、
－ディスプレイ装置に対する視聴者の眼の位置を考慮して、表示部を駆動するための左画像データ及び右画像データを生成するように構成された２つの仮想カメラと、
－ディスプレイ装置に対する視聴者の耳の位置を考慮して、音声手段を駆動するための左音データ及び右音データを生成するように構成された２つの仮想マイクロホンと、を含む。

【0077】

一実施形態では、本発明の裸眼立体ディスプレイ装置の音声手段は、裸眼立体ディスプレイ装置に対して可変位置を有するヘッドホン又はイヤホンを備える。

【0078】

更なる実施形態では、裸眼立体ディスプレイ装置に対する視聴者の耳の位置を決定するための手段は、耳追跡システム及び／又は視線追跡システムを用いて決定されるような眼の位置から耳の位置を導出するための手段を備える。

【0079】

更なる実施形態では、本発明の裸眼立体ディスプレイ装置は、１）裸眼立体ディスプレイ装置に対して実質的に固定された位置を有するスピーカと、２）音声手段によって生成された音を視聴者の両耳間で分離し、耳とスピーカとの間で生じる歪みをキャンセルするクロストークキャンセルユニットとを備える。

【0080】

更なる実施形態では、本発明の裸眼立体ディスプレイ装置は、物体又は更なる身体部分を追跡するための追加の追跡システムを備え、更なる身体部分は、手又は足などの眼又は耳以外の身体部分である。次いで、裸眼立体ディスプレイ装置は、典型的には、
－ディスプレイ装置に対する視聴者の耳の位置を考慮して、物体又は身体部分に関連付けられた３次元音響を再生し、
－ディスプレイ装置に対する視聴者の眼の位置を考慮して、物体又は身体部分に関連付けられた３次元画像を表示するように構成される。

【0081】

本発明は更に、そのような裸眼立体ディスプレイ装置とスタイラスペンとを備えるキットに関し、追加の追跡システムはスタイラスペンを追跡するように構成されている。次いで、裸眼立体ディスプレイ装置は、典型的には、
－ディスプレイ装置に対する視聴者の耳の位置を考慮して、スタイラスペンに関連付けられた３次元音響を再生し、
－ディスプレイ装置に対する視聴者の眼の位置を考慮して、スタイラスペンに関連付けられた３次元画像を表示するように構成されている。

【図1】

【図2】

【図3】

【国際調査報告】