特表 2024-547134 オートステレオスコピックディスプレイ装置上の表示のための３次元コンテンツのスケーリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】オートステレオスコピックディスプレイ装置上の表示のための３次元コンテンツのスケーリング

(51)【国際特許分類】

   G02B 30/30 20200101AFI20241219BHJP

   H04N 13/366 20180101ALI20241219BHJP

   H04N 13/302 20180101ALI20241219BHJP

   G02B 30/27 20200101ALN20241219BHJP

【ＦＩ】

G02B30/30

H04N13/366

H04N13/302

G02B30/27

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024538345

(86)(22)【出願日】2022-12-27

(85)【翻訳文提出日】2024-08-19

(86)【国際出願番号】 NL2022050761

(87)【国際公開番号】W WO2023128760

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】2030325

(32)【優先日】2021-12-28

(33)【優先権主張国・地域又は機関】NL

(81)【指定国・地域】

(71)【出願人】

【識別番号】524219647

【氏名又は名称】ディメンコ ホールディング ビー．ブイ．

【氏名又は名称原語表記】ＤＩＭＥＮＣＯ ＨＯＬＤＩＮＧ Ｂ．Ｖ．

【住所又は居所原語表記】Ｄｅ Ｒｕｎ ４２８１， ５５０３ ＬＭ Ｖｅｌｄｈｏｖｅｎ （ＮＬ）

(74)【代理人】

【識別番号】100105131

【弁理士】

【氏名又は名称】井上 満

(74)【代理人】

【識別番号】100105795

【弁理士】

【氏名又は名称】名塚 聡

(72)【発明者】

【氏名】プレサ，シルヴィーノ ホセ アントゥニャ

(72)【発明者】

【氏名】ブラウワーズ，サンダー ヨハネス

(72)【発明者】

【氏名】カールス，ジュルジェン

【テーマコード（参考）】

2H199

【Ｆターム（参考）】

2H199BA08

2H199BA09

2H199BA48

2H199BA49

2H199BA52

2H199BA55

2H199BB04

2H199BB08

(57)【要約】

【課題】
【解決手段】 本発明は３次元画像を観察者に提示するためにオートステレオスコピックディスプレイ装置のスクリーンを駆動する方法に関し、この方法は、１）観察者から目のスクリーンまでの視距離、及び２）オブジェクトの記録距離を考慮に入れて、３次元画像をスケーリングするステップを含む。このようにして、シーン内の１つ又は複数の特定のオブジェクトの３次元画像は、シーン及びその中のオブジェクトが観察者の現実の環境の現実的な部分になるようにスケーリングされ得る。また、背景画像をスクリーン上に表示することも可能であり、背景画像は、現実の寸法にスケーリングされる。
【選択図】 なし

【特許請求の範囲】

【請求項1】

オートステレオスコピックディスプレイ装置のスクリーンを駆動して、前記スクリーンの視野内に存在する観察者に、シーン内のオブジェクトの３次元画像を提示する方法であって、前記方法は、
－ステレオカメラによって得られる、シーン内のオブジェクトの３次元記録を提供するステップと、
－前記オブジェクトの前記３次元記録を前記スクリーン上に３次元画像として表示するステップと、を含み、
前記オブジェクトの前記３次元画像は、
－前記観察者の目から前記スクリーンまでの視距離と、
－前記オブジェクトから前記ステレオカメラまでの記録距離と、を考慮に入れて、所望の程度にスケーリングされる、方法。

【請求項2】

前記方法は、
ａ）前記オブジェクトから前記ステレオカメラまでの記録距離を決定するステップと、
ｂ）前記観察者の目から前記スクリーンまでの視距離を決定するステップと、
ｃ）前記オブジェクトの特徴を定義するステップであって、前記特徴は前記３次元画像に含まれる、該ステップと、
ｄ）前記特徴の見かけの現実世界のサイズを決定するステップであって、これは、ａ）の下で得られた前記記録距離から現実世界で前記特徴を見たときの前記特徴の角度サイズである、該ステップと、；
ｅ）前記特徴の見かけの表示サイズを決定するステップであって、これは、ｂ）の下で得られた前記視距離から前記特徴を前記スクリーン上の３次元画像として見たときの前記特徴の角度サイズである、該ステップと、
ｆ）前記３次元画像においてｅ）の下で決定された前記見かけの表示サイズを、ｄ）の下で得られた前記見かけの現実世界のサイズの所望のパーセンテージに調整することによって、前記３次元画像をスケーリングするステップと、
ｇ）ステップｆ）でスケーリングされた前記３次元画像を、前記３次元画像が前記スクリーンよりも大きい前記３次元画像をクロップすることによって前記スクリーンにフィッティングするステップと、を含む、請求項１に記載の方法。

【請求項3】

前記３次元記録は前記オートステレオスコピックディスプレイ装置に関連するメモリ部分に含まれるか、又は前記３次元記録はライブビデオストリームである、請求項１又は２に記載の方法。

【請求項4】

－前記シーン内に複数のオブジェクトが存在し、
－前記方法は、前記複数のオブジェクトのうちの各オブジェクトについて実行され、
－複数の３次元画像が前記スクリーン上に同時に表示され、各画像は互いに独立してスケーリングされる、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記方法は、
－シーン内の第一オブジェクトの第一３次元記録と、前記シーン内の第二オブジェクトの第二３次元記録とを提供するステップであって、両方の記録はステレオカメラによって得られる、該ステップと、
－前記第一３次元記録を前記スクリーン上の第一３次元画像として、前記第二３次元記録を前記スクリーン上の第二３次元画像として、同時に表示するステップと、を含み、
前記第一及び前記第二３次元画像は、
－前記観察者の目から前記スクリーンまでの視距離と、
－前記それぞれのオブジェクトから前記ステレオカメラまでの記録距離と、考慮に入れてスケーリングされる、請求項１～３のいずれか一項に記載の方法。

【請求項6】

前記ステレオカメラから１０ｍ～無限遠、具体的には２５ｍ～無限遠の範囲の距離に前記シーン内の背景が存在する、請求項１～５のいずれか一項に記載の方法であって、前記方法が、
－カメラ又はステレオカメラによって得られる、前記シーン内の前記背景の記録を提供するステップと、
－１）前記スクリーン上の背景画像としての前記背景の前記記録と、２）前記スクリーン上の３次元の前景画像としての前記オブジェクトの、又は前記スクリーン上の３次元前景画像としての複数のオブジェクトの前記３次元記録と、を同時に表示するステップと、をさらに含み、
前記背景画像は、
－前記観察者の目から前記スクリーンまでの視距離と、
－前記カメラ又はステレオカメラの視野と、
を考慮に入れてスケーリングされる方法。

【請求項7】

前記方法は、
ａ）前記観察者の目から前記スクリーンまでの視距離を決定するステップと、
ｂ）前記カメラ又はステレオカメラの視野を決定するステップと、
ｃ）前記背景画像平面が前記スクリーンの表示平面と一致するように、前記スクリーンの表示平面内に前記背景画像を仮想的に位置決めするステップと、
ｄ）前記背景画像が、ａ）の下で得られる前記視距離から、ｂ）の下で得られる前記カメラ又はステレオカメラの前記視野の所望のパーセンテージに対応する視野を有する前記背景画像を、前記観察者が仮想的に見ることができるようにするために、どの程度まで仮想的にスケーリングされなければならないかを決定するステップと、
ｅ）ｄ）の下で得られた前記程度まで前記背景画像をスケーリングし、それを前記スクリーン上に表示するステップと、
ｆ）ステップｅ）でスケーリングされた前記背景画像を、前記背景画像が前記スクリーンよりも大きい前記背景画像をクロップすることによって前記スクリーンにフィッティングするステップと、を含む、請求項６に記載の方法。

【請求項8】

前記オブジェクトが人間の頭部である、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記方法は、遠隔会議において使用される、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記ステレオカメラは、前記観察者を前記スクリーンの前記視野内に記録するように構成される、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記表示された３次元画像はミラーリングされる、請求項１０に記載の方法。

【請求項12】

前記所望のパーセンテージが、５０～１５０％の範囲、具体的には８０～１２０％の範囲、より具体的には９５～１０５％の範囲、さらにより具体的には９９～１０１％の範囲である、請求項２～１１のいずれか一項に記載の方法。

【請求項13】

前記スクリーンに対する前記観察者の目の位置の変化を考慮するために、前記スケーリングが、前記３次元画像の前記表示中に１回又は複数回繰り返される、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

前記方法は、前記オブジェクトから前記ステレオカメラまでの記録距離の変化及び／又は前記スクリーンに対する前記観察者の目の位置の変化を考慮するために、１回又は複数回繰り返される、請求項１～１２のいずれか一項に記載の方法。

【請求項15】

前記オートステレオスコピックディスプレイ装置が、テレビ、デスクトップコンピュータ、ラップトップ、シネマディスプレイシステム、携帯電話、自動車内のディスプレイ、タブレット、及びゲームコンソールの群から選択される、請求項１～１４のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

＜本発明の分野＞
本発明は、オートステレオスコピックディスプレイ装置のスクリーンを駆動して、スクリーンの視野内に存在する観察者（又は、見る者／viewer）に３次元画像を提示する方法に関する。

【背景技術】

【0002】

＜背景＞
オートステレオスコピックディスプレイ（又は、自動立体視ディスプレイ／autostereoscopic display）は、過去２０年間で大きな注目を集めている。それらの最も優れた特徴の１つは、観察者がディスプレイに対して移動するときにも、専用のアイウェアデバイス（又は、眼鏡装置／eyewear device）なしで観察者が３次元画像を知覚することを可能にすることである。この技術の鍵は、レンチキュラーレンズ又は視差バリアを含むスクリーンの存在である。これにより、オートステレオスコピックディスプレイは左目画像を観察者の左目に、右目画像を観察者の右目に同時に向けることができる。結果として得られる３次元画像は奥行き知覚（depth perception）を提供し、画像内の要素はディスプレイの前に、又はディスプレイよりも遠く（ディスプレイの「背後」）に現れ得る。専用のアイウェアデバイスが存在しないことにより、観察者は現実世界に物理的に存在することを体験することができ、同時に、オートステレオスコピックディスプレイは別の世界への仮想ウィンドウ（virtual window）、すなわち、３次元でもある真に信じられる仮想世界を形成する。

【0003】

しかしながら、そのような仮想ウィンドウの欠点は、表示されたコンテンツの寸法が多くの場合、記録された実際のシーンの寸法と一致するものとして観察者によって知覚されないことである。例えば、観察者が仮想ウィンドウの視野内に含まれるアイテム（例えば、オブジェクト又は人物）（すなわち、仮想ウィンドウを「通して」目に見えるアイテム）を見るとき、この表示されたアイテムの寸法は通常、実際のウィンドウを通して同じ距離から観察されるであろうとき、実際のアイテムの寸法と一致しない。もちろん、これは、複数のアイテムが存在する場合でも一致しない。

【0004】

現実とのさらなる矛盾は観察者が仮想ウィンドウに向かって又は仮想ウィンドウから離れて移動するとき、表示されるアイテムのサイズがそれに応じて変化しないことである。

【0005】

したがって、既知の、オートステレオスコピックディスプレイは、特に、オートステレオスコピックディスプレイが仮想ウィンドウとして機能する設定において、３次元的に記録されたアイテムを観察者にリアルに（又は、現実的に／realistically）提示することに関していくつかの欠点を有するように見える。

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、本発明の目的は、オートステレオスコピックディスプレイを見るときの、例えば、観察者が別のオブジェクト又は人物を見るために「仮想ウィンドウを通して見る」ときの、観察者の体験を改善する方法を提供することである。特に、本発明の目的は、遠隔会議（又は、テレビ会議／teleconference）における観察者の体験を改善する方法を提供することである。

【課題を解決するための手段】

【0007】

オートステレオスコピックディスプレイによって表示されるべき３次元コンテンツの適切なスケーリングによって、これらの目的のうちの１つ又は複数に到達し得ることが見出された。

【0008】

したがって、本発明は、オートステレオスコピックディスプレイ装置のスクリーンを駆動して、スクリーンの視野内に存在する観察者に、シーン内のオブジェクト（又は、物体／object）の３次元画像を提示するための方法であって、
－ステレオカメラを用いた、シーン内のオブジェクトの３次元記録を提供するステップと、
－オブジェクトの３次元記録をスクリーン上に３次元画像として表示するステップと、を含む方法であって、
前記方法は、前記オブジェクトの前記３次元画像が、
－観察者の目からスクリーンまでの視距離と、
－オブジェクトからステレオカメラまでの記録距離（recording distance）と、を考慮に入れてスケーリングされる（scaled）ステップを含む、該方法に関する。

【発明を実施するための形態】

【0009】

本明細書及び特許請求の範囲を通して、「３次元画像」及び「オートステレオスコピック画像」という用語は、互換的に使用され、同じタイプの画像を指す。ここで、オートステレオスコピック画像は、厳密には３次元画像と同じではないと言われることが認識される。オートステレオスコピック画像は、観察者の左目に提示される左画像と、観察者の右目に提示される右画像とから構成されるため、観察者のみが３次元であると知覚する画像である。

【0010】

本発明の文脈において、「左画像」という用語は、左目を対象とするオートステレオスコピックディスプレイ装置によって表示される画像を意味する。それに対応して、「右画像」という用語は、右目を対象とするオートステレオスコピックによって表示される画像を意味する。本明細書では、実際には他の目に「漏れる」（非常に）小部分の光が常に存在し、この効果はクロストークとして知られていることが理解される。しかしながら、観察者は、常にこのことに気づいているとは限らず、依然として、彼らの３次元観察経験を満足していると評価し得る。

【0011】

本発明の文脈において、３次元記録は、この装置によって処理可能なフォーマットでオートステレオスコピックディスプレイ装置に入力されるとき、このような３次元画像を表示するために使用し得るという点で、３次元可視画像を表す情報を含むことを意味する。３次元記録（例えば、現実世界におけるシーン、人物又はオブジェクトの）は、ステレオカメラによってキャプチャされ（又は、捕捉され／captured）、シーン又はオブジェクトの３次元性に関する情報を含む、現実のシーン又はオブジェクトの記録又はライブストリームである。それは、要求に応じて表示され得るように、装置に関連付けられたメモリ部分に記憶され得るか、又はオートステレオスコピックディスプレイ装置に関連付けられたステレオカメラによってキャプチャされるライブビデオとして表示され得る（そのようなカメラは装置から遠隔のカメラであり得、たとえば、異なる環境内のシーン又はオブジェクトをキャプチャするように構成され得る）。

【0012】

本発明の文脈において、「ステレオカメラ」という用語は、現実のシーン又はオブジェクトの３次元記録を提供することができ、そこから立体画像又は３次元画像を記録し得るカメラを意味する。本発明の目的のために、ステレオカメラは、立体カメラ及びプレノプティックカメラ（plenoptic camera）を含むことを意味する。さらに、ステレオカメラという用語は複数の（ステレオ）カメラを含むことができ、上記のようなステレオカメラが集まって、上記のようなステレオカメラの能力を提供する。

【0013】

本発明の文脈において、「観察者（viewer）」という用語は、本発明の方法に従って観察者に提示されるコンテンツを消費する人を意味する。３次元画像を見ることに加えて、観察者は、音又は触覚刺激のような他の感覚刺激を経験することもできる。しかし、便宜上、そのような人はしたがって、「観察者」と呼ばれるが、同時に、例えば、「聞く人（又は、リスナー）」であり得ることが理解される。

【0014】

本文全体を通して、観察者への言及は、「彼」、「彼を」、又は「彼の」のような男性の言葉によってなされる。これは明瞭さ及び簡潔さの目的のために過ぎず、「彼女」及び「彼女の」のような女性の言葉が等しく適用されることが理解される。

【0015】

本発明の方法は、オートステレオスコピックディスプレイ装置を利用することが理解される。これは、典型的には、デスクトップデバイス又は壁掛けデバイスなどの、その使用中に現実世界で大部分が静止しているデバイス（又は、装置）である。例えば、オートステレオスコピックディスプレイ装置は、テレビ、モニタを有する（デスクトップ）コンピュータ、ラップトップ、又はシネマディスプレイシステムである。しかしながら、携帯電話、車内のディスプレイ、タブレット、又はゲームコンソールなどのポータブルデバイスであってもよく、これにより、観察者は、オートステレオスコピックディスプレイ装置と共に現実世界で（自由に）移動し得る。

【0016】

オートステレオスコピックディスプレイ装置は当該技術分野において、例えば、ＷＯ２０１３１２０７８５Ａ２から公知である。本発明の方法で使用されるオートステレオスコピックディスプレイ装置の主な構成要素は、典型的にはアイトラッキングシステム（又は、視標追跡システム／eye tracking system）、スクリーン、処理ユニット、及び任意選択のオーディオ手段である。

【0017】

アイトラッキングシステムは、オートステレオスコピックディスプレイ装置に対する観察者の目の位置を追跡するための手段を備え、処理ユニットと電気的に通信する。目の位置は、左目画像及び右目画像をピクセルのアレイに正確にウィービングする（又は、織り込む／weaving）ために必要とされ、その結果、観察者がオートステレオスコピックディスプレイ装置のスクリーンに対して移動するときでさえ、各画像が意図された目にヒットする（又は、当たる）。

【0018】

観察者の目からスクリーンまでの視距離は、典型的にはアイトラッキングシステムからも得られる。代替的に、この視距離を決定するために別個の手段が存在し得る。

【0019】

ステレオカメラに対する観察者の記録距離は、アイトラッキングシステム、又はステレオカメラに関連するか、又はステレオカメラに統合された異なるシステムを使用することによって取得され得る。

【0020】

スクリーンは、アイトラッキングシステムによって視線が追跡される観察者に３次元画像を表示する手段を含む。そのような手段はディスプレイ出力を生成するためのピクセルのアレイと、左画像を観察者の左目に、右画像を観察者の右目に向けるためにアレイの上に設けられた視差バリア又はレンチキュラーレンズとを備える。

【0021】

処理ユニットは、３次元記録を入力され、アイトラッキングシステムによって取得されたデータを考慮して、スクリーンを駆動するように構成される。したがって、処理ユニットの重要な構成要素はいわゆる「ウィーバー（weaver）」であり、これは、左画像及び右画像をピクセルのアレイにウィービングし、それによって、どのピクセルがそれぞれの画像に対応してピクセル出力を生成すべきかを決定する。このようにして、３次元画像を特定の位置において観察者に表示し得る。

【0022】

処理ユニットは、典型的には本発明の方法に従って３次元画像のスケーリング（scaling）を実行するようにも構成される。

【0023】

オプションの音声手段は、観察者に音声を再生するための手段を含む。例えば、音声手段は、ステレオラウドスピーカ、ラウドスピーカアレイ、ヘッドフォン、及びイヤホン（ear buds）の群から選択される１つ又は複数のデバイスを備える。

【0024】

本発明の方法において使用されるオートステレオスコピックディスプレイ装置は、典型的には現実世界におけるシーン又はオブジェクトの３次元記録を受信するための受信機を備える。これはまた、現実世界におけるシーン又はオブジェクトのライブビデオストリームを受信することを含む。オーディオ記録（又は、音声記録／audio recording）及び／又はオーディオストリームも、そのような受信機によって受信され得る。ビデオ及び／又はオーディオ記録の転送は例えば、無線接続又は電気通信回線を介して行うことができる。

【0025】

本発明の方法において使用されるオートステレオスコピックディスプレイ装置は、現実世界におけるシーン又はオブジェクトの３次元記録を記憶するためのメモリを含み得る。

【0026】

実際の３次元記録が行われる（又は行われた）シーン（又は、場面）では、１つ又は複数のデバイス（又は、装置）も存在する。このようなデバイスは、ステレオカメラと、記録されるオブジェクトからステレオカメラまでの記録距離を決定するための手段である。後者のデバイスは、ステレオカメラに一体化されてもよい。任意選択的に、音声記録装置及び／又は照明装置が、３次元記録のシーンにおいて存在する。

【0027】

３次元記録のシーンにおけるデバイスは通常、オートステレオスコピックディスプレイ装置の物理的部分ではないが、例えば、電気通信回線を介して、オートステレオスコピックディスプレイ装置に関連付けられてもよい。

【0028】

本発明者らは既知のオートステレオスコピックディスプレイ装置が、ある態様では、通常のテレビジョンディスプレイとちょうど同じように、３次元画像を表示し得ることを認識した、つまり、画像を記録する手段の視野は基本的に、装置のスクリーンに適合し（フィットし／fit）、すなわち、記録されたシーンのエッジも、シーンの表示された画像のエッジを形成する。いくつかの場合において、表示されるコンテンツは便宜上、スケーリングされ（又は、拡大縮小され／scaled）得るが、これは通常、見かけのサイズに従わない。さらに、異なる記録距離における異なるオブジェクトは異なる程度のスケーリングを必要とし、これは、画像が全体としてスケーリングされるときには不可能である。スケーリングに関するこれらの欠点は、表示されたコンテンツが観察者の現実の環境の自然な部分として経験されないという効果を有するように思われた。言い換えれば、そのような表示されたコンテンツは、観察者の没入感（immersive experience）を損なう。

【0029】

ここで、シーン内の１つ又は複数の特定のオブジェクトが別々に記録及び測定されるときに、及び、３次元画像としてのそれらの表示が、立体カメラに対するオブジェクトの記録距離だけでなく、スクリーンに対する観察者の目の視距離を考慮するスケーリングを含むときに、没入感（immersion）が増大することが見出された。このようにして、表示された３次元画像から知覚されるオブジェクトの寸法は、オブジェクトが現実世界で知覚されるときのオブジェクトの寸法と一致するように調整し得る（スクリーンは仮想ウィンドウとして機能する）。

【0030】

このようなオブジェクトの大きさの知覚は、観察側（又は、見る側／viewing side）だけでなく記録側においても、オブジェクトが観察される距離に関係するすべてのものを有する。スクリーン上での現実のオブジェクトの表示には、２種類の観察距離（observation distance）がある。第一タイプは、記録距離、すなわち（ステレオ）カメラとオブジェクトとの間の距離である。第二タイプは視距離（又は、視聴距離／viewing distance）、すなわち、観察者の目と、オブジェクトの画像が表示されるスクリーンとの間の距離である。

【0031】

短い観察距離では画角（視野）が大きく、オブジェクトは観察者の網膜又はカメラのイメージセンサーの表面の大部分を覆う。逆に、観察距離が長いと、画角（視野）が小さく、オブジェクトが観察者の網膜やカメラのイメージセンサーの表面の一部を覆う。現実世界（すなわち、記録側）で生じる寸法の観察側でのリアルな知覚（又は、現実的な知覚／realistic perception）のためには、記録側の視野角が観察側の視野角と同じでなければならない。（時間及び状況に応じて）ある記録距離及び視距離が与えられると、一致する視野角に到達する最も好ましい方法は観察側（すなわち、スクリーン上）の画像を（リアルタイムで）スケーリングすることである。これは、本発明の方法に反映される。当業者は一般的な数学的原理を使用して、発明的な努力を全く行使することなく、記録距離及び視距離が既知であるときに、どの程度のスケーリングが適用されるかを計算し得る。

【0032】

本発明の目的のために、このようにスケーリングされるべきオブジェクトは、典型的には立体視が可能な範囲内にあるステレオカメラからの距離に存在する。典型的には、これは２５ｍ未満の距離、好ましくは１０ｍ未満の距離、より好ましくは７ｍ未満の距離、さらにより好ましくは５ｍ未満の距離にある。例えば、それは、４ｍ未満、３ｍ未満、又は２ｍ未満である。

【0033】

そのようなスケーリングを達成する好ましい方法は、現実世界における記録されるべきオブジェクトの見かけのサイズ（apparent size）を定義し、これをスクリーン上の記録されたオブジェクトの画像の表示に変換すること（又は、トランスレートすること／translating）による。この目的のために、スクリーン上に表示されるオブジェクトに対して、見かけのサイズも定義される。オブジェクトの「見かけのサイズ」という用語は、オブジェクトの一方の側からオブジェクトの反対側までの角度距離（angular distance）を示すことを意味する。これは、目又はカメラが一方の側から反対側を見るために回転しなければならない角変位（angular displacement）として考えることができる。

【0034】

本明細書内で、オブジェクトの見かけの現実世界のサイズは、オブジェクトまでの距離が、ステレオカメラからステレオカメラによって記録されるオブジェクトまでの距離である（すなわち、人の視点は、ステレオカメラの視点）現実世界の人によって知覚される角度サイズである。それに対応して、オブジェクトの見かけの表示サイズは、３次元画像がスクリーン上に表示されるときにオートステレオスコピックディスプレイ装置の観察者によって知覚される角度サイズである。

【0035】

本発明の方法では、３次元画像が好ましくは見かけの表示サイズが見かけの現実世界のサイズに一致するようにスケーリングされる。このような一致（又は、マッチング）は３次元画像と現実のオブジェクトとが同じ大きさを有するものとして知覚される（例えば、両方とも同じ高さを有するものとして知覚され、両方とも同じ幅を有するものとして知覚される）ことを意味する。このようにして、一致する見かけのサイズを有するために、３次元画像がどの程度スケーリングされなければならないかを決定し得る。その結果、スケーリングされた３次元画像は、観察者の現実の環境の現実的な部分になる。

【0036】

しかしながら、見かけの表示サイズは見かけの現実世界のサイズの特定の所望のパーセンテージ（すなわち、両方の見かけのサイズが一致するので、１００％以外のパーセンテージ）に設定されてもよい。これは、現実的な寸法があまり重要でない場合、及び／又はオブジェクトがスクリーンの例外的に大きい部分又は例外的に小さい部分を覆うことが望ましくない場合に当てはまり得る。例えば、所望の割合は、５０～１５０％の範囲、特に８０～１２０％の範囲、より具体的には９５～１０５％の範囲、さらにより具体的には９９～１０１％の範囲である。

【0037】

（表示された、又は現実の）オブジェクトの見かけのサイズを決定することと同等であるのは、そのようなオブジェクトの特徴の見かけのサイズを決定することである。例えば、オブジェクトがナイフであるとき、特徴はその刃であり得る。又は、オブジェクトが人間の頭部である場合、それは目の間の距離であり得る。

【0038】

したがって、本発明の方法は、
ａ）オブジェクトからステレオカメラまでの記録距離を決定するステップと、
ｂ）観察者の目からスクリーンまでの視距離を決定するステップと、
ｃ）オブジェクトの特徴を定義するステップであって、特徴は３次元画像に含まれる該ステップと、
ｄ）特徴の見かけの現実世界のサイズを決定するステップであって、これは、ａ）の下で得られた記録距離から現実世界で特徴を見たときの特徴の角度サイズである、該ステップと、
ｅ）特徴の見かけの表示サイズを決定するステップであって、これは、ｂ）の下で得られた視距離から、特徴をスクリーン上の３次元画像として見たときの特徴の角度サイズである、該ステップと
ｆ）３次元画像においてｅ）の下で決定された見かけの表示サイズを、ｄ）の下で得られた見かけの現実世界のサイズの所望のパーセンテージ（又は、割合）に調整することによって、３次元画像をスケーリングするステップと、
ｇ）ステップｆ）でスケーリングされた３次元画像を、３次元画像がスクリーンよりも大きいときに、３次元画像をクロップする（又は、切り取る／cropping）ことによってスクリーンにフィッティングするステップと、を含み得る。

【0039】

本発明の方法は、１つのオブジェクトのスケーリングに限定されない。複数のオブジェクトをスケーリングし、それらを同時に表示することも可能である。したがって、本方法は、
－シーン内に複数のオブジェクトがあり、
－前記方法は、前記複数のオブジェクトのうちの各オブジェクトについて実行され、
－複数の３次元画像がスクリーン上に同時に表示され、各画像は、観察者の目からスクリーンまでの視距離及びオブジェクトからステレオカメラまでの記録距離を考慮して、互いに独立してスケーリングされる、方法であってよい。

【0040】

別の表現において、本方法は、
－シーン内の第一オブジェクトの第一３次元記録と、シーン内の第二オブジェクトの第二３次元記録とを提供するステップであって、両方の記録はステレオカメラによって得られる、該ステップと、
－第一３次元記録をスクリーン上に第一３次元画像として、第二３次元記録をスクリーン上に第二３次元画像として同時に表示するステップと、を含み、
第一及び第二３次元画像は、
－観察者の目からスクリーンまでの視距離と、
－それぞれのオブジェクトからステレオカメラまでの記録距離（すなわち、第一３次元画像のスケーリングのために、第一オブジェクトからステレオカメラまでの記録距離が考慮され、第二３次元画像のスケーリングのために、第二オブジェクトからステレオカメラまでの記録距離が考慮される）と、を考慮して、所望の程度まで互いに独立してスケーリングされる、方法であり得る。

【0041】

スクリーン上に１つ又は複数のオブジェクトの別々の記録を（同時に）表示することは、通常、記録が１つ又は複数のオブジェクトが一部を形成する完全なシーンを通常含むので、オブジェクトが前もって互いから及び背景からセグメント化されていることを必要とすることに留意されたい。これは、オブジェクトが互いに独立してスケーリングされるときに、なおいっそう適用される。それらが属するシーンの残りからのオブジェクトのセグメンテーションは、当技術分野で知られている。したがって、任意のそのようなセグメンテーションは、当業者にとって標準的な手順である。

【0042】

実際の３次元記録が行われるシーンは、１つ又は複数のオブジェクトに加えて、背景を含み得る。本発明の文脈において、背景とは、７ｍ～無限遠の範囲、１０ｍ～無限遠の範囲、１５ｍ～無限遠の範囲、２５ｍ～無限遠の範囲、又は５０ｍ～無限遠の範囲のステレオカメラからの距離にあるシーンの任意の部分を意味する。ステレオカメラからの相対的な遠隔性により、背景は全体としてスケーリングされ得る。したがって、本発明の方法は、
－カメラ又はステレオカメラによって得られる、シーンにおける背景の記録を提供するステップと、
－１）スクリーン上の背景画像としての背景画像の記録と、２）スクリーン上の３次元前景画像としてのオブジェクトの３次元記録、又はスクリーン上の３次元前景画像としての複数のオブジェクトの３次元記録とを同時に表示するステップと、を含むことができ、
上記方法は、背景画像が、
－観察者の目からスクリーンまでの視距離と、
－カメラ又はステレオカメラの視野と、を考慮に入れてスケーリングされるステップを含む。

【0043】

好ましい実施形態では、本方法は、
ａ）観察者の目からスクリーンまでの視距離を決定するステップと、
ｂ）カメラ又はステレオカメラの視野を決定するステップと、
ｃ）背景画像平面がスクリーンの表示平面と一致するようにスクリーンの表示平面内に背景画像を仮想的に位置決めするステップと、
ｄ）背景画像が、ａ）の下で得られる視距離から、ｂ）の下で得られるカメラ又はステレオカメラの視野の所望のパーセンテージに対応する視野を有する背景画像を、観察者が仮想的に見ることができるようにするために、どの程度まで仮想的にスケーリングされなければならないかを決定するステップと、
ｅ）ｄ）の下で得られた程度まで背景画像をスケーリングし、それをスクリーン上に表示するステップと、
ｆ）ステップｅ）でスケーリングされた背景画像を、背景画像がスクリーンよりも大きい背景画像をクロップすることによってスクリーンにフィッティングするステップと、をさらに実行することによって実行される。

【0044】

スクリーンの表示平面に背景画像を仮想的に位置決めすることは、観察者がａ）の下で得られる距離でスクリーンの前にいる設定において、背景画像がスクリーンの表示平面と一致する平面に想像上又は仮想的に表示されることを意味する。ここで、仮想的に表示される背景画像の寸法（例えば、長さや幅）は、スクリーン寸法に限定されない。観察者からスクリーンまでの視距離、及び背景画像を見る必要がある視野（これは、ａ）の下で得られるカメラ又はステレオカメラの視野の所望のパーセンテージ）が与えられると、背景画像が仮想的にスケーリングされなければならない程度が決定される。当業者は一般的な数学的原理を使用し、かつ、発明的な努力を全く行わずに、観察者からスクリーンまでの視距離及びカメラ又はステレオカメラの視野（の所望のパーセンテージ）が知られているときに、そのようなスケーリングの程度を計算し得る。

【0045】

この仮想スケーリング程度は、その後、背景画像の現実の表示に適用される。結果として、背景画像がスクリーンよりも大きい場合、背景画像は、スクリーンよりも大きいところでクロップされる。スクリーンよりも小さい場合には、ある位置で背景画像が欠けていると判断したり、背景画像が欠けている別の画像が表示されると判断してもよい。

【0046】

本発明の方法において、背景画像は、観察者が背景画像を見る視野がカメラ又はステレオカメラの視野と一致するようにスケーリングされることが好ましい。このようなマッチングは、背景画像と現実の背景が同じ大きさを有するものとして知覚される（例えば、両方とも同じ高さを有するものとして知覚され、両方とも同じ幅を有するものとして知覚される）ことを意味する。この設定（すなわち、一致する視野）を用いて、背景画像をどの程度スケーリングしなければならないかを決定し得る。その結果、スケーリングされた背景画像は、観察者の現実の環境の現実的な部分になる。

【0047】

しかしながら、観察者が背景を見る視野は、カメラ又はステレオカメラの視野の特定の所望のパーセンテージ（すなわち、両方の視野が一致する１００％以外のパーセンテージ）に設定されてもよい。これは、現実の寸法があまり重要でない場合、及び／又は背景が拡大又は縮小されることが望まれる場合に当てはまり得る。例えば、所望のパーセンテージは、５０～１５０％の範囲、具体的には８０～１２０％の範囲、より具体的には９５～１０５％の範囲、さらにより具体的には９９～１０１％の範囲である。

【0048】

本発明の方法は有利には遠隔会議に適用され、観察者から離れている別の人が観察者と通信することを可能にし、逆もまた同様である。このような設定では他の人物及び観察者が好ましくは両方が、本発明の方法を実行し得る手段を有し、つまり、観察者のオートステレオスコピックディスプレイ装置は本発明の方法に従って他の人のオートステレオスコピックディスプレイ装置と共に動作するステレオカメラを備える。これは、他の人が観察者の３次元画像を見ることができるように、観察者の３次元記録を提供し、逆もまた同様である。

【0049】

しかしながら、観察者のステレオカメラが、観察者の記録を観察者に（他の人にではなく）表示することも可能である。したがって、本発明の方法では、ステレオカメラがスクリーンの視野内に観察者を記録するように構成されることができ、その結果、スクリーンは観察者の記録を観察者に表示し得る。このような場合、観察者は自分自身の３次元画像を見ることになり、したがって、観察者のオートステレオスコピックディスプレイ装置は、仮想ミラー（virtual mirror）と見なされ得る。この目的のために、表示された３次元画像は、好ましくはミラーリングされる（mirrored）。

【0050】

一実施形態では、本発明の方法によるスケーリングがスクリーンに対する観察者の目の位置の変化を考慮するために、３次元画像の表示中に１回又は複数回繰り返されてもよい。

【0051】

別の実施形態では、方法全体が、１）オブジェクトからステレオカメラまでの記録距離の変化などのシーン内の可能な変化、及び２）スクリーンに対する観察者の目の位置の可能な変化を考慮するために、１回又は複数回繰り返される。例えば、毎秒少なくとも１回の繰り返しの速度で、毎秒少なくとも１０回、少なくとも２５回、少なくとも４０回、又は少なくとも５０回の繰り返しの速度で繰り返される。特に、速度は、２７～３３の範囲内、５７～６３の範囲内、又は毎秒８７～９３回の繰り返しの範囲内である。高速度は高頻度で連続画像を生成し、これは、観察者によって映画として知覚される。高速度はまた、観察者の目からスクリーンまでの視距離の変化、及びオブジェクトからステレオカメラまでの記録距離の変化に対して、よりタイムリーな適応（accommodation）があることを意味する。例えば、観察者がオートステレオスコピックディスプレイ装置に対して速い動きをするとき、及び／又はオブジェクトがステレオカメラに対して速い動きをするとき、本発明の方法が高い繰り返し速度で実行されるとき、これらの動きはタイムリーに考慮される。

【0052】

本発明の方法では、３次元記録がメモリスティック又はハードディスクなどのデータキャリア上に記憶されてもよい。そして、オートステレオスコピックディスプレイ装置は、そのような記憶装置から３次元記録を取得する。代替的に、オートステレオスコピックディスプレイ装置は、メモリからそれを読み出すことなく、３次元記録「ライブ」を取得する。したがって、本発明の方法では、３次元記録がオートステレオスコピックディスプレイ装置に関連するメモリ部分に含まれてもよく、又は実際の３次元記録が行われるシーンから生じるライブビデオストリームであってもよい。

【国際調査報告】