(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-28
(45)【発行日】2023-09-05
(54)【発明の名称】視聴者に合わせて調整された立体画像表示
(51)【国際特許分類】
H04N 13/122 20180101AFI20230829BHJP
H04N 13/371 20180101ALI20230829BHJP
H04N 13/373 20180101ALI20230829BHJP
H04N 13/334 20180101ALI20230829BHJP
H04N 13/341 20180101ALI20230829BHJP
H04N 13/337 20180101ALI20230829BHJP
H04N 13/139 20180101ALI20230829BHJP
H04N 13/128 20180101ALI20230829BHJP
G09G 5/36 20060101ALI20230829BHJP
【FI】
H04N13/122
H04N13/371
H04N13/373
H04N13/334
H04N13/341
H04N13/337
H04N13/139
H04N13/128
G09G5/36 500
(21)【出願番号】P 2020558660
(86)(22)【出願日】2018-08-29
(86)【国際出願番号】 CA2018051039
(87)【国際公開番号】W WO2019041035
(87)【国際公開日】2019-03-07
【審査請求日】2021-08-23
(32)【優先日】2018-02-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520257500
【氏名又は名称】イノベーションズ マインドトリック インコーポレイテッド
(74)【代理人】
【識別番号】100135389
【氏名又は名称】臼井 尚
(74)【代理人】
【識別番号】100086380
【氏名又は名称】吉田 稔
(74)【代理人】
【識別番号】100103078
【氏名又は名称】田中 達也
(74)【代理人】
【識別番号】100130650
【氏名又は名称】鈴木 泰光
(74)【代理人】
【識別番号】100168099
【氏名又は名称】鈴木 伸太郎
(74)【代理人】
【識別番号】100168044
【氏名又は名称】小淵 景太
(74)【代理人】
【識別番号】100200609
【氏名又は名称】齊藤 智和
(72)【発明者】
【氏名】ルーティエ、ニコラス
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2014-192877(JP,A)
【文献】特開2013-126106(JP,A)
【文献】特開2005-339313(JP,A)
【文献】特表2016-519480(JP,A)
【文献】国際公開第2011/114572(WO,A1)
【文献】国際公開第2012/117703(WO,A1)
【文献】米国特許出願公開第2014/0293027(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00-13/398
G09G 5/36
(57)【特許請求の範囲】
【請求項1】
単一スクリーン上で視聴者に表示する立体画像を処理する方法であって、前記立体画像は、
幅Lcおよび長さFの焦点距離のセンサによって提供される第1の視野
(Lc/F)を有する平行軸カメラを使用して撮影され、前記方法は、前記単一スクリーンによって提供される第2の視野
((Ls+Io)/Ds)の定義と、前記視聴者の眼間距離
(Io
)と、前記視聴者と前記単一スクリーン
の幅(Ls)との間の距離
(Ds)と、を使用して、前記立体画像を配置しスケーリングすることを含み、これにより、前記第1の視野に対する前記視聴者からの前記距離
(Ds)で、前記単一スクリーン上に前記
立体画像を表示し、前記
単一スクリーンに対してスケーリングされた前記立体画像が前記
単一スクリーンよりも大きい場合、前記
単一スクリーンに対して前記
立体画像をトリミングし、および前記
単一スクリーンに対してスケーリングされた前記立体画像が前記
単一スクリーンよりも小さい場合、前記
立体画像に
水平及び垂直からなる境界
線を
付し、前記単一スクリーンに対して提供する、方法。
【請求項2】
前記立体画像内のズームウィンドウを選択して、前記第1の視野を変更することを更に含み、前記立体画像は、前記変更された第1の視野に対してスケーリングされる、請求項1に記載の方法。
【請求項3】
前記ズームウィンドウが、前記立体画像の中心からオフセットされて、前記立体画像内の関心領域を視聴することができるようにする、請求項2に記載の方法。
【請求項4】
視聴者入力が、前記立体画像を視聴しながら前記オフセットを動かすために使用される、請求項3に記載の方法。
【請求項5】
前記立体画像が静止画像である、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記立体画像がビデオ画像である、請求項1から4のいずれか一項に記載の方法。
【請求項7】
前記立体画像が、組み合わされたアナグリフ形式画像に変換される、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記立体画像が、自動立体ディスプレイ上に表示するようにカラムインターリーブ形式画像に変換される、請求項1から6のいずれか一項に記載の方法。
【請求項9】
前記立体画像が、シャッター眼鏡で視聴するように一連のページフリップ画像に変換される、請求項1から6のいずれか一項に記載の方法。
【請求項10】
前記立体画像が、偏光ディスプレイ用に一連のラインインターリーブに変換される、請求項1から6のいずれか一項に記載の方法。
【請求項11】
前記単一スクリーンによって提供される前記第2の視野の定義を取得するように、ユーザ入力を取得することを更に含む、請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記単一スクリーンによって提供される前記第2の視野の定義を取得するように、センサデータを取得することを更に含む、請求項1から11のいずれか一項に記載の方法。
【請求項13】
前記立体画像が、遠方のオブジェクトの右目画像と左目画像との間Ioのオブジェクト間隔に対応するように、前記単一スクリーン上に配置される、請求項1から12のいずれか一項に記載の方法。
【請求項14】
前記視聴者が、複数の視聴者を含み、前記眼間距離Ioが、前記複数の視聴者の中で最小の眼間距離であるように選択される、請求項13に記載の方法。
【請求項15】
前記立体画像が、相対的なベースオフセットを使用して更にスケーリングおよび配置されて、最大深度に現れるオブジェクトがより近くに現れ、前記単一スクリーンの前に現れるオブジェクトが前記単一スクリーンにより近くに現れるようにし、これにより、
前記単一スクリーンの深度での焦点と変更された最大深度に現れるオブジェクト上の焦点との間の両眼角、および
前記単一スクリーンの深度での焦点と前記単一スクリーンの前の最も近くに現れるオブジェクト上の焦点との間の両眼角
のうちの少なくとも1つを制限して、目の疲れを減らす、請求項1から14のいずれか一項に記載の方法。
【請求項16】
前記立体画像が、更にスケーリングおよび配置されて、前記単一スクリーンの深度での焦点と変更された最大深度に現れるオブジェクト上の焦点との間の両眼角、および前記単一スクリーンの深度での焦点と前記単一スクリーンの前の最も近くに現れるオブジェクト上の焦点との間の両眼角の両方を制限する、請求項15に記載の方法。
【請求項17】
前記立体画像が、更にスケーリングされて、前記単一スクリーンの深度に現れるオブジェクトを同じ深度に現れるように維持する、請求項16に記載の方法。
【請求項18】
前記単一スクリーン上の深度に現れるオブジェクトと前記単一スクリーンの後ろおよび/または前に現れるオブジェクトとの間を視聴する両眼角が
、1度未満である、請求項15、16、または17のいずれか一項に記載の方法。
【請求項19】
前記立体画像が、パノラマ画像を含み、前記方法が、前記パノラマ画像内の視線方向を定義し、前記視線方向を使用して前記パノラマ画像の一部を抽出することを更に含む、請求項1から18のいずれか一項に記載の方法。
【請求項20】
前記パノラマ画像が、広角カメラレンズ画像であり、前記方法が、前記パノラマ画像の少なくとも一部をデワープすることを更に含む、請求項19に記載の方法。
【請求項21】
前記パノラマ画像が魚眼レンズ画像である、請求項20に記載の方法。
【請求項22】
単一スクリーン上で視聴者に表示する立体画像を処理する装置であって、前記装置は、プロセッサと、前記プロセッサによって読み取り可能なメモリと、を備え、前記メモリは、請求項1から21のいずれか一項に記載の方法を実行する命令を格納する、装置。
【請求項23】
請求項1から21のいずれか一項に記載の方法を実行するプロセッサまたは再構成可能ハードウェア用の非一時的メモリ記憶命令を含む、コンピュータプログラ
ム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2017年8月30日に出願された米国仮特許出願第62/551,942号および2018年2月8日に出願された米国仮特許出願第62/627,825号の優先権を主張し、その内容は参照により本明細書に組み込まれる。
【0002】
本出願は、立体画像表示に関する。
【背景技術】
【0003】
立体ビデオまたは映画撮影は芸術である。最高の3D効果で再生するための左右のビデオストリームを取得するカメラの配置は、簡単な作業ではない。カメラの配置には、映画館および視聴者の配置の知識、ならびにそのような視聴条件下でほとんどの人が3Dをどのように知覚するかについての理解が必要である。立体映画撮影の分野では、2つのカメラを光軸が収束するように配置することが一般的に認められており、これにより、最高の3D効果が得られる。カメラ間隔および輻輳角は、表示スクリーンからの視聴者の平均距離、目の平均間隔、スクリーンの中心に対する平均視聴位置の知識に基づいて選択される。これらの視聴条件が守られない場合、3Dエクスペリエンスの品質を損なう。
【0004】
視聴条件が、立体映画撮影技師によって本来意図されたものから変更されるべきである場合、新しい視聴条件のために立体ビデオを再フォーマットすることが当技術分野で既知である。通常、再フォーマットには、立体画像ペアを分析して個々のピクセルの深度を決定し、次に、元の画像および深度情報を使用して立体画像ペアを生成して、新しい視聴条件に好適な立体画像ストリームを再作成できるようにすることを伴う。このような再フォーマットは計算量が多く、新しい視聴条件で実行される。視聴条件が変化すると、計算量の多い処理が繰り返される。
【発明の概要】
【0005】
出願人は、平行非収束カメラの使用によって引き起こされる3Dエクスペリエンスの品質の潜在的な損失が、そのような立体ビデオが単一スクリーン上の視聴者の視聴条件に合わせて再フォーマットされるときの3Dエクスペリエンスの品質の向上によって克服されることを発見した。
【0006】
したがって、単一スクリーン上に新しい視聴条件の立体ビデオを提供するために、スケーリングおよびトリミングによって元の視聴条件下で視聴するように提供された、元の立体画像ペアを処理する再生装置が提供される。
【0007】
上述のような立体画像の再フォーマットを回避するために、第1の視野での表示を本来意図した立体画像を、第2の視野を有する新しい単一ディスプレイ上に表示することが可能である。
【0008】
出願人は更に、通常は視聴に使用されると予想されるより広い視野を備えた平行軸カメラを使用して3D画像を取得および保存すると、より広い範囲の視聴条件で視聴する場合、視聴装置(または視聴システム内)で記録された3D画像を処理できるという利点があることを発見した。
【0009】
広範な態様は、単一スクリーン上で視聴者に表示するための立体画像を処理する方法であり、立体画像は、第1の視野を有する平行軸カメラを使用して撮影される。本方法は、単一スクリーンによって提供される第2の視野の定義と、視聴者の眼間距離Ioと、視聴者と単一スクリーンとの間の距離と、を使用して、立体画像を配置およびスケーリングすることを含み、これにより、第1の視野に対する視聴者からの距離で、単一スクリーン上に画像を表示し、スクリーンに対してスケーリングされた立体画像がスクリーンよりも大きい場合、スクリーンに対して画像をトリミングし、およびスクリーンに対してスケーリングされた立体画像がスクリーンよりも小さい場合、スクリーンに対して画像に境界を提供する。
【0010】
いくつかの実施形態では、本方法は、立体画像内のズームウィンドウを選択して、第1の視野を変更することを更に含んでもよく、立体画像は、変更された第1の視野に対してスケーリングされ得る。
【0011】
いくつかの実施形態では、ズームウィンドウは、立体画像の中心からオフセットされて、立体画像内の関心領域を視聴することができるようにし得る。
【0012】
いくつかの実施形態では、視聴者入力は、立体画像を視聴しながらオフセットを動かすために使用されてもよい。
【0013】
いくつかの実施形態では、立体画像は静止画像であってもよい。
【0014】
いくつかの実施形態では、立体画像はビデオ画像であってもよい。
【0015】
いくつかの実施形態では、立体画像は、組み合わされたアナグリフ形式画像に変換されてもよい。
【0016】
いくつかの実施形態では、立体画像は、自動立体ディスプレイ上に表示するようにカラムインターリーブ形式画像に変換されてもよい。
【0017】
いくつかの実施形態では、立体画像は、シャッター眼鏡で視聴するように一連のページフリップ画像に変換されてもよい。
【0018】
いくつかの実施形態では、立体画像は、偏光ディスプレイ用に一連のラインインターリーブに変換されてもよい。
【0019】
いくつかの実施形態では、本方法は、単一スクリーンによって提供される第2の視野の定義を取得するように、ユーザ入力を取得することを含んでもよい。
【0020】
いくつかの実施形態では、本方法は、単一スクリーンによって提供される第2の視野の定義を取得するように、センサデータを取得することを含んでもよい。
【0021】
いくつかの実施形態では、立体画像は、遠方のオブジェクトの右目画像と左目画像との間Ioのオブジェクト間隔に対応するように、単一スクリーン上に配置されてもよい。
【0022】
いくつかの実施形態では、視聴者は、複数の視聴者を含み、眼間距離Ioは、複数の視聴者の中で最小の眼間距離であるように選択されてもよい。
【0023】
いくつかの実施形態では、立体画像は、相対的なベースオフセットを使用して更にスケーリングおよび/または配置されて、最も遠方のオブジェクトがスクリーンにより近くに現れるようにし、および/または最も近いオブジェクトがスクリーンにより近くに現れるようにする。目的は、単一スクリーンに焦点を合わせるための眼の調節と、近いオブジェクトおよび/または遠いオブジェクトに焦点を合わせるための眼の調節との違いによる、起こり得る目の疲れを減らすことである。相対的なベースオフセットのこの更なるスケーリングおよび配置では、単一スクリーンの深度で現れるオブジェクトが同じ深度に現れるように維持することが可能である。
【0024】
別の広範な態様は、単一スクリーン上で視聴者に表示する立体画像を処理する装置であって、装置は、プロセッサと、プロセッサによって読み取り可能なメモリと、を備え、メモリは、本明細書で定義される方法を実行する命令を格納する、装置である。
【0025】
別の広範な態様は、本明細書で定義される方法を実行するプロセッサまたは再構成可能ハードウェア用の非一時的メモリ記憶命令を含む、コンピュータプログラム製品である。
【図面の簡単な説明】
【0026】
本発明は、添付の図面を参照した本発明の実施形態の以下の詳細な説明によってよりよく理解されるであろう。
【0027】
【0028】
【
図1B】上に左カメラ画像、下に右カメラ画像の図である。
【0029】
【
図1C】拡大率が1であり、表示視野がキャプチャ視野よりも大きい視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのフレーム内に各画像がどのように定性的に置かれるかを示す図である。
【0030】
【
図1D】スクリーンへの視聴距離による視野の変化を概略的に示す。
【0031】
【
図1E】スクリーンサイズの変化に伴う、一定の視聴距離に対する視野の変化を概略的に示す。
【0032】
【
図1F】拡大率が1であり、表示視野がキャプチャ視野よりも小さい視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのフレーム内に各画像がどのように定性的に置かれるかを示す図である。
【0033】
【
図1G】拡大率が1.5であり、表示視野がキャプチャ視野とほぼ同じである視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのフレーム内に各画像がどのように定性的に置かれるかを示す図である。
【0034】
【
図1H】拡大率が0.5であり、表示視野がキャプチャ視野とほぼ同じである視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのフレーム内に各画像がどのように定性的に置かれるかを示す図である。
【0035】
【
図2】例示的な平行カメラシステムの視差の計算に結び付けられた比率を示す図である。
【0036】
【
図3A】ユーザの前に置かれたデュアル平行スクリーンS1およびS2の図である。
【0037】
【
図3B】ユーザの前に置かれたデュアル平行スクリーンS1およびS2のオブジェクトOpの知覚距離を計算するための比率を示す図である。
【0038】
【
図4A】実世界における幅知覚に対応する図である。
【0039】
【
図4B】実世界および知覚された世界における、モノスコピック視による幅知覚に対応する図である。
【0040】
【
図5】立体システムのデュアルスクリーンの1つである左目のスクリーンの図であり、スクリーンに表示された画像の右半分を線が正確に占めている。
【0041】
【
図6A】距離Drnで実世界で知覚されるオブジェクトの比率を示す図である。
【0042】
【
図6B】知覚された世界におけるデュアルスクリーンシステムの左スクリーン上でオブジェクトを知覚する方法を示す図である。
【0043】
【
図7】例示的な立体システムのデュアルスクリーンS1およびS2の図であり、S1およびS2は、右目と左目との間Ioの想像上の線に垂直であり、S1およびS2は、それぞれ、左目の瞳孔および右目の瞳孔に中心がある。
【0044】
【
図8A】ユーザの前に置かれたデュアル平行スクリーンS1およびS2の図である。
【0045】
【
図8B】ユーザが視聴者の目から距離Dsでデュアルスクリーンシステムに直面しているときにオブジェクトOpが知覚される場所に関連する異なる比率の図である。
【0046】
【
図9A】デュアルスクリーンS1およびS2よりもユーザから離れて位置する2つの理論的に重なり合うスクリーンS1’およびS2’の図である。
【0047】
【
図9B】デュアルスクリーンS1’およびS2’の少なくとも一部において、右目がオブジェクトOpを知覚する方法に結び付けられた比率を示す図である。
【0048】
【
図9C】光軸近くの遠方の太陽および光軸に沿った中央部の木を含む左目カメラからの概略画像である。
【0049】
【
図9D】左目カメラの光軸に対して平行軸を有する右目カメラからの概略画像であり、したがって、光軸と垂直配列された遠方の太陽、および左にオフセットされた中央部の木を示す。
【0050】
【
図10A】デュアルスクリーンS1およびS2よりもユーザから離れて位置する2つの重なり合うセクションS1’およびS2’を有する単一スクリーンの図である。
【0051】
【
図10B】2つの重なり合うセクションS1’およびS2’を有する単一スクリーン上でユーザがオブジェクトOpを知覚する方法に結び付けられた異なる測定を示す図である。
【0052】
【
図10C】一般的なスクリーンに表示するための概略左目画像であり、画像は、
図9Cのカメラ画像に対応し、左への眼間オフセットIo/2が表示画像に含まれ、画像は、光軸と垂直配列された遠方の太陽、および左目の光軸と垂直配列された中央部の木を示す。
【0053】
【
図10D】一般的なスクリーンに表示するための概略右目画像であり、画像は、
図9Dのカメラ画像に対応し、右への眼間オフセットIo/2が表示画像に含まれ、画像は、光軸と垂直配列された遠方の太陽、および右目の光軸の左にオフセットされた中央部の木を示し、眼間距離Ioは、
図10Cおよび
図10Dの画像内の遠方の太陽オブジェクト間を示す。
【0054】
【
図11A】スクリーンS1’およびS2’の一部が両方の目によって共有される単純なスクリーンシステムを示す図である。
【0055】
【
図11B】両方の目によって共有されるスクリーンS1’およびS2’の一部が対応する単純なスクリーンシステムの測定を示す図である。
【0056】
【
図12A】デュアルスクリーンシステムと同じ比率Ds/Ls1’を有する単純なスクリーンを使用することによる、左目を対象とする画像の部分画像を示す図である。
【0057】
【
図12B】デュアルスクリーンシステムと同じ比率Ds/Ls1’を有する単純なスクリーンを使用することによる、右目を対象とする画像の部分画像を示す図である。
【0058】
【
図13】左目最終画像および右目最終画像として視聴される元の画像のセクションを示す図である。
【0059】
【
図14A】Lse=Ls1’であるので、左目で知覚される画像を調整する必要がない、スクリーンS1’の幅が画像の有効幅と比較される、例示的な単一スクリーンシステムの図である。
【0060】
【
図14B】Lse<Ls1’であるので、左目で知覚される画像に両側に黒いストリップを追加する必要がある、スクリーンS1’の幅が画像の有効幅と比較される、例示的な単一スクリーンシステムの図である。
【0061】
【
図14C】Lse>Ls1’であるので、左目で知覚される画像をカットする必要がある、スクリーンS1’の幅が画像の有効幅と比較される、例示的な単一スクリーンシステムの図である。
【0062】
【
図15A】Lse=Ls1’である場合にユーザによって知覚される例示的な単一スクリーンシステムの図である。
【0063】
【
図15B】Lse<Ls1’である場合にユーザによって知覚される例示的な単一スクリーンシステムの図である。
【0064】
【
図15C】Lse>Ls1’である場合にユーザによって知覚される例示的な単一スクリーンシステムの図である。
【0065】
【
図16A】ディスプレイ上で視聴されるように画像をトリミングおよびスケーリングするための例示的な立体システムのブロック図である。
【
図16B】ディスプレイ上で視聴されるように画像をトリミングおよびスケーリングするための例示的な立体システムのブロック図である。
【0066】
【
図17A】例示的なボリュームリーダー方法において仮想カメラを使用する画像取得またはレンダリングの図である。
【0067】
【
図17B】例示的なボリュームリーダー方法における単一スクリーンフォーマットの図である。
【0068】
【
図18A】スケールの深度が1であるとき、すなわち、実世界と同じ距離でオブジェクトが知覚される場合のオブジェクト深度のグラフである。
【0069】
【
図18B】スケールの深度が1未満であるとき、すなわち、実世界よりも近くにオブジェクトが知覚される場合のオブジェクト深度のグラフである。
【0070】
【
図18C】スケールの深度が1より大きいとき、すなわち、実世界よりも遠くにオブジェクトが知覚される場合のオブジェクト深度のグラフである。
【0071】
【
図19A】スクリーンに表示された画像のIoおよびBoの幾何学的配置を示す。
【0072】
【
図19B】Boを変更した結果、結果として生じるオブジェクト幅の変化を示す。
【0073】
【
図20A】BoがIoに等しいときの遠方のオブジェクトの幾何学的配置を示す。
【
図20B】遠方のオブジェクトの外観に対するIoより低い光学ベースBoを使用するときの影響を示す。
【0074】
【
図21A】知覚された空間が線形でないことを示すグラフである。
【0075】
【
図21B】実世界の距離と知覚された世界の距離との間の比率を示すグラフである。
【0076】
【
図22】関連するスクリーンの縁またはフレームとの競合のために、近接オブジェクトの深度を知覚するのを困難にする、視野の一部から外れた近接オブジェクトの図である。
【0077】
【
図23A】実世界の視聴に対して同じ輻輳距離および焦点距離を概略的に示す。
【
図23B】立体3D視聴におけるスクリーンの輻輳距離およびより近い焦点距離を概略的に示す。
【表1】
【0078】
【
図24A】スクリーンの後ろに収束する場合の視聴の幾何学的配置を示す図である。
【0079】
【
図24B】スクリーン輻輳角およびオブジェクト輻輳角の幾何学的配置を示す図である。
【0080】
【
図25A】スクリーンの前に収束する場合の視聴の幾何学的配置を示す。
【0081】
【
図25B】スクリーン輻輳角およびオブジェクト輻輳角の幾何学的配置を示す。
【発明を実施するための形態】
【0082】
本明細書で説明する実施形態に含まれる画像処理技術の背後にある幾何学的配置を説明する前に、画像処理の定性的な概要を提示する。
【0083】
図1Aでは、平行カメラ、すなわち左カメラおよび右カメラを同じシーンをキャプチャするように配列することができる方法が概略的に示されている。2つのカメラは、解像度、焦点、視野などの同じプロパティを有することができ、それらは平行な光軸を有する。2つのカメラは、視聴者の目の間の間隔に対応し得る距離で離され得る。無限遠にあるオブジェクトは、各カメラ画像の同じ位置に現れる。カメラ間の距離、カメラからのオブジェクトの距離を含む視野内のオブジェクトの位置に応じて、より近いオブジェクトは異なる視差を有する。
【0084】
図1Bでは、右目画像の上に左目画像が示され、太陽が各画像の同じ位置に現れている。中央部に現れる木は、視差により2つの画像で異なる位置になる。
【0085】
図1Cに示すように、単一スクリーンに表示するには、
図1Bのカメラ画像の変更が必要である。単一スクリーンでの視聴は、既知の技術で行うことができる。例えば、アナグリフカラーフィルター眼鏡は、視聴者が着用でき、スクリーン画像は、カラーエンコードされた左右両方の画像データで構成される。ページフリップ操作では、視聴者は、スクリーン画像が右画像と左画像とを交互に切り替わっている間、右目と左目が交互の時間スロットで見えるシャッター眼鏡を着用することができる。自動立体ディスプレイでは、視聴者は眼鏡を必要としないが、スクリーンにはレンズまたはスクリーンマスクが含まれており、右目で右目用のピクセルを、左目で左目用のピクセルを見ることができる。
【0086】
図1Cの表示スクリーンの視野(FOV)は、カメラ画像の元のFOVよりも大きい。
図1Cに図示されているように、定性的に各画像は、視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのウィンドウまたはフレーム内に置かれる。この距離は人によって異なり得る。以下で説明するように、スクリーンを2人の視聴者が視聴する場合は、その視聴者の不快感を避けるために、視聴者の最小の眼間距離を使用するのが最善であり得る。このようにして得られた画像は、立体表示技術に従って単一スクリーン上に表示される。
【0087】
視聴者がスクリーンからの距離を変更すると、
図1Dに示すように、ディスプレイまたはスクリーンのFOVが変化することが理解されよう。視聴者がスクリーンに近いほど、FOVは大きくなる。同様に、視聴者がスクリーンから一定の距離にいる場合、FOVはスクリーンが小さい場合よりもスクリーンが大きい場合の方が大きくなる。
図1Dおよび
図1Eは、FOV、視聴距離、およびスクリーンサイズの間の依存性を定性的に理解するために重要である。
【0088】
図1Cの実施形態では、表示スクリーンは、元のFOVよりも大きいFOVを提供し、したがって、境界部分の一部はパディングまたはブラックアウトされ得る。
図1Fの実施形態では、ディスプレイFOVは、キャプチャFOVよりも小さい。これは、表示スクリーンが基本的に視聴距離に対して小さすぎることを意味する。
図1Fに定性的に図示されているように、元のキャプチャ画像のトリミングは、2つの画像を組み合わせて表示スクリーンに収まることができるように行われる。元のキャプチャ画像の一部の縁部分は失われるが、画像は元のキャプチャに立体的に忠実である。
【0089】
図1Gの実施形態では、立体出力は、1.5倍に拡大されるべきである。定性的には、
図1Bの画像(理解を容易にするために図面シートで繰り返される)が最初に拡大され、拡大された画像から、表示スクリーンに収まることができる部分が抽出され、立体表示技術に従って、単一表示スクリーン内に好適な眼間オフセット(Io)で置かれることがわかる。表示スクリーンFOVはキャプチャFOVと同じにすることができるが、拡大の結果として、キャプチャ画像の重要な境界部分が失われる。しかし、拡大された画像の立体効果は視聴しやすい。
【0090】
図1Gに示す方法で画像をスケーリングすると、拡大率はオブジェクトのサイズおよび知覚される視差に影響を与えるため、オブジェクトが近くに見えるようになり、ズームが画像内のオブジェクトに近づくことを含むような印象を与える。シーン内のオブジェクト間の深度の変動の知覚は減少または平坦化されるが、画像は2つの目と位置合わせされたままであるため、拡大しても3D効果はうまく機能する。
【0091】
変化する視聴条件に従う元のキャプチャ画像への調整に耐える立体効果の機能は、平行軸カメラからの元のキャプチャ画像によって促進される。平行に近い軸を有するカメラは、適切な画像を提供することが理解されよう。
【0092】
図1Gに図示されるキャプチャ画像の拡大は、キャプチャ画像の中心について取られる必要がなく、そのような拡大を実行するとき、対象のウィンドウが効果的に選択されることが理解されよう。更に、この機能により、視聴者は、元のキャプチャシーンのパンをシミュレートする方法で対象のウィンドウを移動できるようになることが理解されよう。
【0093】
図1Hの実施形態では、立体出力は、0.5倍に拡大(すなわち、縮む)されるべきである。定性的には、
図1Bの画像(理解を容易にするために図面シートで繰り返される)が最初にスケールダウンされ、小さい画像は、立体表示技術に従って、単一表示スクリーン内に好適な眼間オフセット(Io)で置かれることがわかる。表示スクリーンFOVはキャプチャFOVと同じにすることができるが、縮小の結果として、キャプチャ画像の一部が失われることはない。拡大率は、画像が単一表示スクリーンの利用可能なFOVに正確に収まるように選択できる。以前と同様に、
図1Hの実施形態では、シーン内のオブジェクト間の深度の変動の知覚は増加するが、画像は2つの目と位置合わせされたままであるため、拡大しても3D効果はうまく機能する。
【0094】
特定の実施形態を定性的に説明してきたが、他の実施形態は、正確な幾何学計算を使用して以下に説明される。
【0095】
平行カメラでキャプチャ
【0096】
2つの同一のカメラで構成される立体キャプチャシステムは、平行構成で配置される。
図1Aに示すように、このような立体システムでキャプチャされたオブジェクトの視差は、左カメラで撮影した画像上でのこのオブジェクトの位置と、右のカメラでキャプチャした画像上でのこの同じオブジェクトの位置との間の測定された差である。
【0097】
図2に示すように、これらの2つのカメラは、幅Lcおよび長さFの焦点距離のセンサを有すると定義される。それらのそれぞれのレンズの中心は、互いから距離Bをおいて置かれる。この距離をベースと呼ぶ。
オブジェクトが左カメラの中心軸上に正確にある場合、このオブジェクトは左カメラのセンサの中心に正確に表される。このオブジェクトの視差は、右のカメラのセンサ上のこのオブジェクトによって形成される点と右のカメラのセンサの中心との間の距離に等しく、これは、上のグラフのセグメントpcに示される。距離Drnに位置するオブジェクトの視差は、辺PcおよびBが対応する同等の直角三角形と、辺DrnおよびFを比較することで決定できる。Pc=B*F/Drnが得られる。
【0098】
深度スケール-平行スクリーン
【0099】
立体画像を視聴するには、平行スクリーンシステムを使用することができ、このシステムでは、両目がそれぞれのスクリーンに別々の画像(左画像および右画像)を表示する。同一サイズのこれら2つのスクリーン(S1およびS2という名前)は、各目の瞳孔の中心に直接位置合わせされる(
図3Aを参照)。
【0100】
左スクリーン上の表現がOgにあり、スクリーンに垂直でその中心を通る軸上にあるオブジェクトを使用すると、右スクリーン上の表現は、Odまたはスクリーンの中央から距離Ps(スクリーン視差)にある。したがって、差異の情報によって与えられるオブジェクトOpの知覚距離はDpになる。2つの同等の直角三角形があり、辺を一致させることにより、次の比率が得られる。
【数1】
【0101】
【0102】
スクリーンの視差(Ps)は、センサの視差(Pc)にスクリーン上の拡大率を掛けることで計算できる。この拡大率(M)は、スクリーンに表示される画像の有効幅(Lse)とキャプチャされた画像の幅との比率に対応し、これは、すべての実用的な目的で、センサの幅(Lc)に等しくなる。今回の場合、スクリーン上に表示される画像は、元々全体がキャプチャされた画像であると確認する。以下が得られる。
【数3】
【0103】
前述の2つの方程式を組み合わせることで、以下が得られる。
【数4】
【0104】
所与の立体スクリーンから一定の距離に座って、固定のベースで撮影されたコンテンツを見ている所与の観客にとって、Io、B、Ds、Lse、Lc、およびFは、一定であると言える。次に、方程式は次のようになる。
【数5】
【0105】
言い換えると、立体システムによって表される深度知覚は、実世界のそれと線形比例し、その深度スケールはCに等しくなる。実世界での距離の一元的な変化(キャプチャ)の場合、観察者によって知覚される距離のCの変動がある(視覚化)。
・Epr=1の場合、深度の知覚は実世界と同一になる。
・Epr<1の場合、観察者は現実よりも浅い世界を知覚する。
・Epr>1の場合、観察者は現実よりも深い世界を知覚する。
【0106】
空間スケール-平行スクリーン
【0107】
実世界で観察されるオブジェクトの実際の幅を確認するには、相対距離を知ることが不可欠である。実際、モノスコピック視では、異なる距離に置かれた異なるサイズのオブジェクトは、同じサイズであるかのような印象を与える可能性がある。これは
図4Aおよび
図4Bに図示されており、ここで、線Lr1、Lr2、およびLr3は3つのすべて異なる長さであるが、相対距離がわからない観察者にとっては同一の長さで、したがって、モノスコピック視でLp1=Lp2=Lp3であるように現れる。
【0108】
したがって、オブジェクトの知覚幅は、このオブジェクトの観察者に関する距離情報に直接関連している。
【0109】
図5に示すように、平行スクリーンを備えた立体システムの左目のスクリーンに表示される画像の右半分を正確に占める線を表示する立体画像が取得される。したがって、スクリーン上のこの線の幅はLse/2に等しい。
【0110】
立体視では、この線は、スクリーンから観察者を隔てる距離とは異なる見かけの距離であり得る。
図6Aおよび
図6Bに示すように、この線は、観察者から距離Dpで知覚されると想定することができる。この知覚距離では、線は知覚幅Lpを有する。言い換えると、この線は遠くに位置するため、はるかに幅が広いと知覚される。
【0111】
2つの同等の直角三角形があるので、それは次のように確立され得る。
【数6】
【0112】
このような立体システムでオブジェクトの知覚深度(Dp)を計算する方法を上に示し、この計算を上記の式のDpの項に代入すると、以下が得られる。
【数7】
【0113】
これで、実世界での線の幅(Lrn)は、知覚幅Lpの左目の画像上で線を形成したと判断できる。この線は、左目の画像の右部分を完全に占めているため、前のページのグラフに表示されているように、この画像をキャプチャしたカメラのセンサの半分を完全に占めていることが確認できる。タレスの定理を適用することにより、以下が確立される。
【数8】
【0114】
この線の知覚幅と知覚された世界の任意のオブジェクト(Lp)およびそれらに相当する実世界(Ln)との間のスケール比は、次のとおりであることが確立される。
【数9】
【0115】
言い換えると、立体システムによって表される幅知覚は、実世界のそれと線形比例し、その空間スケールはIo/Bに等しくなる。実世界での幅の各変動(キャプチャ)の場合、観察者によって知覚される幅のIo/Bの変動がある(視覚化)。
・Esp=1の場合、幅の知覚は実世界と同一になる。
・Esp<1の場合、観察者は現実よりも狭い世界を知覚する(すなわち、圧搾)。
・Esp>1の場合、観察者は現実よりも広い世界を知覚する(すなわち、拡大)。
【0116】
立体表現の比例
【0117】
立体表現の深度および空間スケールを知ることにより、この表現の比例のスケールを確認できる。この比例のスケールは、表現が平坦化されるか、延長されるか、または現実に比例するかを決定することを目的とする。比率は次のように確立される。
Z=Epr/Esp
・Z=1の場合、観察者は比例した世界を知覚する(望ましい)。
・Z<1の場合、観察者は平坦化された世界を知覚する(より快適で、より効果が少ない)。
・Z>1の場合、観察者は引き延ばされた世界を知覚する(より広範で、より壮観)。
Zが1に等しい場合、Epr=Espであり、したがって、
【数10】
【0118】
言い換えると、焦点およびセンサのペアで指定されたキャプチャされたフィールドは、画像の幅(スクリーン)および画像の距離のペアで指定された立体システムの視野と等しくなる。Ds/Lseの比率に平行なスクリーンを持つシステムは、スクリーンのサイズに関係なく、同等のエクスペリエンスを提供し、その比率は、Io/Bによって与えられる(アリから巨人まで)。例えば、観察者がスクリーンから30mの距離にいる、幅10mのスクリーン用にキャプチャされた立体画像(Ds/Lse=3)は、スクリーンから30cmにいる、10cmスクリーンで同一の立体エクスペリエンスを提供する(Ds/Lse=3)。
【0119】
しかし、特定のサイズ(Ioより広い)を超えると、平行スクリーンが互いに接触するという事実に関連する問題がある。ステレオスコープまたは仮想現実ヘッドセットなどの拡大レンズを使用しない限り、平行ディスプレイの使用は非現実的であり、その使用は大幅に制限される。次のセクションでは、この制限を回避し、3DTVまたは映画のスクリーンなどの非常に大きな単一スクリーンでの表現に平行カメラ法を使用する方法について説明する。
【0120】
単一スクリーンの変換
【0121】
上で開発された方程式は、平行スクリーン、つまり2つの目を分離し、中心が各目の瞳孔の中心に正確に位置する想像上の線に垂直なスクリーンに対してのみ機能する。
【0122】
同じDs/Lse比率(スクリーンに表示される画像の幅に対するスクリーンまでの距離の比率)を有するシステムでの立体表現は、すべての点で同一の体験を提供すること、つまり、オブジェクトの知覚されるサイズおよび距離が完全に同一になることは上記で実証されている。
【0123】
図8Aおよび
図8Bに示すように、知覚距離がDpであるOpオブジェクトを取り上げる。この点は、左目のスクリーン(S1)では点Ogで表され、右目のスクリーン(S2)では点Odで表される。点OgはスクリーンS1の中心軸上に正確に位置し、一方、点OdはスクリーンS2の中心から距離Psに位置する。したがって、2つの目は、
図8Bに示されるように、この点が局所化されていると観察者が知覚する場所である点Opに収束する。
【0124】
図9Aおよび
図9Bに示すように、スクリーンS1およびS2と同じ比率Ds/Lseを有し、スクリーンからより遠くに位置する2つの理論的なスクリーンS1’およびS2’ を取り上げる。これらのスクリーンは重複しているため理論的なものであり、実世界では不可能である。したがって、Ls1/Ds1はLs2/D2と等しく、これもLs1’/Ds1’およびLs2’/Ds2’とも等しいことがわかる。スクリーンS1およびS1’は左目の瞳孔の中心にあるので、点OgおよびOg’は両方ともそれぞれのスクリーンS1およびS1’の中心軸上に位置すると主張することができる。
図9Aおよび
図9Bに示すように、点OdおよびOd’は、それぞれスクリーンS2およびS2’の中心から距離PsおよびPs’に位置する。
【0125】
点Opが2つの表現の同じ場所で知覚されるためには、点OdおよびOd’が同じ角度を形成するか、比率Ps/Ds2がPs’/Ds2’と等しい。S2’はS2の線形拡大率であるため、Ps’はPsと比較して同じ拡大率になることが知られる。言い換えると、Ls2’/Ls2=Ps’/Psである。システムはこの制約に基づいて設計されているため、Ls2’/Ds2’=Ls2/Ds2であることも知られる。したがって、次のように推定できる。
【数11】
【0126】
したがって、これら2つのシステムのいずれかを使用する場合、Opオブジェクトは同じ場所で知覚される。したがって、2つのシステムがすべての点で同一および同等の立体エクスペリエンスを提供することが実証されている。
【0127】
図9Cおよび
図9Dに示すように、平行軸カメラを使用してキャプチャされた画像には、太陽のような遠方のオブジェクトが同じ位置にあり、より近いオブジェクトは異なる位置にある。このような画像は、ヘッドマウントディスプレイを使用して視聴できる。
【0128】
図9Bからわかるように、各目から見た画像は、オブジェクトOdおよびOgが見つかる場所に対応する第1の深度に置かれるスクリーンに収まるように、またはオブジェクトOd’およびOg’が見つかる場所に対応する第2の深度に置かれるスクリーンに収まるように、サイズ変更またはスケーリングされてもよい。したがって、第1の深度で使用される小さなスクリーンは、同じ視野を提供する第2の深度で、より大きなスクリーンと交換することができる。より大きなスクリーン用の画像のスケーリングにより、OdがOd’に変わる場合があるが、オブジェクトOpの立体位置は変わらない。
【0129】
以下の
図10から
図13を参照した説明から理解されるように、
図9Cおよび
図9Dの画像は、上述のようにスクリーン位置の関数としてスケーリングできるが、画像10Cおよび10Dのスケーリングは、眼間距離に悪影響を及ぼし、したがって、どのようなスケーリングでも、眼間距離を維持するために位置オフセット(または、スケーリングプロセス中に左目軸および右目軸の位置を維持すること)が必要である。
【0130】
2つの深度のいずれかで異なるスクリーンサイズが必要な場合、画像のスケーリングにより視野が変わる。単眼視では、通常の視野が提供され、解像度が高品質である場合、視界は一般により高く評価される。それにもかかわらず、視聴者はスクリーンから近くもしくは遠くに座ったり、または同じ視聴距離で30インチのスクリーンを50インチのスクリーンに変更したりでき、単眼画像を表示する機能は、元の画像の視野を変更しても悪影響を受けない。立体視では、視野を変更すると、オブジェクトの立体深度の知覚が低下する。
【0131】
例えば、
図9Bを参照すると、右目に表示される画像が第2の深度でより大きなスクリーン上に表示された場合、Od’は、同じ第2の深度でより大きなスクリーンに収まるようにスケーリングした結果、更に左側に現れる。オブジェクトOg’は左目画像内の同じ中心位置に留まるので、オブジェクトOpの深度はこのようにより近く見えるであろう。これにより、立体視の表示に歪みが生じるだろう。
【0132】
実際、第2の深度でより大きなスクリーンを使用する場合、より大きなスクリーンを使用して、立体視に悪影響を与えることなく同じ視野の画像を表示できる。これには、スクリーン上の画像の周囲に境界を設けることが含まれ得る。有効視野は変わらない。
【0133】
第2の深度でより小さいスクリーンを使用する場合、より小さいスクリーンを使用して画像の一部を表示できる。これは、より小さいディスプレイに表示されるオブジェクトはより大きいディスプレイに表示されるオブジェクトと同じサイズであり、元の視野の一部のみがより小さいスクリーンに表示されるという意味で、より小さいウィンドウを通して世界を見るようなものである。より小さいスクリーンがより大きいスクリーンと同じ解像度を有する場合、同じオブジェクトサイズを維持し、画像の一部を表示するために、画像は拡大およびトリミングされる。元の画像の縁は失われるが、第2の深度でより小さいスクリーンを使用するため、立体効果は歪められない。
【0134】
この同等性が確立されたので、
図11Aおよび
図11Bに示すように、単一スクリーンに基づいて立体システムに置き換えることができる。これを行うには、
図11Aおよび
図11Bに示すように、2つの別々のスクリーンの2つの部分セクションのように、各瞳孔を中心とする単一のスクリーンが検討される。実際、その中心が、観察者の2つの目に垂直でありそれらの中心にある軸上にある、スクリーンSが取り上げられる。このスクリーンは、スクリーンS1’(右部分)およびスクリーンS2’(左側部分)の部分的な表現であり、各目の視野は非対称である(両目の中心から片側が他の側より広い)と言える。
【0135】
図10Cおよび
図10Dに示すように、例えば、アナグリフ画像(例えば、右目はシアン、左目は赤)を視聴するためのアナグリフ眼鏡、交互に表示される左目画像と右目画像を視聴するためのLCシャッター眼鏡、または自動立体ディスプレイを使用して、画像を同じディスプレイ上で二色光学的に見る場合、画像は、Ioの差異を有する遠方のオブジェクトを含む。平行軸カメラを使用してキャプチャされた画像には、オフセットIoが考慮されると、太陽のような遠方のオブジェクトが同じ位置にあり、より近いオブジェクトは遠くのオブジェクトに対してそれぞれ異なる位置にある。
【0136】
第2の視野を有する観察者のためのスクリーン上に表示するための第1の視野のためにカメラで撮影された立体画像のスケーリングは、立体画像の全体を表示することに限定されないことが理解されよう。
図9C、
図9D、
図10C、および
図10Dに示すように、関心領域ズームウィンドウは、ソース立体画像内で選択され得る。このウィンドウは、ソース画像全体よりも小さい第1の視野を提供するが、ウィンドウをソース画像として取得し、ここで説明するように表示できる。ウィンドウを選択すると、新しいスクリーンに収まるような画像のトリミングが少なくなる場合がある。
【0137】
このウィンドウ選択は、画像の中央にある必要はなく、図では画像のやや左側に示されている。このウィンドウ選択は、ユーザ入力によって制御でき、ソース画像内のウィンドウを見る方向のナビゲーションを可能にする。
【0138】
したがって、ソース画像は広角またはパノラマシーンにすることができ、ウィンドウ選択により、視聴者はシーン内の視線方向を変更してシーンを探索できる。
【0139】
図12Aおよび
図12Bに図示されているように、同じ比率Ds/Ls1’の単一スクリーンを使用して、平行スクリーンシステムと同等のエクスペリエンスを得るには、左目を対象とする画像の部分画像(右部分)および右目用の画像の部分画像(左部分)が表示され、部分画像は次の方法で計算される。
【0140】
左目については、
図12Aおよび
図12Bに示すように、スクリーンS1’の幅の右半分は、スクリーンの幅を2で割った値(Ls/2)に眼間距離を2で割った値(Io/2)を加えたものに等しい。したがって、完全なスクリーン幅S1’は、Ls/2+Io/2に2を掛けたものに等しく、Ls1’=Ls+Ioになる。スクリーンには左目用画像の右側部分のみを表示できるため(Ls1’-Io)、左画像のIo相当部分がカットされる。画像は、比率Io/Ls1’またはIo/(Ls+Io)に従ってカットされる。
【0141】
例えば、幅140cmのスクリーンに表示すべき1920×1080の解像度の画像を考慮する(観察者の眼間距離は6.5cmである)。左目用の画像の左側部分を85ピクセルでカットする必要がある。
【数12】
【0142】
元の画像のアスペクト比を維持するために、画像はいずれも同じ比率で縦軸にカットされる。
【数13】
【0143】
したがって、
図13に示すように、左目用の最終画像は、元の1835×1032画像のセクションになる。ピクセル数を考慮し、両方の目で同じ選択を行う(立体配列)限り、画像の垂直部分は画像の任意の部分(上、下、中央など)であり得ることに留意すべきである。右目の画像を取得するには、右目の元の画像の同等の左のセクションを、左目のセクションと同じ垂直方向に配列された1835×1032のセクションのいずれかとするだけである。
【0144】
これらの画像は、最終的な立体結果に影響を与えることなく、画像が表示されるスクリーン上の解像度に戻ることができる。したがって、画像の最終的な水平解像度および垂直解像度を取得するための式は次のとおりである。
【数14】
【0145】
したがって、この方法により、あらゆる点で同等のユーザエクスペリエンスを実現できる3Dテレビまたは3D映画スクリーンなどの単純なスクリーンに表示するために、平行カメラを備えたキャプチャシステムを使用することができる。
【0146】
非同一のDs/LおよびF/Lc比率の適応
【0147】
比Ds/Lseが比F/Lcと同一である場合、現実に比例した立体エクスペリエンス(Z=1)を得ることが可能であることが上記で確立されている。しかし、立体表示システムには、この比率を満たすことが不可能になる可能性のある制約がある場合がある。それにもかかわらず、この比率および所望の立体比例性を回復するように画像を変更することは可能である。簡単にするために、平行スクリーンシステムを使用する。拡大レンズのおかげで非常に広い視野を持つ仮想現実ヘッドピースが、ユーザに提供される。最終的なスクリーン幅は、式Ls1=Ls1*Gで与えられ、式中、Gは使用されるレンズによって提供される拡大率を表す。
【0148】
工程1:有効幅の決定
【0149】
立体画像の有効幅は、観察者からスクリーンまでの距離を考慮して決定される。この目的のために、次の式が使用される。
【数15】
【0150】
工程2:比較:
【0151】
次いで、スクリーンS1’の幅が画像の有効幅と比較される。
図14A、
図14B、および
図14Cに示すように、
・Lse=Ls1’の場合、画像をそのままスクリーンに表示できる。
・Lse<Ls1’の場合、画像のサイズを縮小する(黒いバー、中央のウィンドウ)。
・Lse>Ls1’の場合、スクリーンの実際のサイズに合わせて画像をカットする必要がある。
【0152】
工程3(A):Lse<Ls1’の場合の画像の調整
【0153】
方法1:
【0154】
この場合、黒い帯を画像全体に追加して、画像を目の中心に維持し、画像の元のアスペクト比を保持できる。これを行うには、次の式を使用する。
【数16】
【0155】
結果の画像は、スクリーン解像度にリセットされ、フルスクリーンモードで表示される。例えば、1920×1080の解像度の画像の場合、有効幅(Lse)は45cmである必要があり、最終的な幅(Ls1’)が60cmのスクリーン上に表示される。画像は次のとおりである。
【数17】
【0156】
したがって、最終画像は、2560×1440ピクセルの解像度を有し、アスペクト比は1.78:1に保たれる。この新しい画像は、スクリーン解像度にリセットされ、フルスクリーンモードで表示される。例えば、スクリーンが800ピクセルの解像度を有する場合、アクティブな部分(画像データを表示)は、1920/2560*800=600ピクセルになる。
【0157】
方法2:
【0158】
あるいは、スクリーンの水平方向の中心に、好ましくは垂直方向の中心にもあるウィンドウに表示される画像を作成することもできる。画像の解像度は次のとおりである。
【数18】
【0159】
【0160】
画像(ダウンスケール)は1920ピクセルから600ピクセルに縮小されて、スクリーンの中心に配置されるため、上記とまったく同じ結果が得られる(画像のアクティブな部分)。
【0161】
工程3(B):Lse>Ls1’の場合の画像調整
【0162】
画像の有効幅がスクリーンの有効幅よりも大きい場合、水平方向の中央揃えを維持するために、画像の両側もカットして画像を縮小する。次の方法を使用できる。
【数20】
【0163】
例えば、水平解像度が1920ピクセルで、スクリーンからの距離で有効幅が50cm(Lse)である必要があるが、実際のスクリーン幅が30cmしかない画像。画像は次のとおりカットされ得る。
【数21】
【0164】
したがって、最終画像は、1152×648ピクセルの解像度を有し、アスペクト比は同じ1.78:1に保たれる。あとは、こうして得られた画像の解像度をスクリーンの解像度に合わせて調整し、フルスクリーンモードで表示するだけである。
【0165】
平行スクリーンの方法適応
【0166】
現在、単一スクリーンシステムが検討されている。
【0167】
図15A、
図15B、および
図15Cに示すように、ユーザは、ユーザがスクリーンを見るために座っているところからの距離により限定された視野を提供するテレビ上の画像を見ている。先に見たように、最終的なスクリーン幅は、式Ls1’=Ls+Ioで与えられる。
【0168】
スクリーン上の画像を調整するには、次の2つの手順を実行できる。
【0169】
工程1:2つの画像(左目と右目)の画像解像度(Rimg_hおよびRimg_v)を調整して、画像が初期比率Ds/Lseを考慮するようにする。
【0170】
工程2:セクション5の技術で得られた新しい目の左目と右目の画像の右側部分をカットする
【0171】
眼間距離が6.5cmで、幅(Ls)が140cmのテレビ(1920X1080ピクセルの解像度で幅(Lse)が200cmである画像)を見る観察者の例を考えてみる。工程1が最初に実行される。
【0172】
工程1:
【0173】
Ls1’が最初に決定され、これは、Ls+Ioに等しく、146.5cmである。LseはLs1’より大きいため、次の方法で左目および右目の画像が縮小される。
【数22】
【0174】
したがって、中間画像は1406×791ピクセルの解像度を有し、初期アスペクト比は同じ1.78:1のままで保持される。工程2が実行される。
【0175】
工程2:
【0176】
次のように、計算の基礎として中間画像を使用して、左目の右部分および右目の左部分がカットされる。
【数23】
【0177】
元の画像のアスペクト比を維持するために、縦軸に沿って同じ比率で画像がカットされる。
【数24】
【0178】
したがって、左目用の最終画像は、1344×756ピクセルの解像度および1.78:1のアスペクト比を有する元の画像(右の一部)のセクションになる。右目の画像は、右目の元の画像の同等の左のセクション、すなわち、左目のセクションと同じ垂直方向に配列された1344×756のセクションで構成される。あとは、左目および右目画像の解像度をスクリーンの解像度に合わせて調整し、フルスクリーンモードで表示するための最終画像を得るだけである。
【0179】
立体ズーム:画像サイズ(Lse’)の変更
【0180】
モノスコピーでは、ズームは、所与の倍率でのx軸およびy軸における画像の拡大に対応する。2倍にズームすると、画像は元の画像の2倍の大きさで現れる。一方、以前に見たように、立体視でのこのような拡大は、スクリーン上の画像のサイズだけでなく、オブジェクトの知覚される深度にも影響を与える。
【0181】
所定のスクリーン(Z=1、Io/B=1)の縮尺に合わせて表示された立体画像の例では、立体画像のペア(左および右の画像)は、Xの係数によって同じように変更されるため、Lse’/Lse=Xとなる。スクリーンから同じ距離にいる所与のユーザに対するこの変更の影響が観察される。
【0182】
知覚距離への影響
【0183】
上記で確立された方程式によれば、以下が確立される。
【数25】
【0184】
したがって、画像の拡大係数がXの場合、オブジェクトの知覚距離は1/Xに比例して減少する。
【0185】
知覚幅への影響
【0186】
上記で確立された方程式によれば、以下もまた確立される。
【数26】
【0187】
したがって、画像の拡大係数がXの場合、オブジェクトの知覚幅は変わらない。
【0188】
比例への影響
【0189】
最後に、上記で確立された方程式によれば、以下が確立される。
【数27】
【0190】
したがって、画像の拡大係数がXの場合、比例スケールは1/Xの反比例係数によって変わる。
【0191】
【0192】
立体表現の比例性を保つために、画像の知覚距離の変化は、画像の知覚サイズの等しく比例した変化を伴う。言い換えると、空間スケールの変動(Esp=Io/B)は、深度スケールの変動(Epr)と等しいため、比例スケールは1に等しいままである。
【0193】
しかし、立体カメラシステムのベースは既に撮影に固定されており、ユーザの2つの目の間の距離は明らかに変更できないため、空間スケールのコンポーネント(IoおよびB)は変更できない。言い換えると、スクリーン上の画像のスケールまたは拡大率が変わると、エクスペリエンスの比例性を保つ方法がない。
【0194】
したがって、画像拡大法によるズームの場合:
【0195】
ズームインすると、3Dの世界に「入る」ことができる。視野が狭くなり、3Dの世界が平坦になる。
【0196】
ズームアウトすると、ユーザは3Dの世界から離れることができる。視野が広くなり、3Dの世界が引き延ばされる。
【0197】
立体ズーム:光学ベース(Bo)の変更
【0198】
以下の例示的な図が提供される。ズームが行われると、スケール(x、y、z)が係数Xによって全体的に次のように変化する
【数28】
【0199】
ユーザの眼間距離(Io)を変更することはできないが、2つの目の光軸の中心に対する画像の位置を変更することはできる。光学ベース(Bo)は、スクリーン上の2つの画像の中心間の距離として定義される。基本的な光学変化がオブジェクトの知覚幅および知覚深度にどのように影響するかを示すことができる。
【0200】
知覚幅への影響
【0201】
図19Aは、スクリーンに表示された画像のIoおよびBoの幾何学的配置を示し、
図19Bは、Boを変更した結果、結果として生じるオブジェクト幅の変化を示す。
【0202】
光学ベースは、その中央が観察者の両目の完全に中心であるように配置される。
【0203】
【0204】
第1の方程式の「La」を第2の方程式の結果で置き換えることにより、以下が確立される。
【数30】
【0205】
【0206】
したがって、所与の画像の幅の場合、オブジェクトの幅の知覚される変化は、そのオブジェクトの距離の知覚される変化と等しくなる。光学ベースの変更により、スケールの比例性の条件を満たすことができる。次に、光学ベースの変化が立体表現におけるオブジェクトの知覚距離にどのように影響するかについて説明する。
【0207】
知覚距離への影響
【0208】
左目および右目の画像の点Agおよび点Adにそれぞれ位置するオブジェクトが撮影される。
図20Aおよび
図20Bは、Ioより低い光学ベースBoを使用した場合の影響を示す。
【0209】
直角三角形のプロパティに基づいて、以下が確立される。
【数32】
【0210】
比率Dp’/Dpは次のように確立される。
【数33】
【0211】
この関係は、異なる光学ベースを使用すると、オルソステレオスコピック効果が失われることを実証している。実際、Dpの変動は線形であるが、比率Dp’/Dpの変動は線形ではなく、これは、それらがPsに従って変動するためであり、つまり、実世界でキャプチャされたオブジェクトの距離の関数として変動するためである。Drnの単位変動の場合、Dp’の変動はDrnの値に従って変化する。これは、ほぼ線形に比例する変動があるいくつかのゾーンとして見ることができる。この関係により、Xの値(3D拡大率)を計算できるようになる。
【数34】
【0212】
この結果は、拡大率Xが特定の実距離Drnに対してのみ有効であることを実証している。例えば、元の表現の3分の1に相当する3D拡大率が得られた場合、この関係を実現するための元の距離(Drn)を指定できる。任意に、距離Drnは、オルソステレオスコピックモードで、ゼロ平面に表示される実際の基準距離、つまりスクリーンからの距離(Dp=Ds)を選択する。結果は以下のとおりである。
【数35】
【0213】
逆に、Boを決定して、所望の3D拡大率を与える場合、Boは次のように分離できる。
【数36】
【0214】
図21Aおよび
図21Bのグラフは、実世界と知覚された世界の距離の間の比率に対する光学ベースの変更の影響を示す。
【0215】
上のグラフに示されているように、知覚された空間は線形ではなく(比率Dp’/Drnは一定ではない)、更にオルソステレオスコピックではない。光学ベースを変更して画像内をズームすると、知覚距離でプラトーに急速に達する。知覚される最大距離(Drn=無限遠の場合)は、次のように計算される。
【数37】
方法の制限
【0216】
まず、オブジェクトにはDrnから無限遠まで距離に開きがあるため、ズームアウトすることはできない。無限遠にあるオブジェクトは、通常、Bo=Ioの場合、両目の中心に表示される。BoがIoより大きい場合、点はそれぞれ左目の左および右目の右に見られる。目を離すことはできないので、この方法は融合を不可能にし、ユーザに痛みを引き起こす。
【0217】
また、この方法では、知覚される画像の部分が有意に増えることはない。画像は数センチメートルしか動かされないので、期待した効果はズーム(すなわち、視野を有意に変更する)では達成できない。
【0218】
最後に、光学ベースの変更は、重大な空間歪みを引き起こし、空間の直線性およびオルソステレオスコピック効果の損失を引き起こす。これらすべての理由により、光学ベースを変更することは、立体画像の3Dズームに推奨される方法ではない。
【0219】
輻輳および調節の管理を考慮した快適な立体表現
【0220】
オブジェクトの深度を確立するために、脳は多くの視覚的手がかりを使用して、それらを結合して、より高いレベルの確実性を獲得する。例えば、介在、運動視差、ぼかし、透視線、そしてもちろん、立体視(視差)を使用することができる。従来の/モノスコピックのビデオゲームおよび映画では、これらの技術の多くはコンテンツに深度のより大きな感覚を与えるために、時には観客/プレイヤーに深度の印象を提供するために使用される。
【0221】
立体コンテンツの場合、視差の違いを使用して深度の印象を与える。しかし、視差情報は他の視覚的手がかりとしばしば競合する。例えば、1つのケースは、
図22に示すように、スクリーンの前にあるべきオブジェクトだがその画像が「スクリーンの端で切り取られている」場合である。
【0222】
図22の画像では、野球は立体情報に従ってスクリーンから出てくるはずであるが、フレームに「タッチ」しており、つまり、スクリーンのフレームがボールの画像を遮っているように見える。しかし、日常生活の中で、脳は別のオブジェクトを視覚的に遮るオブジェクトがその前にあることを学んだ(介在の現象)。したがって、視覚的手がかりの間には競合があり、介在は視覚野によって一般的に使用されるため、脳は立体情報を拒否してボールをスクリーンに配置すると決定する(例えば、スクリーンの前でそれを知覚することを拒否する)。立体写真家はこの現象に精通しており、注意深くスクリーンの前に現れるべきオブジェクトを正しくフレームに収める。
【0223】
もう1つの主要な問題は、輻輳情報(目が収束する場所)と調節(目が焦点を合わせる距離)との間の違いから生じる。脳はこれら2つの情報を定期的に同時に管理して、明確な視覚を可能にする。これらの2つの情報は互いに一致しているはずであり、脳は両方の情報を一緒に使用してより適切な決定(調整)を行う。輻輳が所与の距離(Dp)で達成されるが、目はスクリーンの距離(Ds)に焦点を合わせるため、立体視では、これら2つの情報は必ずしも一致しない。
図23Aは、実世界の視聴に対して同じ輻輳距離および焦点距離を概略的に示し、
図23Bは、立体3D視聴におけるスクリーンの輻輳距離およびより近い焦点距離を概略的に示す。
【0224】
立体視における輻輳と調節との間にあまりにも多くの競合がある場合、不快感、痛み(時々持続的)、および複視(二重視、融合なし)などの多くの悪影響が発生する可能性があることが文献で示される。輻輳と調節との間のこの競合は、快適さのレベルだけでなく、立体表現におけるオブジェクトの深度の知覚にも影響する。
【0225】
平行カメラおよびさまざまな距離に配置されたコンピュータ生成オブジェクトを使用して実験を行った。観察時に、視差の重要な違い(スクリーン上で測定および検証)にもかかわらず、オブジェクトの距離の知覚は、スクリーンから非常に遠くにあるオブジェクトの配置に対してわずかにしか変化しないことが観察された。輻輳と調節情報との間に競合がある場合、人間の脳は調節情報を優先することができ、オブジェクトの知覚距離はスクリーンからの距離に関連する。調節情報を裏付けるスクリーンの近くの視野に多くのオブジェクトがある場合、この効果は強調され得る。
【0226】
この問題を管理するために、角度制約に関する最大または最も遠い距離(スクリーンの「内側」で知覚)と最小距離(スクリーンの「外側」)が決定される。
【0227】
最大距離(Df)
【0228】
2009年5月から6月付けのJournal of Imaging Science and Technology(53(3):030201-030201-14,2009)に掲載されたMarc Lambooijらによる記事「Visual Discomfort and Visual Fatigue of Stereoscopic Displays:A Review」によると、目がスクリーンに収束するときに目によって形成される角度(「調節」角度)と快適なエクスペリエンスを維持するための最大または最小の輻輳角との間を1°に制限することを考慮することが提案されている。この原理は、立体知覚の最大距離および最小距離を決定するための基礎として使用される。調節が無限遠で行われるレンズ(例、ステレオスコープ、仮想現実ヘッドセット)による視覚化と、調節がスクリーンの距離で行われる従来のスクリーンとの間には、重要な違いがあることに留意することが重要である。まず、従来のスクリーンの場合について説明する。
【0229】
図24Aは、スクリーンの内側に輻輳した場合を表す。この図から、オブジェクトの距離(Do)の値を見つけることは、次のように確立される。
【数38】
【0230】
図24Bに関して、目がスクリーン上に収束するとき、左目の輻輳角はΘに等しい。目がスクリーンの「内側」に収束すると、形成される角度は各目でθ’に減少する。立体知覚および見やすさを維持しながら、輻輳の角度制約(ラジアンで表されるVは、πを掛け、180°で割った角度)を満たすPの値が決定される。
【数39】
【0231】
これで、輻輳の条件を満たすP値が得られ、Pを以前の方程式に統合し、最大距離を次のように得る。
【数40】
【0232】
スクリーンまでの距離から始めて、無限遠までのすべてのオブジェクトは、輻輳制約内にあるため、快適にマージできる。この距離を確立するために、Dsの値は次のようにDfが無限大になる傾向があるときに確立される。
【数41】
【0233】
眼間距離が6.5cm、およびラジアンで2°または2°π/180°の輻輳の制限が考慮されている人を例にとると、無限遠への快適な融合を可能にするスクリーンまでの距離は、次のとおりである。
【数42】
【0234】
これは、平均的なユーザから比較的近い距離にあるスクリーン上での立体表現では、立体効果が自然で非常に重要な深度(無限遠まで)を有する可能性があることを示している。これは、室内での投影だけでなく、テレビでの3D視聴にもよく対応する。一方、ユーザにより近い立体スクリーン(例えば、携帯電話、コンピュータスクリーン、タブレットなど)で視聴するには、深刻な深度制限がある。例えば、前の例と同じユーザの場合、スクリーン(例えば、ラップトップなど)がユーザから60cmのところに配置され、2°の制約下での最大許容深度は、88.6cmまたは非常に制限されているスクリーンの内側で28.6cmのみである。
【0235】
最小距離(Dn)
【0236】
図25Aおよび
図25Bを参照すると、スクリーンから出るオブジェクトのユーザによって知覚される、すなわち、ユーザとスクリーンとの間に位置する最小距離が計算される。
【0237】
図25Aは、スクリーンの前に輻輳した場合を表す。この図から、オブジェクトの距離(Do)の値を見つけることは、次のように確立される。
【数43】
【0238】
図25Bを参照すると、目がスクリーン上に収束するとき、左目の輻輳角はΘに等しい。目がスクリーンの前に収束すると、形成される角度は各目でθ’に増加する。立体知覚および見やすさを維持しながら、輻輳の角度制約(ラジアンで表されるVは、πを掛け、180°で割った角度)を考慮するPの値が決定される。
【数44】
【0239】
これで、輻輳の制約に対応するP値が決定され、P値を以前の方程式に統合し、最小距離(Dn)を次のように得る。
【数45】
【0240】
輻輳および調節の競合を考慮するためのパラメータ化
【0241】
輻輳および調節の競合に関する立体表現の最大距離および最小距離は、次のように決定される。
【数46】
【0242】
視野(Lse’)を変更しても、立体表現における知覚された世界の全体の深度を減らすことができないことが示されている。実際、平行カメラでキャプチャされた無限遠点は、立体視野がどのように変更されたかに関係なく(常に各目の中心)、立体表現において無限遠に知覚される。一方、システムの光学ベースを変えることによって、知覚された世界の深度を表現において減らすことができることが実証されている。
【0243】
Df制約を考慮するための光学ベースが決定された。平行カメラシステム(Drn=無限遠)によってキャプチャされた最も遠方の点は、快適なエクスペリエンスを可能にする最大距離で立体表現において知覚される(Dp’=Df)。
【数47】
【0244】
なお、この調整は、Ds<Io/V(ラジアンで表されるV)となるように、無限遠での融合を可能にする最小距離よりも短いスクリーンまでの任意の距離に対して行われる。任意のスクリーン距離がIo/Vよりも大きい場合は、光学ベースをIoに設定できる。
【0245】
光学ベースがIo未満の値で確立されると、空間の線形性も変化する。この空間の変化の1つの結果は、オルソステレオスコピーのオブジェクトが、通常、スクリーンの距離になり、スクリーンから「外れる」ことになることである。したがって、スクリーンの内側にあるべき画像の部分がスクリーンから出てきて、不快感を引き起こし、フレーミングの問題を引き起こす。
【0246】
この問題を解決するために、画像サイズ(Lse)の変更を使用して、ゼロ平面に表示されるオブジェクトの実際の距離(スクリーンからの距離)が、オルソステレオスコピック表現スケールと同等になるようにすることができる。例えば、スケールが1(自然界に比例)でキャプチャされた画像で、ユーザから60cmの位置にあるスクリーン上に立体表現がある場合、スクリーンから60cmの距離で知覚されるオブジェクトは、オブジェクトのある画像がキャプチャされたとき、カメラから60cmの位置にあるのが好ましい。
【0247】
これを行うために、スクリーン上に表示されるオブジェクトの実際の距離は、Bo=Ioのオルソステレオスコピック表現の場合に確立される。この距離は次のように計算できる。Drn=Ds*B/Io知覚距離(Dp’)がスクリーンまでの距離(Ds)と等しくなるようにする画像幅Lse’およびDrnが確立される。これは次のように決定できる。
【数48】
【0248】
BoがIoに等しい場合(ユーザがスクリーンから十分に大きな距離で離れている場合)、Lse’はLseに等しくなり、結果としてオルソステレオスコピックモードに戻る。
【0249】
図16Aおよび
図16Bは、異なる観察条件に適応するために平行カメラ立体ビデオを処理する装置の概略ブロック図である。キャプチャパラメータにより、元の視野を決定できる。これらのパラメータは、画像もしくはビデオストリームにエンコードするか、ユーザが設定するか、またはビデオ分析で検出できる。したがって、ブロック12は、キャプチャ視野パラメータのメモリストアを表し、所望により、画像データストアまたはビデオストリーム22aおよび22bから視野パラメータを受け取るインターフェースを含む。
【0250】
ディスプレイ/スクリーンパラメータは、スクリーン距離、スクリーン解像度、スクリーンサイズ、および視聴者の眼間距離であり得る。これらのパラメータは、メモリ14に格納することができる。眼間距離はメモリ14内の変数セットであり得るが、上で詳細に説明したように、トリミングおよびスケールパラメータを決定する計算機20内の公称値に固定することもできる。スクリーンが複数の視聴者によって共有されている場合、眼間距離は、最小の眼間距離を有する人の眼間距離になるように選択して、その人の開散の問題を回避できる。
【0251】
計算機20は、
図17から
図25を参照して上で説明した輻輳制約も考慮して、ベースオフセットを変更して、遠方のオブジェクトをスクリーンに近づけ、かつビューで画像をスケーリングして、スクリーンと表示されるオブジェクトの間の輻輳角の違いを低減するトリミングおよびスケールパラメータを決定する。
【0252】
視聴者とスクリーンとの間の距離は、ユーザインターフェースまたは他の適切な方法を使用して入力できる。
【0253】
眼間距離に変化がある場合、他の視聴条件が元の記録を考慮している場合であっても、スケールパラメータには画像シフトパラメータが含まれる。しかし、3Dシーンが元の視野よりも小さい/大きいディスプレイで視聴される場合、スケールパラメータには、異なるサイズのディスプレイ上の各画像の中心間の基本距離を維持するための画像シフトが含まれる。
【0254】
したがって、3D画像、すなわち、ストア22aおよび22bに格納された右目および左目画像は、例えば、
図16Bに概略的に示されるように、画像プロセッサ25で必要に応じてシフト、スケーリング、およびトリミング/境界パディングされる。画像プロセッサは、GPU、CPU、FPGA、または任意のその他の適切な処理装置であり得る。画像22aおよび22bのソースは、当技術分野で知られているように、立体画像ストリームであり得る。
【0255】
上述のように、立体視聴は既知の技術を使用して行うことができる。
図16Bのブロック図では、立体フォーマットはブロック28で行われる。このような画像処理は、CPUで実行できるが、例えば、GPUまたはFPGAを使用して実行することもできる。アナグリフ表示では、カラーフィルター眼鏡は、視聴者が着用でき、スクリーン画像は、カラーエンコードされた左右両方の画像データで構成される。ページフリップ操作では、視聴者は、スクリーン画像が右画像と左画像とを交互に切り替わっている間、右目と左目が交互の時間スロットで見えるシャッター眼鏡を着用することができる。自動立体ディスプレイでは、視聴者は眼鏡を必要としないが、スクリーンにはレンズまたはスクリーンマスクが含まれており、右目で右目用のピクセルを、左目で左目用のピクセルを見ることができる。偏光ラインインターリーブディスプレイでは、奇数ラインおよび偶数ラインは光の偏光が異なり(各偏光のピクセルのパターンは交互の水平ラインに限定する必要がない)、片方の目が奇数ラインを、もう片方の目が偶数ラインを見るように偏光メガネをかける。
図16Bに概略的に示すように、表示信号を表示装置に送信する前に、フォーマッタモジュール28によって、所望の表示技術の立体フォーマットが行われる。必要に応じて、立体フォーマッタの操作または機能を画像プロセッサ内で実行できる。次いで、フォーマットされた1つまたは複数の画像は、対応する表示装置30を使用して表示される。
【0256】
図16Cの実施形態では、画像ソースは、広角(例えば、180~360度のパノラマソース)、魚眼レンズ、またはコンピュータ生成画像ソースなどの大きな視野のソースであり、トリミングまたはデワーピングおよびトリミングにより、所与の視線方向に所望の画像を提供できる。視線方向モジュール18は、ユーザが視線方向を選択できるようにするユーザインターフェースの一部であり得る。トリミングまたはデワーピングおよびトリミングのプロセスは、当技術分野で知られており、モジュール19で行われる。図示されているように、元の魚眼カメラ画像は、デワープされるまで2D画像として表示できない。あるいは、デワーピングモジュール19は、必要なトリミングおよびスケーリングがデワープされるソース画像の部分を選択することを含むように、画像プロセッサ25に統合することができる。
【0257】
画像処理、すなわちトリミングおよびスケーリングは、ボリュームリーダーを使用して実行できることが理解されよう。ボリュームリーダーとは、元の画像を3D空間に配置して、元のキャプチャパラメータを考慮し、視点またはカメラの正しい位置で元の画像の仮想「カメラ」ビューをキャプチャすることを意味する。これは、例えば、ほとんどの従来のGPU内で実行できる。
【0258】
詳細は次のとおりである。
命名法
D=距離
L=幅
H=高さ
F=焦点
RES=解像度
【表3】
【0259】
1)画像を空間に配置(
図17Aを参照)
・左画像を任意の幅Loで配置
・右画像を同じ幅Loで配置
【0260】
2)カメラの配置
・カメラを画像の中心に配置し、x、y、z座標は0.0.0(原点)に設定
・比率を考慮するために、画像から離れた場所に配置
【数49】
【0261】
3)画像をレンダリング
・以下を使用して、左目および右目の画像を作成
i)比率Lv/Hv=(Ls+Io)/Hs
ii)比率Fcv/Lccdv=Ds/(Ls+Io)
iii)解像度=RESs*(Ls+Io)/Ls
4)単一スクリーンのフォーマット(
図17Bを参照)
・2つの画像の重ね合わせ
・左の画像を(Io/2)/(Ls+Io)*Lvに等しい距離だけ左にシフト
・右の画像を同じ距離だけ右にシフト
・2つの画像の共通部分を維持
・アナグリフでフォーマット
【0262】
あるいは、工程4で、左目の画像をRESs(解像度)と等しい数のピクセルで(左から)カットでき、右目画像は、同じ数のピクセルで右からカットできる。
【0263】
工程2でカメラを近づけたり遠ざけたりすると、ズームインまたはズームアウトできる。
【0264】
ストリーミングサービスまたはオンラインサービスのコンテキストでは、画像をサーバーで処理し、リモートクライアントディスプレイに送信できる。このコンテキストでは、ディスプレイまたはディスプレイ機器のユーザは、画像が処理され、クライアントディスプレイに送信するためにエンコードされるサーバーに、ディスプレイ/スクリーンパラメータを中継できる。送信前にトリミングとスケーリングを実行すると、送信するデータの縮小を達成できる。