特許 6588107 自動立体視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6588107

(24)【登録日】2019年9月20日

(45)【発行日】2019年10月9日

(54)【発明の名称】自動立体視システム

(51)【国際特許分類】

   G02B 27/22 20060101AFI20191001BHJP

   H04N 13/305 20180101ALI20191001BHJP

   H04N 13/366 20180101ALI20191001BHJP

   H04N 13/398 20180101ALI20191001BHJP

【ＦＩ】

   G02B27/22

   H04N13/305

   H04N13/366

   H04N13/398

【請求項の数】5

【全頁数】11

(21)【出願番号】特願2017-561868(P2017-561868)

(86)(22)【出願日】2016年5月11日

(65)【公表番号】特表2018-524627(P2018-524627A)

(43)【公表日】2018年8月30日

(86)【国際出願番号】EP2016060528

(87)【国際公開番号】WO2016188748

(87)【国際公開日】20161201

【審査請求日】2017年11月28日

(31)【優先権主張番号】14/723,952

(32)【優先日】2015年5月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】506311633

【氏名又は名称】シーフロント ゲゼルシャフト ミット ベシュレンクテル ハフツング

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】グロスマン，クリストフ

【審査官】 鈴木 俊光

(56)【参考文献】

【文献】 特表２００９−５４４９９２（ＪＰ，Ａ）

【文献】 特表２０１０−５３７２２５（ＪＰ，Ａ）

【文献】 特表２０１４−５１１５０１（ＪＰ，Ａ）

【文献】 特開２０１０−１８１４５０（ＪＰ，Ａ）

【文献】 特開２０１０−０７８７６８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０２２５１５４（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１４／０００９５７９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２７／２２

Ｈ０４Ｎ １３／３０２ − １３／３２２

(57)【特許請求の範囲】

【請求項1】

自動立体視のディスプレイのためのチャネルマスク（Ｍｏ）を構築する方法であって、
前記ディスプレイは、視差フィルタ装置によって覆われた電子制御のスクリーン（１６）を含み、
前記視差フィルタ装置は、屈折媒体を含み、前記スクリーン上の視者の左目（３０）用の特定の領域を隠すとともに、前記スクリーン上の視者の右目（２８）用の特定の他の領域を隠すように構成され、
前記チャネルマスク（Ｍｏ）は、前記スクリーン（１６）上に設定された物体平面上に構築され、前記視者の目の複数の視聴位置のうちの１つを前記スクリーン（１６）上の各ポイントに割り当てることを可能にし、
前記チャネルマスク（Ｍｏ）は、前記スクリーン（１６）の表面を、各々が分離された複数のチャネル領域（３６，３８）に分割し、前記チャネル領域の各々は、視者の左右いずれかの目だけで見ることができるか、または全く見えず、
前記複数のチャネル領域の各々に対応する前記チャネルマスク（Ｍｏ）の境界（４０，４２）は、前記視者の基準位置（Ｕ）と前記視差フィルタ装置の特徴部とを通る、屈折される光線（４４）を追跡することによって画定される方法。

【請求項2】

前記視差フィルタ装置は、レンズアレイ（１８）である請求項１に記載の方法。

【請求項3】

前記視差フィルタ装置は、複数の不透明なストライプが互いに間隔をおいて配列されたものである請求項１に記載の方法。

【請求項4】

前記光線の追跡には、ソフトウェアアルゴリズムが採用されている請求項１に記載の方法。

【請求項5】

少なくとも２つの異なる視聴位置に対する複数のチャネルマスク（Ｍｏ）が演算される請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動立体視ディスプレイ用のチャネルマスクを構築する方法であって、ディスプレイは、屈折媒体を含み、観察者の左目に対してスクリーン上の所定の領域を覆い隠し、観察者の右目に対してスクリーン上の他の領域を隠すように構成される視差フィルタ装置によって覆われた電子的に制御されたスクリーンと、観察者の目として予め定義された観察位置のうちの一つをスクリーン上の各点に割り当てることを可能にする二次元幾何学的物体であるチャネルマスクを含む方法に関する。

【背景技術】

【0002】

立体視の一般的な原理によれば、観察者の左目と右目との間の視差を表すわずかに異なる視点から、同じシーンを示す二つの異なる画像を観察者の両目に表示することによって、空間的な深さの印象が生成される。

【0003】

ユーザの左右の目に異なる画像を表示するための従来のシステムでは、ヘッドセットまたはシャッター眼鏡を使用するが、ユーザにとってはかなり邪魔になる。

【0004】

米国特許ＵＳ８０７７１９５Ｂ２には、肉眼で自動立体画像を見ることを可能にし、立体画像が例えばコンピュータのモニタ等の画面上に生成されるようにするシステムが記載されている。その目的のために、左チャネル及び右チャネルの画像情報、すなわち、ユーザの左目及び右目を対象とする情報それぞれが画面上にセグメントとして、すなわち、交互に左右のチャネルに属する垂直または斜めの縞模様として、例えば、シリンドリカルレンズのレンズアレイの形態のスクリーンがスクリーンの前に配置され、スクリーンのピクセルラスタに対して入念に位置決めされているため、観察者の特定の位置に対して、各チャネルの情報が一つの目に対してのみ見えるように、様々なスクリーン画素から放射された光が偏向される視差フィルタ装置として表示される。頭部追跡または視線追跡システムは、画面上の画像表現を観察者の変化する位置に適応させるために使用されてもよい。特定の観察位置が決定されると、チャネルマスクは各ピクセルに適切なチャネルを適切に割り当てるために構成される。

【0005】

チャネルマスクの概念は、一または複数の観察者が多数の異なる観察位置からスクリーンを見ることができるマルチビューシステムに拡張することができる。次に、チャネルマスクは、想定された観察方向のそれぞれに一つずつ、すなわち想定される観察者の目の位置に三つ以上のチャネルを規定する。

【0006】

チャネルマスクは、対象平面、すなわち、スクリーンの表面を形成する平面内に定義することができ、視差フィルタの主平面において、主平面がオブジェクト平面から観察者に向かって幾分オフセットされている。例えば、シリンドリカルレンズのアレイの形態の視差フィルタの場合、主平面は、円柱レンズの頂点線を含む平面であってもよい。

【0007】

観察者がスクリーンの領域を直角に見るとき、各シリンドリカルレンズの半分は、下にあるスクリーンピクセルからユーザの顔の左側の方へ光を偏向させ、他方のレンズの半分は、下にあるピクセルからユーザの顔の右側の方へ光を偏向させる。その結果、シリンドリカルレンズの頂点線と隣接レンズ間の境界線の交互パターンは、自然に、主平面内にチャネルマスクを規定し、対象平面内の対応するチャネルマスクは、スクリーンに垂直な方向の正射影によって簡単に得られる。

【0008】

しかし、あるスキュー角でスクリーンを見ると、スキュー角は、観察者からスクリーン上の点までの視線とこの点におけるスクリーンの法線との間の角度として定義され、次に、スクリーンのこの領域に対して、対象平面内のチャネルマスクは、主平面内のチャネルマスクに対して横方向にオフセットされる。このオフセットの量もまた各レンズの頂点での光線の屈折の影響を受ける。

【0009】

スクリーンが見えるスキュー角度は一般に比較的小さいので、対象平面と主平面との間に補助対象平面を定義することにより、妥当な精度で屈折の効果を補償することができ、この補助対象平面の位置は、周囲媒体（空気）とレンズを形成するガラスの屈折率との間の比によって決定され、そのような対象平面内のチャネルマスクは、主平面内のチャネルマスクの補助対象平面への中心投影と、投影中心としての観察位置とにより得られる。

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明の目的は、自動立体視ディスプレイの光学品質を改善することである。

【課題を解決するための手段】

【0011】

上記目的を達成するために、チャネルマスクは、スクリーン上の選択された点から伝搬し、視差フィルタ装置で屈折された光線を追跡（レイトレース）することによって構成されている。

【0012】

本発明によれば、主平面内にチャネルマスクを構成し、次に補助物体平面上に中心投影を適用するステップは、スクリーンの表面からの光線を視差の屈折媒体を通して追跡する単一のステップに統合されるフィルタを通って所定の観察位置に移動するか、または等価的に、観察位置からの光線を、屈折媒体を介してスクリーン表面にトレースバックする。これにより、オブジェクト平面内にチャネルマスクを直接構築することが可能になり、主平面内の対応するチャネルマスクは暗黙的にのみ定義される。

【0013】

本発明は、特に大きなスキュー角に対してより正確な屈折補正チャネルマスクが得られるという利点を有する。これにより、より大きなスクリーン寸法であっても高画質の自動立体視ディスプレイを提供することが可能になる。さらに、この方法は、例えば、異なるタイプの視差フィルタ装置および湾曲したスクリーンを有するディスプレイに、システムをより容易に適合させることを可能にする。

【図面の簡単な説明】

【0014】

以下、図面を参照して好ましい実施形態を説明する。

【図1】自動立体視システムのブロック図である。

【図2】スクリーンの一部と重畳された視差フィルタ装置の概略透視図である。

【図3】画面の法線上の視聴位置のチャネルマスクの構成を示す図である。

【図4】スキュー角がゼロでない視聴位置のチャネルマスクの構成を示す図である。

【図5】さらに大きなスキュー角のためのチャネルマスクの構成を示す図である。

【図6】物体面内のチャネルマスクと視差フィルタ装置の主平面との関係を示す図である。

【図7】主平面および物体平面内の複数の点に対する光線追跡ステップを示す概略斜視図である。

【図8】主平面におけるチャネルマスクの異なる構成方法の比較を示す斜視図である。

【図9】ストライプ配列の形の視差フィルタ装置を有するディスプレイ用の光線追跡プロセスを示す図である。

【図10】制御可能な視差フィルタ装置を有するディスプレイの光線追跡プロセスを示す図である。

【図11】湾曲したスクリーンを有する自動立体視ディスプレイの概略平面図である。

【発明を実施するための形態】

【0015】

図１に示すシステムは、コンピュータシステム１０、たとえばディスプレイのスクリーン（画面）１６に画像を表示するためにディスプレイ１４を駆動するグラフィックスカード１２を含むパーソナルコンピュータを備える。視差フィルタ装置、例えば、レンズアレイ１８がスクリーン１６の前に配置され、視線追跡システム２０の一部を形成するビデオカメラがディスプレイ１４に取り付けられ、コンピュータシステム１０と通信する。

【0016】

グラフィックスカード１２は、コンピュータシステム１０のメモリに記憶された２つのテクスチャマップＬおよびＲにアクセスする。テクスチャマップＬは、左チャネルの画像情報、すなわち、レンズアレイ１８を介してスクリーン１６を見るユーザ（図示せず）の左目に表示すべき画像情報を格納する。同様に、テクスチャマップＲは、ユーザの右目用の右チャネルの画像情報を格納する。頭部追跡システム２０は、ユーザの頭部の動きを追跡し、これらの動きをコンピュータシステムに通知し、コンピュータシステムは、スクリーン１６に表示された情報をユーザの変更された位置に適応させる。

【0017】

図２は、レンズアレイ１８の一部とスクリーン１６の一部を示す概略斜視図である。スクリーン１６の表面は、個別に制御可能な発光画素（ピクセル）２２のアレイに分割されている。カラースクリーンの場合には、画素２２は、赤、緑および青の基本色のサブピクセルである。

【0018】

レンズアレイ１８は、ガラスまたは他の透明屈折率層から構成され、平行且つ並列に配置された多数のシリンドリカルレンズ２４を有する。シリンドリカルレンズ２４は、スクリーンのほぼ垂直方向に延在するか、または垂直に対して、したがってスクリーン上の画素２２の走査線に対して傾斜していてもよい。図２では、シリンドリカルレンズ２４もわずかに湾曲しているように示されている。これは、製造公差に起因するものであってもよく、また規則的な画素ラスタ上の規則的なレンズラスタの重ね合わせに起因するモアレ効果をさらに低減するために、湾曲が意図的に形成されてもよい。シリンドリカルレンズ２４の幅は、典型的には、個々のサブピクセルの幅の整数倍または分数倍であり、典型的にはその幅の少なくとも３倍である。各シリンドリカルレンズは、図２に破線で示す頂点線２６を有する。

【0019】

観察者の左右の目２８，３０が図２に模式的に示されている。２つの目２８，３０の間の中央の点Ｕは、スクリーン１６を見ている視者（観察者）の基準位置を示している。２つの光線３２，３４は、スクリーン１６上の２つの隣接画素２２から放射され、シリンドリカルレンズ２４の１つによって視準され、ユーザの右目および左目にそれぞれ偏向される光を象徴するように示されている。レンズアレイ１８の上面とスクリーン１６の表面との間の距離は、各目が対応する画素又はその一部の拡大画像を見ることができるように、レンズ２４の焦点距離に等しいか、それよりも小さいか、またはさらに大きくてもよい。例えば、すべてのシリンドリカルレンズ２４を介して、目２８に対して目に見える画素２２の拡大画像は、全視野を満たし、一方、他のピクセルは、その目に対して見えないままである。一方、他方の目３０では目に見えるが、目２８では目に見えない画素がある。したがって、ユーザが右目２８および左目３０に異なる画像を提示し、ユーザが三次元画像を知覚するように、画素２２を制御することが可能である。

【0020】

図３は、２つのシリンドリカルレンズ２４の断面図である。スクリーン１６の上面をレンズアレイの物体面ｏとし、レンズ２４の頂点線２６を通る面を主平面ｐとする。スクリーン１６を右角度、すなわちスクリーンの法線上の位置から見ると、レンズ２４の左半分の下のスクリーンの一部から放射される光は、図３に光線３４で示されるように観察者の左目に向けて偏向される。これにより、レンズ２４の右半分の下のスクリーン１６の領域から放射される光は、右目に向かって偏向されるので、図３の光線３２によって象徴されるように、ユーザの右目によってのみ見ることができる。

【0021】

その結果、スクリーン１６の表面を、左目だけで見ることができる（または全く見えない）左チャネル領域３６と、右目でしか見えない（または全く見えない）右チャネル領域３８とに分割するチャネルマスクＭｏを画定することができる。チャネル領域３６，３８間の第１のタイプの境界は、レンズ２４の頂点の位置に対応し、第２のタイプの境界４２は、２つの隣接するレンズ２４の間の境界に対応する。したがって、チャネルマスクは、レンズアレイ１８の幾何学的形状を考慮すると、主平面内のチャネルマスクＭｐを考慮することが便利である。図３のように、スクリーン１６の関連部分が直角に観察されるとき、チャネルマスクＭｐおよびＭｏは一致している。

【0022】

図４は、あるスキュー角αの下でスクリーン１６の一部が観察者に見える状況を示す。より正確には、図４は基準位置Ｕ（図２）をレンズ２４の頂点に接続する光線４４を示している。図４において、基準位置Ｕは、光線４４が実質的に平行であるという主平面ｐを有する。

【0023】

ゼロでないスキュー角αのために、物体平面内のチャネルマスクＭｏは、主平面内のチャネルマスクＭｐから横方向にオフセットされる。しかしながら、スキュー角αを入射角及び射出角βとして、スネルの法則に従って各レンズ２４の頂点で光線が屈折することにより、オフセットが緩和される。示された例では、レンズアレイ１８を形成する屈折媒体は、周囲空気の屈折率１と比較して、屈折率２を有すると仮定する。この場合、スネルの法則から、sin(α)/sin(β)＝２となる。

【0024】

この屈折の効果は、物体平面ｏと主平面ｐとの間の中間の補助物体平面を考慮し、基準位置Ｕを中心として中心投影を使用してＭｐを補助オブジェクト平面ｏ´を含む。これにより、Ｍｏと少なくともほぼ一致するチャネルマスクＭｏ´が得られる。

【0025】

しかしながら、スキュー角αが大きい場合には、図５のように、スネルの法則に基づいて光線４４を辿って直接チャネルマスクＭｏを構成することが好ましい。勿論、基準位置Ｕから各シリンドリカルレンズの頂点を通る光線を追跡することによって、チャネルマスクＭｏの第１のタイプの境界４０のみが得られる。しかし、第２のタイプの境界４２は、隣接する第１のタイプの境界４０の間の中心位置をとるだけで見つけることができる。

【0026】

比較のために、図４のように補助物体面ｏ´に中心投影を使用する近似方法の結果を、図５の左側部分に破線で示す。このようにして得られたチャネルマスクＭｏ´と光線追跡によって得られたチャネルマスクＭｏとの間にかなりのオフセットが生じる。

【0027】

主平面ｐ内のチャネルマスクＭｐは、チャネルマスクＭｏを構成するために実際には必要ではないことが分かるであろうが、図６に示すように、チャネルマスクＭｏも暗黙的に対応するチャネルマスクＭｐを定義する。このチャネルマスクＭｐは、チャネルマスクＭｏを補助物体平面ｏ´に移動させ、次いで物体平面ｏ´内のチャネル領域の境界から基準位置Ｕまでの直線４６を描くことによって「逆に」構成することができる。これらの線４６が主平面ｐを通過する点は、チャネルマスクＭｐのチャネル領域の境界を画定する。したがって、レイトレーシングによるチャネルマスクＭｏの構成は、（シリンドリカルレンズの頂点線からオフセットされたチャネル領域の境界を有する）レンズアレイ１８に対する適切な位置にチャネルマスクＭｐを画定し、次いで、チャネルマスクＭｏ´を形成する。

【0028】

シリンドリカルレンズ２４が十分な精度で直線であると考えることができる場合には、チャネルマスクＭｏを構成するためにシリンドリカルレンズごとに屈折光４４を１回だけ計算すれば十分である。しかし、レンズの頂点線２６が、図２に示すように、図７に示すように、頂点線２６に沿っていくつかの点を通過する光線４４の帯を追跡することが好ましい。

【0029】

図８は、本発明に従って構成された補正チャネルマスクＭｐ、すなわち光線追跡と、シリンドリカルレンズの頂点線２６によって直接規定される補正されていないチャネルマスクとの比較を示す。補正されたチャネルマスクと補正されていないチャネルマスクとの間のオフセットは、個々のチャネル領域３８の幅よりも大きくなることが分かる。従って、頂点線２６によって直接定義されるような補正されていないチャネルマスクが、補助物体平面ｏ´への中心投影によって物体平面ｏ内にチャネルマスク４８を構成するために使用される場合、観察者は、この大きなスキュー角のもとでスクリーンを見ると三次元の画像になる。本発明は、大きなスクリーンおよび/または短い視距離のディスプレイであってもこの効果を回避することを可能にする。

【0030】

本発明は、レンズアレイが視差フィルタ装置として使用されるシステムに限定されない。図９は、視差フィルタ装置が、その上面に印刷された不透明なストライプ５４を有するガラス板５２によって構成されたストライプ配列５０によって形成された例を示す。適切な視距離のために、ストライプ５４は、ユーザの右目用の左チャネル領域のピクセルと、ユーザの左目用の右チャネル領域のピクセルを覆い隠す。この例では、ガラス板５２は、エアギャップ５６（または場合によってはガラス板の屈折率とは異なる屈折率を有する透明層）によってスクリーン１６から分離されている。

【0031】

この実施形態では、ストライプ５４の縁部を通過する光線４４は、ガラス板５２を通って２回屈折され、その通過途中で追跡され、物体平面ｏにおけるチャネルマスクＭｏのチャネル領域の境界を見出す。

【0032】

勿論、先の実施例では、シリンドリカルレンズ１８とスクリーン１６との間にエアギャップ５６と同様のエアギャップが存在してもよく、このエアギャップの境界での光線４４の屈折もまた、レイトレーシングプロセスにおいて考慮される。

【0033】

同様に、本発明は、主平面ｐの観察者側に位置する層の可能性を含めて、個々の厚さおよび個々の屈折率を有する多数の層からなる任意の積層の光学媒体に対応することができる。

【0034】

図１０は、視差フィルタ装置が制御可能な勾配レンズアレイ５８によって形成されるさらに別の実施形態を示す。このレンズアレイは、電界が印加されたときに屈折率が変化する材料からなる透明な平行平面板６０によって形成されている。プレート６０の両面には微細なパターンの電極６２，６４が形成され、一方の電極６２と他方の電極６４との間に電圧が印加されると、これらの電極間の材料の柱状部はその屈折率を変化させる。したがって、電極対６２，６４に印加される電圧を適切に制御することによって、プレート６０の屈折率に勾配を作り出すことが可能である。この勾配は、図１０に示されているように、光線４４の屈折を引き起こす。

【0035】

このようにして、境界が図１０に破線で示されているストライプ形状のレンズ６６のパターンを作成することが可能である。屈折率が境界６６からレンズの中心に向かって増加し、次いで反対の境界に向かって再び減少するとき、効果は、シリンドリカルレンズの効果と同等であり、唯一の違いは、光線４４の屈折が起こるレンズの表面ではなく、レンズの材料内に連続的に存在する。それにもかかわらず、屈折を計算し、光線４４を追跡してチャネルマスクＭｏを構成することが可能である。

【0036】

このステートメントは、切り替え可能なレンズアレイまたは切り替え不可能なレンズアレイのための他のアプローチの範囲についても同様に成り立つ。切り替え可能または非切り替え可能な異方性レンズ、切り替え可能なＬＣＤレンズおよび他のものを含む。

【0037】

本発明は、図１１に示すように、湾曲したスクリーン１６´および湾曲したレンズアレイ１８´を有する自動立体視ディスプレイにも適用可能である。湾曲の効果は、光線４４を追跡するときに容易に考慮され得る。

【0038】

実際の実施形態では、レンズアレイおよびスクリーンの様々なポイントを通る光線を計算するために、レイトレーシングソフトウェアがコンピュータシステム１０（図１）に実装される。視線追跡システム２０がユーザの基準位置Ｕのシフトを検出すると、計算は、左目および右目の２つの新しい視点について更新される。

【0039】

別の実施形態では、複数の異なる観察位置に対してレイトレーシング計算を行うことが可能である。この場合、視聴位置は、ユーザの左目か右目かにかかわらず、単一の眼の位置として定義することができる。このとき、必要なレイトレーシングの計算を１回だけ行う必要があり、画像情報がスクリーン上に提示されるビューは、頭部追跡システム２０によって提供される情報に従って選択される。この実施形態は、２人以上のユーザが同時に三次元シーンを見ることを可能にするマルチビューシステムにおいても使用され得る。このタイプのマルチビューシステムは、同時係属中の欧州特許出願ＥＰ１４２００５３６．２に記載されている。

【0040】

さらに別の実施形態では、光線を計算するのではなく、光線追跡の実際の測定を行うことも可能である。例えば、図１１の観察者の目２８，３０の位置に２つの光センサを配置し、次にスクリーン１６´上の画素に次々に通電して、２つのセンサが対応する光信号を検出する。そして、２つのセンサのうちのいずれが信号を受信したかに応じて、通電された画素をチャネル領域の１つに割り当てることができる。

【0041】

これらの測定は、単一の観察位置または複数の観察位置に対して行うことができる。

【0042】

一般に、測定によるレイトレーシングは、レンズアレイの製造における任意の製造公差および/またはレンズアレイのスクリーンへの取り付けが自動的に除去されるという利点を有する。

【0043】

単一の観察位置に対する測定は、通常、レンズアレイの正確な形状および位置を導き出すには不十分である。しかしながら、２つ以上の観察位置について測定を行うことによって、データの曖昧さを除去することが一般的に可能であり、その結果、レンズアレイの正確な形状および位置を測定結果から計算することができる。そして、測定されていない他の観察位置のためのチャネルマスクは、レイトレーシング計算によって構築することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】