IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウルトラ−デー・コーペラティーフ・ユー・アーの特許一覧

特許7273979オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て
<>
  • 特許-オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て 図1
  • 特許-オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て 図2A
  • 特許-オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て 図2B
  • 特許-オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て 図2C
  • 特許-オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て 図3
  • 特許-オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て 図4
  • 特許-オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て 図5
  • 特許-オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-02
(45)【発行日】2023-05-15
(54)【発明の名称】オートステレオスコピックディスプレイのディスプレイ素子に対するビュー番号の割当て
(51)【国際特許分類】
   H04N 13/351 20180101AFI20230508BHJP
   H04N 13/305 20180101ALI20230508BHJP
   H04N 13/31 20180101ALI20230508BHJP
   G09G 5/00 20060101ALI20230508BHJP
   G09G 3/20 20060101ALI20230508BHJP
   G02B 30/26 20200101ALN20230508BHJP
【FI】
H04N13/351
H04N13/305
H04N13/31
G09G5/00 530M
G09G5/00 550X
G09G5/00 555D
G09G3/20 660X
G09G3/20 621E
G09G3/20 631U
G02B30/26
【請求項の数】 15
(21)【出願番号】P 2021542133
(86)(22)【出願日】2020-01-21
(65)【公表番号】
(43)【公表日】2022-05-11
(86)【国際出願番号】 EP2020051386
(87)【国際公開番号】W WO2020152149
(87)【国際公開日】2020-07-30
【審査請求日】2022-09-22
(31)【優先権主張番号】19153465.0
(32)【優先日】2019-01-24
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】514171315
【氏名又は名称】ウルトラ-デー・コーペラティーフ・ユー・アー
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】バーレンブルク,バルト・ヘラルト・ベルナルト
【審査官】佐野 潤一
(56)【参考文献】
【文献】国際公開第99/005559(WO,A1)
【文献】特開2014-071455(JP,A)
【文献】国際公開第2016/152217(WO,A1)
【文献】特開2014-066539(JP,A)
【文献】特表2017-510824(JP,A)
【文献】特表2014-511501(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 13/00
G02B 30/00
G03B 35/00
G09G 3/00-5/00
(57)【特許請求の範囲】
【請求項1】
割り当てられたビュー番号に基づいてシーンの異なるビューポイントの画像データをインターリーブするのに用いるために、オートステレオスコピックディスプレイのディスプレイ素子に前記ビュー番号を割り当てる、コンピュータにより実装される方法(400)であって、オートステレオスコピックディスプレイ(140)が、
ディスプレイ素子のアレイ(200)を備えるディスプレイパネル(142)と、
ディスプレイ素子によって放射された光を互いに異なる方向(0-5)に方向転換するための細長い光学素子のアレイ(144)であって、光学素子が、ピッチ距離pで実質的に平行に配置され、ディスプレイ素子のアレイの列方向に対して傾斜sの光学素子の主縦軸を有して配向されている、光学素子のアレイ(144)とを備え、
方法が、
ビュー番号(320)の割当てにおいて使用されるべきそれぞれのディスプレイ素子(210、220)の位相(310)を決定すること(410)であって、位相が、それぞれのディスプレイ素子によって放射された光を方向転換する光学素子に対するそれぞれのディスプレイ素子の相対的な水平位置を表し、それにより光が方向転換される方向を示し、位相が、ディスプレイ素子のアレイ内での水平位置xおよび垂直位置yにおける先行するディスプレイ素子(230)の位相に対する増分として、
phase(x+1,y)=(phase(x,y)+h)%t
phase(x,y+1)=(phase(x,y)+v)%t
にしたがって決定され、
式中、hは、ディスプレイ素子当たりの、位相における水平の増分を表し、vは、ディスプレイ素子当たりの、位相における垂直の増分を表し、tは位相の総数を表し、%はモジュロ演算の関数表現であり、h、vおよびtの値は、
【数1】
および
【数2】
にしたがってピッチ距離pおよび傾斜sを近似する整数値として選択され、その結果、ディスプレイ素子のアレイの幅および高さにわたる位相における近似誤差がピッチ距離p未満に累積される、こと(410)と、
前記決定された位相から、位相の数値表現の最上位数字からいくつかの桁に基づいてビュー番号を決定すること(420)と
を含む、方法(400)。
【請求項2】
h、vおよびtの値を、
- ピッチ距離pおよび傾斜sを、公分母を有する有理数として近似することと、
- hの値を公分母として決定することと、
- sにhを乗算し、前記乗算の結果を丸めてvの整数値を得ることにより、vの値を決定することと、
- pにhを乗算し、前記乗算の結果を丸めてtの整数値を得ることにより、tの値を決定することと
によって選択することをさらに含む、請求項1に記載の方法(400)。
【請求項3】
hの値、vの値およびtの値を、前記値のうち最大のものが位相の数値表現の最大値になるように選択することをさらに含む、請求項1または2に記載の方法(400)。
【請求項4】
hの値、vの値およびtの値を、前記値のうち最大のものにヘッドルーム値を加えたものが位相の数値表現の最大値に等しくなるように選択することをさらに含み、ヘッドルーム値が、オートステレオスコピックディスプレイに対する視聴者のビュー距離を調節するためにtの調節を可能にするための、最大値に対するヘッドルームの割り振りを表す、請求項1または2に記載の方法(400)。
【請求項5】
ディスプレイ素子が画素または画素のグループであり、各画素がいくつかのサブ画素を含み、方法が、画素または画素のグループの決定された位相に対してオフセットを加算または減算することによってそれぞれのサブ画素に対してサブ画素位相を割り当てることをさらに含む、請求項1から4のいずれか一項に記載の方法(400)。
【請求項6】
決定された位相(310)からビュー番号(320)を決定することが、たとえばルックアップテーブルに対するインデックスのような、決定された位相からビュー番号へのマッピング(330)を提供する関数の引数として、位相の数値表現の最上位数字のいくつかの桁を使用することを含む、請求項1から4のいずれか一項に記載の方法(400)。
【請求項7】
ルックアップテーブルが、増加する位相に対して、ビュー番号が増加していくビューの立体視シーケンス(340)と、ビュー番号が減少していくビューのシュードスコピックシーケンス(350)とを定義する、請求項6に記載の方法(400)。
【請求項8】
ルックアップテーブルがビュー番号の整数表現を含む、請求項6または7に記載の方法(400)。
【請求項9】
いくつかのルックアップテーブルからルックアップテーブルを選択することをさらに含み、各ルックアップテーブルが、決定された位相(310)からビュー番号(320)への異なるマッピング(330)を提供する、請求項6から8のいずれか一項に記載の方法(400)。
【請求項10】
tの値を調節することによってオートステレオスコピックディスプレイ(140)に対する視聴者のビュー距離を調節することをさらに含む、請求項1から9のいずれか一項に記載の方法(400)。
【請求項11】
請求項1から10のいずれか一項に記載の方法をプロセッサシステムが実施するための命令を表す非一時的データ(460)を含む、コンピュータ可読媒体(450)。
【請求項12】
請求項6から9のいずれか一項に記載のルックアップテーブルを表す非一時的データ(460)を含む、コンピュータ可読媒体(450)。
【請求項13】
割り当てられたビュー番号に基づいてシーンの異なるビューポイントの画像データをインターリーブするのに用いるために、オートステレオスコピックディスプレイのディスプレイ素子に前記ビュー番号を割り当てるためのプロセッサシステム(120)であって、
オートステレオスコピックディスプレイ(140)が、
ディスプレイ素子のアレイ(200)を備えるディスプレイパネル(142)と、
ディスプレイ素子によって放射された光を互いに異なる方向(0-5)に方向転換するための細長い光学素子のアレイ(144)であって、光学素子が、ピッチ距離pで実質的に平行に配置され、ディスプレイ素子のアレイの列方向に対して傾斜sの光学素子の主縦軸を有して配向されている、光学素子のアレイ(144)とを備え、
プロセッサシステムが、
- 命令のセットを表す命令データを含むメモリ(135)、
- プロセッサ(130)であって、メモリと通信し、命令のセットを実行するように構成され、命令のセットが、プロセッサによって実行されたとき、プロセッサに、ビュー番号(320)の割当てにおいて使用されるべきそれぞれのディスプレイ素子(210、220)の位相(310)を決定させ、位相が、それぞれのディスプレイ素子によって放射された光を方向転換する光学素子に対するそれぞれのディスプレイ素子の相対的な水平位置を表し、それにより光が方向転換される方向を示し、位相が、ディスプレイ素子のアレイ内での水平位置xおよび垂直位置yにおける先行するディスプレイ素子(230)の位相に対する増分として、
phase(x+1,y)=(phase(x,y)+h)%t
phase(x,y+1)=(phase(x,y)+v)%t
にしたがって決定され、
式中、hは、ディスプレイ素子当たりの、位相における水平の増分を表し、vは、ディスプレイ素子当たりの、位相における垂直の増分を表し、tは位相の総数を表し、%はモジュロ演算の関数表現であり、h、vおよびtの値は、
【数3】
および
【数4】
にしたがってピッチ距離pおよび傾斜sを近似する整数値として選択され、その結果、ディスプレイ素子のアレイの幅および高さにわたる位相における近似誤差が、ピッチ距離p未満に累積され、および、
前記決定された位相から、位相の数値表現の最上位数字からいくつかの桁に基づいてビュー番号を決定するように構成された、プロセッサ(130)
を備える、プロセッサシステム(120)。
【請求項14】
水平の増分h、垂直の増分vおよび/または位相の総数tの値が外部から構成されることを可能にするための構成インターフェースをさらに備える、請求項13に記載のシステム(120)。
【請求項15】
ピッチ距離pおよび傾斜sの値が外部から構成されることを可能にするための構成インターフェースをさらに備え、命令のセットが、プロセッサによって実行されたとき、プロセッサに、pおよびsの値に基づいて、水平の増分h、垂直の増分vおよび/または位相の総数tの値を決定させる、請求項13または14に記載のシステム(120)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オートステレオスコピックディスプレイのディスプレイ素子にビュー番号を割り当てるためのコンピュータにより実装される方法およびプロセッサシステムに関する。本発明はさらに、プロセッサシステムにコンピュータにより実装される方法を実施させるように構成された命令を含むコンピュータ可読媒体に関する。
【背景技術】
【0002】
テレビ、デジタルフォトフレーム、タブレットおよびスマートフォンなどのディスプレイデバイスは、たとえば家庭内または携帯用の娯楽、医用イメージング、またはコンピュータ支援設計(CAD)のためのそのようなデバイス上のコンテンツを見るとき、ユーザに奥行き知覚を提供する3Dディスプレイを備えるものが増えている。そのために、そのような3Dディスプレイデバイスは、立体視すなわち奥行きの立体知覚に基づく奥行き知覚をユーザに提供するように、それ自体により、またはユーザによって着用された眼鏡とともに、ユーザに各眼において異なる画像を提供し得る。
【0003】
3Dディスプレイデバイスは、スクリーン上のコンテンツを、奥行きの度合いを有するように確立するために、一般的には奥行き情報を含むコンテンツを使用する。奥行き情報は、コンテンツ内で暗示的に提供されてよい。たとえば、いわゆるステレオコンテンツの場合には、奥行き情報は、立体コンテンツの左画像信号と右画像信号の間の差によって提供される。したがって、左画像信号と右画像信号は、ともに立体視3D画像信号を構成する。奥行き情報は、コンテンツ内で明示的に提供されてもよい。たとえば、いわゆる画像+奥行きフォーマットで符号化されたコンテンツでは、奥行き情報は、2D画像信号内のオブジェクトがカメラまたは視聴者に向かって有する距離を示す奥行き値を含む2D奥行き信号によって提供される。奥行き値の代わりにディスパリティ値も使用され得、たとえば、2D奥行き信号は、2Dディスパリティ信号または一般に2Dの奥行き関連の信号でよい。たとえばオートステレオスコピックディスプレイ用にビュー合成するための、ステレオ3D画像信号から2Dの奥行き関連の信号を生成する技術が知られている。一般に、奥行き情報を含むコンテンツを表すデータは、以下では簡単に「3D画像データ」とも称される。
【0004】
オートステレオスコピックディスプレイは、視聴者が、偏光したカラーフィルタベースまたはシャッタベースの眼鏡を着用することを必要とせず、奥行きの立体知覚を提供する。そのために、レンチキュラーレンズアレイ(またはより一般的なレンチキュラー手段もしくはバリア手段)などの光学部品が使用され、これは、ディスプレイが、3Dディスプレイ上の各所与のポイントから、少なくともシーンの左ビューおよび右ビューを含むビューイングコーンを放射することを可能にする。これは、視聴者が、ビューイングコーンの内部に相応に位置するときには、各眼で異なる画像を見ることを可能にする。特に「自動多重視(automultiscopic)」ディスプレイと称されることがあるいくつかのタイプのオートステレオスコピックディスプレイは、一般的にはビューイングコーンと称されるものの中で、視聴者に対して、3D画像データによって表されるシーンの一連のビューを提供する。これは、視聴者が、たとえば依然としてシーンの立体知覚を得ながら運動視差を経験するための、ビューイングコーンにおける多数の位置をとることを可能にする。いくつかのディスプレイは、一連の繰り返されるビューイングコーンの各々において、そのような一連のビューを放射し得る。
【0005】
そのようなオートステレオスコピックディスプレイの例は、SPIE議事録、2653巻、1996年、32-39頁およびGB-A-2196166において公開された、C.van Berkelらによる「Multiview 3D - LCD」と題された論文に説明されている。これらの例では、オートステレオスコピックディスプレイはマトリクスLC(液晶)ディスプレイパネルを備え、マトリクスLC(液晶)ディスプレイパネルは、画素(ディスプレイ素子)の行および列を有し、空間光変調器として作用して、光源からの光を変調する。ディスプレイパネルは、ディスプレイ情報を2次元形態で提示するための、たとえばコンピュータディスプレイ画面といった、他のディスプレイ用途において使用される種類のものでよい。たとえば成形または機械加工されたポリマー材料のシートの形態のレンチキュラーシートが、(セミ)円柱レンズ素子を備え列方向に延在するレンチキュラー素子でディスプレイパネルの出力側を覆ってよく、各レンチキュラー素子が、ディスプレイ素子の2つ以上の隣接した列のそれぞれのグループに関連づけられ、ディスプレイ素子の列に沿って延びる面において延在する。
【0006】
米国特許第6064424号も、ディスプレイを覆う平行なレンチキュラー素子のアレイを有するオートステレオスコピックディスプレイの一例を説明しており、ここではレンチキュラー素子がディスプレイ画素の列に対して傾斜している。特にマルチビュータイプディスプレイの場合におけるそのような装置のディスプレイ解像度の低減は、水平解像度と垂直解像度の間で共有されるといわれている。
【0007】
レンチキュラー素子のアレイを有するオートステレオスコピックディスプレイにコンテンツを表示するために、オートステレオスコピックディスプレイまたはこれに接続されたデバイスによって、3D画像データに基づいて出力画像が生成され得る。これは、「インターリービング」、「ウィービング」または「インターディジテーション」のステップを伴い得、このステップでは、ディスプレイのそれぞれのディスプレイ素子について、どのビューからのどの画像データを表示するのかが決定され、次いで、各ディスプレイ素子によって表示するように、対応するビューからの画像データを選択することにより、出力画像が生成される。ここで、「ディスプレイ素子」という用語は、画素ばかりでなくサブ画素も含み得る。そのような「インターリービング」、「ウィービング」または「インターディジテーション」は、以下では簡単に「インターリービング」と称される。
【0008】
たとえば、前述の米国特許第6064424号は、2D画像の狭いスライスが、関連するレンチクルの下の選択されたディスプレイ素子によって表示されるように、ディスプレイの個々に動作可能なディスプレイ素子が適切なやり方で駆動されることを説明している。パネルによって作り出されたディスプレイは、それぞれのディスプレイ素子からの出力によって構成された、インターリーブされた6つの2Dサブ画像を含む。各レンチクル16が、それぞれ、ビュー番号1から6を有する関連した下にあるディスプレイ素子から6本の出力ビームを提供し、6本の出力ビームの光軸は、互いに方向が異なり、レンチクルの縦軸のまわりで角度的に広がっている。
【0009】
一般に、そのようなインターリービングは他の公開から、たとえば、米国特許第7616227号からも知られており、これは、立体画像ビューイングシステムにおいて多数の斜視図をインターディジテートするためのシステムおよび方法を説明しており、また米国特許第7375886号からも知られており、これは、立体写真システムの視距離を最適化するための方法および装置を説明しており、ここでは規定された視距離のテーブルに最適ピッチの値が記憶され、次いでインターディジテーションプログラムがテーブル値に作用して、各視距離についてインターディジテイティッドビューのマッピングを作成する。
【0010】
WO 2015/091014は、ピッチおよび傾斜を使用し、ピッチおよび傾斜に基づいて、周期的なレンチキュラーレンズに対してディスプレイ素子の離散的位置の位相(phase)を決定するために、レンチキュラーレンズシートを特徴づけることを説明している。
【先行技術文献】
【特許文献】
【0011】
【文献】米国特許第6064424号明細書
【文献】米国特許第7616227号明細書
【文献】米国特許第7375886号明細書
【文献】国際公開第2015/091014号
【文献】国際公開第2013/102500号
【非特許文献】
【0012】
【文献】C.van Berkelら、「Multiview 3D - LCD」、SPIE議事録、2653巻、1996年、32-39頁
【文献】https://en.wikipedia.org/wiki/PenTile_matrix_family#PenTile_RGBW
【発明の概要】
【発明が解決しようとする課題】
【0013】
本発明の目的の1つは、オートステレオスコピックディスプレイのディスプレイ素子に対して効率的でありながら正確なやり方でビュー番号を割り当てるためのコンピュータにより実装される方法およびプロセッサシステムを得ることである。本方法またはシステムによって割り当てられたビュー番号は、次いで、割り当てられたビュー番号に基づいて、シーンの異なるビューポイントの画像データをインターリーブするために使用され得る。
【課題を解決するための手段】
【0014】
以下の方策は:
- ディスプレイ素子のアレイを備えるディスプレイパネルと;
- ディスプレイ素子によって互いに異なる方向に放射された光を方向転換するための細長い光学素子のアレイであって、光学素子が、ピッチ距離pで実質的に平行に配置されており、ディスプレイ素子のアレイの列方向に対して傾斜sの光学素子の主縦軸を有して配向されている、細長い光学素子のアレイと
を備える、オートステレオスコピックディスプレイに関する。
【0015】
そのようなオートステレオスコピックディスプレイはそれ自体で知られている。たとえば、光を方向転換する光学素子として、レンチキュラーレンズアレイまたはバリアタイプアレイが使用され得る。
【0016】
本発明の第1の態様は、割り当てられたビュー番号に基づいてシーンの異なるビューポイントの画像データをインターリーブするのに用いるために、オートステレオスコピックディスプレイのディスプレイ素子に対して前記ビュー番号を割り当てる、コンピュータにより実装される方法を提供するものである。この方法は:
- ビュー番号の割当てにおいて使用されるべきそれぞれのディスプレイ素子の位相を決定することであって、位相は、それぞれのディスプレイ素子によって放射された光を方向転換する光学素子に対するそれぞれのディスプレイ素子の相対的な水平位置を表し、それにより光が方向転換される方向を表し、位相は、ディスプレイ素子のアレイ内での水平位置xおよび垂直位置yにおける先行するディスプレイ素子の位相に対する増分として:
phase(x+1,y)=(phase(x,y)+h)%t
phase(x,y+1)=(phase(x,y)+v)%t
にしたがって決定され、
式中、hは、ディスプレイ素子当たりの、位相における水平の増分を表し、vは、ディスプレイ素子当たりの、位相における垂直の増分を表し、tは位相の総数を表し、%はモジュロ演算の関数表現であり、h、vおよびtの値は、
【数1】
および
【数2】
にしたがってピッチ距離pおよび傾斜sを近似する整数値として選択され、その結果、ディスプレイ素子のアレイの幅および高さにわたる位相における近似誤差がピッチ距離p未満に累積される、ことと;
- 前記決定された位相から、位相の数値表現のいくつかの最上位数字に基づいてビュー番号を決定することと
を含む。
【0017】
本発明のさらなる態様は、プロセッサシステムが方法を実施するための命令を表す一時的データまたは非一時的データを含むコンピュータ可読媒体を提供するものである。
【0018】
本発明のさらなる態様は、割り当てられたビュー番号に基づいてシーンの異なるビューポイントの画像データをインターリーブするのに用いるために、オートステレオスコピックディスプレイのディスプレイ素子に対して前記ビュー番号を割り当てるためのプロセッサシステムを提供するものである。このプロセッサシステムは:
- 命令のセットを表す命令データを含むメモリ;
- プロセッサであって、メモリと通信し、命令のセットを実行するように構成され、命令のセットが、プロセッサによって実行されたとき、プロセッサに、ビュー番号の割当てにおいて使用されるべきそれぞれのディスプレイ素子の位相を決定させ、位相は、それぞれのディスプレイ素子によって放射された光を方向転換する光学素子に対するそれぞれのディスプレイ素子の相対的な水平位置を表し、それにより光が方向転換される方向を示し、位相は、ディスプレイ素子のアレイ内での水平位置xおよび垂直位置yにおける先行するディスプレイ素子の位相に対する増分として:
phase(x+1,y)=(phase(x,y)+h)%t
phase(x,y+1)=(phase(x,y)+v)%t
にしたがって決定され、
式中、hは、ディスプレイ素子当たりの、位相における水平の増分を表し、vは、ディスプレイ素子当たりの、位相における垂直の増分を表し、tは位相の総数を表し、%はモジュロ演算の関数表現であり、h、vおよびtの値は、
【数3】
および
【数4】
にしたがってピッチ距離pおよび傾斜sを近似する整数値として選択され、その結果、ディスプレイ素子のアレイの幅および高さにわたる位相における近似誤差がピッチ距離p未満に累積され、および、
前記決定された位相から、位相の数値表現のいくつかの最上位数字に基づいてビュー番号を決定するように構成された、プロセッサ
を備える。
【0019】
上記の方策は、割り当てられたビュー番号に基づいてシーンの異なるビューポイントの画像データをインターリーブするのに用いるために、オートステレオスコピックディスプレイのディスプレイ素子に対して前記ビュー番号を割り当てることを伴うものである。そのようなタイプのインターリービングは、たとえば背景技術の節において示されたようにそれ自体で知られており、ディスプレイによって異なる角方向に放射された光が異なるビューに対応することを保証するために、一般に、各それぞれのディスプレイ素子に対してビュー番号を割り当てることと、次いで、異なるビューの画像データを適切にインターリーブすることとを伴う。
【0020】
ディスプレイ素子にビュー番号を割り当てることは、一般的には各ビュー番号の「準規則的な」空間パターンをもたらし、たとえばより高い解像度の画像データが使用可能であればそれぞれのビューの画像データをサブサンプリングするために、たとえば画像データが異なるサンプリンググリッドにおいてサンプリングされたものであれば画像データを補間するために、または、たとえば知られているビューレンダリング技術またはビュー合成技術によって選択的に画像データを生成するために使用され得る。一般に、一旦、ビュー番号がディスプレイ素子に割り当てられると、インターリーブされた出力画像を適切に生成する方法が分かる。
【0021】
そのようなインターリービングは、通常は、レンチキュラーレンズアレイのタイプと、ディスプレイにおけるレンチキュラーレンズアレイの構成とを考慮に入れるものであり、これらは、ディスプレイパネルに対するレンチキュラーレンズアレイの傾斜およびレンチキュラー素子間のピッチ距離を含み得る。傾斜は、ディスプレイ素子のアレイの列方向に対するレンチキュラー素子の主縦軸の角度として、またはその角度に関連して表されてよいが、それとは違って、たとえばディスプレイ素子のアレイの行方向に関連して表されてもよい。傾斜は、度、ラジアンなどで表されてよいが、一般に三角形の三角法を参照することによって、たとえば直角三角形の斜辺を示すことによって表される。たとえば、1/6は、ディスプレイ素子(n,m)からディスプレイ素子(n+1,m+6)までの直角三角形の斜辺を指してよく、ディスプレイ素子が水平方向および垂直方向において1:1のアスペクト比を有する場合、傾斜角はarctan 1/6≒10度に対応する。ピッチ距離、または簡単に「ピッチ」は、絶対数として、たとえばミリメートルで表されてよいが、一般にディスプレイパネルに関連して、たとえば画素の数といったディスプレイ素子の数によって表される。たとえば、ピッチは1と1/2の画素でよい。光学素子の間のピッチは水平に測定されるが、異なる方向、たとえば傾斜した細長い光学素子に対して垂直な方向に測定されてもよい。
【0022】
上記および下記において、「ディスプレイ素子」という用語は、一般的には画素を指すが、画素またはサブ画素のグループをも含み得ることが注意される。
【0023】
上記の方策は、各ディスプレイ素子のビュー番号を決定する、すなわち各ディスプレイ素子に対して位相を割り当てることによって効率的でありながら正確なやり方を提供するものである。ここで、位相は、それぞれのディスプレイ素子によって放射された光を方向転換する光学素子に対するそれぞれのディスプレイ素子の相対的な水平位置を表す。そのため、位相は、光が方向転換される方向を示し、最終的には、特定のディスプレイ素子に割り当てられるビュー番号を示す。位相を割り当てることは、ディスプレイ素子のアレイにおいて位置(x,y)に配置されたディスプレイ素子の位相を、光学素子のアレイのピッチpおよび傾斜sに基づいて計算することを伴い得る。たとえば、位相はx/p+y*sとして計算されてよく、この計算は、ディスプレイ素子当たりの除算および浮動小数点数としての数値表現を伴い得る。
【0024】
前述の計算の代わりに、上記の方策は、先行するディスプレイ素子の位相に対するディスプレイ素子の位相を定義する[h,v,t]表記法を導入するものであり、すなわち、phase(x+1,y)=(phase(x,y)+h)%tおよびphase(x,y+1)=(phase(x,y)+v)%tであり、ここで、xはディスプレイ素子のアレイにおける水平位置を表し、yはディスプレイ素子のアレイにおける垂直位置を表し、hは水平の増分を表し、vは垂直の増分を表し、tは位相の総数を表し、また%tはモジュロ演算(たとえば「真の」モジュロ)の表現であるか、または0およびtに対してチェックし、次いで、場合によりtだけインクリメント/デクリメントさせることがそれに続く。そのような[h,v,t]手法を使用することは、ピッチpの値および傾斜sの値を、たとえばp=|t/h|およびs=v/hに基づいて、水平の位相のオフセットhおよび垂直の位相のオフセットvに変換することを伴う。この計算は、オートステレオスコピックディスプレイの特定のタイプおよび/または特定の構成について、各ディスプレイ素子に対して実施する必要があるわけではなく、「1回」実施されればよい。
【0025】
不都合なことに、[h,v,t]手法に基づいて前述の相対的なやり方で位相を割り当てることは、h、v、tおよび位相の値を計算して記憶するための高い数値的正確さを必要とすることがある。たとえば整数表現といった制限された数値的正確さしか使用されなければ、[h,v,t]表記法を使用すると、制限された数の異なる傾斜および/またはピッチしか表現され得ず、これはいくつかの状況では不十分である可能性がある。たとえば、製造の不正確さのために、実際のピッチおよび/または傾斜が公称値から少し逸脱する可能性がある。別の例は、オートステレオスコピックディスプレイの生産中にレンチキュラーレンズアレイの回転位置を制御するプロセスが少し不正確であって、意図した傾斜から軽微な偏差につながることである。さらに別の例は、(これも後に論じられる)「ビュー距離調節」のために、ビュー距離調節を達成するためのビュー番号の割当てにおいて少し異なるピッチが想定されることである。
【0026】
[6,1,9]の例では、tのインクリメントによって次に表現可能なピッチは、ピッチにおけるわずか1/6のステップを達成する[6,1,10]である。さらに別の例では、前述の位相を割り当てることにおいて、丸め誤差の累積による不正確さが生じる可能性があり、これは高解像度のディスプレイパネル、たとえば4Kまたは8Kまたは多くのディスプレイ素子を有するさらに高解像度のディスプレイ、に特に関連し得る。
【0027】
[h,v,t]の使用の上記の問題に対処するために、h、vおよびtの値が、ピッチ距離pおよび傾斜sを
【数5】
および
【数6】
にしたがって近似する整数値として選択されてよく、その結果、ディスプレイ素子のアレイの幅および高さにわたる位相における累積された近似誤差がピッチ距離p未満になる。言い換えれば、h、vおよびtの整数表現の値は、ピッチ距離pおよび傾斜sを十分に近似するように、詳細には、画素グリッド全体にわたる位相における累積された近似誤差がピッチ距離p未満になるように選択され得る。そのような比較を可能にするために、ピッチ距離pが位相差として表現されてよく、または、一般に近似誤差とピッチ距離pが同じタイプの単位として表現されてよい。
【0028】
近似誤差自体は、h、vおよびtの値の選択に関して表現されてよく、これは、
【数7】
および
【数8】
にしたがってピッチ距離pおよび傾斜sを正確に表し、それによって、前述の近似に関する整数値による参照を表す。したがって、h、vおよびtの特定の選択に関して累積される近似誤差は、容易に数値計算され得る。ピッチ距離pは、ディスプレイ素子の間の位相差を表し得、これは隣接したビューイングコーンにおいて同一または類似のビューと関連づけられ、それによって、隣接したビューイングコーンの間の位相差を表すと考えられ得る。これは、前述の近似に関する整数値による最小限の正確さと考えられ得る。いくつかの実施形態では、h、vおよびtの値は、累積される近似誤差がピッチ距離pの位相差の75%未満、または位相差の50%未満、または25%未満、または10%未満になるように選択され得る。
【0029】
h、vおよびtの整数値は様々なやり方で計算され得る。
【0030】
たとえば、傾斜sおよびピッチ距離pは公分母を有する有理数として近似されてよく、そのとき、hの値は公分母の値として得られ、vの値はsとhの乗算結果を丸めたものとして得られ、tの値はpとhの乗算結果を丸めたものとして、それぞれ得られる。したがって、h、vおよびtの各々の値は、浮動小数点数ではなく整数で表され得る。これは、たとえば9つから18個の位相へ、またはさらに大きい数への位相の数の「アップスケーリング」を、および、対応して、水平の増分hの値および垂直の増分vの値を「アップスケールされた」ドメインに決定することを効率よく表し得る。それによって、[h,v,t]の整数表現を使用する位相計算は、ディスプレイ素子の位相を決定する際になお十分な正確さを提供し得る。別の例は、[1.0,s,p]表記法が使用され得、ここでsおよびpは浮動小数点数として表現された実際の傾斜値およびピッチ値であり、係数aだけアップスケールしてから丸められて[a,round(a*s),round(a*p)]が得られ、これが[h,v,t]に対応することである。一般に、最初にtの値が、たとえば所望の精度に基づいて選択され、その後hの値がtおよびhに応じて決定され、その後vの値がhおよびsに応じて決定されてよく、任意選択の最後のステップとして、たとえば位相の数値表現が非常に大きい値を記憶することができることを必要とするほどhおよびvが大きすぎると考えられる場合には、同一の係数だけh、vおよびtの値を縮小する。
【0031】
上記のやり方で「アップスケールされた」位相を使用して、次いで、ビュー番号が、位相の数値表現のいくつかの最上位数字に基づいて位相から決定され得る。ここで、「に基づいて」は、たとえばゼロを埋めながら右シフトする操作によっていくつかの最上位数字としてビュー番号が直接決定されるやり方であるが、たとえば最上位数字をルックアップテーブルに対するインデックスとして使用することによって、最上位数字に基づいてビュー番号を決定する他のやり方も含む。
【0032】
上記の方策によれば、ビュー番号は、たとえばディスプレイ素子の行および列を繰り返し進行し、上記の相対的な位相関係に従ってそれぞれのディスプレイ素子の位相を決定することにより、計算上効率的なやり方で割り当てられ得る。レンチキュラーレンズアレイの様々な構成が[h,v,t]表記法によって特徴づけられ得る。たとえば、ピッチ1と1/2および傾斜1/6によって特徴づけられた光学系を有するディスプレイは[6,1,9]によって表され得、ピッチ5/3および傾斜1/3は[3,1,5]として表され得る。
【0033】
これが、計算の複雑さを低く保ったままビュー番号の正確な決定を可能にし、傾斜および/またはピッチの様々な値を考慮に入れること、ならびに/あるいは丸め誤差、詳細にはより小さい丸め誤差が繰り返し累積することによるより大きい誤差を低減することができる。小さい丸め誤差が繰り返し累積することによるより大きい誤差は、たとえば前述の4Kまたは8Kのディスプレイといったより高い解像度のディスプレイに特に関係する。
【0034】
任意選択で、公分母すなわちhの値、vの値またはtの値は、位相の数値表現の最大値として、たとえば位相の16ビットの数値表現については65535として、またはその最大値の近くに選択されてよい。それによって、様々なピッチと傾斜の構成が比較的高い正確さで表され得る。いくつかの実施形態では、hの値、vの値およびtの値は、前記値のうち最大のものが位相の数値表現の最大値または最大値に近い値になるように一緒に選択されてよい。いくつかの実施形態では、hの値、vの値およびtの値は、前記値のうち最大のものが位相の数値表現の最大値に近い値になるように、一方、tの調節を可能にするために最大値に対するヘッドルームを割り振るように、一緒に選択されてよい。言い換えれば、hの値、vの値およびtの値は、前記値のうち最大のものにヘッドルーム値を加算した値が位相の数値表現の最大値に等しくなるように選択されてよく、ヘッドルーム値は、tの調節を可能にするための、位相の数値表現の最大値に対するヘッドルームの割り振りを表し得る。これがいわゆるビュー距離調節を可能にし、それにより視聴者のビュー距離をオートステレオスコピックディスプレイに合わせて調節するように、tの値が調節され得る。ヘッドルームは、たとえばビュー距離調節が特定の範囲内で実施されることを可能にするように選択され得る。たとえば、ビュー距離調節によるtの公称値における最大の増加が321であって、tの値が最大値であるなら、tの値は65535-321=65214に選択されてよい。したがって、「近い」という用語は、ビュー距離調節のためのtの調節のためのヘッドルームの割り振りがあることを条件とする、位相の数値表現の範囲内の最大値を指し得る。
【0035】
任意選択で、ディスプレイ素子は画素または画素のグループであり得、各画素が複数のサブ画素を備えてよく、サブ画素位相は、画素または画素のグループの決定された位相に対してオフセットを加えるかまたは差し引くことによって、それぞれのサブ画素に割り当てられ得る。そのため、各画素または画素のグループに対して[h,v,t]手法を使用して位相が決定され得、次いで、決定された位相に対してオフセットを加えるかまたは差し引くことによってサブ画素の位相が決定される。たとえば、決定された画素位相は、画素の表面の範囲内の選択された幾何学的位置に割り当てられてよく、サブ画素位相は、選択された幾何学的位置に対するサブ画素の幾何学的位置の差を表すそれぞれのオフセットを加えるかまたは差し引くことによって決定され得る。オフセットのそのような加算または減算は、たとえば繰り返しオフセットを加えるかまたは差し引くことによってサブ画素を進行する、繰り返すやり方で実施され得る。サブ画素位相のオフセットにおけるあらゆる丸め誤差が、あったとしても少数のサブ画素にわたって累積するのみであるため、サブ画素位相のオフセットは、低減した精度で、たとえばビュー番号を決定するのに使用される位相の同数の(最上位)ビットで表されてよいことが注意される。発明を実施するための形態においても解明されるように、そのような手法は、異なるサブ画素配置(「レイアウト」)をサポートの観点から、さらなる適応性をもたらし得る。
【0036】
任意選択で、決定された位相からビュー番号を決定することは、ルックアップテーブルに対するインデックスなど、決定された位相からビュー番号へのマッピングを提供する関数の引数として、位相の数値表現のいくつかの最上位数字を使用することを含み得る。そのような関数によって異なるマッピング機能が定義され得るので、そのような関数はマッピングの観点から適応性を提供し得る。特定の例では、そのような関数は、ルックアップテーブルに適切な値をロードすることによって実装され得る。たとえば、ルックアップテーブルは、増加する位相に対して、ビュー番号が増加していくビューの立体視シーケンスおよびビュー番号が減少していくビューのシュードスコピックシーケンスを含むことによって、オートステレオスコピックディスプレイのビューイングコーンにおける立体領域およびシュードスコピック領域を定義し得る。そのような実施形態および他の実施形態では、ビューのシュードスコピックシーケンスは、ビューの立体視シーケンスのビュー番号のサブセットからなり得る。
【0037】
任意選択で、ルックアップテーブルはビュー番号の整数表現を含む。任意選択で、ルックアップテーブルにおけるエントリはルックアップ中に補間され得る。たとえば、特定の位相がルックアップテーブルに含まれていない場合には、ビュー番号は、たとえば、重みがそれぞれの隣接した位相までの距離に反比例して決定される加重補間を使用して、2つの隣接した位相のビュー番号に応じて補間されてよい。
【0038】
一般に、プロセッサシステムは、システムオンチップなどの集積回路として実装されてよい。一般に、オートステレオスコピックディスプレイは、プロセッサシステムを、たとえば内部構成要素として備え得る。
【0039】
本発明の前述の実施形態、実装、および/または態様のうちの2つ以上が、有効と考えられる任意のやり方で組み合わされ得ることが当業者には理解されよう。
【0040】
集積回路の説明された修正形態および変形形態に対応する、方法の修正形態および変形形態は、当業者によって本説明に基づいて実行され得る。
【0041】
本発明のこれらの態様および他の態様は、以下で説明される実施形態から明らかであり、これらを参照することによって解明されよう。
【図面の簡単な説明】
【0042】
図1】一連のビューイングコーンの各々において一連のビューを隣接して放射するためのプロセッサシステムおよび3Dディスプレイを示す図であり、プロセッサシステムは、3Dディスプレイに対して、ディスプレイ用にインターリーブされた出力画像を生成して提供する。
図2A】たとえばビューまたは分数のビューのために、1と1/2の画素のピッチ距離pおよび1/6の傾斜角sで9つの割当て可能な位相を有する3Dディスプレイに対して、[h,v,t]手法に基づいて3Dディスプレイのディスプレイ素子に位相を割り当てることを示す図である。
図2B】ビューのインターリーブされた画像データのディスプレイを示す図である。
図2C図2Aのものに類似であるが64214の位相を有するより高い精度の位相表現を伴う、ディスプレイ素子に対して位相を割り当てることを示す図である。
図3】ビュー番号に対する位相のマッピングを示す図であり、マッピングはビューの立体視シーケンスおよびビューのシュードスコピックシーケンスを提供する。
図4】プロセッサシステムを備える3Dディスプレイを示す図である。
図5】3D画像データを処理する方法を示す図である。
図6】プロセッサシステムが方法を実施するための命令を表す非一時的データを含むコンピュータ可読媒体を示す図である。
【発明を実施するための形態】
【0043】
異なる図において同一の参考番号を有するアイテムは、同一の構造的特徴および同一の機能を有するか、または同一の信号であることに留意されたい。そのようなアイテムの機能および/または構造が説明された場合には、発明を実施するための形態において再び説明する必要はない。
【0044】
参照記号と略語のリスト
以下の符号および略語の説明は、図面の解釈を容易にするために提供され、請求項を制限するようには解釈されないものとする。
0-5 一連のビュー
100 一連の繰り返されるビューイングコーン
102-106 ビューイングコーン
110 立体視位置
112 シュードスコピックビューイング位置
120 プロセッサシステム
122 インターリーブされた出力画像
130 プロセッサ
135 メモリ
140 3Dディスプレイ
142 ディスプレイパネル
144 レンチキュラーレンズアレイ
200 割り当てられた位相を示すサブ画素を有する画素のアレイ
210 画素位置(1,0)における画素
220 画素位置(0,1)における画素
230 画素位置(0,0)における画素
260 ビューのインターリーブされた画像データ
280 割り当てられた位相を有するサブ画素
300 位相からビュー番号へのマッピングを示すグラフ
310 位相
320 ビュー番号
330 位相からビュー番号へのマッピング
340 ビューの立体視シーケンス
350 ビューのシュードスコピックシーケンス
400 ビュー番号を割り当てる方法
410 ディスプレイ素子の位相を決定すること
420 決定された位相からビュー番号を決定すること
450 コンピュータ可読媒体
460 命令を表す非一時的データ
【0045】
図1はプロセッサシステム120を示し、プロセッサシステム120は、3Dディスプレイ140に接続されており、いくつかの実施形態では、3Dディスプレイに対して、たとえばディスプレイデータ122の形態で出力画像を提供する。また図4を参照しながら解明されるように、プロセッサシステム120は、セットトップボックスまたはコンピュータなどの3Dディスプレイ140に接続された外部デバイスの中ばかりでなく、3Dディスプレイ自体、またはたとえばテレビ、タブレットもしくはスマートフォンといった3Dディスプレイを含むデバイスの中にも備えられ得る。3Dディスプレイ140は、ユーザが眼鏡を着用する必要なく、表示されたコンテンツの立体視を可能にするための自動立体視3Dディスプレイである。そのために、3Dディスプレイ140は、一般的には発光素子または光変調素子のアレイからなる光生成部分142を備えるように示されている。そのようなタイプの素子は「ディスプレイ素子」とも称される。たとえば、ディスプレイの技術分野から分かるように、光生成部分142は液晶ディスプレイ(LCD)パネルおよびバックライトによって形成され得る。
【0046】
3Dディスプレイ140は、光生成部分142によって生成された光を異なる方向に方向転換するための光学手段144を備えるようにさらに示されている。図1に明示的に示されているわけではないが、光学手段144は、レンチキュラー素子またはパララックスバリアタイプ素子などの細長い光学素子のアレイを備えるかまたはこのアレイからなってよい。光生成部分142は、3Dディスプレイ140から一連のビュー0-5がビューイングコーン104の形態で放射されるように、適切に配置されて光学手段144と協力し得る。一連のビュー0-5は一連の画像を示し得る。したがって、視聴者は、一連のビュー0-5のうち1つを見るとき、一連の画像のうちのそれぞれの1つを知覚することになる。一連の画像は、画像コンテンツの観点から、シーンに面し、前記シーンの前を相対的に左から右へ移動するカメラに対応し得る。そのため、ビューイングコーン104の範囲内のビューイング位置110に位置する視聴者は、一連のビュー0-5のうち2つの異なるビュー2、3を知覚し得、それによって前記シーンの立体視ビューイングを得ることができる。反対に、ビューイング位置112に位置する視聴者は、いわゆるシュードスコピックビューイングを知覚するはずであり、このことは図3を参照しながらさらに説明される。
【0047】
上記の構成の3Dディスプレイ、および一連の画像を一連のビュー104として表示するように処理するやり方は、それ自体で知られていることが注意される。たとえば、米国特許第6,064,424号は、光学手段としてレンチキュラー素子を有するオートステレオスコピックディスプレイ装置を開示し、ディスプレイ素子とレンチキュラー素子の間の関係について論じている。米国特許第6,064,424号は、細長い光学素子が、ピッチ距離pで実質的に平行に配置されており、ディスプレイ素子のアレイの列方向に対して傾斜角sの光学素子の主縦軸を有して配向されていることも開示している。細長い光学素子を特徴づけるそのようなパラメータおよび他のパラメータは、以下では「光学設計」とも称される。
【0048】
種々のそのような光学設計をサポートするために、プロセッサシステムは、オートステレオスコピックディスプレイ向けにインターリーブされたディスプレイデータを生成するのが望ましい。光学設計における多様性は、オートステレオスコピックディスプレイの普及の増加につれて増加する可能性がある。たとえば、縦縞の画素グリッド用に、ピッチ5/3および傾斜1/3の設計の次の、ピッチ1と1/2および傾斜1/6の設計、または(たとえばポートレートモードにおいて縦縞の画素グリッドパネルを使用するときの)横縞の画素グリッドなどの他の画素グリッド用の光学設計、またはPentile RGBW(https://en.wikipedia.org/wiki/PenTile_matrix_family#PenTile_RGBW)などの他の画素グリッドをサポートするのが望ましいであろう。
【0049】
光学設計は、用途要件に順応するように適合されてよい。たとえば、より大きいピッチは奥行きに関するディスプレイパネルの解像度よりも「トレードオフ」に使用され得る。さらに、実際には、たとえば製造公差の結果として、理論的設計から偏差が生じる可能性がある。結果として、実際のピッチは、たとえば前述の製造公差、またはユーザにより制御される視距離調節の願望のために、理論的に設計された値から逸脱することがある。別の例は、ディスプレイのベゼルがさらに小さいことでディスプレイ素子との整列のための余地がより少なくなるために、実際の傾斜が逸脱してしまうものである。
【0050】
したがって、種々の異なるピッチの値および傾斜の値ならびに/あるいは異なる画素グリッドをサポートし得る一方で、なお効率的な実装を使用するのが望ましいであろう。後者は、パラメータおよび変数の、たとえば浮動小数点ベースの数値表現ではなく整数ベースの数値表現を使用することを意味し得る。
【0051】
以下は、いわゆる「ビュー距離補正」を考慮に入れて各画素の位相を決定し、次いでサブ画素の位相を決定することによる、および、次いで、たとえば、前もってレンダリングされたいくつかのビューのうち、決定された位相に最もよく対応するものを決定することにより、位相に基づいて各サブ画素にビュー番号を割り当てることによる、画像データのインターリービングを例として説明する。
【0052】
位相の決定
図2Aは、1と1/2のピッチ距離pおよび1/6の傾斜角sと、9つの割当て可能な位相とを有する3Dディスプレイに対して、たとえば3Dディスプレイの個別のビューまたは分数のビューに対応する[h,v,t]手法に基づいて、3Dディスプレイのディスプレイ素子に位相を割り当てることを示す図である。具体的には、図2Aは画素グリッド200を示し、画素グリッド200では、各画素は、たとえばR(ed)、G(reen)、およびB(lue)のサブ画素といった、縦縞の画素グリッドに配置された3つのサブ画素からなる。図2Aの例では、複数の画素210-230は、それらそれぞれのサブ画素のまわりの境界ボックスによって明示的に示されており、他の画素は明示的には示されていない。
【0053】
各個々のサブ画素の位相を計算することが望まれることがある。そのために、以下の例は、以降で画素位相(または「pixelPhase」)とも称される画素の位相を最初に決定し、次いで画素のサブ画素に以降でサブ画素位相(または「subpixelPhase」とも称される位相を割り当てる。代替実施形態では、決定された画素位相が、すべてのサブ画素に単純に割り当てられてよい。他の実施形態では、画素位相に関して以下で説明されるようなやり方で、各サブ画素について位相が直接決定されることが考えられる。
【0054】
[h,v,t]手法を使用すると、図2Aの例では、水平方向における1つの画素から次の画素への位相関係は:
pixelPhase(x+1,y)=(pixelPhase(x,y)+6)%9
に対応し得る。
【0055】
この関係は、図2Aにおいて、位置(0,0)の画素230と位置(1,0)の画素210の間の「+h,%t」とラベルを付けられた矢印によって視覚的に示されており、この例ではhの値は「6」であり、tの値は「9」である。
【0056】
同様に、垂直方向における1つの画素から次の画素への位相関係は:
pixelPhase(x,y+1)=(pixelPhase(x,y)+1)%9
に対応し得る。
【0057】
この関係は、図2Aにおいて、位置(0,0)の画素230と位置(0,1)の画素220の間の「+v,%t」とラベルを付けられた矢印によって視覚的に示されており、この例ではvの値は「1」であり、tの値は「9」である。
【0058】
画素位相を決定すると、サブ画素のレイアウトを特徴づける位相オフセットを加えることによってサブ画素の位相が計算され得、たとえば、各サブ画素iについては:subPixelPhase(x,y,i)=pixelPhase(x,y)+phaseOffset(i)となる。
【0059】
サブ画素位相は、画素の表面エリアの内部のサブ画素位相の相対的な幾何学的位置を考慮に入れ、それにより、(上にある)光学素子に対する相対的な幾何学的位置を考慮に入れることによって決定され得る。たとえば、決定された画素位相は、画素の左上コーナーに割り当てられてよい。この例では、図2Aの画素グリッドにおけるサブ画素位相のオフセットは、h/6+v/2、h/2+v/2および5h/6+v/2に対応し得る。しかしながら、図2Aにも示されるように、画素位相を左端のサブ画素の中心に割り当ててもよい。この例では、サブ画素位相のオフセットは、0、h/3および2h/3、または図2A例における0、2および4でよい。図2Aは、サブ画素の各々に対して割り当てられた位相を示すことによって後者の例を示す。
【0060】
サブ画素位相のオフセットを使用することは、画素位相を基に、異なるサブ画素のグリッドについてサブ画素位相が容易に計算されることを可能にする。たとえば、画素の内部のサブ画素が(たとえばポートレート構成において図2Aのパネルを使用するときに)図2Aに示された縦縞ではなく横縞として配向され、画素位相が各画素の最上部のサブ画素の中心に割り当てられる場合には、サブ画素位相のオフセットは0、v/3および2v/3になり得る。
【0061】
(画素の内部のサブ画素の幾何学的な場所に対応する)オフセット0、1/3および2/3は、上記の2つの例では原理的にピッチおよび傾斜に無関係であるため、ピッチや傾斜の変化する値に容易に適応することができるやり方でサブ画素位相を特徴づけることが注意される。
【0062】
場合によっては、たとえば(サブ)画素のグリッドが直交グリッドでない場合、サブ画素のグリッドが画素の内部のサブ画素のオフセットによって定義され得ないことがある。その場合、サブ画素のオフセットは、ディスプレイパネルにわたって繰り返す画素のグループに関して定義されてよい。たとえば、Pentile RGBWサブ画素のグリッドについては、それぞれ、偶数行におけるサブ画素のRGBWオフセットは、0、h/4、h/2および3h/4であり得、奇数行におけるサブ画素についてはh/2、3h/4、0およびh/4であり得る。一般的には(サブ)画素のグリッドは2x2画素の範囲内で繰り返し、そのため、奇数行および偶数行ならびに奇数列および偶数列向けに異なるサブ画素のオフセットが定義され得、それによってサブ画素位相の割当てにおいて広範囲の(サブ)画素のグリッドが対処されることを可能にする。
【0063】
精度増加
[h,v,t]手法の使用に戻って、一般に、[h,v,t]のための値の選択は、ピッチ|t/h|および傾斜v/hを有する光学設計に対応し得る。したがって、ピッチ1と1/2および傾斜1/6を有する光学設計は、[6,1,9]によって、あるいは言い換えると1つの画素につき位相における「6」の水平の増分h、画素の1つのラインにつき「1」の垂直の増分のオフセットv、および「9」の位相の総数tとして、表現され得る。
【0064】
同一の分母を使用して合理的な表現でピッチと傾斜を組み合わせるこの表記法は、画素位相が、たとえば画素グリッドを通って順次に進行することによって走査するやり方で:
pixelPhase(x+1,y)=(pixelPhase(x,y)+h)%t および
pixelPhase(x,y+1)=(pixelPhase(x,y)+v)%t
を使用して容易に計算されることを可能にする。
【0065】
[h,v,t]手法は精度増加をさらに可能にする。たとえば、[6,1,9]は、係数2によって同等な[12,2,18]へとスケーリングされ得、これはなおピッチ1と1/2および傾斜1/6の構成を表記する。しかし、9個の代わりに18個の位相を用いると、ピッチにおける偏差がより正確に表され得る。すなわち、[6,1,9]については、tのインクリメントによって次に表現可能なピッチは[6,1,10]であり、ピッチにおける1/6のステップをもたらす。対照的に、[12,2,18]については、次の表現可能なピッチは[12,2,19]であり、これはピッチにおいて1/12のステップであり、したがってステップサイズが半分である。表現をスケーリングアップすることによって、より精細な調節が行われ得る。
【0066】
たとえば、光学設計のピッチが1.49963になると、このピッチは[h,v,t]において[10000,1667,149963]と表され得(傾斜はなお約1/6であり)、または厳密に1/6のsを得るために[h,v,t]において[30000,5000,3*149963]と表され得る。
【0067】
別の例は、約1と1/2のピッチおよび約1/6の傾斜を有する4Kディスプレイパネルに関するものであり、たとえば丸め誤差の累積が位相割当てにおける過大な誤差をもたらすのを防止するために、h、vおよびtを16ビットの精度で表すのが望ましいであろう。8Kディスプレイパネルなどのさらに高い解像度のディスプレイパネルについては、より長い、より多くのラインにわたって増分h/増分vが累積され得るので、より高い精度が必要とされることがある。また、より高い解像度が使用可能なとき、ディスプレイパネルの解像度は、鮮明さのためではなく奥行きのために使用されてよく、このトレードオフはそれ自体で知られており、より大きいピッチを有する設計をもたらす。この場合には、また、約4のピッチを有する8Kディスプレイパネルについては、たとえば18ビットといったより高い精度が必要とされる可能性がある。tを表すために符号のない数が使用されてもよく、負と正の両方の傾斜を指定できるためにhとvのどちらを符号付き数値によって表すかが選択され得る。たとえば、hの符号を反転することは水平方向における位相の順序も反転させるので、hを符号なしで表現するのが好ましいであろう。
【0068】
以下でさらに説明される理由により(ビュー距離の調節および位相からビューへのマッピングの節も参照されたい)、たとえば選択された数値表現の範囲内で、[h,v,t]表現を、数値が可能な限り大きくなるようにスケールアップするのが有利であろう。(2未満のピッチは、左眼のビューと右眼のビューの間の、2つを超えるビューのための十分な分離につながらないので)hは通常tよりも小さく、また、水平解像度と垂直解像度を適切に分配するために、vは一般的にはhの約1/6であり、それによってtよりも(はるかに)小さいので、一般的には「倍率」はtの値によって決定されてよい。しかしながら、小さいピッチおよび45度の傾斜などの場合には、tではなくvまたはhが倍率を決定してよい。
【0069】
このように傾斜を表すことにおける正確さの例として、(整数除算を使用して)65535/9を乗算することによって[6,1,9]を16ビットにスケールアップすると[-43686,7281,65529]を提供する。次いで、ピッチを変化させない、傾斜値のできるだけ小さい変更を指す1-オフ傾斜、すなわちvの1の変化、は、[15120,7282,65529]によって表され得る。そのような[h,v,t]手法は、近似的に、4Kディスプレイパネルの画素グリッド全体にわたる(9つからの)位相において約0.3の累積された丸め誤差を提供するはずである。一般的には、これは十分に正確であると考えられ得、受入れ可能な程度の許容誤差を提供する。より低い正確さが受け入れられることもあるが、異なる光学設計のためにヘッドルームを残しておくのが望ましいであろう。
【0070】
ピッチの必要な正確さは、ピッチにおける変化の、サポートされるべき最小のステップによって決定され得る。ピッチにおけるそのような変化は、いわゆるビュー距離調節を含む様々な理由のためにサポートされる必要があり得る。
【0071】
ビュー距離調節
ビュー距離調節は、位相の割当てにおける調整を指し、それによって、光学設計の公称のビュー距離とは異なる、ディスプレイに対する視聴者の特定のビュー距離のためのビュー番号の割当てにおける調整を指す。そのようなビュー距離調節は、位相計算において想定されるピッチの値を、実際の光学設計を表す公称値から少し調節することによって実装されてよい。一般的には、ピッチにおけるそのような調節はパーミルのオーダーである。調節機能において、たとえば100ステップといった十分なステップを得るために、これは1/10000またはそれよりもいくぶん小さいtのインクリメントをもたらし得る。tのそのようなインクリメントは、p=|t/h|の関係を考慮して調節されるピッチpをもたらす。そのようなインクリメントは、前述の、tの16ビットの数値表現において可能になり得る。
【0072】
視距離を変化させるようにtを上方へ調節するための十分なヘッドルームを残すために、[h,v,t]表現を、tを増加させたときにオーバーフローすることのないように、65535マイナスなお適用され得る最大の加算値に正規化するのが望ましいであろう。たとえば、ビュー距離調節のための「321」のヘッドルームを残すために、[6,1,9]は、[43476,7246,65214]へとスケールアップされ得る。
【0073】
位相からビュー番号へのマッピング
位相を画素および画素グリッドのサブ画素に割り当てたら、位相に基づいてビュー番号を割り当ててよく、次いで、これが、ビューの画像データをインターリーブするのに使用され得る。図2Bはビューのインターリーブされた画像データ260のそのようなディスプレイを示すものであり、サブ画素は、割り当てられた画像データのそれに対応する強度(および色)を有して示されている。図2Bはインターリービングのために使用されたビュー番号をさらに示しており、図2Cは(アップスケールされた)位相280を示し、位相280に基づいて図2Bのビュー番号は割り当てられたものである。
【0074】
位相とビュー番号の間に1:1の関係がある状況と比較して、位相の数がビューの数よりも(可能性として非常に)大きくても、これらの位相の各々についてシーンの固有のビューをレンダリングするかまたは得ることは、一般的には望まれないことが注意される。そのため、ビューの数は一般的にははるかに小さく、インスタンスを作成された(instantiated)レンダリングパイプラインの数などの係数によって決定され得る。たとえば、図2Aにも示されるように、9つの固有のビュー0-8があり得、これらに関して画像データが使用可能であるかまたは生成され得る。そのため、位相は、制限されたビュー番号のセットにマッピングされる必要がある。
【0075】
決定された位相をビュー番号にマッピングするとき、様々な選択肢および考慮事項がある。たとえば、ビューイングコーンの大部分が立体視のために使用されることを考慮に入れてよい。ビューイングコーンの、たとえば4分の1-3分の1といったより小さい部分が、各コーンの間の移行エリアにおけるアーチファクトを低減するためのいわゆるシュードスコピックビューイングのために使用され得る。シュードスコピックビューイングゾーンの意図的な生成は、たとえばWO 2013/102500 A1から、それ自体で知られている。
【0076】
9つの位相がある例では、立体視部分(0から6)とシュードスコピックビューイング部分(たとえば6、4、2、0)の両方を確立するために、9つの位相にビュー番号0、1、2、3、4、5、6、4、2を割り当ててよく、それによって、9つの位相に対して7つの固有のビュー番号を割り当てる。[12,2,18]へと「アップスケールされた」表現の例では、18個の位相に対してビュー番号0、0、1、1、2、2、3、3、4、4、5、5、6、5、4、3、2、1を割り当ててよく、それによって、シュードスコピックエリアにおいてより精細なビュー分布をもたらす。しかしながら、この例でも、割り当てられる固有のビュー番号は7つしかない。[12,2,18]例では、たとえば水平の増分hおよび垂直の増分vが偶数であることに基づいて、偶数の位相だけが割り当てられる。そのため、割り当てられるビュー番号は前述の「9つの位相」の例に対応する。それにもかかわらず、位相からビューへのマッピングにおける奇数の位相は、たとえばピッチまたは傾斜の補正のために使用されることがある。
【0077】
図3には64個の位相に関する位相からビューへのマッピング300の一例が示されており、位相310は横軸に、ビュー番号320は縦軸に設定されている。図3に見られるように、すべてのビュー番号が、シュード立体視エリア350において3回、立体視エリア330において5回繰り返されており、外側のビュー0および8は4つの位相を割り当てられている。
【0078】
位相からビューへのマッピングにおいてビューを繰り返すのではなく、ビュー番号に固定小数点表現を使用することによって、たとえばビュー1とビュー2の間の中間のビューを表すビュー番号1.5を用いて、精度増加を伴うビュー番号を表してもよく、または一般にそのようなビューは「ビュー間の」位置を表す。そのような場合、そのようなビュー間の位置に表示される画像データを計算するために、たとえばビュー1とビュー2といった隣接したビューの画像データに補間が適用されてよい。あるいは、ビューレンダリングがより高い精度、またはディスプレイ素子のビュー間の指令に関して「オンデマンド」で実施されてもよい。
【0079】
位相からビューへのマッピングは、様々なやり方で生成および/または実装され得る。一般に、たとえば4Kパネルの2160ラインおよび3840画素にわたって位相増分を正確に累積するためには、16ビットなどの高いビット精度が望ましいであろう。しかしながら、位相が一般的には比較的少数のビューに対してのみマッピングされることを所与とすれば、ビュー番号を決定するには、決定された位相の数値表現の最上位ビットのみが必要とされるであろう。
【0080】
以下は具体例であり得る。t≒65215(またはこれよりもわずかに小さい値)まで拡大され、tが65025-65535(またはこれよりもわずかに小さい)の範囲に調節されたビュー距離になることを可能にする[h,v,t]手法が使用されるとき、tの最上位バイトの(したがって下位バイトを棄却した)値は254と255の間にあり、対応する位相は0と255の間にある。これは、数十までのビューに対して十分な精度をもたらす。少ない数のビューの数については、たとえば6ビットの精度(64個の位相)についてさえ位相からビューへのマッピングにおいて既に多くのビューが繰り返されている図3において示されるように、必要な位相はさらに少なくなる。したがって、tの上側ビットの可能な値の各々について位相からビューへのマッピングが計算し、ルックテーブルに記憶し得る。ビュー距離調節によるtの最上位バイトの値における変動は、256のうちたった1であるため無視され得る。
【0081】
上記のことを所与として、位相からビューへのマッピングは、テーブルに対するインデックスとして位相の上側ビットのみを使用するルックアップテーブルとして実装され得る。
【0082】
そのようなルックアップテーブルは、たとえば外部インターフェースを使用して、部分的または全面的にプログラム可能であり得る。全面的にプログラム可能なルックアップテーブルは、たとえば線形立体視の位相からビューへの関係やシュード立体視の位相からビューへの関係から逸脱する、任意および/または「変わった(exotic)」、位相からビューへのマッピングを実装することを可能にし得る。別の例は、たとえば生産中または使用中に(ランタイムにおいて)選択可能であり得る、前もってプログラムされた限られた数のルックアップテーブルが実装され得るものである。ルックアップテーブルは、分数のビュー番号がプログラムされることも可能にし得る。別の例は、ルックアップテーブルは、たとえばすべての分数のビットが0にセットされた整数のビュー番号に直接対応する値のみを用いてプログラムされ得るものである。
【0083】
ルックアップテーブルをさらに参照して、位相の上位ビットが、特定のディスプレイ素子のビュー番号を決定するためにルックアップテーブルにインデックスを付けるのに使用されてよく、残りのビットはビュー番号を決定するためには使用されないと考えられ得る。別の実施形態では、3つのクラス:ルックアップテーブルに対してインデックスを付けるように使用され得る位相の数値表現の最も上側のビット、ビュー番号を決定するためには使用されない最も下側のビット、および残りの中間ビットが区別され得る。これらの「中間」ビットは、位相からビューテーブルの中で近隣のエントリの間を補間するために使用され得る。たとえば、最も上側のビットが、ビュー4がインデックスを付けられると示し、中間ビットが分数3/4を示す場合には、ビュー番号に達するために、(線形補間を使用するとき)インデックス5における位相からビューエントリの3/4が、インデックス4における位相からビューエントリの1/4に加えられてよい。線形補間の次に、ルックアップテーブルにおいてビュー番号を含むエントリの間を補間するために、たとえば当技術においてそれ自体で知られているスプラインを使用する、より高次の補間も使用され得る。この手法の特定の実施形態では、ルックテーブルは1Dテクスチャマップとして実装されてよく、プロセッサシステムのテクスチャユニットが、各サブ画素に対応する位相のビュー番号を取得するとき補間を実施するように構成され得る。
【0084】
上記のことは「ビット」を参照しているが、位相の特定の数値表現のいかなるタイプの数字にも同様に適用されることが注意される。
【0085】
プロセッサシステムおよびコンピュータにより実装される方法
前述の実施形態は、適切に構成されたプロセッサシステムによって実行され得る。図1は、3Dディスプレイに対してインターリーブされた画像データを提供する外部部品としてのプロセッサシステムを示す。
【0086】
図4図1の代替形態を示し、図1の代替形態では、プロセッサシステム120が3Dディスプレイ140の内部部品の形態で実装されており、インターリーブされた出力画像のデータ122を内部で出力する。図4は、プロセッサ130およびメモリ135などのプロセッサシステム120の内部部品も示す。引用されていない図4における数表示は図1のものに対応する。図1および図4に明示的には示されていないが、プロセッサシステム120は、水平の増分h、垂直の増分vおよび/または位相の総数t、ならびに/あるいはサブ画素のオフセットが外部で構成されることを可能にするためのインターフェースを有することもある。そのようなインターフェースは、I2CおよびRS232などの電気的インターフェース、ソフトウェアAPI(アプリケーションプログラミングインターフェース)などのソフトウェアインターフェース、または両方の組合せなどの様々な形態をとり得る。たとえば、インターフェースはドライバ用のソフトウェアAPIでよく、これが、種々のアイテムに対応するハードウェアレジスタにおける値を設定するためにI2Cを介して通信してよい。加えて、またはその代わりに、そのようなインターフェースは、ピッチ距離pの値および傾斜角度sの値を外部から構成することを可能にし得、そこで、プロセッサシステムは、pおよびsの値に基づいて、水平の増分h、垂直の増分vおよび/または位相の総数tの値を決定する。
【0087】
プロセッサシステム120は、画像データをインターリーブしたり、インターリーブされた出力画像を出力したりする必要はないことが理解されよう。むしろ、プロセッサシステム120がビュー番号を割り当てたり、割り当てられたビュー番号に基づいて別のエンティティが画像データをインターリーブする実施形態が考えられる。
【0088】
一般に、プロセッサシステムは、たとえばセットトップボックス、パーソナルコンピュータ、ゲーミングコンソールまたは3Dディスプレイに接続可能な類似のデバイスといった個別のデバイスの中に、またはこの個別のデバイスとして具現され得る。一般に、プロセッサシステムはデバイスまたは装置によって実装され得る。デバイスまたは装置は、適切なソフトウェアを実行する1つ以上の(マイクロ)プロセッサを備え得る。機能(複数可)の機能性を実装するソフトウェアは、ダウンロードされてよく、および/または、たとえばRAMなどの揮発性メモリもしくはFlashなどの不揮発性メモリといった対応する1つまたは複数のメモリに記憶されてもよい。あるいは、プロセッサシステムの機能(複数可)は、たとえばフィールドプログラマブルゲートアレイ(FPGA)といったプログラマブル論理の形態で、または特定用途向け集積回路(ASIC)として、またはその他のタイプの回路もしくは回路の組合せとして、デバイスまたは装置に実装され得る。
【0089】
図5は、割り当てられたビュー番号に基づいてシーンの異なるビューポイントの画像データをインターリーブするのに用いるために、オートステレオスコピックディスプレイのディスプレイ素子に対して前記ビュー番号を割り当てる、コンピュータにより実装される方法400を示す。コンピュータにより実装される方法400は、必要ではないが、図1図4および他の図を参照しながら説明されたようなプロセッサシステム120の動作に対応し得る。方法400は、「ディスプレイ素子の位相を決定すること」と題されたステップの中に、ビュー番号の割当てにおいて使用されるべきそれぞれのディスプレイ素子の位相を、たとえば上記で説明されたようなやり方で決定すること410を含み得る。方法400は、「決定された位相からビュー番号を決定する」と題されたステップの中に、前記決定された位相からたとえば上記で説明されたようなやり方でビュー番号を決定すること420をさらに含み得る。
【0090】
方法400は、たとえばコンピュータといったプロセッサシステム上に、コンピュータにより実装される方法、専用のハードウェア、または両方の組合せとして実装され得る。図6にも示されているように、たとえば実行可能コードといったコンピュータ用の命令は、たとえば機械可読の物理的マーク一連の形態460で、および/またはたとえば磁気的または光学的といった異なる電気的な性質または値を有する一連の要素として、コンピュータ可読媒体450上に記憶され得る。実行可能コードは、一時的または非一時的なやり方で記憶されてよい。コンピュータ可読媒体の例は、メモリデバイス、光記憶デバイス、集積回路、サーバ、オンラインソフトウェアなどを含む。図6は光ディスク450を示す。
【0091】
別の実施形態では、コンピュータ可読媒体450は、上記で説明されたようなルックアップテーブルを一時的データまたは非一時的データとして含み得る。
【0092】
前述の実施形態は本発明を限定することなく説明するものであり、当業者なら多くの代替実施形態を設計し得るはずであることに留意されたい。
【0093】
請求項では、括弧内のあらゆる参照記号が、請求項を制限するものとして解釈されることはないものとする。「備える」という動詞およびその語形変化の使用は、請求項において明示されたもの以外の要素またはステップの存在を除外するものではない。要素に先立つ冠詞「1つの(a)」または「1つの(an)」は、そのような要素が複数存在することを除外するものではない。「少なくとも1つの」などの表現は、要素のリストまたはグループに先行するとき、リストまたはグループからの要素のすべてまたはいくらかのサブセットの選択を表す。たとえば「A、B、およびCのうち少なくとも1つ」という表現は、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方、あるいはA、B、およびCのすべて、を含むものと理解されたい。本発明は、いくつかの別個の要素を含むハードウェアおよび適切にプログラムされたコンピュータによって実装され得る。いくつかの手段を列挙するデバイス請求項では、これらの手段のうちのいくつかはハードウェアのひとつの同じアイテムによって具現されてよい。互いに異なる従属請求項においてある特定の方策が挙げられているという単なる事実は、これらの方策の組合せが有利に使用され得ないことを示すわけではない。
図1
図2A
図2B
図2C
図3
図4
図5
図6