(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-05
(45)【発行日】2024-06-13
(54)【発明の名称】立体画像表示装置及びそのプログラム
(51)【国際特許分類】
G02B 30/10 20200101AFI20240606BHJP
G02F 1/13 20060101ALI20240606BHJP
H04N 13/125 20180101ALI20240606BHJP
H04N 13/307 20180101ALI20240606BHJP
H04N 13/366 20180101ALI20240606BHJP
【FI】
G02B30/10
G02F1/13 505
H04N13/125
H04N13/307
H04N13/366
(21)【出願番号】P 2020153517
(22)【出願日】2020-09-14
【審査請求日】2023-08-07
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】岡市 直人
(72)【発明者】
【氏名】佐々木 久幸
(72)【発明者】
【氏名】河北 真宏
【審査官】植田 裕美子
(56)【参考文献】
【文献】韓国公開特許第2003-0088649(KR,A)
【文献】特開2019-213127(JP,A)
【文献】特開2001-215444(JP,A)
【文献】特開2008-256740(JP,A)
【文献】米国特許出願公開第2015/0208061(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 30/10
H04N 13/125,13/275,13/282,13/296
H04N 13/307,13/366
G02F 1/13
(57)【特許請求の範囲】
【請求項1】
要素画像で構成された要素画像群を人物の視点に追従して表示するインテグラルフォトグラフィ方式の立体画像表示装置であって、
前記人物の視点に追従して前記要素画像群を表示する表示素子と、
前記要素画像群の光を直線偏光にする直線偏光板と、
前記表示素子が表示する各要素画像の光の偏光方向を直交させる偏光制御パネルと、
前記要素画像に対応させて要素レンズを配列したレンズアレイと、
前記要素レンズに対応させて、偏光方向が直交する偏光板を互い違いに配列した直交偏光アレイと、を備え
、
前記偏光制御パネルは、前記要素画像毎に白色領域と黒色領域とが交互するチェッカーパターン画像を表示することで、前記白色領域及び前記黒色領域で液晶分子が直交するように回転し、隣接する前記要素画像の光の偏光方向を直交させることを特徴とする立体画像表示装置。
【請求項2】
前記人物の顔画像を撮影し、前記人物の瞳位置を推定する瞳位置推定手段と、
前記人物の瞳位置に基づいて、前記人物の視点移動方向の反対方向となるように、前記要素画像群及び前記チェッカーパターン画像の表示位置を算出する視点追従手段と、
前記視点追従手段が算出した表示位置で前記要素画像群を前記表示素子に表示させる要素画像群表示制御手段と、
前記視点追従手段が算出した表示位置で前記チェッカーパターン画像を前記偏光制御パネルに表示させる偏光制御パネル駆動手段と、
をさらに備えることを特徴とする請求項
1に記載の立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、要素画像群を人物の視点に追従して表示する立体画像表示装置及びそのプログラムに関する。
【背景技術】
【0002】
インテグラルフォトグラフィ(IP:Integral Photography)方式は、特殊な眼鏡が不要で裸眼による立体視が可能なため、従来より研究が進められている。
図6(a)及び(b)に示すように、従来のIP立体映像表示装置100は、液晶や有機ELなどの直視型ディスプレイ110と、その前面に置かれたレンズアレイ120とを備える。レンズアレイ120は、2次元方向に配列された要素レンズ121で構成されている。直視型ディスプレイ110は、各要素レンズ121に対応する要素画像eで構成される要素画像群Eを表示する。すると、要素レンズ121により要素画像eが空間中に投影され、立体像が形成される。
【0003】
IP方式では、多くの視点で映像を再現するため、非常に多くの画素(情報量)が必要となる。IP立体映像の品質を決定づけるパラメータとして、「立体映像画素数(要素画像数)」、「視域」、「空間周波数特性(奥行再現範囲)」の3つが挙げられる。非特許文献1に記載されているように、これら3つのパラメータにはトレードオフの関係がある。つまり、「視域」を狭くすることにより、「立体映像画素数」及び「空間周波数特性」を向上させることができる。その一方、「視域」を狭くすると、立体映像の表示範囲が狭くなる。
図7(a)及び(b)に示すように、視域Vを狭くするためには、焦点距離fの長い要素レンズ121を用いればよい。
【0004】
従来のIP方式において、視域追従技術により視域Vの方向を制御すれば、焦点距離fの長いレンズアレイを用いても、広い範囲で立体映像を表示できる(非特許文献2)。この場合、
図8に示すように、視聴者9の反対方向に要素画像群Eの表示位置を平行移動させることで、視域Vの方向制御が実現できる(縮小拡大でも可)。
図8(a)では、視聴者9がIP立体映像表示装置100の中央から上側に移動したので、要素画像群Eの表示位置を直視型ディスプレイ110の中央から下側に移動させることで、ドットで図示した視域Vを上方向に移動させている。また、
図8(b)では、視聴者9がIP立体映像表示装置100の中央から下側に移動したので、要素画像群Eの表示位置を直視型ディスプレイ110の中央から上側に移動させることで、視域Vを下方向に移動させている。このようにして、IP方式では、「立体映像画素数」及び「空間周波数特性」を向上させ、かつ、視域Vを広くすることができる。
【先行技術文献】
【非特許文献】
【0005】
【文献】H. Hoshino, F. Okano, and I. Yuyama, “Analysis of resolution limitation of integral photography,” J. Opt. Soc. Am. A 15(8), 2059-2065 (1998)
【文献】岡市、佐々木、渡邉、久富、河北、“8Kディスプレイを用いた視点追従型インテグラル3D映像表示”、2018年映像情報メディア学会冬季大会 講演予稿集
【発明の概要】
【発明が解決しようとする課題】
【0006】
前記した従来技術では、
図9に示すように、要素レンズ121に対応する要素画像eによって形成されるメインローブとは別に、隣接する要素画像eによってサイドローブの視域が形成される。ここで、視聴者9が速く動いた際、瞳検出のエラーや要素画像生成の遅延により、視聴者9の瞳がメインローブの視域から外れ、サイドローブの視域に入ってしまう。この場合、クロストークが発生し、立体映像の視認性が悪くなるという問題がある。
【0007】
そこで、本発明は、クロストークを抑制できる立体画像表示装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る立体画像表示装置は、要素画像で構成された要素画像群を人物の視点に追従して表示するインテグラルフォトグラフィ方式の立体画像表示装置であって、人物の視点に追従して要素画像群を表示する表示素子と、要素画像群の光を直線偏光にする直線偏光板と、表示素子が表示する各要素画像の表示位置に合わせて、隣接する要素画像の光の偏光方向を直交させる偏光制御パネルと、要素画像に対応させて要素レンズを配列したレンズアレイと、要素レンズに対応させて、偏光方向が直交する偏光板を互い違いに配列した直交偏光アレイと、を備え、偏光制御パネルは、要素画像毎に白色領域と黒色領域とが交互するチェッカーパターン画像を表示することで、白色領域及び黒色領域で液晶分子が直交するように回転し、隣接する要素画像の光の偏光方向を直交させる構成とした。
【0009】
かかる構成によれば、メインローブとサイドローブの光線の偏光方向を直交させ、サイドローブの光線を直交偏光アレイで遮蔽するので、クロストークを抑制することができる。
【発明の効果】
【0011】
本発明は、クロストークを抑制することができる。
【図面の簡単な説明】
【0012】
【
図1】実施形態に係る立体画像表示装置の構成を示すブロック図である。
【
図2】実施形態において、立体ディスプレイを説明する説明図である。
【
図3】実施形態において、(a)はチェッカーパターン画像を説明する説明図であり、(b)は偏光制御パネルを説明する説明図である。
【
図4】(a)及び(b)は、実施形態において、視域追従を説明する説明図である
【
図5】実施形態に係る立体画像表示装置の動作を示すブローチャートである。
【
図6】(a)及び(b)は、従来のIP立体映像表示装置を説明する説明図である。
【
図7】(a)及び(b)は、従来技術において、視域と要素レンズの焦点距離との関係を説明する説明図である。
【
図8】(a)及び(b)は、従来の視域追従技術を説明する説明図である。
【
図9】従来技術において、メインローブとサイドローブを説明する説明図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0014】
[立体画像表示装置の構成]
図1を参照し、実施形態に係る立体画像表示装置1の構成について説明する。
図1に示すように、立体画像表示装置1は、IP方式の立体画像(要素画像群E)を表示するものであり、瞳位置検出装置2と、立体ディスプレイ3と、視点追従装置4とを備える。
【0015】
瞳位置検出装置2は、視聴者(人物)9の瞳位置を、視聴者9の視点としての視点として検出するものである。例えば、瞳位置検出装置2は、視聴者9の顔画像を撮影するための撮影装置(例えば、デプスカメラ、アイトラッカー、Webカメラ)を備える。この瞳位置検出装置2は、立体ディスプレイ3の上部であって、視聴者9を向くように配置することが好ましい。そして、瞳位置検出装置2は、撮影装置が撮影した顔画像から、瞳検出技術(例えば、OpenCV)を用いて、視聴者9の3次元的な瞳位置をリアルタイムで検出し、瞳位置情報を生成する。その後、瞳位置検出装置2は、生成した瞳位置情報を視点追従装置4に出力する。
【0016】
[立体ディスプレイの構成]
図1及び
図2を参照し、立体ディスプレイ3の構成を説明する。
立体ディスプレイ3は、視聴者9の視点に追従するように、視点追従装置4から入力された要素画像群Eを表示するものである。
図2に示すように、立体ディスプレイ3は、表示素子30と、直線偏光板31と、偏光制御パネル32と、レンズアレイ33と、直交偏光アレイ35とを備える。
【0017】
表示素子30は、視聴者9の視点に追従して、視点追従装置4から入力された要素画像群Eを表示するものである。つまり、表示素子30は、視点追従装置4が追従させている視聴者9の視点位置に基づいて、要素画像群Eを表示する。例えば、表示素子30としては、LCD(Liquid Crystal Display)、LED(Light Emitting Diode)ディスプレイ又はOLED(Organic Light Emitting Diode)ディスプレイがあげられる。
【0018】
直線偏光板31は、表示素子30が表示する要素画像群Eの光を直線偏光にするものである。例えば、直線偏光板31としては、偏光軸が水平方向の偏光板(一般的な偏光フィルム)があげられる。なお、直線偏光板31の偏光軸を水平方向のハッチングで図示した。
【0019】
偏光制御パネル32は、表示素子30が表示する各要素画像e(
図6)の光の偏光方向を直交させるものである。例えば、偏光制御パネル32は、一般的な液晶ディスプレイパネルの前後面に接着されている偏光板を取り外した、液晶分子の配向を電気的に制御する液晶層のみのデバイスである。
【0020】
ここで、偏光制御パネル32は、チェッカーパターン画像CPを表示することで、隣接する要素画像eの光の偏光方向を直交させる。
図3(a)に示すように、チェッカーパターン画像CPは、要素画像e毎に白色領域CP
Wと黒色領域CP
Bとが交互する市松模様の画像である。すなわち、偏光制御パネル32は、チェッカーパターン画像CPを表示することで、白色領域CP
W及び黒色領域CP
Bで液晶分子が直交するように回転し、隣接する要素画像eの光の偏光方向を直交させる。これにより、偏光制御パネル32には、偏光軸が0°回転する(回転しない)水平領域32
H、及び、偏光軸が90°回転する垂直領域32
Vが互い違いに形成される。例えば、偏光制御パネル32がノーマリーホワイトモード液晶の場合、白色領域CP
Wを表示した領域が水平領域32
Hとなり、黒色領域CP
Bを表示した領域が垂直領域32
Vとなる。一方、ノーマリーブラックモード液晶の場合、白色領域CP
W及び黒色領域CP
Bと水平領域32
H及び垂直領域32
Vとの関係が逆になる。このように、偏光制御パネル32は、チェッカーパターン画像CPを表示するデバイスではなく、各要素画像eの偏光方向を直交させる偏光素子の役割を有する。
なお、説明を分かりやすくするため、偏光軸が0°回転する水平領域32
Hに「0°回転」、偏光軸が90°回転する垂直領域32
Vに「90°回転」の文字を付した。
【0021】
レンズアレイ33は、要素画像eに対応させて要素レンズ34を配列したものである。例えば、レンズアレイ33は、IP方式で用いる一般的なレンズアレイ120(
図6)と同様のものであるため、説明を省略する。
【0022】
直交偏光アレイ35は、要素レンズ34に対応させて、偏光方向が直交する偏光板36(36
H,36
V)を互い違いに配列したものである。
図3(b)に示すように、直交偏光アレイ35は、偏光軸が水平方向の偏光板36
Hと、偏光軸が垂直方向の偏光板36
Vとをチェスボード状に配列している。例えば、偏光板36としては、一般的な偏光フィルムがあげられる。なお、偏光板36の偏光軸を水平方向又は垂直方向のハッチングで図示した。
【0023】
図2に示すように、立体ディスプレイ3では、表示素子30と、直線偏光板31と、偏光制御パネル32と、レンズアレイ33と、直交偏光アレイ35とを層状に配置している。つまり、表示素子30、直線偏光板31及び偏光制御パネル32は、隣接している。また、レンズアレイ33及び直交偏光アレイ35は、隣接している。さらに、表示素子30は、レンズアレイ33の焦点位置に配置している。
【0024】
本実施形態では、要素画像eの画像領域、偏光制御パネル32の水平領域32H及び垂直領域32V、要素レンズ34の単位領域、及び、直交偏光アレイ35の偏光板36H,36Vについては、その形状、ピッチ及び配列方向を全て一致させる。例えば、要素画像群Eの各要素画像eが、縦横の2次元方向に配列されていることとする。この場合、レンズアレイ33の要素レンズ34が縦横の2次元方向に配列され、直交偏光アレイ35の偏光板36H,36Vが縦横の2次元方向に配列されている。
【0025】
<立体ディスプレイによるクロストークの抑制>
図2及び
図3を参照し、立体ディスプレイ3によるクロストークの抑制について説明する。
立体ディスプレイ3には、視聴者9の視点に合わせた要素画像群E及びチェッカーパターン画像CPが瞳位置検出装置2から同期して入力される。そして、表示素子30が要素画像群Eを表示し、偏光制御パネル32がチェッカーパターン画像CPを表示する。
【0026】
すると、偏光制御パネル32では、チェッカーパターン画像CPの白色領域CPWを表示する水平領域32Hが、入射光を水平偏光に変換する状態となる。また、偏光制御パネル32では、チェッカーパターン画像CPの黒色領域CPBを表示する垂直領域32Vが、入射光を垂直偏光に変換する状態となる。また、表示素子30から出射された各要素画像eの光は、直線偏光板31で直線偏光に変換された後、偏光制御パネル32で水平偏光又は垂直偏光に変換され、要素レンズ34を通過して直交偏光アレイ35に到達する。
【0027】
ここでは、偏光板36Hが要素レンズ341に対応し、偏光板36Vが要素レンズ342に対応している。この場合、偏光板36Hは、要素レンズ341からの要素画像eの光LH(水平偏光)を通過させる一方、隣接する要素レンズ342からの要素画像eの光LV(垂直偏光)を遮断する。また、偏光板36Vは、要素レンズ342からの要素画像eの光LVを通過させる一方、隣接する要素レンズ341からの要素画像eの光LHを遮断する。このように、立体ディスプレイ3は、メインローブを形成する要素画像eの光だけを通過させ、サイドローブを形成する要素画像eの光を遮断するため、クロストークを抑制できる。
【0028】
[視点追従装置の構成]
図1を参照し、視点追従装置4の構成を説明する。
視点追従装置4は、瞳位置検出装置2から入力された瞳位置情報に基づいて、立体ディスプレイ3が表示する要素画像群E及びチェッカーパターン画像CPの表示位置を追従させるものである。つまり、視点追従装置4は、瞳位置情報が示す視聴者9の視点に追従するように、要素画像群E及びチェッカーパターン画像CPの表示位置を制御する。
図1に示すように、視点追従装置4は、視点追従手段40と、同期制御手段41と、要素画像群表示制御手段42と、偏光制御パネル駆動手段43と、を備える。
【0029】
視点追従手段40は、瞳位置検出装置2から入力した瞳位置情報に基づいて、視聴者9の視点移動方向の反対方向となるように、要素画像群E及びチェッカーパターン画像CPの表示位置を算出するものである。本実施形態では、視点追従手段40は、従来の視域追従技術と同様の手法で、要素画像群E及びチェッカーパターン画像CPの表示位置を算出する。例えば、要素画像群E及びチェッカーパターン画像CPの表示位置は、視聴者9の視点移動量に応じた位置で、視聴者9の視点移動方向の反対方向となる。
その後、視点追従手段40は、算出した要素画像群E及びチェッカーパターン画像CPの表示位置を要素画像群表示制御手段42及び偏光制御パネル駆動手段43に出力する。
【0030】
同期制御手段41は、要素画像群E及びチェッカーパターン画像CPの表示タイミングを同期させるものである。例えば、同期制御手段41は、図示を省略した同期信号発生器によって、所定の周波数で同期信号(クロック信号)を生成する。例えば、同期制御手段41は、グラフィックボードの機能で実現できる。そして、同期制御手段41は、生成した同期信号を要素画像群表示制御手段42及び偏光制御パネル駆動手段43に出力する。
【0031】
要素画像群表示制御手段42は、視点追従手段40から入力された表示位置で要素画像群Eを表示素子30に表示させるものである。ここでは、要素画像群表示制御手段42は、同期制御手段41から同期信号が入力されたタイミングで要素画像群Eを表示素子30に出力する。
【0032】
なお、要素画像群表示制御手段42は、被写体の3次元モデルから要素画像群Eを実時間で生成し、その要素画像群Eの表示位置を制御してもよい。また、要素画像群表示制御手段42は、図示を省略した記憶手段に予め記憶されている要素画像群Eを読み出し、その要素画像群Eの表示位置を制御してもよい。
【0033】
偏光制御パネル駆動手段43は、視点追従手段40から入力された表示位置でチェッカーパターン画像CPを偏光制御パネル32に表示させるものである。ここでは、偏光制御パネル駆動手段43は、同期制御手段41から同期信号が入力されたタイミングでチェッカーパターン画像CPを偏光制御パネル32に出力する。
【0034】
<視点追従装置による視点追従>
図4を参照し、視点追従装置4による視点追従について説明する。
図4(a)に示すように、視聴者9が左側に移動した場合、視点追従手段40は、要素画像群E及びチェッカーパターン画像CPの表示位置を右側に移動させる。そして、要素画像群表示制御手段42は、表示素子30の右側に要素画像群Eを表示する。さらに、偏光制御パネル駆動手段43は、偏光制御パネル32の右側にチェッカーパターン画像CPを表示させる。このとき、立体ディスプレイ3がクロストークを抑制しているので、左側に移動した視聴者9の視点に追従させて、視認性の高いIP立体表示が可能となる。
【0035】
図4(b)に示すように、視聴者9が右側に移動した場合、視点追従手段40は、要素画像群E及びチェッカーパターン画像CPの表示位置を左側に移動させる。そして、要素画像群表示制御手段42は、表示素子30の左側に要素画像群Eを表示する。さらに、偏光制御パネル駆動手段43は、偏光制御パネル32の左側にチェッカーパターン画像CPを表示させる。このとき、立体ディスプレイ3がクロストークを抑制しているので、右側に移動した視聴者9の視点に追従させて、視認性の高いIP立体表示が可能となる。
【0036】
なお、要素画像群E及びチェッカーパターン画像CPは、レンズアレイ33の光軸方向zから見て、同一位置に表示される。従って、要素画像eと、チェッカーパターン画像CPの白色領域CPW又は黒色領域CPBが一致する。
【0037】
[立体画像表示装置の動作]
図5を参照し、立体画像表示装置1の動作について説明する。
図5に示すように、ステップS1において、瞳位置検出装置2は、視聴者9の顔画像を撮影する。
ステップS2において、瞳位置検出装置2は、顔画像から視聴者9の瞳位置を検出し、瞳位置情報を生成する。
ステップS3において、視点追従手段40は、瞳位置情報に基づいて、要素画像群E及びチェッカーパターン画像CPの表示位置を算出する。
【0038】
ステップS4において、同期制御手段41は、同期信号を要素画像群表示制御手段42に出力する。すると、要素画像群表示制御手段42は、ステップS3で算出した表示位置で要素画像群Eを表示素子30に表示させる。
ステップS5において、同期制御手段41は、同期信号を偏光制御パネル駆動手段43に出力する。すると、偏光制御パネル駆動手段43は、ステップS3で算出した表示位置でチェッカーパターン画像CPを偏光制御パネル32に表示させる。
【0039】
[作用・効果]
以上のように、立体画像表示装置1は、メインローブとサイドローブの光線の偏光方向を直交させ、サイドローブの光線を直交偏光アレイで遮蔽するので、クロストークを抑制することができる。すなわち、立体画像表示装置1は、サイドローブを除去することにより、視認性を向上させると共に、映像を他人に見られることがなく、プライバシーを保護することもできる。さらに、立体画像表示装置1は、薄型のデバイスで構成できるため、小型化を図ることができる。
【0040】
以上、本発明の実施形態を詳述してきたが、本発明はこれに限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更なども含まれる。
【0041】
本発明は、コンピュータが備えるCPU、メモリ、ハードディスク等のハードウェア資源を、前記した視点追従装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0042】
1 立体画像表示装置
2 瞳位置検出装置
3 立体ディスプレイ
4 視点追従装置
9 視聴者
30 表示素子
31 直線偏光板
32 偏光制御パネル
32H 水平領域
32V 垂直領域
33 レンズアレイ
34 要素レンズ
35 直交偏光アレイ
36,36H,36V 偏光板
100 立体映像表示装置
110 直視型ディスプレイ
120 レンズアレイ
121 要素レンズ
CP チェッカーパターン画像
CPB 黒色領域
CPW 白色領域
E 要素画像群
e 要素画像
f 焦点距離
LH,LV 光
V 視域