特許 7705778 立体表示制御装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-02

(45)【発行日】2025-07-10

(54)【発明の名称】立体表示制御装置及びそのプログラム

(51)【国際特許分類】

   G02B 30/10 20200101AFI20250703BHJP

   H04N 13/322 20180101ALI20250703BHJP

   H04N 13/307 20180101ALI20250703BHJP

   H04N 13/366 20180101ALI20250703BHJP

【ＦＩ】

G02B30/10

H04N13/322

H04N13/307

H04N13/366

【請求項の数】 4

(21)【出願番号】P 2021169676

(22)【出願日】2021-10-15

(65)【公開番号】P2023059582

(43)【公開日】2023-04-27

【審査請求日】2024-09-12

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】佐々木 久幸

(72)【発明者】

【氏名】渡邉 隼人

(72)【発明者】

【氏名】岡市 直人

(72)【発明者】

【氏名】大村 拓也

(72)【発明者】

【氏名】河北 真宏

【審査官】鈴木 俊光

(56)【参考文献】

【文献】特開２０１０－２３０９８４（ＪＰ，Ａ）

【文献】特開２０１２－０３２８１２（ＪＰ，Ａ）

【文献】特開２０１９－１４９７７７（ＪＰ，Ａ）

【文献】特開２０１０－１１３１５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１３９４７２（ＵＳ，Ａ１）

【文献】韓国公開特許第２００３－００１２１４３（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ３０／００ － ３０／６０

Ｈ０４Ｎ １３／３０ － ３０／３９８

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

要素画像で構成された要素画像群を表示する表示素子と、焦点距離が可変の可変焦点要素レンズが前記要素画像に対応するように配列された可変焦点レンズアレイとを備える立体表示装置を制御する立体表示制御装置であって、
観察者の視点位置が入力され、入力された前記視点位置に応じた前記要素画像群を生成し、生成した当該要素画像群を前記表示素子に表示させる要素画像群生成手段と、
前記視点位置から前記可変焦点レンズアレイまでの観察距離と前記可変焦点レンズアレイから前記表示素子までの距離とに基づいて、前記視点位置に前記可変焦点要素レンズからの光線が集光するように前記可変焦点要素レンズの焦点距離を算出し、算出した当該焦点距離で前記可変焦点要素レンズを駆動する要素レンズ駆動手段と、
を備えることを特徴とする立体表示制御装置。

【請求項2】

前記要素画像群生成手段は、前記視点位置が水平方向又は垂直方向に移動した場合、前記視点位置の移動方向反対側に前記要素画像群をシフトし、前記視点位置が前記立体表示装置に近づいた場合、前記要素画像群を拡大し、前記視点位置が前記立体表示装置から遠ざかった場合、前記要素画像群を縮小することを特徴とする請求項１に記載の立体表示制御装置。

【請求項3】

前記要素レンズ駆動手段は、前記観察距離がｚ、前記可変焦点レンズアレイから前記表示素子までの距離がｇで表された以下の式（２）を用いて、

【数1】

前記視点位置で前記可変焦点要素レンズからの光線が最も細くなるように前記焦点距離ｆを算出することを特徴とする請求項１又は請求項２に記載の立体表示制御装置。

【請求項4】

コンピュータを、請求項１から請求項３の何れか一項に記載の立体表示制御装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体表示制御装置及びそのプログラムに関する。

【背景技術】

【0002】

光線再生型の立体映像表示装置のうち、図４のインテグラル立体表示装置９及び図５の多視点立体映像表示装置９Ｂは、光学的な構成が似ている。インテグラル立体表示装置９及び多視点立体映像表示装置９Ｂの両方とも、要素画像ｅで構成される要素画像群Ｅを表示する表示素子９０と、要素レンズ９２が２次元状に配列されたレンズアレイ９１とを備える。

【0003】

なお、図４及び図５には、要素画像ｅ及び要素レンズ９２の組が形成する視域の右側Ｓ_Ｒと視域の左側Ｓ_Ｌを図示した。また、図４及び図５には、水平方向をＸ、垂直方向をＹ、奥行き方向をＺとする３次元座標系を図示した。

【0004】

図４のインテグラル立体表示装置９は、特定の観察距離ｚを想定しないで光線を形成する（非特許文献１）。つまり、インテグラル立体表示装置９では、観察者Ａが任意の観察距離ｚで立体像を観察できる。この観察距離ｚは、奥行き方向において、レンズアレイ９１と観察者Ａの視点位置との距離を表す。

【0005】

これに対して、図５の多視点立体映像表示装置９Ｂは、観察距離ｚが固定されており、その観察距離ｚに光線を集光することが、インテグラル立体表示装置９と相違する。さらに、個々の要素レンズ９２で形成される光線が、インテグラル立体表示装置９では平行光であるのに対し、多視点立体映像表示装置９Ｂでは集光光であることも相違する。このため、多視点立体映像表示装置９Ｂは、観察距離ｚにおいて、インテグラル立体表示装置９よりも光線が細くなるので、立体映像がぼやけにくくなる。

【先行技術文献】

【非特許文献】

【0006】

【文献】視点追従型インテグラル３Ｄ映像表示システムの開発、岡市直人、佐々木久幸、加納正規、河北真宏、苗村健

【発明の概要】

【発明が解決しようとする課題】

【0007】

前記したように、インテグラル立体表示装置９は、任意の観察距離ｚで立体像を観察できる反面、立体像の奥行き位置がレンズアレイ９１から離れる程、光線密度が低下して立体像がぼやけてしまう。一方、多視点立体映像表示装置９Ｂは、立体像の奥行き位置がレンズアレイ９１から離れても立体像がぼやけにくい反面、観察距離ｚが固定されてしまう。このように、従来技術では、観察距離が制限されずに、ぼやけにくい立体像を表示することが困難であった。

【0008】

そこで、本発明は、観察距離が制限されずに、ぼやけにくい立体像を表示できる立体表示制御装置及びそのプログラム立体表示装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0009】

前記課題を解決するため、本発明に係る立体表示制御装置は、要素画像で構成された要素画像群を表示する表示素子と、焦点距離が可変の可変焦点要素レンズが要素画像に対応するように配列された可変焦点レンズアレイとを備える立体表示装置を制御する立体表示制御装置であって、要素画像群生成手段と、要素レンズ駆動手段と、を備える構成とした。

【0010】

かかる構成によれば、要素画像群生成手段は、観察者の視点位置が入力され、入力された視点位置に応じた要素画像群を生成し、生成した要素画像群を表示素子に表示させる。
要素レンズ駆動手段は、視点位置から可変焦点レンズアレイまでの観察距離と可変焦点レンズアレイから表示素子までの距離とに基づいて、視点位置に可変焦点要素レンズからの光線が集光するように可変焦点要素レンズの焦点距離を算出し、算出した焦点距離で可変焦点要素レンズを駆動する。

【0011】

このような制御により、立体表示装置は、可変焦点要素レンズが観察距離に応じた焦点距離となり、表示素子が視点位置に応じた要素画像群を表示するので、観察距離が制限されず、立体像がぼやけにくくなる。

【0012】

なお、本発明は、コンピュータを前記した立体表示制御装置として機能させるためのプログラムで実現することもできる。

【発明の効果】

【0013】

本発明によれば、観察距離が制限されずに、ぼやけにくい立体像を表示できる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る立体表示システムの構成を示すブロック図である。

【図2】実施形態において、要素画像群のシフトと焦点距離の制御を説明する説明図である。

【図3】実施形態に係る立体表示制御装置の動作を示すフローチャートである。

【図4】従来のインテグラル立体表示装置の概略構成図である。

【図5】従来の多視点立体映像表示装置の概略構成図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。

【0016】

（実施形態）
［立体表示システムの概要］
図１を参照し、立体表示システム１の概要を説明する。
立体表示システム１は、観察者Ａの視点位置に応じて立体映像（要素画像群Ｅ）を表示するものであり、図１に示すように、立体表示装置２と、視点位置検出装置３と、立体表示制御装置４とを備える。
立体表示装置２は、立体映像を表示するディスプレイであり、表示素子２０と、可変焦点レンズアレイ２１とを備える。

【0017】

表示素子２０は、要素画像ｅで構成された要素画像群Ｅを表示するものである。本実施形態では、表示素子２０は、後記する要素画像群生成手段４０から要素画像群Ｅの映像信号が入力され、その要素画像群Ｅを表示する。例えば、表示素子２０としては、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイなどの一般的なフラットパネルディスプレイがあげられる。

【0018】

可変焦点レンズアレイ２１は、焦点距離が可変の可変焦点要素レンズ２２が要素画像ｅに対応するように配列されたものである。本実施形態では、可変焦点レンズアレイ２１は、後記する要素レンズ駆動手段４１から入力された駆動信号に従って、焦点距離を変化させる。例えば、可変焦点要素レンズ２２としては、液滴誘電体レンズや液体可変焦点レンズなどの一般的なものがあげられる（例えば、特開２０１０－１０７９０８号公報）。この液滴誘電体レンズは、透明で流動性を有し、空気に対して屈折率が高い液滴状の誘電体の形状を電極に印加する電圧で変化させることで、焦点距離を変化させる。

【0019】

本実施形態では、表示素子２０は、インテグラル方式と同様、２次元方向（水平方向及び垂直方向）に要素画像ｅが配列された要素画像群Ｅを表示することとする。これに合わせ、可変焦点レンズアレイ２１は、可変焦点要素レンズ２２が２次元方向に配列されている。

【0020】

視点位置検出装置３は、観察者Ａの視点位置を検出し、検出した視点位置を立体表示制御装置４に出力するものである。例えば、視点位置検出装置３は、通常の可視光カメラで撮影した画像に視点位置検出処理を施して、３次元方向（水平方向、垂直方向及び奥行き方向）で視点位置を検出する視点位置検出カメラである。また、視点位置検出装置３は、赤外線カメラと赤外線照明装置とを同期させ、ＴＯＦ（Time of Flight）方式で視点位置を検出してもよい。また、視点位置検出装置３は、光学式又は磁気式のマーカを観察者の頭部に装着し、そのマーカの位置を視点位置として検出してもよい。さらに、視点位置検出装置３は、前記した各手法を組み合わせて視点位置を検出してもよい。

【0021】

なお、図１では、図面を見やすくするため、視点位置検出装置３が立体表示装置２の後方に配置されている。しかし、視点位置検出装置３は、観察者Ａの視点位置を検出できる位置であれば、その配置位置が特に限定されない。

【0022】

［立体表示制御装置の構成］
以下、立体表示制御装置４の構成を説明する。
立体表示制御装置４は、立体表示装置２を制御するものであり、図１に示すように、要素画像群生成手段４０と、要素レンズ駆動手段４１とを備える。

【0023】

要素画像群生成手段４０は、視点位置検出装置３から観察者Ａの視点位置が入力され、入力された視点位置に応じた要素画像群を生成し、生成した要素画像群Ｅを表示素子２０に表示させるものである。本実施形態では、要素画像群生成手段４０は、立体像の３次元モデルに光線追跡法を施して、フレームごとに要素画像群を生成する（例えば、参考文献１）。そして、要素画像群生成手段４０は、要素画像群Ｅの映像信号を表示素子２０に出力する。

【0024】

参考文献１：片山、３次元モデルからインテグラル立体像への変換手法、ＮＨＫ技研 Ｒ＆Ｄ／Ｎｏ．１２８、２０１１年７月

【0025】

要素レンズ駆動手段４１は、視点位置から可変焦点レンズアレイ２１までの観察距離ｚと可変焦点レンズアレイ２１から表示素子２０までの距離ｇとに基づいて、視点位置に各可変焦点要素レンズ２２からの光線が集光するように可変焦点要素レンズ２２の焦点距離ｆを算出するものである。この観察距離ｚは、奥行き方向において、可変焦点レンズアレイ２１と観察者Ａの視点位置との距離を表す。このとき、要素レンズ駆動手段４１は、要素画像群Ｅの映像信号に同期するように焦点距離ｆを算出し、焦点距離ｆで可変焦点要素レンズ２２を駆動するための駆動信号を可変焦点要素レンズ２２に出力する。

【0026】

＜要素画像群のシフト、焦点距離の制御＞
図２を参照し、要素画像群のシフト及び焦点距離の制御を具体的に説明する。
従来のインテグラル立体表示装置９（図４）は、要素レンズ９２の真後ろに、その要素レンズ９２に対応する要素画像ｅが配列されている。つまり、従来のインテグラル立体表示装置９では、水平方向及び垂直方向で各要素レンズ９２と各要素画像ｅとの中心位置が一致する。

【0027】

これに対し、立体表示装置２は、観察者Ａの視点位置に応じて、各要素画像ｅの中心位置を水平方向及び垂直方向に移動（シフト）させることで、視域を拡大できる。これは、立体表示装置２の中央に表示される要素画像ｅを中心にして、観察距離ｚに応じて、要素画像群Ｅの全体サイズを拡大することに相当する（観察距離zが無限大の場合、インテグラル方式に相当）。

【0028】

要素画像群生成手段４０は、視点位置が水平方向又は垂直方向に移動した場合、視点位置の移動方向反対側に要素画像群Ｅをシフトする。また、要素画像群生成手段４０は、視点位置が立体表示装置２に近づいた場合、要素画像群Ｅを拡大し、視点位置が立体表示装置２から遠ざかった場合、要素画像群Ｅを縮小する。このとき、要素画像群生成手段４０は、要素画像群を構成する要素画像ｅ同士の間隔を、可変焦点レンズアレイ２１を構成する可変焦点要素レンズ２２同士の間隔より大きくする。

【0029】

例えば、要素画像群生成手段４０は、予め設定した基準視点位置に対して、視点位置の移動方向及び移動量に応じて要素画像群Ｅをシフト、拡大又は縮小すればよい。なお、基準視点位置とは、基準となる観察者Ａの視点位置のことである。例えば、基準視点位置は、立体表示装置２の正面（０番目の可変焦点要素レンズ２２_０の光軸上）であって、所定の観察距離ｚとなる位置である。

【0030】

説明を簡易にするため、Ｘ－Ｚ面で考える。図２に示すように、光軸が基準視点位置を通過する可変焦点要素レンズ２２を、０番目の可変焦点要素レンズ２２_０とする。可変焦点要素レンズ２２の光軸は、可変焦点レンズアレイ２１のレンズ面に垂直な直線である。そして、可変焦点要素レンズ２２_０から左右に１番目の可変焦点要素レンズ２２_１，…，ｎ番目の可変焦点要素レンズ２２_ｎが順番に並んでいる（但し、ｎは２以上の整数）。なお、図２では、図面を見やすくするため、表示素子２０の構成を省略し、符号のみ図示した。

【0031】

可変焦点要素レンズ２２のレンズ間隔をpとする。ｎ番目の可変焦点要素レンズ２２_ｎの中心位置ｘ_ｎに対し、ｎ番目の要素画像ｅ_ｎの中心位置のシフト量をΔｘ_ｎとする。この場合、要素画像群生成手段４０は、以下の式（１）で表されるシフト量Δｘ_ｎだけ、ｎ番目の可変焦点要素レンズ２２_ｎに対応する要素画像ｅ_ｎを水平方向にシフトする。さらに、要素画像群生成手段４０は、Δｘ_１だけ、ｎ番目の可変焦点要素レンズ２２_ｎに対応する要素画像ｅ_ｎのサイズを拡大する（０番目の可変焦点要素レンズ２２_０を除く）。つまり、ｎ番目の要素画像ｅ_ｎの中心位置がｎｐ＋Δｘ_ｎとなり、隣接する要素画像ｅ同士の間隔がｐ＋Δｘ_１となる。このように要素画像群Ｅをシフトすることで、観察者Ａの位置において視域が最も広くなる。

【0032】

【数1】

【0033】

図２の例では、要素画像ｅ_０が可変焦点要素レンズ２２_０の真後ろに位置するため、シフト量Δｘ_０＝０となり、要素画像ｅ_０はシフトしない。また、要素画像ｅ_１は、シフト量Δｘ_１だけ水平方向にシフトすると共に、そのサイズもシフト量Δｘ_１だけ拡大する。さらに、要素画像ｅ_ｎは、シフト量Δｘ_ｎだけ水平方向にシフトすると共に、そのサイズがシフト量Δｘ_１だけ拡大する。
なお、水平方向（Ｘ軸方向）と同様、垂直方向（Ｙ軸方向）にも要素画像群Ｅをシフトすればよい。

【0034】

要素レンズ駆動手段４１は、視点位置で可変焦点要素レンズ２２からの光線が最も細くなるように、以下の式（２）を用いて、焦点距離ｆを算出する。このように焦点距離ｆを制御することで、視点位置において、個々の可変焦点要素レンズ２２からの光線が焦点を結び、光線が最も細くなるので立体像がぼやけにくくなる。

【0035】

【数2】

【0036】

以上のように、立体表示制御装置４では、観察者Ａの視点位置に応じた要素画像群Ｅを生成する際、それぞれの要素画像ｅと可変焦点要素レンズ２２との組で決まる視域を図４のような平行状態ではなく、図５のような観察距離ｚに対応したものとする。あわせて、立体表示制御装置４では、水平方向及び垂直方向に要素画像群Ｅの全体をシフトすることで、立体映像全体の視域が観察者Ａの視点位置に応じて最適化される。その結果、立体表示制御装置４では、従来技術に比べて、広い範囲で立体像を観察できるようになる。

【0037】

［立体表示制御装置の動作］
図３を参照し、立体表示制御装置４の動作を説明する。
図３に示すように、ステップＳ１において、立体表示制御装置４には、視点位置検出装置３から視点位置が入力される。

【0038】

ステップＳ２において、要素画像群生成手段４０は、ステップＳ１で入力された視点位置に応じた要素画像群を生成する。このとき、要素画像群生成手段４０は、視点位置が水平方向又は垂直方向に移動した場合、視点位置の移動方向反対側に要素画像群Ｅをシフトする。さらに、要素画像群生成手段４０は、視点位置が立体表示装置２に近づいた場合、要素画像群Ｅを拡大し、視点位置が立体表示装置２から遠ざかった場合、要素画像群Ｅを縮小する。

【0039】

ステップＳ３において、要素画像群生成手段４０は、ステップＳ２で生成した要素画像群Ｅを表示素子２０に表示させる。つまり、要素画像群生成手段４０は、要素画像群Ｅの映像信号を表示素子２０に出力する。

【0040】

ステップＳ４において、要素レンズ駆動手段４１は、観察距離ｚと距離ｇとに基づいて、視点位置に各可変焦点要素レンズ２２からの光線が集光するように可変焦点要素レンズ２２の焦点距離ｆを算出する。具体的には、要素レンズ駆動手段４１は、視点位置で可変焦点要素レンズ２２からの光線が最も細くなるように、前記した式（２）を用いて、焦点距離ｆを算出する。

【0041】

ステップＳ５において、要素レンズ駆動手段４１は、ステップＳ４で算出した焦点距離ｆとなるように可変焦点要素レンズ２２を駆動する。つまり、要素レンズ駆動手段４１は、焦点距離ｆの駆動信号を可変焦点要素レンズ２２に出力する。
なお、立体表示制御装置４では、ステップＳ２，Ｓ３の処理とステップＳ４，Ｓ５の処理とが同期するように、これら処理を並列で実行してもよい。

【0042】

［作用・効果］
以上のように、実施形態に係る立体表示制御装置４は、可変焦点要素レンズ２２が観察距離ｚに応じた焦点距離となり、表示素子２０が視点位置に応じた要素画像群を表示するように立体表示装置２を制御する。これにより、立体表示装置２では、観察距離ｚが制限されず、立体像がぼやけにくくなる。

【0043】

以上、実施形態及び実施例を詳述してきたが、本発明は前記した実施形態及び実施例に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0044】

前記した実施形態では、インテグラル方式のように、２次元方向に視差を有する立体表示装置を想定したが、これに限定されない。例えば、立体表示制御装置は、レンチキュラ方式のように、１次元方向のみに視差を有する立体表示装置にも適用できる。この場合、立体表示装置は、かまぼこ状のレンチキュラレンズ（可変焦点要素レンズ）を水平方向に配列した可変焦点レンズアレイと、このレンチキュラレンズに対応した要素画像をストライブ状に配列した要素画像群する表示素子とを備える。

【0045】

前記した実施形態では、立体表示制御装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した立体表示制御装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0046】

１ 立体表示システム
２ 立体表示装置
３ 視点位置検出装置
４ 立体表示制御装置
９ インテグラル立体表示装置
９Ｂ 多視点立体映像表示装置
２０ 表示素子
２１ 可変焦点レンズアレイ
２２ 可変焦点要素レンズ
４０ 要素画像群生成手段
４１ 要素レンズ駆動手段
９０ 表示素子
９１ レンズアレイ
９２ 要素レンズ

【図1】

【図2】

【図3】

【図4】

【図5】