特許 7654072 ３次元画像表示システムの設定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-21

(45)【発行日】2025-03-31

(54)【発明の名称】３次元画像表示システムの設定方法

(51)【国際特許分類】

   H04N 13/327 20180101AFI20250324BHJP

   H04N 13/125 20180101ALI20250324BHJP

   H04N 13/302 20180101ALI20250324BHJP

   H04N 13/366 20180101ALI20250324BHJP

   B60K 35/235 20240101ALI20250324BHJP

   B60K 35/231 20240101ALI20250324BHJP

   G02B 30/30 20200101ALI20250324BHJP

   G02B 27/01 20060101ALI20250324BHJP

【ＦＩ】

H04N13/327

H04N13/125

H04N13/302

H04N13/366

B60K35/235

B60K35/231

G02B30/30

G02B27/01

【請求項の数】 10

(21)【出願番号】P 2023525914

(86)(22)【出願日】2022-06-02

(86)【国際出願番号】 JP2022022529

(87)【国際公開番号】W WO2022255459

(87)【国際公開日】2022-12-08

【審査請求日】2023-12-01

(31)【優先権主張番号】P 2021093023

(32)【優先日】2021-06-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100186060

【弁理士】

【氏名又は名称】吉澤 大輔

(74)【代理人】

【識別番号】100075557

【弁理士】

【氏名又は名称】西教 圭一郎

(72)【発明者】

【氏名】草深 薫

(72)【発明者】

【氏名】佐藤 昭典

(72)【発明者】

【氏名】林下 歩樹

【審査官】薄井 義明

(56)【参考文献】

【文献】特開２０１９－０５４５１３（ＪＰ，Ａ）

【文献】特開２０１８－０９０１７０（ＪＰ，Ａ）

【文献】特開２０１４－２２８８５２（ＪＰ，Ａ）

【文献】特開２０２０－０７７９１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／３２７

Ｈ０４Ｎ １３／１２５

Ｈ０４Ｎ １３／３０２

Ｈ０４Ｎ １３／３６６

Ｂ６０Ｋ ３５／２３５

Ｂ６０Ｋ ３５／２３１

Ｇ０２Ｂ ３０／３０

Ｇ０２Ｂ ２７／０１

(57)【特許請求の範囲】

【請求項1】

３次元画像表示システムの設定方法であって、
前記３次元画像表示システムは、
右眼画像および左眼画像を含む視差画像を表示可能に構成される表示パネルと、
右眼画像および左眼画像の光線方向を規定可能に構成される光学パネルと、
光線方向が規定された右眼画像および左眼画像を反射するように構成される反射板と、
当該３次元画像表示システムの利用者の顔が有ると想定される領域の画像を含む第１撮像画像を撮像可能に構成される第１カメラと、
第２撮像画像を撮像可能に構成される第２カメラと、
前記第１撮像画像に基づいて利用者の少なくとも一方の眼の位置を第１位置として検出可能に構成される第１制御部と、
第１パラメータ（但し、前記第１パラメータは、前記表示パネルに表示された左眼視認領域または右眼視認領域におけるサブピクセルの位置ずれを示す位相で表される）の第１分布および前記第１位置に基づいて右眼画像および左眼画像を含む視差画像を生成可能に構成される第２制御部と、
前記サブピクセルの経時的な位置ずれによって、前記第１パラメータが変化している場合、前記第１パラメータの第２分布を算出可能に構成される第３制御部と、を備え、
前記反射板で反射した視差画像を撮像可能な位置に前記第２カメラを移動させる工程と、
前記表示パネルに、複数のテスト画像を順次表示させるとともに、前記反射板で反射した前記複数のテスト画像を前記第２カメラで順次撮像して、複数の第２撮像画像を取得する工程と、
前記複数の第２撮像画像に基づいて、前記第２分布を算出する工程と、
算出された第２分布を前記第１分布に変更する工程と、を含む、３次元画像表示システムの設定方法。

【請求項2】

請求項１記載の３次元画像表示システムの設定方法であって、
前記第２カメラは、ゲインおよび露光時間を固定して前記複数のテスト画像を撮像するように構成される、３次元画像表示システムの設定方法。

【請求項3】

請求項１または２記載の３次元画像表示システムの設定方法であって、
前記第３制御部が前記第２分布を算出する工程において、
前記第３制御部は、
前記複数のテスト画像からそれぞれの輝度分布を抽出し、
当該それぞれの輝度分布から前記第２分布を算出する、３次元画像表示システムの設定方法。

【請求項4】

請求項１または２に記載の３次元画像表示システムの設定方法であって、
前記第２制御部は、
前記第１位置と基準位置との距離に応じて、前記第１パラメータを第１分布の値から増減させ、
増減後の第１パラメータに対応させて、右眼画像および左眼画像を含む視差画像を生成するように構成される、３次元画像表示システムの設定方法。

【請求項5】

請求項１または２に記載の３次元画像表示システムの設定方法であって、
前記第１撮像画像に基づいて、前記複数のテスト画像を順次撮像するときの前記第２カメラの位置を第２位置として検出する工程、をさらに含み、
前記第１パラメータの第２分布を算出する工程において、
前記第３制御部は、前記複数のテスト画像および少なくとも１つの前記第２位置に基づいて前記第２分布を算出する、３次元画像表示システムの設定方法。

【請求項6】

請求項５記載の３次元画像表示システムの設定方法であって、
前記第２カメラは、前記第１制御部で位置を検出可能なオブジェクトに対して取り付けられており、
前記第１制御部は、前記オブジェクトの位置から間接的に前記第２位置を検出するように構成される、３次元画像表示システムの設定方法。

【請求項7】

請求項６記載の３次元画像表示システムの設定方法であって、
前記第１制御部は、前記第２カメラが取り付けられた前記オブジェクトの位置に基づいて前記第１カメラの校正を実行するように構成される、３次元画像表示システムの設定方法。

【請求項8】

請求項７記載の３次元画像表示システムの設定方法であって、
前記第１カメラの校正は、前記第２カメラを移動させる工程より前に実行される、３次元画像表示システムの設定方法。

【請求項9】

請求項１または２に記載の３次元画像表示システムの設定方法であって、
前記第１制御部、前記第２制御部および前記第３制御部のうちの少なくとも２つは、１つのコントローラによって構成される、３次元画像表示システムの設定方法。

【請求項10】

請求項１または２に記載の３次元画像表示システムの設定方法であって、
前記３次元画像表示システムは、
光線方向が規定された右眼画像および左眼画像に光学的な処理を行うように構成され、右眼画像および左眼画像を前記反射板に導くように構成される光学素子を、さらに備える、３次元画像表示システムの設定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、３次元画像表示システムの設定方法に関する。

【発明の概要】

【0002】

本開示の一実施形態に係る３次元画像表示システムの設定方法は、
前記３次元画像表示システムは、
右眼画像および左眼画像を含む視差画像を表示可能に構成される表示パネルと、
右眼画像および左眼画像の光線方向を規定可能に構成される光学パネルと、
光線方向が規定された右眼画像および左眼画像を反射するように構成される反射板と、
当該３次元画像表示システムの利用者の顔が有ると想定される領域の画像を含む第１撮像画像を撮像可能に構成される第１カメラと、
第２撮像画像を撮像可能に構成される第２カメラと、
前記第１撮像画像に基づいて利用者の少なくとも一方の眼の位置を第１位置として検出可能に構成される第１制御部と、
第１パラメータの第１分布および前記第１位置に基づいて右眼画像および左眼画像を含む視差画像を生成可能に構成される第２制御部と、
前記第１パラメータの第２分布を算出可能に構成される第３制御部と、を備え、
前記反射板で反射した視差画像を撮像可能な位置に前記第２カメラを移動させる工程と、
前記表示パネルに、複数のテスト画像を順次表示させるとともに、前記反射板で反射した前記複数のテスト画像を前記第２カメラで順次撮像して、複数の第２撮像画像を取得する工程と、
前記複数の第２撮像画像に基づいて、前記第２分布を算出する工程と、
算出された第２分布を前記第１分布に変更する工程と、を含む。

【発明の効果】

【0003】

本開示の一実施形態に係る３次元画像表示システムの設定方法によれば、利用者が３次元画像を適切に視認することができる。

【図面の簡単な説明】

【0004】

【図1】３次元画像表示システムが搭載された移動体の概略構成の一例を示す図である。

【図2】３次元画像表示システムの概略構成の一例を示す図である。

【図3】運転者の眼と表示パネルとバリア部との関係を示す模式図である。

【図4A】表示パネルを模式的に示した正面図である。

【図4B】左眼視認領域を示す図である。

【図4C】右眼視認領域を示す図である。

【図5A】左眼視認領域の例を示す模式図である。

【図5B】左眼視認領域における視認可能なサブピクセルがずれた状態を示す図である。

【図6A】テスト画像の例を示す図である。

【図6B】テスト画像の例を示す図である。

【図6C】テスト画像の例を示す図である。

【図6D】テスト画像の例を示す図である。

【図6E】テスト画像の例を示す図である。

【図6F】テスト画像の例を示す図である。

【図6G】テスト画像の例を示す図である。

【図6H】左眼視認領域の例を示す模式図である。

【図7A】左眼視認領域におけるサブピクセルの位置を示す図である。

【図7B】輝度プロットの例を示す図である。

【図8A】左眼視認領域における他の例のサブピクセルの位置を示す図である。

【図8B】輝度プロットの他の例を示す図である。

【図9】位相分布の例を示す図である。

【図10】３次元画像表示システムの設定処理を説明するためのフロー図である。

【図11】３次元画像表示システムが搭載された移動体の概略構成の他の例を示す図である。

【発明を実施するための形態】

【0005】

本開示の目的、特色、および利点は、下記の詳細な説明と図面とからより明確になるであろう。

【0006】

表示パネルから出射される画像光の一部を利用者の右眼に到達させ、表示パネルから出射される画像光の他の一部を利用者の左眼に到達させることで、利用者の両眼に視差を与えて３次元画像を視認させる３次元画像表示システムが知られている。

【0007】

表示パネルから出射される画像光は、光学パネルなどによって光線方向が規定されることで、その一部が右眼または左眼に到達する。また、表示パネルから出射される画像光は、反射板などを介して間接的に利用者の両眼に到達させることもできる。

【0008】

３次元画像表示システムの組み立てまたは設置時に、光学パネルの位置ずれが生じたり、反射板の位置ずれが生じる場合がある。組み立てまたは設置時に位置ずれが生じていないとしても、または３次元画像の視認に問題が無い程度の位置ずれであったとしても、３次元画像表示システムを使用しているうちに、光学パネルまたは反射板の位置が経時的に変化したり、光学パネルまたは反射板自体が変形する場合もある。これらの位置ずれまたは変形によって、利用者が適切に３次元画像を視認できないおそれがある。

【0009】

本開示は、利用者が３次元画像を適切に視認することが可能な３次元画像表示システムの設定方法を提供することを目的とする。

【0010】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

【0011】

本開示の一実施形態に係る設定方法は、３次元画像表示システム１００によって実行される。図１は、３次元画像表示システムが搭載された移動体の概略構成の一例を示す図である。図１に示されるように、３次元画像表示システム１００は、移動体１０に搭載されてよい。３次元画像表示システム１００は、例えば、検出装置５０と、３次元投影装置１２と、を備えてよい。

【0012】

本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーパー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。以下では、移動体１０が、乗用車である場合を例として説明する。移動体１０は、乗用車に限らず、上記例のいずれかであってよい。

【0013】

検出装置５０は、第１カメラ１１Ａおよび第１制御部１５を含む。第１カメラ１１Ａは、３次元画像表示システム１００の利用者１３の顔が有ると想定される領域の画像を含む第１撮像画像を撮像可能に構成される。本実施形態において、利用者１３は、例えば、乗用車である移動体１０の運転者であってよい。運転者の顔が有ると想定される領域は、例えば、運転者用シートの上部付近であってよい。第１カメラ１１Ａは、移動体１０に取り付けられてよい。第１カメラ１１Ａの取り付け位置は、移動体１０の内部及び外部において任意である。

【0014】

第１カメラ１１Ａは、可視光カメラまたは赤外線カメラであってよい。第１カメラ１１Ａは、可視光カメラと赤外線カメラの両方の機能を有していてよい。第１カメラ１１Ａは、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでよい。

【0015】

第１カメラ１１Ａで撮像された第１撮像画像は、第１制御部１５に出力される。第１制御部１５は、第１撮像画像に基づいて利用者１３の眼５の少なくとも一方の位置を第１位置として検出可能に構成される。検出装置５０による検出結果は、利用者１３の眼５の瞳孔位置を示す座標情報であってよい。

【0016】

検出装置５０は、例えば、センサを含んでよい。センサは、超音波センサ又は光センサ等であってよい。第１カメラ１１Ａは、センサによって利用者１３の頭部の位置を検出するように構成され、頭部の位置に基づいて、利用者１３の眼５の位置を検出するように構成されうる。第１カメラ１１Ａは、２つ以上のセンサによって、利用者１３の眼５の位置を三次元空間の座標として検出するように構成されうる。

【0017】

検出装置５０は、検出した眼５の瞳孔位置に関する座標情報を３次元投影装置１２に出力するように構成される。この座標情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。検出装置５０は、有線通信又は無線通信を介して眼５の瞳孔位置を示す情報を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ（Controller Area Network）等を含みうる。

【0018】

検出装置５０は、第１制御部１５が外部装置であってよい。第１カメラ１１Ａは、撮像画像を外部の第１制御部１５に出力するように構成してよい。この外部の第１制御部１５では、第１カメラ１１Ａから出力された画像から、利用者１３の眼５の瞳孔位置を検出するように構成されてよい。この外部の第１制御部１５は、検出した眼５の瞳孔位置に関する座標情報を３次元投影装置１２に出力するように構成してよい。この座標情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。第１カメラ１１Ａは、有線通信又は無線通信を介して撮像した第１撮像画像を外部の第１制御部１５へ出力するように構成してよい。外部の第１制御部１５は、有線通信又は無線通信を介して座標情報を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ等を含みうる。

【0019】

３次元投影装置１２の位置は、移動体１０の内部及び外部において任意である。例えば、３次元投影装置１２は、移動体１０のダッシュボード内に位置してよい。３次元投影装置１２は、ウインドシールド２５に向けて画像光を射出するように構成される。

【0020】

ウインドシールド２５は、３次元投影装置１２から射出された画像光を反射するように構成される反射板である。ウインドシールド２５で反射された画像光は、アイボックス１６に到達する。アイボックス１６は、例えば利用者１３の体格、姿勢、及び姿勢の変化等を考慮して、利用者１３の眼５が存在しうると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的又は立体的な領域を含んでよい。図１に示されている実線の矢印は、３次元投影装置１２から射出される画像光の少なくとも一部がアイボックス１６まで到達する経路を示す。画像光が進む経路は、光路とも称される。３次元投影装置１２から射出される画像光は、右眼画像および左眼画像を含む視差画像を示す。利用者１３の眼５がアイボックス１６内に位置する場合、利用者１３は、アイボックス１６に到達する視差画像の画像光によって、虚像１４を視認可能である。虚像１４は、ウインドシールド２５から眼５に到達する経路を移動体１０の前方に延長した経路（図では、二点鎖線で示されている直線）の上に位置する。３次元投影装置１２は、利用者１３に虚像１４を視認させることによって、ヘッドアップディスプレイとして機能しうる。図１において、利用者１３の眼５が並ぶ方向は、ｘ軸方向に対応する。鉛直方向は、ｙ軸方向に対応する。第１カメラ１１Ａの撮像範囲は、アイボックス１６を含む。

【0021】

図２に示されるように、３次元投影装置１２は、３次元表示装置１７と、光学素子１８とを備える。３次元表示装置１７は、バックライト１９と、表示面２０ａを有する表示パネル２０と、バリア部２１と、第２制御部２４とを備えうる。３次元表示装置１７は、記憶部２３をさらに備えてよい。第２制御部２４は、表示パネル２０に表示させる視差画像を生成可能に構成される。

【0022】

光学素子１８は、例えば、第１ミラー１８ａと、第２ミラー１８ｂとを含んでよい。第１ミラー１８ａ及び第２ミラー１８ｂの少なくとも一方は、光学的なパワーを有してよい。本実施形態において、第１ミラー１８ａは、光学的なパワーを有する凹面鏡であるとする。第２ミラー１８ｂは、平面鏡であるとする。光学素子１８は、３次元表示装置１７に表示された視差画像を拡大する拡大光学系として機能してよい。図２に示される二点鎖線の矢印は、３次元表示装置１７から射出される画像光の少なくとも一部が、第１ミラー１８ａ及び第２ミラー１８ｂによって反射され、３次元投影装置１２の外部に射出される際の経路を示す。３次元投影装置１２の外部に射出された画像光は、ウインドシールド２５に到達し、ウインドシールド２５で反射されて利用者１３の眼５に到達する。その結果、利用者１３は、３次元表示装置１７に表示された視差画像を視認できる。

【0023】

光学素子１８とウインドシールド２５とは、３次元表示装置１７から射出させる画像光を利用者１３の眼５に到達させうるように構成される。光学系は、利用者１３に視認させる画像が拡大したり縮小したりするように、画像光の進行方向を制御するように構成してよい。光学系は、利用者１３に視認させる画像の形状を所定の行列に基づいて変形させるように、画像光の進行方向を制御するように構成してよい。

【0024】

光学素子１８は、例示される構成に限られない。ミラーは、凹面鏡であってよいし、凸面鏡であってよいし、平面鏡であってよい。ミラーが凹面鏡又は凸面鏡である場合、その形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。光学素子１８を構成する要素の数は、２つに限られず、１つであってよいし、３つ以上であってよい。光学素子１８は、ミラーに限られずレンズを含んでよい。レンズは、凹面レンズであってよいし、凸面レンズであってよい。レンズの形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。

【0025】

バックライト１９は、画像光の光路上において、利用者１３から見て、表示パネル２０及びバリア部２１よりも遠い側に位置する。バックライト１９は、バリア部２１と表示パネル２０とに向けて光を射出する。バックライト１９が射出した光の少なくとも一部は、二点鎖線で示されている光路に沿って進行し、利用者１３の眼５に到達する。バックライト１９は、ＬＥＤ（Light Emission Diode）又は有機ＥＬ若しくは無機ＥＬ等の発光素子を含んでよい。バックライト１９は、発光強度、及び、その分布を制御可能に構成されてよい。

【0026】

表示パネル２０は、例えば、ＬＣＤ（Liquid Crystal Display）等の液晶デバイスであってよい。本実施形態において、表示パネル２０は、透過型の液晶表示パネルを含むとする。表示パネル２０は、この例に限られず、種々の表示パネルを含んでよい。

【0027】

表示パネル２０は、複数の画素を有し、各画素においてバックライト１９から入射する光の透過率を変更し、利用者１３の眼５に到達する画像光として射出するように構成される。利用者１３は、表示パネル２０の各画素から射出される画像光によって構成される画像を視認する。

【0028】

バリア部２１は、入射してくる光の進行方向を規定するように構成される光学パネルである。図２の例に示すように、バリア部２１が表示パネル２０よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、バリア部２１に入射し、さらに表示パネル２０に入射する。この場合、バリア部２１は、バックライト１９から射出される光の一部を遮ったり減衰させたりし、他の一部を表示パネル２０に向けて透過させるように構成される。表示パネル２０は、バリア部２１によって規定された方向に進行する入射光を、同じ方向に進行する画像光としてそのまま射出する。表示パネル２０がバリア部２１よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、表示パネル２０に入射し、さらにバリア部２１に入射する。この場合、バリア部２１は、表示パネル２０から射出される画像光の一部を遮ったり減衰させたりし、他の一部を利用者１３の眼５に向けて透過させるように構成される。

【0029】

表示パネル２０とバリア部２１とのどちらが利用者１３の近くに位置するかにかかわらず、バリア部２１は、画像光の進行方向を制御できるように構成される。バリア部２１は、表示パネル２０から射出される画像光の一部を利用者１３の左眼５Ｌ及び右眼５Ｒ（図４参照）のいずれかに到達させ、画像光の他の一部を利用者１３の左眼５Ｌ及び右眼５Ｒの他方に到達させるように構成される。つまり、バリア部２１は、画像光の少なくとも一部の進行方向を利用者１３の左眼５Ｌと右眼５Ｒとに分けるように構成される。左眼５Ｌ及び右眼５Ｒはそれぞれ、第１眼及び第２眼ともいう。本実施形態において、バリア部２１は、バックライト１９と表示パネル２０との間に位置する。つまり、バックライト１９から射出される光は、先にバリア部２１に入射し、次に表示パネル２０に入射する。

【0030】

バリア部２１によって画像光の進行方向が規定されることによって、利用者１３の左眼５Ｌ及び右眼５Ｒそれぞれに異なる画像光が到達しうる。その結果、利用者１３は、左眼５Ｌ及び右眼５Ｒそれぞれで異なる画像を視認しうる。利用者１３の眼５はウインドシールド２５よりもｚ軸の負の方向の側に位置する第１虚像１４ａを視認できる。第１虚像１４ａは、表示面２０ａが表示している画像に対応する。バリア部２１は、ウインドシールド２５の前方であって第１虚像１４ａのウインドシールド２５側に第２虚像１４ｂをつくる。図２に示すように、利用者１３は、見かけ上、第１虚像１４ａの位置に表示パネル２０が存在し、第２虚像１４ｂの位置にバリア部２１が存在するかのように、画像を視認しうる。

【0031】

図３に示されるように、表示パネル２０は、表示面２０ａ上に、利用者１３の左眼５Ｌで視認される左眼視認領域２０１Ｌと、利用者１３の右眼５Ｒで視認される右眼視認領域２０１Ｒとを含む。表示パネル２０は、利用者１３の左眼５Ｌに視認させる左眼画像と、利用者１３の右眼５Ｒに視認させる右眼画像とを含む視差画像を表示可能に構成される。視差画像は、利用者１３の左眼５Ｌ及び右眼５Ｒそれぞれに投影される画像であって、利用者１３の両眼に視差を与える画像であるとする。表示パネル２０は、左眼視認領域２０１Ｌに左眼画像を表示し、右眼視認領域２０１Ｒに右眼画像を表示するように構成される。つまり、表示パネル２０は、左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとに視差画像を表示するように構成される。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、視差方向を表すｕ軸方向に並んでいるとする。左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向に直交するｖ軸方向に沿って延在してよいし、ｖ軸方向に対して所定角度で傾斜する方向に延在してよい。つまり、左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向の成分を含む所定方向に沿って交互に並んでいてよい。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとが交互に並ぶピッチは、視差画像ピッチともいう。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、間隔をあけて位置していてよいし、互いに隣接していてよい。表示パネル２０は、表示面２０ａ上に、平面画像を表示する表示領域をさらに有していてよい。平面画像は、利用者１３の眼５に視差を与えず、立体視されない画像であるとする。

【0032】

図４Ａは、表示パネルを模式的に示した正面図である。図４Ａに示すように、表示パネル２０は、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。各サブピクセルは、Ｒ（Red），Ｇ（Green），Ｂ（Blue）のいずれかの色に対応し、Ｒ，Ｇ，Ｂの３つのサブピクセルを一組として１ピクセルを構成することができる。水平方向は、例えば、１ピクセルを構成する複数のサブピクセルが並ぶ方向である。鉛直方向は、例えば、同じ色のサブピクセルが並ぶ方向である。複数のサブピクセルはサブピクセル群を構成する。サブピクセル群は、水平方向に繰り返して配列される。サブピクセル群は、鉛直方向においては、水平方向に１サブピクセル分ずれた位置に隣接して繰り返して配列される。本実施形態では、サブピクセル群は、８個のサブピクセルを含む。各ピクセルには、識別可能なように、例えば０～７の番号が付される。

【0033】

図４Ｂは、左眼視認領域２０１Ｌを示し、図４Ｃは、右眼視認領域２０１Ｒを示す。左眼視認領域２０１Ｌでは、４番のサブピクセルが領域の中央に位置し、３番および５番のサブピクセルの半分が領域内に位置し、左眼視認領域２０１Ｌは、サブピクセル２個分が視認可能である。右眼視認領域２０１Ｒでは、０番のサブピクセルが領域の中央に位置し、７番および１番のサブピクセルの半分が領域内に位置し、右眼視認領域２０１Ｒは、サブピクセル２個分が視認可能である。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒにおいて、このようなサブピクセルの位置であれば、利用者１３は、適切に３次元画像を視認することができる。

【0034】

図５Ａは、左眼視認領域の例を示す模式図である。例えば、表示パネル２０とバリア部２１との相対位置、さらに表示パネル２０と光学素子１８およびウインドシールド２５との相対位置などにずれが無く、また、それぞれに歪みなどが生じていなければ、図５Ａに示すように、左眼視認領域２０１Ｌでは、４番のサブピクセルが領域の中央に位置し、３番および５番のサブピクセルの半分が領域内に位置する。しかしながら、製造工程における位置ずれ、経時的な位置ずれまたは歪み（以下では、「製造ずれなど」という）は不可避であり、これらに起因して、左眼視認領域２０１Ｌにおける視認可能なサブピクセルが、図５Ｂに示すようにずれてしまう。このようなずれが生じた場合、利用者１３が、適切に３次元画像を視認できないおそれがあるので、例えば、表示パネル２０に表示させる視差画像を、ずれに応じて補正することが考えられる。そのためには、製造ずれなどを測定する必要があるが、高精度の測定装置を必要とする。なお、左眼視認領域２０１Ｌの例について示したが、右眼視認領域２０１Ｒについても左眼視認領域２０１Ｌと同様である。

【0035】

本実施形態では、検出装置５０が、第２カメラ１１Ｂおよび第３制御部２２をさらに含む。第２カメラ１１Ｂは、第２撮像画像を撮像可能に構成される。第２カメラ１１Ｂは、利用者１３が視認するであろう画像を撮像して確認するためのカメラである。第２カメラ１１Ｂは、ウインドシールド２５で反射した視差画像を撮像可能な位置に配置して第２撮像画像を撮像すればよい。例えば、第２カメラ１１Ｂをアイボックス１６内に配置すればよい。第２カメラ１１Ｂの位置は、ウインドシールド２５で反射した画像を撮像可能な位置であれば、アイボックス１６内でなくてよい。第２カメラ１１Ｂは、第１カメラ１１Ａと同様に、可視光カメラまたは赤外線カメラであってよい。第２カメラ１１Ｂは、可視光カメラと赤外線カメラの両方の機能を有していてよい。第２カメラ１１Ｂは、例えばＣＣＤ又はＣＭＯＳイメージセンサを含んでよい。

【0036】

ウインドシールド２５で反射した画像は、製造ずれなどが生じている場合に、それらが反映された画像となる。この反映された画像を、第２カメラ１１Ｂで撮像し、評価することで、製造ずれなどを直接測定することなく、表示パネル２０に表示させる画像を補正することができる。表示パネル２０の表示画像は、例えば、位相の分布に応じて補正すればよい。

【0037】

位相およびその分布について説明する。位相（第１パラメータ）は、例えば、次のような手順で得られる。表示パネル２０に、複数のテスト画像を順次表示させ、ウインドシールド２５で反射したテスト画像を、第２カメラ１１Ｂで順次撮像する。図６Ａ～図６Ｈは、テスト画像の例を示す図である。例えば、テスト画像は、パターン０～パターン７までの８種類である。パターン０は、表示パネル２０の０番のサブピクセルを点灯し、１～７番のサブピクセルを消灯することで表示されるテスト画像である。パターン１は、表示パネル２０の１番のサブピクセルを点灯し、０，２～７番のサブピクセルを消灯することで表示されるテスト画像である。同様にして、パターン２～７のテスト画像を表示することができる。これらのテスト画像を第２カメラ１１Ｂで順次撮像することで、８種類の第２撮像画像が取得できる。パターン０～７のテスト画像を撮像した各第２撮像画像において輝度を抽出し、各パターンのテスト画像と輝度とを関連付ける。

【0038】

図７Ａは、左眼視認領域におけるサブピクセルの位置を示す図である。図７Ｂは、輝度プロットの例を示す図である。左眼視認領域２０１Ｌにおけるサブピクセルが、図７Ａに示すような位置にあるとき、パターンごとのテスト画像と第２撮像画像の輝度との関連性は、例えば、図７Ｂのようなプロットとして得られる。４番のサブピクセルが左眼視認領域２０１Ｌの中央に位置するので、パターン４のテスト画像を撮像した第２撮像画像において、最大の輝度が抽出される。３番のサブピクセルおよび５番のサブピクセルは、左眼視認領域２０１Ｌに、それぞれ半分が位置するので、パターン３，５のテスト画像を撮像した第２撮像画像において、パターン４の半分の輝度が抽出される。他のサブピクセルは、いずれも左眼視認領域２０１Ｌ外にあり、バリア部２１によって遮られるので、パターン０～２，６，７のテスト画像を撮像した第２撮像画像において、輝度は０となる。

【0039】

図８Ａは、左眼視認領域における他の例のサブピクセルの位置を示す図である。図８Ｂは、輝度プロットの他の例を示す図である。左眼視認領域２０１Ｌにおけるサブピクセルが、製造ずれなどによって、図８Ａに示すような位置にあるとき、パターンごとのテスト画像と第２撮像画像の輝度との関連性は、例えば、図８Ｂのようなプロットとして得られる。４番のサブピクセルが左眼視認領域２０１Ｌの中央からずれた位置にあり、５番のサブピクセルの７割程度が左眼視認領域２０１Ｌに位置し、３番のサブピクセルの３割程度が左眼視認領域２０１Ｌに位置する。パターン４のテスト画像を撮像した第２撮像画像において、最大の輝度が抽出されることは、図７の例と同じであるが、パターン３のテスト画像を撮像した第２撮像画像において、パターン４の３割程度の輝度が抽出され、パターン５のテスト画像を撮像した第２撮像画像において、パターン４の７割程度の輝度が抽出される。図８Ｂの輝度プロットは、図７Ｂの輝度プロットとは、異なる。このような輝度プロットを得るために、第２カメラ１１Ｂは、ゲインおよび露光時間を固定して複数のテスト画像を撮像するように構成される。

【0040】

本実施形態において、位相は、左眼視認領域２０１Ｌ（右眼視認領域２０１Ｒ）におけるサブピクセルの位置ずれを示すパラメータである。図７Ａに示すような位置にある場合は、例えば位相＝４であり、ずれが無い。位相＝４における輝度プロットは、図７Ｂのようなプロットとなる。製造ずれなどが生じている場合には、左眼視認領域２０１Ｌ（右眼視認領域２０１Ｒ）におけるサブピクセルの位置がずれる。図８Ａに示すような位置にある場合は、例えば位相＝４．７である。位相＝４．７における輝度プロットは、図８Ｂのようなプロットとなる。位相と輝度プロットは、予め実験などにより、関連性を決定することができるので、第３制御部２２が、前述の手順で輝度プロットを作成すれば、輝度プロットから位相を算出することができる。

【0041】

第３制御部２２が、位相を表示パネル２０の全てのサブピクセルに対して算出し、位相分布として取得することができる。取得した位相分布に基づいて、表示パネル２０に表示する視差画像を補正すればよい。また、図９に示す位相分布の例のように、第３制御部２２は、表示面２０ａを複数の領域に分割し、領域ごとの代表値（位相）を算出し、代表値の分布を取得してよい。図に示した例では、縦方向に５つ、横方向に７つの３５の領域に分割し、領域ごとに代表値となる位相を算出すればよい。代表値は、例えば、各領域の中心位置の位相であってよく、中心以外の特定の位置における位相であってよい。第２カメラ１１Ｂでテスト画像を撮像する前に、代表値の座標を決定してよい。例えば、第２カメラ１１Ｂでテスト画像を撮像する前に、代表値を算出するための輝度を抽出すべき位置のサブピクセルを点灯させ、点灯位置の座標を代表値の座標とする。第２カメラ１１Ｂでテスト画像を撮像したのち、第３制御部２２は、代表値の座標における輝度を抽出して輝度プロットを作成し、代表値となる位相を算出する。

【0042】

第３制御部２２は、例えば、算出した位相分布を記憶部２３に記憶させてよい。第２制御部２４は、記憶部２３に記憶された位相分布を参照し、表示パネル２０に表示させる視差画像を補正することができる。代表値の分布を取得した場合、第２制御部２４は、代表値を、領域内の全てのサブピクセルに拡張することで、表示パネル２０の全てのサブピクセルに対する位相分布を得ることができる。前述のように、製造ずれなどは、移動体１０を使用していると経時的に生じる場合がある。したがって、記憶部２３に記憶した位相分布を、定期的に更新してよい。例えば、整備工場などにおいて、車両の定期点検時に位相分布を更新することができる。

【0043】

図１０は、３次元画像表示システムの設定処理を説明するためのフロー図である。本フローを開始するにあたり、予め第２カメラ１１Ｂを、ウインドシールド２５で反射した視差画像を撮像可能な位置に移動させる。撮像可能な位置は、例えば、アイボックス１６内であってよい。第２カメラ１１Ｂを撮像位置に移動させたのち、設定処理を開始すると、まずステップＳ１で、第２制御部２４が、表示パネル２０にテスト画像を表示させる。テスト画像は、例えば、パターン０のテスト画像である。ステップＳ２で、第２カメラ１１Ｂでパターン０のテスト画像を撮像して第２撮像画像を取得する。ステップＳ３で、全てのテスト画像を撮像したかどうかを判断する。全て撮像していれば、ステップＳ４に進み、撮像していないテスト画像が残っていれば、ステップＳ１に戻る。パターン０のテスト画像を撮像した時点では、撮像していないテスト画像が残っているので、ステップＳ１で、次のパターン１のテスト画像を表示させる。このようにして、テスト画像を順次表示させ、第２カメラ１１Ｂでこれらを順次撮像する。パターン７までの撮像が終わればステップＳ４に進み、撮像画像（第２撮像画像）から輝度を抽出する。ステップＳ５では、抽出した輝度に基づいて、輝度プロットを作成する。ステップＳ６では、第３制御部２２が、作成された輝度プロットに基づいて、位相を算出する。輝度プロットと位相との関連性は、例えば、予め記憶部２３に記憶しておけばよい。第３制御部２２は、作成された輝度プロットと、記憶部２３に記憶された輝度プロットとを対比し、例えば、パターンマッチングなどの処理を行い、位相を算出してよい。ステップＳ７では、第３制御部２２が、算出した位相と、表示パネル２０における座標とを、位相分布（第２分布）として、記憶部２３に記憶する。このとき、記憶部２３には、すでに位相分布（第１分布）が記憶されており、第３制御部２２は、記憶部２３に記憶された位相分布を、新たな位相分布に置き換えて更新する。更新前に記憶部２３に記憶されていた位相分布（第１分布）は、前回の設定処理において、更新された位相分布である。前回の設定処理が実行されていない場合、更新前に記憶部２３に記憶されていた位相分布（第１分布）は、初期値として記憶された位相分布である。

【0044】

前述のように、第２制御部２４は、記憶部２３に記憶された位相分布を参照し、表示パネル２０に表示させる視差画像を補正する。位相分布は、利用者１３の眼５の位置が基準位置（適視距離における位置）にある場合の分布であり、利用者１３の眼５の位置が基準位置から異なると、位相分布も変化する。第２制御部２４は、記憶部２３に記憶された位相分布を参照し、検出装置５０が検出した利用者１３の眼５の位置（第１位置）と基準位置との距離に応じて、参照した位相分布の位相を増減させる。第２制御部２４は、増減後の位相に対応させて、表示パネル２０に表示させる視差画像を補正すればよい。

【0045】

図１１は、３次元画像表示システムが搭載された移動体の概略構成の他の例を示す図である。第２カメラ１１Ｂで撮像する第２撮像画像は、利用者１３の眼５で視認される画像に相当する画像であるので、第２カメラ１１Ｂの位置は、利用者１３の眼５の位置に対応する。テスト画像を撮像した第２撮像画像に基づいて算出された位相およびその分布は、利用者１３の眼５が第２カメラ１１Ｂの位置に有った場合の位相および分布である。３次元画像表示システムでは、利用者１３の眼５の位置が変化すると、変化に応じて、表示パネル２０に表示させる視差画像を変化させる。このとき、利用者１３の眼５の位置が変化しても位相分布がそのままであれば、位相分布による視差画像の補正は、利用者１３の眼５の位置によっては、不十分となり、利用者１３が３次元画像を適切に視認できないおそれがある。テスト画像を撮像したときの第２カメラ１１Ｂの位置が検出できれば、第２カメラ１１Ｂの位置に応じて位相分布を取得することができる。第２カメラ１１Ｂの位置は、利用者１３の眼５の位置に対応するので、第１カメラ１１Ａは、第２カメラ１１Ｂを撮像可能である。表示パネル２０にテスト画像が表示され、第２カメラ１１Ｂがテスト画像を撮像するとき、第１カメラ１１Ａが撮像した第１撮像画像に基づいて、第１制御部１５が、第２カメラ１１Ｂの位置を第２位置として検出する。第３制御部２２は、検出された第２位置に基づいて、位相を算出し、位相分布を取得すればよい。

【0046】

第２カメラ１１Ｂの位置を検出するためには、第１カメラ１１Ａを動作させる必要がある。本例の構成では、第２カメラ１１Ｂを取り付けるオブジェクトを使用する。第２カメラ１１Ｂを、オブジェクトに対して取り付けることで、第２カメラ１１Ｂの位置のばらつきを減少させ、第２カメラ１１Ｂの位置の位置が、オブジェクトの位置によって決まる。図１１に示すように、例えば、利用者１３の頭が存在すると想定される位置に、オブジェクトとして、利用者１３の頭部を模した頭部模型３０を配置し、頭部模型３０の眼に相当する位置に第２カメラ１１Ｂを取り付ける。頭部模型３０の眼に相当する位置は、頭部模型３０を配置したときに決定される。第１制御部１５が、第１カメラ１１Ａを動作させることなく、頭部模型３０の位置を検出可能に構成されていれば、第１制御部１５は、頭部模型３０の位置から間接的に第２カメラ１１Ｂの位置を検出することができる。第１制御部１５は、頭部模型３０の位置を第２カメラ１１Ｂの位置としてよい。頭部模型３０の位置は、例えば、記憶部２３に予め記憶させておいてよい。

【0047】

本例のように頭部模型３０を使用する場合、第１制御部１５は、第２カメラ１１Ｂが取り付けられた頭部模型３０の位置に基づいて第１カメラ１１Ａの校正を実行するように構成されてよい。第１カメラ１１Ａの校正は、テスト画像を撮像するために、第２カメラ１１Ｂを移動させる（頭部模型３０に取り付ける）より前に実行してよい。

【0048】

本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。例えば、第１制御部１５、第２制御部２４および第３制御部２２は、それぞれ個別のコントローラによって構成されてよい。また、第１制御部１５、第２制御部２４および第３制御部２２のうちの少なくとも２つは、１つのコントローラによって構成されてよい。すなわち、１つのコントローラで２つ以上の制御部を兼ねるように構成されてよい。例えば、第１カメラ１１Ａおよび第２カメラ１１Ｂを備える検出装置５０において、第１制御部１５と第３制御部２２とが１つのコントローラで構成されてよい。

【0049】

本開示に係る構成を説明する図は、模式的なものである。図面上の寸法比率等は、現実のものと必ずしも一致しない。

【0050】

本開示は次の実施の形態が可能である。

【0051】

（１）本開示の一実施形態に係る３次元画像表示システムの設定方法であって、
上記３次元画像表示システムは、
右眼画像および左眼画像を含む視差画像を表示可能に構成される表示パネルと、
右眼画像および左眼画像の光線方向を規定可能に構成される光学パネルと、
光線方向が規定された右眼画像および左眼画像を反射するように構成される反射板と、
当該３次元画像表示システムの利用者の顔が有ると想定される領域の画像を含む第１撮像画像を撮像可能に構成される第１カメラと、
第２撮像画像を撮像可能に構成される第２カメラと、
前記第１撮像画像に基づいて利用者の少なくとも一方の眼の位置を第１位置として検出可能に構成される第１制御部と、
第１パラメータの第１分布および前記第１位置に基づいて右眼画像および左眼画像を含む視差画像を生成可能に構成される第２制御部と、
前記第１パラメータの第２分布を算出可能に構成される第３制御部と、を備え、
前記反射板で反射した視差画像を撮像可能な位置に前記第２カメラを移動させる工程と、
前記表示パネルに、複数のテスト画像を順次表示させるとともに、前記反射板で反射した前記複数のテスト画像を前記第２カメラで順次撮像して、複数の第２撮像画像を取得する工程と、
前記複数の第２撮像画像に基づいて、前記第２分布を算出する工程と、
算出された第２分布を前記第１分布に変更する工程と、を含む。

【0052】

（２）上記（１）の３次元画像表示システムの設定方法であって、
前記第２カメラは、ゲインおよび露光時間を固定して前記複数のテスト画像を撮像するように構成される、３次元画像表示システムの設定方法である。

【0053】

（３）上記（１）または（２）の３次元画像表示システムの設定方法であって、
前記第３制御部が前記第２分布を算出する工程において、
前記第３制御部は、
前記複数のテスト画像からそれぞれの輝度分布を抽出し、
当該それぞれの輝度分布から前記第２分布を算出する、３次元画像表示システムの設定方法である。

【0054】

（４）上記（１）から（３）のいずれか１つの３次元画像表示システムの設定方法であって、
前記第２制御部は、
前記第１位置と基準位置との距離に応じて、前記第１パラメータを第１分布の値から増減させ、
増減後の第１パラメータに対応させて、右眼画像および左眼画像を含む視差画像を生成するように構成される、３次元画像表示システムの設定方法である。

【0055】

（５）上記（１）から（４）のいずれか１つの３次元画像表示システムの設定方法であって、
前記第１撮像画像に基づいて、前記複数のテスト画像を順次撮像するときの前記第２カメラの位置を第２位置として検出する工程、をさらに含み、
前記第１パラメータの第２分布を算出する工程において、
前記第３制御部は、前記複数のテスト画像および少なくとも１つの前記第２位置に基づいて前記第２分布を算出する、３次元画像表示システムの設定方法である。

【0056】

（６）上記（５）の３次元画像表示システムの設定方法であって、
前記第２カメラは、前記第１制御部で位置を検出可能なオブジェクトに対して取り付けられており、
前記第１制御部は、前記オブジェクトの位置から間接的に前記第２位置を検出するように構成される、３次元画像表示システムの設定方法である。

【0057】

（７）上記（６）の３次元画像表示システムの設定方法であって、
前記第１制御部は、前記第２カメラが取り付けられた前記オブジェクトの位置に基づいて前記第１カメラの校正を実行するように構成される、３次元画像表示システムの設定方法である。

【0058】

（８）上記（７）の３次元画像表示システムの設定方法であって、
前記第１カメラの校正は、前記第２カメラを移動させる工程より前に実行される、３次元画像表示システムの設定方法である。

【0059】

（９）上記（１）から（８）のいずれか１つの３次元画像表示システムの設定方法であって、
前記第１制御部、前記第２制御部および前記第３制御部のうちの少なくとも２つは、１つのコントローラによって構成される、３次元画像表示システムの設定方法である。

【0060】

（１０）上記（１）から（９）のいずれか１つの３次元画像表示システムの設定方法であって、
前記３次元画像表示システムは、
光線方向が規定された右眼画像および左眼画像に光学的な処理を行うように構成され、右眼画像および左眼画像を前記反射板に導くように構成される光学素子を、さらに備える、３次元画像表示システムの設定方法である。

【0061】

本開示の一実施形態に係る３次元画像表示システムの設定方法によれば、利用者が３次元画像を適切に視認することができる。

【0062】

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１眼は、識別子である「第１」を、第２眼の識別子「第２」と交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載は、それのみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用されるものではない。

【0063】

本開示において、ｘ軸、ｙ軸、及びｚ軸は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ軸、ｙ軸、及びｚ軸によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。

【符号の説明】

【0064】

５ 眼（５Ｌ：左眼、５Ｒ：右眼）
１０ 移動体
１１Ａ 第１カメラ
１１Ｂ 第２カメラ
１２ ３次元投影装置
１３ 利用者
１４ 虚像（１４ａ：第１虚像、１４ｂ：第２虚像）
１５ 第１制御部
１６ アイボックス
１７ ３次元表示装置
１８ 光学素子（１８ａ：第１ミラー、１８ｂ：第２ミラー）
１９ バックライト
２０ 表示パネル（２０ａ：表示面）
２０１Ｌ 左眼視認領域
２０１Ｒ 右眼視認領域
２１ バリア部
２２ 第３制御部
２３ 記憶部
２４ 第２制御部
２５ ウインドシールド
３０ 頭部模型
５０ 検出装置
１００ ３次元画像表示システム

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】

【図6G】

【図6H】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【図11】