特許 7536590 検出装置および画像表示モジュール

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】検出装置および画像表示モジュール

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240813BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 300D

【請求項の数】 9

(21)【出願番号】P 2020175409

(22)【出願日】2020-10-19

(65)【公開番号】P2021166031

(43)【公開日】2021-10-14

【審査請求日】2023-05-17

(31)【優先権主張番号】P 2020066989

(32)【優先日】2020-04-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100075557

【弁理士】

【氏名又は名称】西教 圭一郎

(72)【発明者】

【氏名】草深 薫

(72)【発明者】

【氏名】佐藤 昭典

(72)【発明者】

【氏名】村田 充弘

(72)【発明者】

【氏名】林下 歩樹

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０１８／１０５５３４（ＷＯ，Ａ１）

【文献】特開２０１７－１８２７３９（ＪＰ，Ａ）

【文献】特開２００１－１９５５８２（ＪＰ，Ａ）

【文献】特開２００７－３０４８５２（ＪＰ，Ａ）

【文献】特開２０１４－０１６８８５（ＪＰ，Ａ）

【文献】特開２０１７－０５４５０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１２３４９２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００８／００８９５５７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

人の顔を撮像するように構成されるカメラと、
前記カメラから出力された撮像画像から人の眼の位置を、テンプレートマッチングによって検出するように構成される検出部と、
前記検出部が検出した複数の眼の位置に基づいて、現在時刻より後の時刻における眼の位置を予測する予測部と、を備え、
前記検出部は、前記予測部が予測した眼の位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されており、
前記予測部は、前記検出部が検出した複数の眼の位置に基づいて、第１方向における眼の位置の変化速度と、前記第１方向と交差する第２方向における眼の位置の変化速度とを算出するように構成されており、
前記検出部は、テンプレートマッチングにおける探索範囲の大きさを、前記予測部が算出した変化速度に応じた大きさとするように構成されており、
前記検出部は、前記第１方向における眼の位置の変化速度と、前記第２方向における眼の位置の変化速度とを比較し、テンプレートマッチングにおける探索範囲の大きさを、眼の位置の変化速度が大きい方向に広くするように構成されている検出装置。

【請求項2】

請求項１に記載の検出装置であって、
前記検出部は、前記撮像画像から人の顔を検出し、顔を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている、検出装置。

【請求項3】

請求項１に記載の検出装置であって、
前記検出部は、テンプレートマッチングにおいて、変倍処理された複数のテンプレート画像を用いるように構成されている、検出装置。

【請求項4】

請求項１または３に記載の検出装置であって、
前記検出部は、テンプレートマッチングにおいて、回転処理された複数のテンプレート画像を用いるように構成されている、検出装置。

【請求項5】

請求項１～４のいずれか１つに記載の検出装置であって、
前記検出部は、テンプレートマッチングにおいて、人の眼または人の眼との相対的な位置関係が特定されている顔の他の部位を含むテンプレート画像を用いるように構成されている、検出装置。

【請求項6】

請求項５に記載の検出装置であって、
前記検出部は、前記撮像画像から前記テンプレート画像を生成するように構成されている、検出装置。

【請求項7】

請求項５に記載の検出装置であって、
予め生成された前記テンプレート画像と利用者とが関連付けられて記憶される記憶部をさらに備える、検出装置。

【請求項8】

人の両眼に対して光学系を介して投影される視差画像を表示するように構成される表示部と、
前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与えるように構成されるバリア部と、
人の顔を撮像するように構成されるカメラと、
前記カメラから出力された撮像画像から人の両眼の位置を、テンプレートマッチングによって検出するように構成される検出部と、
前記検出部が検出した複数の眼の位置に基づいて、現在時刻より後の時刻における眼の位置を予測する予測部と、
前記検出部で検出された人の両眼の位置に応じて前記表示部を制御する制御部と、を備え、
前記検出部は、前記予測部が予測した眼の位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されており、
前記予測部は、前記検出部が検出した複数の眼の位置に基づいて、第１方向における眼の位置の変化速度と、前記第１方向と交差する第２方向における眼の位置の変化速度とを算出するように構成されており、
前記検出部は、テンプレートマッチングにおける探索範囲の大きさを、前記予測部が算出した変化速度に応じた大きさとするように構成されており、
前記検出部は、前記第１方向における眼の位置の変化速度と、前記第２方向における眼の位置の変化速度とを比較し、テンプレートマッチングにおける探索範囲の大きさを、眼の位置の変化速度が大きい方向に広くするように構成されている画像表示システム。

【請求項9】

請求項８に記載の画像表示システムであって、
前記検出部は、テンプレートマッチングにおいて、アイボックスに応じた領域をテンプレート画像に用いるように構成されている、画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、検出装置および画像表示モジュールに関する。

【背景技術】

【0002】

従来、利用者の眼の位置検出を行う場合、カメラで利用者の眼を撮像した撮像画像を用いて、瞳孔の位置を示す位置データを取得する。例えば、３次元表示装置において、位置データが示す瞳孔の位置に基づいて、利用者の左眼および右眼にそれぞれ対応する画像を視認させるように、画像をディスプレイに表示させている（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－１６６２５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の瞳孔位置の検出は、多くの演算量を必要とする。また、瞳孔位置は、利用者が瞬きなどによって眼を閉じていると検出することができない。

【課題を解決するための手段】

【0005】

本開示の一実施形態に係る検出装置は、カメラと検出部と予測部とを備える。カメラは、人の顔を撮像するように構成される。検出部は、前記カメラから出力された撮像画像から人の眼の位置を、テンプレートマッチングによって検出するように構成される。予測部は、前記検出部が検出した複数の眼の位置に基づいて、現在時刻より後の時刻における眼の位置を予測する。前記検出部は、前記予測部が予測した眼の位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている。前記予測部は、前記検出部が検出した複数の眼の位置に基づいて、第１方向における眼の位置の変化速度と、前記第１方向と交差する第２方向における眼の位置の変化速度とを算出するように構成されている。前記検出部は、テンプレートマッチングにおける探索範囲の大きさを、前記予測部が算出した変化速度に応じた大きさとするように構成されている。前記検出部は、前記第１方向における眼の位置の変化速度と、前記第２方向における眼の位置の変化速度とを比較し、テンプレートマッチングにおける探索範囲の大きさを、眼の位置の変化速度が大きい方向に広くするように構成されている。

【0006】

本開示の一実施形態に係る画像表示システムは、表示部とバリア部とカメラと検出部と予測部と制御部とを備える。表示部は、人の両眼に対して光学系を介して投影される視差画像を表示するように構成される。バリア部は、前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与えるように構成される。カメラは、人の顔を撮像するように構成される。検出部は、前記カメラから出力された撮像画像から人の両眼の位置を、テンプレートマッチングによって検出するように構成される。予測部は、前記検出部が検出した複数の眼の位置に基づいて、現在時刻より後の時刻における眼の位置を予測する。制御部は、前記検出部で検出された人の両眼の位置に応じて前記表示部を制御する。前記検出部は、前記予測部が予測した眼の位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている。前記予測部は、前記検出部が検出した複数の眼の位置に基づいて、第１方向における眼の位置の変化速度と、前記第１方向と交差する第２方向における眼の位置の変化速度とを算出するように構成されている。前記検出部は、テンプレートマッチングにおける探索範囲の大きさを、前記予測部が算出した変化速度に応じた大きさとするように構成されている。前記検出部は、前記第１方向における眼の位置の変化速度と、前記第２方向における眼の位置の変化速度とを比較し、テンプレートマッチングにおける探索範囲の大きさを、眼の位置の変化速度が大きい方向に広くするように構成されている。

【発明の効果】

【0007】

本開示の一実施形態に係る検出装置および画像表示システムにおいては、必要な演算量を低減すること、連続して検出することが可能である。

【図面の簡単な説明】

【0008】

【図1】検出装置が搭載された移動体の概略構成の一例を示す図である。

【図2】テンプレートマッチングを説明するための模式図である。

【図3】３次元投影システムの概略構成の一例を示す図である。

【図4】運転者の眼と表示部とバリア部との関係を示す模式図である。

【図5】検出装置のテンプレート画像生成処理の一例を説明するためのフロー図である。

【図6】検出装置のテンプレートマッチング処理の一例を説明するためのフロー図である。

【図7】検出装置のテンプレートマッチング処理の他の例を説明するためのフロー図である。

【図8】３次元投影システムの概略構成の他の例を示す図である。

【図9】検出装置のテンプレートマッチング処理の他の例を説明するためのフロー図である。

【図10】検出装置のテンプレートマッチング処理の他の例を説明するためのフロー図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面を参照しながら詳細に説明がされる。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

【0010】

図１に示されるように、本開示の一実施形態に係る検出装置５０は、移動体１０に搭載されてよい。検出装置５０は、カメラ１１と、検出部１５と、を備える。移動体１０は、３次元投影システム１００を備えてよい。３次元投影システム１００は、検出装置５０と、３次元投影装置１２と、を備える。

【0011】

本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。

【0012】

以下では、移動体１０が、乗用車である場合を例として説明する。移動体１０は、乗用車に限らず、上記例のいずれかであってよい。カメラ１１は、移動体１０に取り付けられてよい。カメラ１１は、移動体１０の運転者１３の顔（人の顔）を含む画像を撮像するように構成される。カメラ１１の取り付け位置は、移動体１０の内部及び外部において任意である。例えば、カメラ１１は、移動体１０のダッシュボード内に位置してよい。

【0013】

カメラ１１は、可視光カメラまたは赤外線カメラであってよい。カメラ１１は、可視光カメラと赤外線カメラの両方の機能を有していてよい。カメラ１１は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでよい。

【0014】

カメラ１１で撮像された画像は、検出部１５に出力される。検出部１５は、カメラ１１から出力された撮像画像から運転者１３の眼５の位置を、テンプレートマッチングによって検出するように構成される。カメラ１１からは、全てのフレームで検出部１５に出力されてよく、検出部１５は、全てのフレームでテンプレートマッチングによって眼５の位置を検出してよい。運転者１３の眼５の位置は、瞳孔位置であってよい。テンプレートマッチングは、対象画像からテンプレート画像に最も適合する位置を探索する画像処理である。本開示の検出装置５０において、対象画像は、カメラ１１から出力された撮像画像５１である。テンプレート画像５２は、運転者１３の眼５または運転者１３の眼５との相対的な位置関係が特定されている顔の部位を含む。テンプレート画像５２が含む運転者１３の眼５は、両眼であってよく、右眼のみまたは左眼のみであってよい。運転者１３の眼５との相対的な位置関係が特定されている顔の部位とは、例えば、眉毛または鼻などであってよい。図２に示す例では、テンプレート画像５２は、運転者１３の眼５として両眼を含む。

【0015】

従来のような撮像画像からの瞳孔位置検出は、撮像画像が利用者の瞳孔を含むことが必須である。撮像画像に瞳孔が含まれていなければ、瞳孔位置を検出することができない。例えば、利用者が、瞬きなどで眼を閉じている時に撮像された画像からは、瞳孔位置を検出することができない。本開示によるテンプレートマッチングは、テンプレート画像５２と最も適合する位置を探索するので、撮像画像５１に瞳孔が含まれていない場合でも、テンプレート画像５２に含まれる瞳孔以外の特徴を利用して、撮像画像５１の最も適合する位置を探索することができる。テンプレート画像５２は、瞳孔より大きい画像であるので、同じ大きさの撮像画像５１を検出対象としたときに、テンプレートマッチングに要する演算量は、瞳孔検出に要する演算量よりも低減される。演算量の低減によって、検出部１５は、瞳孔検出に比べて検出結果の出力にかかる演算速度を高速化できる。

【0016】

テンプレート画像５２の形状は、撮像画像５１の形状に応じた形状であってよい。撮像画像５１が矩形状であれば、テンプレート画像５２は矩形状であってよい。テンプレート画像５２の形状は、撮像画像５１の形状と相似関係である必要はないが、相似関係であってよい。以下では、図２に示すように、撮像画像５１およびテンプレート画像５２が、矩形状である例について説明する。

【0017】

検出装置５０による検出結果は、運転者１３の眼５（両眼）の瞳孔位置を示す座標情報であってよい。テンプレートマッチングでは、撮像画像５１において、テンプレート画像５２に最も適合する位置の座標が決定される。テンプレートマッチングによって決定される適合位置の座標は、例えば、テンプレート画像５２の代表位置の座標に対応する座標であってよい。テンプレート画像５２の代表位置は、例えば、いずれか１つの頂点位置またはテンプレート画像５２の中心位置であってよい。テンプレート画像５２に含まれる瞳孔位置の座標と、例えば、テンプレート画像５２の代表位置との相対的な座標位置関係を予め特定しておけばよい。これにより、テンプレートマッチングによって、撮像画像５１における適合位置の座標が決定されると、決定された座標と予め特定された座標位置関係とによって、撮像画像５１における瞳孔位置の座標情報を決定することができる。例えば、運転者１３が眼５を閉じていて、撮像画像５１に瞳孔が含まれていない場合であっても、眼が開いていれば検出されたであろうと推定される瞳孔位置の座標情報を決定することができる。本開示の検出装置５０は、運転者１３が瞬きなどで眼５閉じた場合でも瞳孔位置の座標情報を決定できるので、途切れることなく連続して座標情報を出力することができる。

【0018】

検出装置５０は、例えば、センサを含んでよい。センサは、超音波センサ又は光センサ等であってよい。カメラ１１は、センサによって運転者１３の頭部の位置を検出するように構成され、頭部の位置に基づいて、運転者１３の眼５の位置を検出するように構成されうる。カメラ１１は、２つ以上のセンサによって、運転者１３の眼５の位置を三次元空間の座標として検出するように構成されうる。

【0019】

検出装置５０は、検出した眼５の瞳孔位置に関する座標情報を３次元投影装置１２に出力するように構成される。この座標情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。検出装置５０は、有線通信又は無線通信を介して眼５の瞳孔位置を示す情報を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ（Controller Area Network）等を含みうる。

【0020】

検出装置５０は、検出部１５が外部装置であってよい。カメラ１１は、撮像画像５１を外部の検出部１５に出力するように構成してよい。この外部の検出部１５では、カメラ１１から出力された画像から、テンプレートマッチングによって運転者１３の眼５の瞳孔位置を検出するように構成されてよい。この外部の検出部１５は、検出した眼５の瞳孔位置に関する座標情報を３次元投影装置１２に出力するように構成してよい。この座標情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。カメラ１１は、有線通信又は無線通信を介して撮像した画像を外部の検出部１５へ出力するように構成してよい。外部の検出部１５は、有線通信又は無線通信を介して座標情報を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ等を含みうる。

【0021】

３次元投影装置１２の位置は、移動体１０の内部及び外部において任意である。例えば、３次元投影装置１２は、移動体１０のダッシュボード内に位置してよい。３次元投影装置１２は、ウインドシールド２５に向けて画像光を射出するように構成される。

【0022】

ウインドシールド２５は、３次元投影装置１２から射出された画像光を反射するように構成される。ウインドシールド２５で反射された画像光は、アイボックス１６に到達する。アイボックス１６は、例えば運転者１３の体格、姿勢、及び姿勢の変化等を考慮して、運転者１３の眼５が存在しうると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的又は立体的な領域を含んでよい。図１に示されている実線の矢印は、３次元投影装置１２から射出される画像光の少なくとも一部がアイボックス１６まで到達する経路を示す。画像光が進む経路は、光路とも称される。運転者１３の眼５がアイボックス１６内に位置する場合、運転者１３は、アイボックス１６に到達する画像光によって、虚像１４を視認可能である。虚像１４は、ウインドシールド２５から眼５に到達する経路を移動体１０の前方に延長した経路（図では、一点鎖線で示されている直線）の上に位置する。３次元投影装置１２は、運転者１３に虚像１４を視認させることによって、ヘッドアップディスプレイとして機能しうる。図１において、運転者１３の眼５が並ぶ方向は、ｘ軸方向に対応する。鉛直方向は、ｙ軸方向に対応する。カメラ１１の撮像範囲は、アイボックス１６を含む。

【0023】

図３に示されるように、３次元投影装置１２は、３次元表示装置１７と、光学素子１８とを備える。３次元投影装置１２は、画像表示モジュールとも称されうる。３次元表示装置１７は、バックライト１９と、表示面２０ａを有する表示部２０と、バリア部２１と、制御部２４とを備えうる。３次元表示装置１７は、通信部２２をさらに備えてよい。３次元表示装置１７は、記憶部２３をさらに備えてよい。

【0024】

光学素子１８は、第１ミラー１８ａと、第２ミラー１８ｂとを含んでよい。第１ミラー１８ａ及び第２ミラー１８ｂの少なくとも一方は、光学的なパワーを有してよい。本実施形態において、第１ミラー１８ａは、光学的なパワーを有する凹面鏡であるとする。第２ミラー１８ｂは、平面鏡であるとする。光学素子１８は、３次元表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。図３に示される一点鎖線の矢印は、３次元表示装置１７から射出される画像光の少なくとも一部が、第１ミラー１８ａ及び第２ミラー１８ｂによって反射され、３次元投影装置１２の外部に射出される際の経路を示す。３次元投影装置１２の外部に射出された画像光は、ウインドシールド２５に到達し、ウインドシールド２５で反射されて運転者１３の眼５に到達する。その結果、運転者１３は、３次元表示装置１７に表示された画像を視認できる。

【0025】

光学素子１８とウインドシールド２５とは、３次元表示装置１７から射出させる画像光を運転者１３の眼５に到達させうるように構成される。光学素子１８とウインドシールド２５とは、光学系を構成してよい。光学系は、３次元表示装置１７から射出される画像光を一点鎖線で示されている光路に沿って運転者１３の眼５に到達させるように構成される。光学系は、運転者１３に視認させる画像が拡大したり縮小したりするように、画像光の進行方向を制御するように構成してよい。光学系は、運転者１３に視認させる画像の形状を所定の行列に基づいて変形させるように、画像光の進行方向を制御するように構成してよい。

【0026】

光学素子１８は、例示される構成に限られない。ミラーは、凹面鏡であってよいし、凸面鏡であってよいし、平面鏡であってよい。ミラーが凹面鏡又は凸面鏡である場合、その形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。光学素子１８を構成する要素の数は、２つに限られず、１つであってよいし、３つ以上であってよい。光学素子１８は、ミラーに限られずレンズを含んでよい。レンズは、凹面レンズであってよいし、凸面レンズであってよい。レンズの形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。

【0027】

バックライト１９は、画像光の光路上において、運転者１３から見て、表示部２０及びバリア部２１よりも遠い側に位置する。バックライト１９は、バリア部２１と表示部２０とに向けて光を射出する。バックライト１９が射出した光の少なくとも一部は、一点鎖線で示されている光路に沿って進行し、運転者１３の眼５に到達する。バックライト１９は、ＬＥＤ（Light Emission Diode）又は有機ＥＬ若しくは無機ＥＬ等の発光素子を含んでよい。バックライト１９は、発光強度、及び、その分布を制御可能に構成されてよい。

【0028】

表示部２０は、表示パネルを含む。表示部２０は、例えば、ＬＣＤ（Liquid Crystal Display）等の液晶デバイスであってよい。本実施形態において、表示部２０は、透過型の液晶表示パネルを含むとする。表示部２０は、この例に限られず、種々の表示パネルを含んでよい。

【0029】

表示部２０は、複数の画素を有し、各画素においてバックライト１９から入射する光の透過率を制御し、運転者１３の眼５に到達する画像光として射出するように構成される。運転者１３は、表示部２０の各画素から射出される画像光によって構成される画像を視認する。

【0030】

バリア部２１は、入射してくる光の進行方向を規定するように構成される。図３の例に示すように、バリア部２１が表示部２０よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、バリア部２１に入射し、さらに表示部２０に入射する。この場合、バリア部２１は、バックライト１９から射出される光の一部を遮ったり減衰させたりし、他の一部を表示部２０に向けて透過させるように構成される。表示部２０は、バリア部２１によって規定された方向に進行する入射光を、同じ方向に進行する画像光としてそのまま射出する。表示部２０がバリア部２１よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、表示部２０に入射し、さらにバリア部２１に入射する。この場合、バリア部２１は、表示部２０から射出される画像光の一部を遮ったり減衰させたりし、他の一部を運転者１３の眼５に向けて透過させるように構成される。

【0031】

表示部２０とバリア部２１とのどちらが運転者１３の近くに位置するかにかかわらず、バリア部２１は、画像光の進行方向を制御できるように構成される。バリア部２１は、表示部２０から射出される画像光の一部を運転者１３の左眼５Ｌ及び右眼５Ｒ（図４参照）のいずれかに到達させ、画像光の他の一部を運転者１３の左眼５Ｌ及び右眼５Ｒの他方に到達させるように構成される。つまり、バリア部２１は、画像光の少なくとも一部の進行方向を運転者１３の左眼５Ｌと右眼５Ｒとに分けるように構成される。左眼５Ｌ及び右眼５Ｒはそれぞれ、第１眼及び第２眼ともいう。本実施形態において、バリア部２１は、バックライト１９と表示部２０との間に位置する。つまり、バックライト１９から射出される光は、先にバリア部２１に入射し、次に表示部２０に入射する。

【0032】

バリア部２１によって画像光の進行方向が規定されることによって、運転者１３の左眼５Ｌ及び右眼５Ｒそれぞれに異なる画像光が到達しうる。その結果、運転者１３は、左眼５Ｌ及び右眼５Ｒそれぞれで異なる画像を視認しうる。

【0033】

図４に示されるように、表示部２０は、表示面２０ａ上に、運転者１３の左眼５Ｌで視認される左眼視認領域２０１Ｌと、運転者１３の右眼５Ｒで視認される右眼視認領域２０１Ｒとを含む。表示部２０は、運転者１３の左眼５Ｌに視認させる左眼画像と、運転者１３の右眼５Ｒに視認させる右眼画像とを含む視差画像を表示するように構成される。視差画像は、運転者１３の左眼５Ｌ及び右眼５Ｒそれぞれに投影される画像であって、運転者１３の両眼に視差を与える画像であるとする。表示部２０は、左眼視認領域２０１Ｌに左眼画像を表示し、右眼視認領域２０１Ｒに右眼画像を表示するように構成される。つまり、表示部２０は、左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとに視差画像を表示するように構成される。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、視差方向を表すｕ軸方向に並んでいるとする。左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向に直交するｖ軸方向に沿って延在してよいし、ｖ軸方向に対して所定角度で傾斜する方向に延在してよい。つまり、左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向の成分を含む所定方向に沿って交互に並んでいてよい。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとが交互に並ぶピッチは、視差画像ピッチともいう。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、間隔をあけて位置していてよいし、互いに隣接していてよい。表示部２０は、表示面２０ａ上に、平面画像を表示する表示領域をさらに有していてよい。平面画像は、運転者１３の眼５に視差を与えず、立体視されない画像であるとする。

【0034】

図４に示されるように、バリア部２１は、開口領域２１ｂと、遮光面２１ａとを有する。バリア部２１が、画像光の光路上において、運転者１３から見て表示部２０よりも近い側に位置する場合、バリア部２１は、表示部２０から射出される画像光の透過率を制御するように構成される。開口領域２１ｂは、表示部２０からバリア部２１に入射する光を透過させるように構成される。開口領域２１ｂは、第１所定値以上の透過率で光を透過させてよい。第１所定値は、例えば１００％であってよいし、１００％に近い値であってよい。遮光面２１ａは、表示部２０からバリア部２１に入射する光を遮るように構成される。遮光面２１ａは、第２所定値以下の透過率で光を透過させてよい。第２所定値は、例えば０％であってよいし、０％に近い値であってよい。第１所定値は、第２所定値より大きい。

【0035】

開口領域２１ｂと遮光面２１ａとは、視差方向を表すｕ軸方向に交互に並ぶとする。開口領域２１ｂと遮光面２１ａとの境界は、図４に例示されているように視差方向に直交するｖ軸方向に沿ってよいし、ｖ軸方向に対して所定角度で傾斜する方向に沿ってよい。言い換えれば、開口領域２１ｂと遮光面２１ａとは、視差方向の成分を含む所定方向に沿って交互に並んでよい。

【0036】

本実施形態では、バリア部２１は、画像光の光路上において、運転者１３から見て表示部２０よりも遠い側に位置している。バリア部２１は、バックライト１９から表示部２０に向けて入射する光の透過率を制御するように構成される。開口領域２１ｂは、バックライト１９から表示部２０に向けて入射する光を透過させるように構成される。遮光面２１ａは、バックライト１９から表示部２０に入射する光を遮るように構成される。このようにすることで、表示部２０に入射する光の進行方向は、所定方向に限定される。その結果、画像光の一部は、バリア部２１によって運転者１３の左眼５Ｌに到達するように制御されうる。画像光の他の一部は、バリア部２１によって運転者１３の右眼５Ｒに到達するように制御されうる。

【0037】

バリア部２１は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に基づいて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域又は光の透過率が低い領域を任意の形状に形成しうる。バリア部２１が液晶シャッターで構成される場合、開口領域２１ｂは、第１所定値以上の透過率を有してよい。バリア部２１が液晶シャッターで構成される場合、遮光面２１ａは、第２所定値以下の透過率を有してよい。第１所定値は、第２所定値より高い値に設定されてよい。第１所定値に対する第２所定値の比率は、一例では、１／１００に設定されてよい。第１所定値に対する第２所定値の比率は、他の例では、１／１０００に設定されてもよい。開口領域２１ｂと遮光面２１ａとの形状が変更可能に構成されるバリア部２１は、アクティブバリアとも称される。

【0038】

制御部２４は、表示部２０を制御するように構成される。バリア部２１がアクティブバリアである場合、制御部２４は、バリア部２１を制御するように構成してよい。制御部２４は、バックライト１９を制御するように構成してよい。制御部２４は、検出装置５０から運転者１３の眼５の瞳孔位置に関する座標情報を取得し、その座標情報に基づいて表示部２０を制御するように構成される。制御部２４は、座標情報に基づいてバリア部２１、及びバックライト１９の少なくとも一方を制御するように構成されうる。制御部２４は、カメラ１１から出力された画像を受信し、受信した画像から運転者１３の眼５を検出してよい。言い換えると、制御部２４が、検出部１５と同等の機能を有し、検出部１５を兼ねるように構成されてよい。制御部２４は、検出した眼５の瞳孔位置に基づいて表示部２０を制御するように構成されてよい。制御部２４は、検出した眼５の瞳孔位置に基づいて、バリア部２１及びバックライト１９の少なくとも一方を制御するように構成されうる。制御部２４および検出部１５は、例えばプロセッサとして構成される。制御部２４および検出部１５は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２４および検出部１５は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

【0039】

通信部２２は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えば検出装置５０を含んでよい。外部装置は、例えば表示部２０に表示する画像情報を提供するように構成されてよい。通信部２２は、検出装置５０などの外部装置から各種情報を取得し、制御部２４に出力してよい。本開示における「通信可能なインタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、又はＲＣＡ端子に対応するコネクタを含んでよい。電気コネクタは、ＥＩＡＪ ＣＰ－１２１ａＡに規定されるＳ端子に対応するコネクタ、又はＥＩＡＪ ＲＣ－５２３７に規定されるＤ端子に対応するコネクタを含んでよい。電気コネクタは、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、又はＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２１ａを含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

【0040】

記憶部２３は、各種情報、又は３次元表示装置１７の各構成部を動作させるためのプログラム等を格納するように構成されてよい。記憶部２３は、例えば半導体メモリ等で構成されてよい。記憶部２３は、制御部２４のワークメモリとして機能してよい。記憶部２３は、制御部２４に含まれてよい。

【0041】

図４に示されるように、バックライト１９から射出された光は、バリア部２１と表示部２０とを透過して運転者１３の眼５に到達する。バックライト１９から射出された光が眼５に到達するまでの経路は、破線で表されている。バリア部２１の開口領域２１ｂを透過して右眼５Ｒに到達する光は、表示部２０の右眼視認領域２０１Ｒを透過する。つまり、右眼５Ｒは、開口領域２１ｂを透過した光によって右眼視認領域２０１Ｒを視認できる。バリア部２１の開口領域２１ｂを透過して左眼５Ｌに到達する光は、表示部２０の左眼視認領域２０１Ｌを透過する。つまり、左眼５Ｌは、開口領域２１ｂを透過した光によって左眼視認領域２０１Ｌを視認できる。

【0042】

表示部２０は、右眼視認領域２０１Ｒ及び左眼視認領域２０１Ｌに、それぞれ右眼画像及び左眼画像を表示するように構成される。これによって、バリア部２１は、左眼画像に係る画像光を左眼５Ｌに到達させ、右眼画像に係る画像光を右眼５Ｒに到達させるように構成される。つまり、開口領域２１ｂは、左眼画像に係る画像光を運転者１３の左眼５Ｌに到達させ、右眼画像に係る画像光を運転者１３の右眼５Ｒに到達させるように構成される。このようにすることで、３次元表示装置１７は、運転者１３の両眼に対して視差画像を投影できる。運転者１３は、左眼５Ｌと右眼５Ｒとで視差画像を見ることによって、画像を立体視できる。

【0043】

バリア部２１の開口領域２１ｂを透過し、表示部２０の表示面２０ａから射出された画像光の少なくとも一部は、光学素子１８を介してウインドシールド２５に到達する。画像光は、ウインドシールド２５で反射されて運転者１３の眼５に到達する。これにより、運転者１３の眼５はウインドシールド２５よりもｚ軸の負の方向の側に位置する第２虚像１４ｂを視認できる。第２虚像１４ｂは、表示面２０ａが表示している画像に対応する。バリア部２１の開口領域２１ｂと遮光面２１ａとは、ウインドシールド２５の前方であって第２虚像１４ｂのｚ軸の負の方向側に第１虚像１４ａをつくる。図１に示すように、運転者１３は、見かけ上、第２虚像１４ｂの位置に表示部２０が存在し、第１虚像１４ａの位置にバリア部２１が存在するかのように、画像を視認しうる。

【0044】

表示面２０ａに表示される画像に係る画像光は、バリア部２１によって規定される方向に向けて、３次元表示装置１７から射出される。光学素子１８は、ウインドシールド２５に向けて射出するように構成される。光学素子１８は、画像光を反射したり屈折させたりするように構成されうる。ウインドシールド２５は、画像光を反射し、運転者１３の眼５に向けて進行させるように構成される。画像光が運転者１３の眼５に入射することによって、運転者１３は、視差画像を虚像１４として視認する。運転者１３は、虚像１４を視認することによって立体視できる。虚像１４のうち視差画像に対応する画像は、視差虚像とも称される。視差虚像は、光学系を介して投影される視差画像であるともいえる。虚像１４のうち平面画像に対応する画像は、平面虚像とも称される。平面虚像は、光学系を介して投影される平面画像であるともいえる。

【0045】

検出部１５は、テンプレートマッチングにおいて、撮像画像５１全体を探索範囲としてよい。検出部１５は、テンプレートマッチングにおいて、撮像画像５１の一部の領域を探索範囲としてよい。探索範囲となる一部の領域は、撮像画像５１に含まれる運転者１３の顔を含む領域であってよい。検出部１５は、テンプレート画像５２による探索開始前に、カメラ１１で撮像した撮像画像５１に含まれる運転者１３の顔検出を行い、検出された顔を含む所定の大きさ（撮像画像５１全体より小さい）の探索範囲を設定する。検出部１５は、設定された探索範囲内をテンプレート画像５２で探索してテンプレートマッチングを行なってよい。テンプレート画像５２による探索範囲が、撮像画像５１全体である場合に比べて小さいので、テンプレートマッチングに係る演算量を低減できる。演算量の低減によって、検出部１５は、検出結果の出力にかかる演算速度を高速化できる。

【0046】

検出部１５は、探索開始前に、カメラで撮像した撮像画像５１からテンプレート画像５２を生成するように構成される。検出部１５は、撮像画像５１を対象に瞳孔検出を行い、検出された瞳孔を含む所定の周辺領域をテンプレート画像５２としてよい。テンプレート画像５２として生成する所定の周辺領域は、例えば、３次元投影装置１２におけるアイボックス１６に応じた領域であってよい。

【0047】

テンプレート画像生成処理について、フロー図を用いて説明する。検出装置５０は、例えば、図５のフロー図に示すテンプレート画像生成処理を実行してよい。検出装置５０は、テンプレート画像生成処理を、例えば、３次元投影システム１００の起動時（電源オン時）に開始してよい。まず、ステップＡ１において、カメラ１１が撮像して撮像画像５１を取得し、検出部１５に出力する。カメラ１１の撮像画像５１には、例えば、移動体１０の座席に着席した運転者１３の顔が含まれる。次に、ステップＡ２で、検出部１５は、撮像画像５１から、アイボックス１６を含む第１領域を切り出し、ステップＡ３で、切り出した第１領域を対象に顔検出を行い、運転者の顔が検出されたかどうかを判断する。顔が検出されていれば、ステップＡ４に進み、検出されていなければ、ステップＡ１に戻り、再度カメラ１１による撮像を行う。

【0048】

ステップＡ４では、検出部１５が、検出された顔を含む第２領域を第１領域から切り出し、ステップＡ５で、検出部１５は、第２領域を対象に瞳孔検出を行い、瞳孔が検出されたかどうかを判断する。瞳孔が検出されていれば、ステップＡ６に進み、検出されていなければ、ステップＡ１に戻り、再度カメラ１１による撮像を行う。ステップＡ６では、検出部１５が、検出された瞳孔を含む瞳孔周辺領域をテンプレート画像５２として抽出して、テンプレート画像生成処理を終了する。検出部１５は、抽出したテンプレート画像５２を、例えば、検出部１５が有する記憶領域または記憶部２３に記憶してよい。検出部１５は、例えば、瞳孔周辺のアイボックス１６と同じ大きさの領域をテンプレート画像５２として抽出してよい。また、検出部１５は、テンプレート画像５２とともに、テンプレート画像５２の代表位置と瞳孔位置との相対的な座標位置関係を記憶してよい。

【0049】

テンプレート画像５２は、３次元投影システム１００が起動している間は、検出部１５の記憶領域に一時的に記憶されてよい。テンプレート画像５２は、例えば、撮像された運転者１３と関連付けられて記憶部２３に記憶されてよい。記憶部２３に記憶されたテンプレート画像５２は、例えば、次回以降の３次元投影システム１００起動時に、検出部１５によって記憶部２３から読み出されることで、テンプレート画像生成処理を省略することができる。検出部１５は、再度テンプレート画像生成処理を実行することで、記憶部２３に記憶されたテンプレート画像５２を更新（書換え）し得る。

【0050】

テンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０は、例えば、図６のフロー図に示すテンプレートマッチング処理を実行してよい。検出装置５０は、例えば、３次元投影システム１００の起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶されたテンプレート画像５２を用いる場合、検出装置５０は、３次元投影システム１００の起動時にテンプレートマッチング処理を開始してよい。

【0051】

まず、ステップＢ１において、検出部１５が、カメラ１１から撮像画像５１を取得する。ステップＢ２では、検出部１５が、テンプレート画像５２が抽出された位置周辺の領域を探索範囲として撮像画像５１から切り出す。テンプレート画像５２が抽出された位置座標は、テンプレート画像５２と関連付けて記憶しておけばよい。ステップＢ３で、検出部１５は、テンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。検出部１５は、テンプレートマッチングによって、探索範囲内でテンプレート画像５２との適合度が最も高い位置とその適合度を決定する。ステップＢ４では、検出部１５が、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＢ５に進み、閾値未満であれば、ステップＢ１に戻り、再度カメラ１１による撮像を行う。ステップＢ５で、検出部１５は、探索範囲内でテンプレート画像５２との適合度が最も高い位置の座標と予め特定された相対的な座標位置関係とによって、撮像画像５１における瞳孔位置の座標を決定し、テンプレートマッチング処理を終了する。決定された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。３次元投影装置１２では、検出装置５０から取得した瞳孔位置の座標情報を用いて、制御部２４が、表示部２０に表示する視差画像を制御する。

【0052】

移動体１０の運転席は、例えば、前後方向に移動可能に構成されている。また、移動体１０の運転中に運転者１３の姿勢が変化することもある。運転席の前後位置または運転者１３の姿勢が変化し、運転者１３の顔がｚ方向に移動した場合を考える。運転者１３の顔がｚ方向の正方向に移動した場合、撮像画像５１には、移動前に比べて運転者１３の顔が小さく撮像される。運転者１３の顔がｚ方向の負方向に移動した場合、撮像画像５１には、移動前に比べて運転者１３の顔が大きく撮像される。この場合、テンプレート画像５２を変倍処理して、変倍処理後のテンプレート画像５２を用いてテンプレートマッチングすればよい。例えば、拡大率の異なる複数のテンプレート画像５２を用いてテンプレートマッチングしてよい。例えば、縮小率の異なる複数のテンプレート画像５２を用いてテンプレートマッチングしてよい。

【0053】

他の例のテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０は、例えば、図７のフロー図に示すテンプレートマッチング処理を実行してよい。検出装置５０は、例えば、３次元投影システム１００の起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶されたテンプレート画像５２を用いる場合、検出装置５０は、３次元投影システム１００の起動時にテンプレートマッチング処理を開始してよい。

【0054】

図６のステップＢ１～Ｂ４と、図７のステップＣ１～Ｃ４とは同じ動作を実行するので、説明は省略する。検出部１５は、ステップＣ５において、テンプレート画像５２の変倍率を複数変更してテンプレート画像に変倍処理を施す。検出部１５は、変倍処理後のテンプレート画像５２を用いてテンプレートマッチングを行う。検出装置５０は、運転者１３の姿勢がどのように変化したかは検出しないので、変倍処理としては、拡大処理も縮小処理もいずれも行う。変倍処理後のテンプレート画像５２は複数生成されるので、検出部１５は、複数のテンプレート画像５２でテンプレートマッチングを行い、適合度が最も高いテンプレート画像５２を決定する。ステップＣ６で、検出部１５は、適合度が最も高いテンプレート画像５２の変倍率に基づいて、運転者のｚ方向の位置を推定する。ステップＣ７では、ステップＢ５と同様に撮像画像５１における瞳孔位置の座標を決定したのち、推定したｚ方向の位置に基づいて瞳孔位置の座標を補正し、テンプレートマッチング処理を終了する。決定された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。

【0055】

他の例の３次元投影システム１００Ａについて説明する。図８に示されるように、３次元投影システム１００Ａにおいて、検出装置５０Ａは、カメラ１１と、検出部１５Ａと、予測部３０と、を備える。３次元投影システム１００Ａの検出装置５０Ａ以外の構成は、前述の３次元投影システム１００と同様であるので、同じ参照符号を付して、詳細な説明は省略する。予測部３０は、検出部１５が検出した複数の眼５の位置に基づいて、現在時刻より後の時刻における眼５の位置を予測するように構成されている。本実施形態の眼５の位置も、上記と同様に運転者１３の眼５の瞳孔位置を示す座標情報であってよい。複数の眼５の位置とは、検出された時刻がそれぞれ異なる眼５の位置を含む。予測部３０は、検出時刻と座標情報との組み合わせである予測用データを複数用いて、未来の眼５の位置を予測し、予測位置として出力するように構成されてよい。検出部１５Ａは、眼５の位置を検出すると、座標情報と検出時刻とを予測用データとして、例えば、検出部１５が有する記憶領域、予測部３０が有する記憶領域または記憶部２３に順次記憶してよい。未来の眼５の位置とは、記憶された複数の予測用データに対する未来をいう。

【0056】

予測部３０による眼５の位置の予測方法は、例えば、予測関数を用いる方法であってよい。予測関数は、記憶された複数の予測用データから導き出される関数である。予測関数は、予め実験等によって定められた係数を用いた関数式を、検出部１５Ａが有する記憶領域、予測部３０が有する記憶領域または記憶部２３に記憶してよい。予測関数は、予測部３０が、眼５の位置の予測を行うごとに更新してよい。

【0057】

予測部３０は、予測すべき未来の時刻を予測関数に入力し、入力された時刻における眼５の位置（予測位置）の座標情報を出力する。予測すべき未来の時刻は、次にテンプレートマッチングを実行する時刻であって、例えば、カメラ１１から次のフレームが入力される時刻であってよい。前述のとおり、検出部１５Ａは、テンプレートマッチングにおいて、撮像画像５１の一部の領域を探索範囲としてよい。検出部１５Ａは、予測部３０が予測した眼５の位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている。検出部１５Ａは、撮像画像５１において、予測部３０が出力した予測位置を含む領域を予測領域として設定し、設定した予測領域をテンプレートマッチングにおける探索範囲とする。予測位置を含む予測領域は、撮像画像５１より小さくテンプレート画像５２より大きい領域であって、領域内に予測位置を含んでいればよい。例えば、予測領域の中心座標が、予測位置の座標と一致する領域であってよい。本実施形態のテンプレートマッチングにおける探索範囲の形状および大きさは、例えば、テンプレート画像と相似関係を有していてよい。

【0058】

検出部１５Ａは、このような領域を探索範囲としてテンプレートマッチングを実行する。本実施形態のテンプレートマッチングは、探索範囲が異なる以外は、前述のテンプレートマッチングと同様である。テンプレートマッチングでは、探索範囲である予測領域において、テンプレート画像５２と最も適合する位置を探索する。検出結果は、運転者１３の眼５の瞳孔位置を示す座標情報であってよい。本実施形態の探索範囲となる予測領域は、予測部３０が出力した予測位置を含むので、探索範囲をより小さくしても、探索範囲内に眼５の瞳孔位置が含まれている可能性が高い。探索範囲をより小さくすることによって、テンプレートマッチングに要する演算量は、低減される。演算量の低減によって、検出部１５Ａは、検出結果の出力にかかる演算速度を高速化できる。

【0059】

予測部３０は、検出部１５Ａが検出した複数の眼５の位置に基づいて、さらに、眼５の位置の変化速度を算出するように構成されていてよい。上記のように、座標情報と検出時刻とが予測用データとして記憶されており、複数の予測データを使用すれば、眼５の位置の変化速度が算出できる。例えば、２つの予測用データの差分により、座標情報から眼５の位置の移動距離が算出され、検出時刻から時間が算出されるので、眼５の位置の変化速度が算出できる。また、移動距離は、ｘ軸方向成分とｙ軸方向成分とをそれぞれ算出することができ、眼５の位置の変化速度もｘ軸方向成分とｙ軸方向成分とをそれぞれ算出できる。

【0060】

検出部１５Ａは、予測部３０が算出した変化速度に応じてテンプレートマッチングにおける探索範囲の大きさを変更するように構成されている。予測部３０が算出した変化速度が大きいということは、眼５の位置の移動距離が大きいことが予測される。例えば、算出された変化速度のｘ軸方向成分と変化速度のｙ軸方向成分とを比較したときに、変化速度の成分が大きい方向に眼５の位置の移動距離が大きいことが予測される。本実施形態では、眼５の位置を予測することで、テンプレートマッチングにおける探索範囲を小さく設定することができるが、変化速度の成分が大きい方向においては、眼５の位置が、予測位置からずれることにより、探索範囲から外れるおそれがある。眼５の位置が探索範囲外とならないように、例えば、検出部１５Ａは、予測位置を含む予測領域を、変化速度の成分が大きい方向に広くしてよい。検出部１５Ａは、このように広くした領域を探索範囲としてテンプレートマッチングを実行する。

【0061】

瞳孔位置の予測を含むテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０Ａは、例えば、図９のフロー図に示すテンプレートマッチング処理を実行してよい。検出装置５０Ａは、例えば、３次元投影システム１００Ａの起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶されたテンプレート画像５２を用いる場合、検出装置５０Ａは、３次元投影システム１００Ａの起動時にテンプレートマッチング処理を開始してよい。

【0062】

まず、ステップＢ１１において、検出部１５Ａが、カメラ１１から撮像画像５１を取得する。ステップＢ１２では、検出部１５Ａが、探索範囲を撮像画像５１から切り出す。ステップＢ１２で切り出される探索範囲は、後述のステップＢ１７で決定された探索範囲である。ステップＢ１７が実行されておらず探索範囲が予め決定されていない場合は、テンプレート画像５２が抽出された位置周辺の領域を探索範囲としてよい。ステップＢ１３で、検出部１５Ａは、テンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。検出部１５Ａは、テンプレートマッチングによって、探索範囲内でテンプレート画像５２との適合度が最も高い位置とその適合度とを決定する。ステップＢ１４では、検出部１５Ａが、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＢ１５に進み、閾値未満であれば、ステップＢ１に戻り、新たにカメラ１１から撮像画像５１を取得する。ステップＢ１５で、検出部１５Ａは、探索範囲内でテンプレート画像５２との適合度が最も高い位置の座標と予め特定された相対的な座標位置関係とによって、撮像画像５１における瞳孔位置の座標を決定する。決定された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。３次元投影装置１２では、検出装置５０から取得した瞳孔位置の座標情報を用いて、制御部２４が、表示部２０に表示する視差画像を制御する。

【0063】

ステップＢ１６で、予測部３０は、未来の瞳孔位置を予測し、予測位置として出力する。予測部３０は、例えば、ステップＢ１５で決定された瞳孔位置の座標情報と検出時刻との組み合わせである最新の予測用データと、記憶されている過去の予測用データとに基づいて予測関数を更新する。予測部３０は、更新された予測関数を用いて瞳孔位置を予測し、予測位置を出力する。ステップＢ１７で、検出部１５Ａは、予測部３０から出力された予測位置を含む領域を探索範囲として決定し、ステップＢ１１に戻る。

【0064】

前述のように、運転者１３の顔は、前後に移動することがある。また、運転者１３が首を傾げるなどした場合には、運転者１３の顔が傾くことがある。運転者１３の顔が前後に移動すると、撮像画像５１の運転者１３の顔は、大きくまたは小さく写り、拡大処理または縮小処理した場合と類似する。運転者１３の顔が傾くと、撮像画像の運転者１３の顔は、回転処理した場合と類似する。予測部３０が瞳孔位置を予測したのち、検出部１５Ａが、予測位置と直前の瞳孔位置とを比較する。比較した結果、例えば、眼間距離が変化していれば、検出部１５Ａは、テンプレート画像５２を、眼間距離に応じた変倍率のテンプレート画像５２に更新する。検出部１５Ａは、テンプレート画像５２として、例えば、変倍処理による拡大率の異なる複数のテンプレート画像５２および変倍処理による縮小率の異なる複数のテンプレート画像５２を予め作成しておき、眼間距離に応じたテンプレート画像５２を選択してよい。予測部３０が、左眼の瞳孔位置と右眼の瞳孔位置とをそれぞれ予測することで、検出部１５Ａが、直前の左眼の瞳孔位置と右眼の瞳孔位置との比較によって、眼間距離の変化を検出してよい。

【0065】

また、検出部１５Ａが、予測位置と直前の瞳孔位置とを比較した結果、瞳孔位置が傾いていれば、検出部１５Ａは、テンプレート画像５２を、傾き変化に応じた回転角度のテンプレート画像５２に更新する。検出部１５Ａは、テンプレート画像５２として、例えば、回転処理による回転角度の異なる複数のテンプレート画像５２を予め作成しておき、傾き変化に応じたテンプレート画像５２を選択してよい。予測部３０が、左眼の瞳孔位置と右眼の瞳孔位置とをそれぞれ予測することで、検出部１５Ａが、直前の左眼の瞳孔位置と右眼の瞳孔位置との比較によって、ｙ軸方向の位置変化から傾き変化を検出してよい。運転者１３の顔が傾いた場合、左眼の瞳孔位置と右眼の瞳孔位置とのそれぞれのｙ軸方向の位置（ｙ座標）が、互いに異なる方向に変化する。例えば、左眼の瞳孔のｙ軸方向の位置が上方向に変化し、右眼の瞳孔のｙ軸方向の位置が下方向に変化していれば、傾き変化が生じている。検出部１５Ａは、左眼および右眼のｙ軸方向の位置変化の大きさに基づいて回転角度を算出してよい。

【0066】

テンプレート画像の更新を含むテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０Ａは、例えば、図１０のフロー図に示すテンプレートマッチング処理を実行してよい。ステップＣ１１において、検出部１５Ａが、カメラ１１から撮像画像５１を取得する。ステップＣ１２では、検出部１５Ａが、探索範囲を撮像画像５１から切り出す。ステップＣ１２で切り出される探索範囲は、後述のステップＣ１８で決定された探索範囲である。ステップＣ１８が実行されておらず探索範囲が予め決定されていない場合は、テンプレート画像５２が抽出された位置周辺の領域を探索範囲としてよい。ステップＣ１３で、検出部１５Ａは、更新されたテンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。テンプレート画像５２は、後述のステップＣ１７で更新されたテンプレート画像５２である。検出部１５Ａは、テンプレートマッチングによって、探索範囲内でテンプレート画像５２との適合度が最も高い位置とその適合度とを決定する。ステップＣ１４では、検出部１５Ａが、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＣ１５に進み、閾値未満であれば、ステップＣ１１に戻り、新たにカメラ１１から撮像画像５１を取得する。ステップＣ１５で、検出部１５Ａは、探索範囲内でテンプレート画像５２との適合度が最も高い位置の座標と予め特定された相対的な座標位置関係とによって、撮像画像５１における瞳孔位置の座標を決定する。決定された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。３次元投影装置１２では、検出装置５０から取得した瞳孔位置の座標情報を用いて、制御部２４が、表示部２０に表示する視差画像を制御する。

【0067】

ステップＣ１６で、予測部３０は、未来の瞳孔位置を予測し、予測位置として出力する。ステップＣ１７で、検出部１５Ａは、テンプレート画像５２を更新する。検出部１５Ａは、予測位置と直前の瞳孔位置とを比較し、比較結果に応じて、少なくとも変倍処理または回転処理したテンプレート画像５２に更新する。ステップＣ１８で、検出部１５Ａは、予測部３０から出力された予測位置を含む領域を探索範囲として決定し、ステップＣ１１に戻る。

【0068】

本開示に係る構成は、以上説明した実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0069】

本開示に係る構成を説明する図は、模式的なものである。図面上の寸法比率等は、現実のものと必ずしも一致しない。

【0070】

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１眼は、第２眼と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【0071】

本開示において、ｘ軸、ｙ軸、及びｚ軸は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ軸、ｙ軸、及びｚ軸によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。

【符号の説明】

【0072】

５ 眼（５Ｌ：左眼、５Ｒ：右眼）
１０ 移動体
１１ カメラ
１２ ３次元投影装置
１３ 運転者
１４ 虚像（１４ａ：第１虚像、１４ｂ：第２虚像）
１５，１５Ａ 検出部
１６ アイボックス
１７ ３次元表示装置
１８ 光学素子（１８ａ：第１ミラー、１８ｂ：第２ミラー）
１９ バックライト
２０ 表示部（２０ａ：表示面）
２０１Ｌ 左眼視認領域
２０１Ｒ 右眼視認領域
２１ バリア部（２１ａ：遮光面、２１ｂ：開口領域）
２２ 通信部
２３ 記憶部
２４ 制御部
２５ ウインドシールド
３０ 予測部
５０，５０Ａ 検出装置
１００，１００Ａ ３次元投影システム（画像表示システム）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】