特開 2023-174347 画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023174347

(43)【公開日】2023-12-07

(54)【発明の名称】画像表示装置

(51)【国際特許分類】

   H04N 13/363 20180101AFI20231130BHJP

   B60R 1/24 20220101ALI20231130BHJP

   B60R 1/29 20220101ALI20231130BHJP

   H04N 7/18 20060101ALI20231130BHJP

   H04N 13/239 20180101ALI20231130BHJP

   H04N 13/366 20180101ALI20231130BHJP

【ＦＩ】

H04N13/363

B60R1/24

B60R1/29

H04N7/18 J

H04N13/239

H04N13/366

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022087152

(22)【出願日】2022-05-27

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100180655

【弁理士】

【氏名又は名称】鈴木 俊樹

(72)【発明者】

【氏名】新谷 勇志

(72)【発明者】

【氏名】竹内 凌一

【テーマコード（参考）】

5C054

5C061

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054FC12

5C054FC15

5C054FD02

5C054FE05

5C054FE12

5C054FF03

5C054HA30

5C061AA06

5C061AA23

5C061AB04

5C061AB06

5C061AB08

5C061AB12

5C061AB14

5C061AB18

(57)【要約】

【課題】観察者に遮蔽部が透明化されたように知覚させ、且つ容易に近くへピントを合わせることが可能な画像表示装置が提供される。
【解決手段】画像表示装置（１）は、観察者が搭乗する車両の周囲を撮像し、撮像して得られた車外画像データを出力する車外カメラを含む撮像部と、車外画像データに基づいて、観察者の左眼及び右眼の一方によって見られる、観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、観察者の左眼及び右眼の他方によって見られる、遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、遮蔽部に第１画像及び第２画像からなる視差画像を遮蔽部上に表示する画像表示部と、を備え、画像表示部は、遮蔽部のうち、実在の物体又は車両に関する表示の周囲の領域の少なくとも一部に枠として表示される枠画像を視差画像とともに表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

観察者が搭乗する車両の周囲を撮像し、撮像して得られた車外画像データを出力する車外カメラを含む撮像部と、
前記車外画像データに基づいて、観察者の左眼及び右眼の一方によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼及び右眼の他方によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、
前記遮蔽部に前記第１画像及び前記第２画像からなる視差画像を前記遮蔽部上に表示する画像表示部と、を備え、
前記画像表示部は、前記遮蔽部のうち、実在の物体又は車両に関する表示の周囲の領域の少なくとも一部に枠として表示される枠画像を前記視差画像とともに表示する、画像表示装置。

【請求項2】

前記撮像部は、前記車両の内部を撮像して車内画像データを出力する車内カメラを含み、
前記車内画像データに基づいて認識した、前記実在の物体が存在する領域の周囲の領域の少なくとも一部に前記枠画像を表示する、請求項１に記載の画像表示装置。

【請求項3】

前記車内画像データに基づいて認識した、前記観察者の動作に基づいて、前記枠画像の表示の有無を切替える、請求項２に記載の画像表示装置。

【請求項4】

前記観察者による前記実在の物体を使用する意思が有ると検出した場合に、使用する意思のある前記実在の物体の周囲の領域の少なくとも一部に前記枠画像を表示する、請求項３に記載の画像表示装置。

【請求項5】

前記視差画像と、実在の物体又は前記車両に関する表示と、が前記観察者の視線の先に存在する場合に、前記画像データ処理部は、前記枠画像を表示する、請求項１に記載の画像表示装置。

【請求項6】

前記視差画像は、前記観察者に前記車外画像データに基づく画像を立体的に知覚させ、前記枠画像を立体的に知覚させない、請求項１に記載の画像表示装置。

【請求項7】

前記視差画像は、前記観察者に車外画像データに基づく画像を立体的に知覚させ、
前記画像表示部は、前記実在の物体又は観察者に立体的に知覚させない前記車両に関する表示の周囲の領域に、立体的に知覚させない前記枠画像を表示させる、請求項１に記載の画像表示装置。

【請求項8】

前記第２画像は前記第１画像に対して視差を有する車外画像データに基づく画像を含み、
前記枠画像は、前記第１画像及び前記第２画像に含まれる視差を有さない画像から生成される、請求項６又は請求項７に記載の画像表示装置。

【請求項9】

前記遮蔽部がダッシュボードである、請求項１から７のいずれか一項に記載の画像表示装置。

【請求項10】

前記枠は単色である、請求項１から７のいずれか一項に記載の画像表示装置。

【請求項11】

前記枠の色は、前記第１画像及び前記第２画像に対して高いコントラストを有するように選択される、請求項１から７のいずれか一項に記載の画像表示装置。

【請求項12】

前記実在の物体が計器である、請求項１から７のいずれか一項に記載の画像表示装置。

【請求項13】

前記車両に関する表示が前記車両のサイズを示す車体像である、請求項１から７のいずれか一項に記載の画像表示装置。

【請求項14】

前記画像表示部は、
前記遮蔽部に設けられた、再帰反射性スクリーンと、
前記第１画像を、前記再帰反射性スクリーンに投射する第１投射部と、
前記第２画像を、前記再帰反射性スクリーンに投射する第２投射部と、を含む、請求項１から７のいずれか一項に記載の画像表示装置。

【請求項15】

前記画像表示部は、
前記再帰反射性スクリーンに近接して設けられた拡散板を、さらに含む、請求項１４に記載の画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は画像表示装置に関する。本開示は、特に車両周囲の撮像画像を遮蔽部に表示することによって、車外の景色が繋がったように運転者に知覚させることができる画像表示装置に関する。

【背景技術】

【0002】

従来、ウィンドシールド等の表示領域に物標を表示させる車両用の情報表示装置が知られている（例えば、特許文献１参照）。さらに再帰性投影技術を活用して、あたかも物体が透けて見えるように画像を観察者に知覚させることができる透明化技術が知られている。この透明化技術では、例えば車両の外部に設けたカメラの撮像画像に基づいて、観察者の左眼及び右眼のそれぞれが知覚する左眼画像及び右眼画像がコンピュータによって作成される。左眼画像及び右眼画像が例えば車両のピラー、ダッシュボード等の視線を遮る遮蔽部に投射され、観察者である運転者は車外の景色を撮像した画像を立体画像として知覚し、死角となる部分が透けて外界の景色とつながったように知覚する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１２８２０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、ダッシュボード等に投射される景色の画像を外界の景色とつながったように正しく知覚するためには、観察者のピントが景色にあっていること、すなわち遠方を見るようになっていることが必要である。しかし、例えば観察者が運転者であるような場合に、走行中にダッシュボードのスピードメータ等を見ることがある。スピードメータ等を見る場合に、観察者は車内の構造物自体にピントを合わせる必要があるが、遠方から近くにピントを調整することが難しい場合がある。

【0005】

かかる点に鑑みてなされた本開示の目的は、観察者に遮蔽部が透明化されたように知覚させ、且つ容易に近くへピントを合わせることが可能な画像表示装置を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る画像表示装置は、
観察者が搭乗する車両の周囲を撮像し、撮像して得られた車外画像データを出力する車外カメラを含む撮像部と、
前記車外画像データに基づいて、観察者の左眼及び右眼の一方によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼及び右眼の他方によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、
前記遮蔽部に前記第１画像及び前記第２画像からなる視差画像を前記遮蔽部上に表示する画像表示部と、を備え、
前記画像表示部は、前記遮蔽部のうち、実在の物体又は車両に関する表示の周囲の領域の少なくとも一部に枠として表示される枠画像を前記視差画像とともに表示する。

【発明の効果】

【0007】

本開示の実施形態によれば、観察者に遮蔽部が透明化されたように知覚させ、且つ容易に近くへピントを合わせることが可能な画像表示装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本開示の一実施形態に係る画像表示装置の一例を模式的に示す平面図である。

【図2】図２は、スクリーン及び拡散板の構成を示す一部の拡大断面図である。

【図3】図３は、画像表示装置を装備した車両を模式的に示す平面図である。

【図4】図４は、画像表示装置を装備した車両を模式的に示す側面図である。

【図5】図５は、画像表示装置の構成を示すブロック図である。

【図6】図６は、制御部の動作を説明するためのフローチャートである。

【図7】図７は、ダッシュボードが透明化される状態を示す図である。

【図8】図８は、枠画像の一例を示す図である。

【図9】図９は、枠画像の一例を示す図である。

【図10】図１０は、枠画像の一例を示す図である。

【図11】図１１は、枠画像の一例を示す図である。

【図12】図１２は、枠画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本開示の実施形態に係る画像表示装置が説明される。各図中、同一又は相当する部分には、同一符号が付されている。以下の実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0010】

図１は、本実施形態に係る画像表示装置１を模式的に示す平面図である。図２は、画像表示装置１に備えられる再帰反射性スクリーン１１及び拡散板１６の構成を示す一部の拡大断面図である。図３は、画像表示装置１を搭載する車両２を模式的に示す平面図である。図４は、画像表示装置１を搭載する車両２を模式的に示す側面図である。

【0011】

画像表示装置１は、撮像部と、第１画像処理部８及び第２画像処理部９を含む画像データ処理装置３３（図５参照）と、画像表示部と、を備える。また、画像表示装置１は検出部を備えてよい。画像データ処理装置３３は画像データ処理部と称されることがある。

【0012】

撮像部は、観察者及び観察者の周囲を撮像し、撮像して得られた画像データを出力する。本実施形態において、撮像部は、前部車外カメラ３ａ及び後部車外カメラ３ｂと、車内カメラ６と、を含んで構成される。前部車外カメラ３ａ及び後部車外カメラ３ｂは観察者が搭乗する車両２の周囲の景色を撮像する。以下において、前部車外カメラ３ａ及び後部車外カメラ３ｂを含む車外カメラが、観察者が搭乗する車両２の周囲を撮像して得られた画像データを車外画像データと称することがある。車内カメラ６は運転者５を撮像する。車内カメラ６は、ダッシュボードを含む車内の物体を撮影してよい。車内カメラ６の画像データは、例えば車両２の運転席４に着座した観察者である運転者５の左眼ＥＬ及び右眼ＥＲの位置を検出し、左眼ＥＬ及び右眼ＥＲの位置及び瞳の位置から運転者５の視線を検出することに用いられる。以下において、車内カメラ６が、車両２の内部を撮像して得られた画像データを車内画像データと称することがある。ここで、撮像部は、前部車外カメラ３ａ及び後部車外カメラ３ｂのうち、一方のみを含んでよい。

【0013】

画像データ処理部の第１画像処理部８は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの一方によって見られる、遮蔽部７に対応する範囲の第１画像を生成する。ここで、遮蔽部７は、観察者の視線を遮る物体であって、左眼ＥＬ及び右眼ＥＲから車外を見たときに観察者の視界を遮る物体である。例えば、右眼ＥＲによって見られる、遮蔽部７に対応する範囲の画像が第１画像とされてよい。

【0014】

画像データ処理部の第２画像処理部９は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの他方によって見られる、遮蔽部７に対応する範囲の第２画像を生成する。例えば、左眼ＬＲによって見られる、遮蔽部７に対応する範囲の画像が第２画像とされてよい。第２画像は、第１画像に対して視差を有する画像を含む。従って、第１画像と第２画像に含まれる同一の物体であっても、当該物体を見る視点が異なっているため、画像中における当該物体の位置及び形状は視差に応じて異なっている。ここで、左眼ＥＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば左眼ＥＬによって視認しうる範囲を指す。同様に、右眼ＲＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば右眼ＲＬによって視認しうる範囲を指す。

【0015】

画像表示部は、遮蔽部７に第１画像及び第２画像が混合された画像を表示する。本実施形態において、画像表示部は、表示装置１０を含んで構成される。ここで、車両２における遮蔽部７としては、ダッシュボード（インストルメントパネル）、ドア、ピラー、バックシート２３等を列挙することができる。遮蔽部７に車外カメラ３で撮像され、画像処理された画像が映し出されることによって、観察者である運転者５は、画像が車外の景色とつながっているとの知覚を得ることができる。

【0016】

検出部は、観察者が撮影された画像データに基づいて、観察者の視線などを検出できる。観察者が撮影された画像データは例えば車内カメラ６から出力される。

【0017】

図１及び図２に示すように、表示装置１０は、再帰反射性スクリーン１１と、再帰反射性スクリーン１１に近接して設けられる拡散板１６と、を含んで構成される。拡散板１６は再帰反射性スクリーン１１の観察者に臨む側の表面に貼り付けられて積層されてよい。表示装置１０は、ダッシュボードに設けられたダッシュボード表示装置１０ａと、右サイドピラーに設けられた右サイドピラー表示装置１０ｂと、左サイドピラーに設けられた左サイドピラー表示装置１０ｃと、後部座席２２のバックシート２３の設けられたバックシート表示装置１０ｄとを含んでよい。

【0018】

また、表示装置１０は、投射部として、第１画像を再帰反射性スクリーン１１に投射する第１投射部と、第２画像を再帰反射性スクリーン１１に投射する第２投射部を含んで構成される。例えば右サイドピラーに貼付けられた右サイドピラー表示装置１０ｂの投射部（右サイドピラー投射部１２）は、第１画像を投射する第１投射部１２Ｒ及び第２画像を投射する第２投射部１２Ｌを含んで構成される。ここで、表示装置１０ａ、１０ｂ、１０ｃ、１０ｄは可撓性を有し、各遮蔽部７の起伏に応じて柔軟に湾曲させた状態で、接着剤等によって各遮蔽部７に接合されている。各投射部は同じ構成であるので、右サイドピラー投射部１２を例に詳細に説明する。

【0019】

第１投射部１２Ｒは、第１画像を表示する液晶表示装置１３Ｒと、液晶表示装置１３Ｒから出射された第１画像の画像光を再帰反射性スクリーン１１に投影する第１投射レンズ１４Ｒとを有してよい。第２投射部１２Ｌは、第２画像を表示する液晶表示装置１３Ｌと、液晶表示装置１３Ｌから出射された第２画像の画像光を再帰反射性スクリーン１１に投影する第２投射レンズ１４Ｌとを有してよい。各液晶表示装置１３Ｒ、１３Ｌは、透過型液晶表示素子と、液晶表示素子の背面に光を出射するバックライト装置とを備えてよい。ここで、液晶表示装置に代えてＬＥＤ発光表示装置が用いられてよい。各投射レンズ１４Ｒ、１４Ｌは、第１画像及び第２画像が互いに視差をもたせて再帰反射性スクリーン１１上に結像されるように、それぞれ複数のレンズの組合わせによって構成されてよい。ここで、観察者として運転者５を例示したが、助手席に座っている同乗者が観察者であってよい。第１投射部１２Ｒは、その射出瞳が観察者の右眼ＥＲと同じ高さかつ右眼ＥＲの近傍となるように、例えばヘッドレストの右側に配置されてよい。第２投射部１２Ｌも同様に、その射出瞳が観察者の左眼ＥＬと同じ高さかつ左眼ＥＬの近傍となるように、例えばヘッドレストの左側に配置されてよい。

【0020】

バックシート投射部２４及びダッシュボード投射部２５もまた、右サイドピラー投射部１２と同様に構成され、バックシート投射部２４はバックシート表示装置１０ｄにバックシート２３によって遮蔽される範囲に対応する画像を投射する。またダッシュボード投射部２５はダッシュボード表示装置１０ａにダッシュボードによって遮蔽される範囲に対応する画像を投射する。

【0021】

ダッシュボード投射部２５は、例えば車両２の天井の中央部に取り付けられてよい。バックシート投射部２４は、例えば運転席４の背もたれシートの上部に取付けられてよい。

【0022】

再帰反射性スクリーン１１は、再帰反射性を有し、入射した光を入射方向に反射する。第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌから出射された第１画像の画像光及び第２画像の画像光は、再帰反射性スクリーン１１によって、第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌに向けて反射される。そのため、再帰反射性スクリーン１１上で重なっている（混合された）第１画像の画像光と第２画像の画像光は、観察者の位置において分離して知覚される。また、本実施形態において、再帰反射性スクリーン１１の観察者側の表面には拡散板１６が配置される。拡散板１６は、再帰反射性スクリーン１１で反射した光を、観察者の両眼に向けさせる拡散能力を有する。例えば、観察者の上方にダッシュボード投射部２５がある場合に、拡散能が上下方向に大きく、左右方向に小さい拡散板１６がダッシュボード表示装置１０ａで用いられてよい。ここで、右眼ＥＲ用の画像が左眼ＥＬに入るといった画像の混同をなるべく抑制して、観察者に明瞭な立体画像を知覚させるために、左右方向の拡散能は上下方向の拡散能よりも小さいことが好ましい。拡散板１６は、例えば再帰反射性スクリーン１１の反射面上に接合されたホログラフィック光学素子であってよい。

【0023】

図２に示すように、再帰反射性スクリーン１１は、直径が例えば２０μｍ以上１００μｍ以下の微小な複数のガラスビーズ１１ａを反射膜１１ｂに配置した構成であってよい。再帰反射性スクリーン１１に投射された画像光は、ガラスビーズ１１ａに入射し、ガラスビーズ１１ａの表面で屈折して反射膜１１ｂ側の背面に達し、反射膜１１ｂによって反射される。反射膜１１ｂによって反射された光は、ガラスビーズ１１ａの背面で再び屈折し、ガラスビーズ１１ａの表面に達し、ガラスビーズ１１ａの直径以下の微小距離だけ入射光の入射経路から離間して、入射光と平行な光路を進むため、再帰反射が実現される。

【0024】

上記のように、再帰反射性スクリーン１１上で重なっている右眼ＥＲ用の第１画像の画像光と左眼ＥＬ用の第２画像の画像光は、観察者の位置で分離されており、右眼ＥＲ及び左眼ＥＬに個別に入射する。第１画像及び第２画像は、観察者の視差を反映させた画像である。そのため、運転者５は、第１画像の画像光と第２画像の画像光との混合画像から立体的な像を知覚することができる。観察者の視差を反映させた第１画像の画像光と第２画像の画像光との混合画像を視差画像という。

【0025】

ここで、フロントガラス及び後部ウインドガラスから見える車外の景色と、遮蔽部７に表示される画像とがつながったように知覚させるために、車体を基準とする座標系を用いて再帰性投影に関する計算が実行されてよい。例えば車長方向をＸ軸、車幅方向をＹ軸、車高方向をＺ軸とする座標系が用いられて、運転者５の左眼ＥＬと右眼ＥＲの位置などがこの座標系における座標として定められてよい。車体を基準とする座標系において、運転者５の両眼の位置が定められて、再帰性投影に関する計算が実行されることによって、車外の景色と遮蔽部７に表示される画像とに連続性を持たせることができる。また、運転者５の両眼位置を検出することによって、運転者５の体形及び姿勢の相違に対しても柔軟に追従して画像を表示することができる。

【0026】

また、車両２の前部に設置される前部車外カメラ３ａと後部に設置される後部車外カメラ３ｂは、魚眼レンズを取り付けたカメラであってよい。魚眼レンズを用いることによって、車外の景色を立体角で広範囲にわたって撮像することができる。ここで、車外カメラ３の数は限定されず、例えば１台であってよいし、３台以上であってよい。また、車外の撮像が可能であれば、車外カメラ３の設置場所は限定されない。つまり、車外カメラ３は、車外に設置されていてよいし、車内に設置されていてよい。また、車内カメラ６は、例えばルームミラーに隣接する位置など、運転者５を撮像できる位置に設置される。車外カメラ３及び車内カメラ６は、例えばＣＣＤカメラであってよいが、特定の種類のカメラに限定されない。ここで、車内カメラ６、視線認識装置３１及び車内カメラ制御装置３７を含んで、検出部が構成される。

【0027】

図５は、画像表示装置１の構成を示すブロック図である。前部車外カメラ３ａ及び後部車外カメラ３ｂによって撮像された画像の画像データは、車外カメラ制御装置３５に送られる。車外カメラ制御装置３５は、画像表示装置１の一部を構成する。車外カメラ制御装置３５は、画像データに対して必要な信号処理（一例としてアナログ－デジタル変換）を実行して、画像データ処理装置３３に出力する。

【0028】

また、本実施形態において、画像表示装置１は運転者５の着席の有無を検出する着座センサ３６を備える。着座センサ３６は運転席４に設けられる。着座センサ３６は、公知の荷重センサ又はリミットスイッチによって構成されてよい。

【0029】

運転席４に運転者５が着座すると、運転席４に設置してある着座センサ３６によって運転者５の着席が検出される。着座センサ３６の検出結果が視線認識装置３１に送られて、検出部は運転者５の両眼位置などの計測を開始する。視線認識装置３１は、車内カメラ６の撮影画像から運転者５の左眼ＥＬ及び右眼ＥＲの位置及び瞳位置を画像認識処理によって抽出し、運転者５の視線を計算する。視線の計算は公知の手法が用いられてよい。視線認識装置３１は、眼球を球体と扱って、基準位置からの瞳の位置のずれ（眼球角度）を用いて視線を計算してよい。視線認識装置３１の計算結果は画像データ処理装置３３に出力される。画像データ処理装置３３は遮蔽部７が透明化されたように知覚させるための画像処理（透明化処理）を実行し、画像処理の結果に基づいて表示制御装置３９が表示装置１０を制御する。また、本実施形態において、視線認識装置３１は、観察者である運転者５の視線だけでなく動作を検知することができる。視線認識装置３１は、車内カメラ６の撮影画像から運転者５の手などを認識して、運転者５がダッシュボードに手を伸ばしているといった動作を検知してよい。ここで、視線認識装置３１は例えばディープラーニングなどを用いた公知の物体認識技術によって、運転者５の体の一部を認識してよい。また、例えばダッシュボードなどに近接センサが設けられて、近接センサによって運転者５がダッシュボードに手を伸ばしているといった動作が検知されてよい。つまり、検出部は、さらに近接センサを含んで構成されてよい。

【0030】

また、画像表示装置１において、車外カメラ制御装置３５、画像データ処理装置３３、車内カメラ制御装置３７、視線認識装置３１及び表示制御装置３９を含んで、制御部５０が構成される。制御部５０は、画像表示装置１を制御する。制御部５０は、ハードウェア資源として例えば電子制御装置（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ；ＥＣＵ）等のプロセッサと、ソフトウェア資源としてコンピュータよって読み取り可能なプログラムとによって実現される。制御部５０は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部５０は、１個又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってよい。制御部５０は、記憶部を備え、記憶部に各種情報又は画像表示装置１の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。

【0031】

ここで、ダッシュボード等に投射される景色の画像を外界の景色とつながったように正しく知覚するためには、観察者のピントが景色にあっていること、すなわち遠方を見るようになっていることが必要である。しかし、例えば観察者が運転者５であるような場合に、走行中にダッシュボードのスピードメータ等を見ることがある。また、運転者５はハンドル又はナビゲーションシステム等を見ることがある。つまり、運転者５にとって、ピント位置の異なる映像及び物体が混在することがあり、それぞれにピントを合わせること（特に遠くから近くにピントを直ちに戻すこと）が難しい場合がある。言い換えれば、運転者５にとってダッシュボード等に投射される景色の画像を見ている状態で、ダッシュボードのスピードメータ等を知覚するのが難しい場合がある。

【0032】

本実施形態に係る画像表示装置１では、例えば車外の景色の視差画像と、実在の物体又は車両２に関する表示が行われる遮蔽部７の領域と、が共に観察者の視線の先に存在する場合に、枠画像を生成し、画像表示部が遮蔽部７に枠画像を表示する。枠画像は実在の物体又は車両２に関する表示が行われる領域の周囲の領域、又はこれらの境界の少なくとも一部に枠として表示されてよい。枠画像は、車両２に関する表示と共に表示してよいし、車両２に関する表示を行う予定の領域の周辺に表示してよい。第１画像と第２画像に枠を表す画像が含まれることで、観察者は視差画像に含まれる枠画像を知覚することができる。ここで、第１画像と第２画像に含まれる枠を表す画像は、視差を有さない形態としてよい。言い換えれば、枠画像は視差画像として表示されなくてよい。この場合、観察者が立体的に知覚する車外の景色の視差画像の中において、枠画像は立体的に知覚されない。例えば、第１画像と第２画像に含まれる、枠を表す画像は視差を有さないものとしてよい。第１画像と第２画像において、枠を表す画像の表示位置及び形状を同一することで、枠画像は立体的に知覚されない形態で表示される。車両２に関する表示を視差画像として表示する場合には、これを囲う枠画像も視差画像として表示してよい。車両２に関する表示を視差画像として表示しない場合、実在の物体を枠画像で囲う場合には、枠画像は視差画像で表示しなくてよい。枠画像が表示されることにより、いわゆる額縁効果が発生し、囲まれた部分が強調されるため、囲まれた部分（実在の物体又は車両２に関する表示）にピントを合わせやすくなる。立体的に知覚される視差画像の中で、枠画像が立体的に知覚されないようにすることで、観察者は枠画像で囲まれた部分に、よりピントを合わせやすくなる。つまり、本実施形態に係る画像表示装置１は、車外の遠方にピントが合った観察者に遮蔽部７が透明化されたように知覚させる一方、近くへピントを合わせることを容易にすることが可能である。また、ピントを合わせることが容易になることによって、運転者５は素早くスピードメータ等を見ることができるため、運転の快適性の向上を支援することができる。ここで、視差画像は第１画像及び第２画像が混合された画像であって、観察者に遮蔽部７が透明化されたように知覚させるための画像である。また、実在の物体及び車両２に関する表示は、観察者がピントを遮蔽部７に合わせることによって明確に見ることができる物体及び表示であって、具体例について後述する。画像表示装置１が枠画像を表示する遮蔽部７は、特に限定されないが、以下においてダッシュボードであるとして説明する。

【0033】

図６は、制御部５０の動作を説明するためのフローチャートである。運転者５が運転席４に着座し、スタートボタン等によって車両２の運転を開始すると、運転者５が運転席４に着座したことが着座センサ３６によって検出される。そして、運転中に、車外カメラ制御装置３５が各車外カメラ３ａ、３ｂを作動させて、車両２の周囲を撮像する（ステップＳ１）。

【0034】

車内カメラ制御装置３７が視線認識装置３１及び車内カメラ６を作動させて、車内カメラ６による撮像が開始される。視線認識装置３１は、車内カメラ６によって撮像された画像に基づいて、運転者５の視線及び動作を検出する（ステップＳ２）。

【0035】

観察者に遮蔽部７が透明化されたように知覚させるため、視差画像を遮蔽部７に表示する場合に（ステップＳ３のＹＥＳ）、画像データ処理装置３３は、遮蔽部７に投射する画像を、車外カメラ３によって撮像された画像から切り出し、第１画像及び第２画像を生成する（ステップＳ４）。視差画像を遮蔽部７に表示するか否かは、運転者５によって設定されてよいし、車両２の走行状態に応じて自動的に決定されてよい。

【0036】

視差画像を遮蔽部７に表示しない場合に（ステップＳ３のＮＯ）、又は、ステップＳ４の後に、車両２の周囲の景色及び視差画像の少なくとも一方と、実在の物体又は車両２に関する表示が、観察者の視線の先に存在するかについて判定される（ステップＳ５）。実在の物体は、例えば運転者５によって走行中に見られるものであって、具体例としてダッシュボードに取り付けられたスピードメータ、タコメータなどの計器５１（図７参照）、ナビゲーションシステム５２（図１１参照）などの車載機器、ハンドル５３（図１１参照）などを含む。また、車両２に関する表示は、例えば車両２のサイズを示す車体像などの運転支援のための表示を含む。例えば制御部５０は、検出部によって運転者５の視線が進行方向前方にあると検出された場合に、ダッシュボードの計器５１などが景色とともに見られる状態にある、すなわち「実在の物体又は車両２に関する表示が、観察者の視線の先に存在する」と判定してよい。また、例えば制御部５０は、検出部によって運転者５が手をダッシュボードに伸ばす動作があると検出された場合にも、「実在の物体及び車両２に関する表示が、観察者の視線の先に存在する」と判定してよい。また、例えば制御部５０は、検出部によって運転者５の視線がバックシート２３にあると検出された場合に、「実在の物体又は車両２に関する表示が、観察者の視線の先に存在しない」と判定してよい。

【0037】

「実在の物体及び車両２に関する表示が、観察者の視線の先に存在する」と判定された場合に（ステップＳ５のＹＥＳ）、画像データ処理装置３３は枠画像を生成し（ステップＳ６）、処理がステップＳ７に進む。また、「実在の物体及び車両２に関する表示が、観察者の視線の先に存在しない」と判定された場合に（ステップＳ５のＮＯ）、画像データ処理装置３３は枠画像を生成せず、処理がステップＳ７に進む。上記のように、枠画像は、観察者から見て、実在の物体又は車両２に関する表示の境界の少なくとも一部に枠として表示される画像である。枠画像の枠は単色であってよい。枠の色は、特定の色に限定されないが、額縁効果が生じるように周囲に対してコントラストの高い色であることが好ましい。例えば枠の色は、第１画像及び第２画像に対して高いコントラストを有するように、画像データ処理装置３３によって選択されてよい。また、枠画像の枠の色は、周囲の明るさ、天候などに応じて変更されてよい。

【0038】

画像表示部は、遮蔽部７に生成された画像を表示する（ステップＳ７）。画像データ処理装置３３によって枠画像が生成された場合に、画像表示部が枠画像を遮蔽部７に表示し、観察者は枠によって強調されたダッシュボード又は計器５１などを見ることができる。以下に図面を参照しながら、いくつかの表示例が説明される。

【0039】

図７は、遮蔽部７であるダッシュボード５５が透明化される状態を示す図である。透明化処理が実行されると、計器５１などを有するダッシュボード５５の部分について、図７の左図から右図のように変化する。つまり、ダッシュボード表示装置１０ａに第１画像及び第２画像が混合された視差画像が表示されて、運転者５は、ダッシュボード５５の部分がフロントガラス４２から見える景色とつながったように知覚する。ただし、運転者５が計器５１などを確認する場合など、運転状況に応じて、図７の右図から左図のように戻ってダッシュボード５５が表示されることがある。本実施形態に係る画像表示装置１は、例えば図８に示すように、遮蔽部７であるダッシュボード５５の外枠を囲むように、枠画像６０を生成して表示する。枠画像６０が表示されて額縁効果が生じることによって、それまで遠方の景色にピントを合わせていた運転者５は、素早くダッシュボード５５にピントを合わせ、計器５１などを確認することができる。ここで、枠画像６０は、実在の物体又は車両２に関する表示の少なくとも一部を囲めばよく、全体を囲むものに限定されない。また、枠画像６０は、連続する線で描かれなくてよい。例えば枠画像６０は、一部に隙間がある線で描かれてよいし、破線で示されてよい。

【0040】

画像表示装置１は、例えば図９のように、計器５１の外枠を囲むように、枠画像６０を生成して表示してよい。複数の計器５１がある場合に、それぞれに対して枠画像６０が表示されてよいし、一部の計器５１に対して枠画像６０が表示されてよい。

【0041】

また、図１０のように、例えばダッシュボード上の領域のうち、計器５１が存在する部分については視差画像を表示させないことによって、計器５１を透過させて（計器５１を観察者が見えるようにして）、ダッシュボード５５を透明化することが可能である。画像表示装置１は、透過させた計器５１の外枠を囲むように、枠画像６０を生成して表示してよい。

【0042】

また、図１１のように、透明化されるダッシュボード５５に含まれない実在の物体であるナビゲーションシステム５２及びハンドル５３などについて枠画像６０が生成されてよい。運転者５がナビゲーションシステム５２又はハンドル５３を見る場合に素早くピントを調整できるとともに、透明化による景色の画像の中にナビゲーションシステム５２及びハンドル５３が浮遊しているように見える違和感を低減することができる。

【0043】

また、制御部５０は、車内カメラ６で撮影した画像から、透明化されるダッシュボード５５上に置かれた実在の物体（財布、ドリンク等）の位置を認識し、当該実在の物体が存在する領域については、視差画像を表示させないようにしてよい。若しくは、当該実在の物体が存在する領域の周囲に枠画像６０を表示してよい。

【0044】

また、図１２のように、運転者５の運転支援のために車両２のサイズを示す車体像が表示される場合に、車体像について枠画像６０が生成されてよい。運転者５は、車体像に素早くピントを合わせることができるため、運転の快適性が向上する。

【0045】

以上のように、本実施形態に係る画像表示装置１は、上記の構成によって、観察者に遮蔽部が透明化されたように知覚させ、且つ容易に近くへピントを合わせることが可能である。

【0046】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各工程などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又は工程などを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【0047】

例えば図１０のような遮蔽部７に含まれる装置又は装備の透過、又は枠画像６０の表示の有無を切替えることは、観察者の動作に基づいて実行されてよい。例えばダッシュボード５５にドリンクホルダー等の実在の物体が備えられており、検出部が観察者のドリンクホルダーを使用する動作を検出した場合に、当該ドリンクホルダーが存在する領域については、視差画像を表示させないようにしてよい。視差画像が表示されないことで、それまで透明化によって視認しづらかったドリンクホルダーが明瞭に見えるように変化する。そして、ドリンクホルダーの周囲の領域に対して枠画像６０が表示されてよい。検出部は、車内カメラ６が撮像する車内画像データに基づいて観察者の動作を検出してよい。例えば、観察者がドリンクホルダーに手を伸ばす動作をした場合、ドリンクホルダーと観察者の手との距離が所定以内となった場合に、ドリンクホルダーを使用する意思が有る動作であると検出してよい。観察者が、ドリンクを手に把持している場合に、ドリンクホルダーを使用する動作であると検出してよい。検出部が、観察者がドリンクホルダーを使用する意思がない動作を検出した場合に、当該ドリンクホルダーが存在する領域について、視差画像を表示させてよい。例えば、観察者がドリンクホルダーから手を放す動作をした場合、ドリンクホルダーと観察者の手との距離が所定以上となった場合に、ドリンクホルダーを使用する意思がないと検出してよい。車内にドリンクが存在してない場合に、ドリンクホルダーを使用する意思がないと検出してよい。

【符号の説明】

【0048】

１ 画像表示装置
２ 車両
３ 車外カメラ
４ 運転席
５ 運転者
６ 車内カメラ
７ 遮蔽部
８ 第１画像処理部
９ 第２画像処理部
１０ 表示装置
１１ 再帰反射性スクリーン
１１ａ ガラスビーズ
１１ｂ 反射膜
１２ 投射部
１２Ｌ 第２投射部
１２Ｒ 第１投射部
１３Ｌ、１３Ｒ 液晶表示装置
１４Ｌ 第２投射レンズ
１４Ｒ 第１投射レンズ
１６ 拡散板
２２ 後部座席
２３ バックシート
２４ バックシート投射部
２５ ダッシュボード投射部
３１ 視線認識装置
３３ 画像データ処理装置
３５ 車外カメラ制御装置
３６ 着座センサ
３７ 車内カメラ制御装置
３９ 表示制御装置
４２ フロントガラス
４６ 右ウインドガラス
５０ 制御部
５１ 計器
５２ ナビゲーションシステム
５３ ハンドル
５５ ダッシュボード
６０ 枠画像
ＥＬ 左眼
ＥＲ 右眼

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】