特開 2023-174349 画像表示装置、車両及び画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023174349

(43)【公開日】2023-12-07

(54)【発明の名称】画像表示装置、車両及び画像表示方法

(51)【国際特許分類】

   B60R 11/02 20060101AFI20231130BHJP

   B60R 1/27 20220101ALI20231130BHJP

   H04N 7/18 20060101ALI20231130BHJP

【ＦＩ】

B60R11/02 C

B60R1/27

H04N7/18 J

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022087154

(22)【出願日】2022-05-27

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100180655

【弁理士】

【氏名又は名称】鈴木 俊樹

(72)【発明者】

【氏名】新谷 勇志

(72)【発明者】

【氏名】竹内 凌一

【テーマコード（参考）】

3D020

5C054

【Ｆターム（参考）】

3D020BA04

3D020BA20

3D020BC02

3D020BC13

3D020BE03

5C054CE00

5C054FA07

5C054FC12

5C054HA30

(57)【要約】

【課題】クロストークの発生を低減しつつ遮蔽部が透明化されたように知覚させることが可能な画像表示装置、車両及び画像表示方法が提供される。
【解決手段】画像表示装置（１）は、観察者及び観察者の周囲を撮像し、撮像して得られた画像データを出力する撮像部と、画像データに基づいて、観察者の右眼によって見られる、観察者の視界を遮る遮蔽部に対応する範囲の第１画像を生成する第１画像処理部と、画像データに基づいて、観察者の左眼によって見られる、遮蔽部に対応する範囲の第２画像を生成する第２画像処理部と、観察者を撮影した画像データに基づいて、観察者の顔の向き又は視線方向を検出する視線検出部と、遮蔽部に対する観察者の顔の向き又は視線方向の関係に基づいて決定した第１画像又は第２画像のいずれかと、単色の均一画像とを遮蔽部に表示する画像表示部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

観察者及び前記観察者の周囲を撮像し、撮像して得られた画像データを出力する撮像部と、
前記画像データに基づいて、前記観察者の右眼によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像を生成する第１画像処理部と、
前記画像データに基づいて、前記観察者の左眼によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する第２画像処理部と、
前記観察者を撮影した画像データに基づいて、前記観察者の顔の向き又は視線方向を検出する視線検出部と、
前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて決定した前記第１画像又は前記第２画像のいずれかと、単色の均一画像とを前記遮蔽部に表示する画像表示部とを備える、画像表示装置。

【請求項2】

前記画像表示部は、前記第１画像が前記観察者の右眼によって知覚されるように表示し、前記第２画像が前記観察者の左眼によって知覚されるように表示し、前記単色の均一画像を前記第１画像又は前記第２画像に代えて前記観察者に知覚させるように表示する、請求項１に記載の画像表示装置。

【請求項3】

前記画像表示部は、検出された前記観察者の顔の向きが前記遮蔽部の表示面において法線軸に対して右側にある場合に、前記第１画像を画像表示部に表示させ、前記第２画像に代えて前記単色の均一画像を画像表示部に表示させる、請求項１に記載の画像表示装置。

【請求項4】

前記画像表示部は、検出された前記観察者の視線が前記遮蔽部の表示面において法線軸に対して右側にある場合に、前記第１画像を画像表示部に表示させ、前記第２画像に代えて前記単色の均一画像を画像表示部に表示させる、請求項１に記載の画像表示装置。

【請求項5】

車両に搭載され、前記遮蔽部がピラーである、請求項１から４のいずれか一項に記載の画像表示装置。

【請求項6】

前記画像表示部は、
前記遮蔽部に設けられた、再帰反射性スクリーンと、
前記観察者の右眼が知覚するように画像を前記再帰反射性スクリーンに投射する第１投射部と、
前記観察者の左眼が知覚するように画像を前記再帰反射性スクリーンに投射する第２投射部と、を含み、
前記第１投射部に前記第１画像を投射させ、且つ前記第２投射部に前記単色の均一画像を投射させる、又は、前記第１投射部に前記単色の均一画像を投射させ、且つ前記第２投射部に前記第２画像を投射させる、請求項１から４のいずれか一項に記載の画像表示装置。

【請求項7】

前記画像表示部は、
前記再帰反射性スクリーンに近接して設けられた拡散板を、さらに含む、請求項６に記載の画像表示装置。

【請求項8】

前記第２画像が白又はグレーの無彩色で表示される、請求項１から４のいずれか一項に記載の画像表示装置。

【請求項9】

観察者の右眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第２画像を生成する画像データ処理装置と、
前記観察者の顔の向き又は視線方向を検出する視線検出部と、
前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて、前記第１画像を前記観察者の右眼で知覚させ、単色の均一画像を前記観察者の左眼で知覚させる、又は前記第２画像を前記観察者の左眼で知覚させ、前記単色の均一画像を前記観察者の右眼で知覚させる、画像表示部と、を有する、画像表示装置。

【請求項10】

請求項１に記載の画像表示装置を有する、車両。

【請求項11】

観察者の右眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像を前記観察者の右眼で知覚させ、
前記観察者の左眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第２画像を前記観察者の左眼で知覚させ、
前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて決定した前記第１画像又は前記第２画像のいずれかを前記観察者の右眼又は左眼のいずれか一方に知覚させ、単色の均一画像を前記観察者の右眼又は左眼の他方に知覚させる、画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は画像表示装置、車両及び画像表示方法に関する。本開示は、特に車両周囲の撮像画像を遮蔽部に表示することによって、車外の景色が繋がったように運転者に知覚させることができる画像表示装置、車両及び画像表示方法に関する。

【背景技術】

【0002】

従来、再帰性投影技術を活用した技術として、あたかも物体が透けて見えるように画像を観察者に知覚させることができる透明化技術が知られている。この透明化技術では、車両の外部に設けたカメラの撮像画像に基づいて、観察者の左眼及び右眼のそれぞれが知覚する左眼画像及び右眼画像がコンピュータによって作成される。左眼画像及び右眼画像が例えば車両のピラー、ドア等の視線を遮る遮蔽部に投射され、観察者である運転者は車外の景色を撮像した画像を立体画像として知覚し、死角となる部分が透けて外界の景色とつながったように知覚する（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－４４５９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術では、ピラーなどの面積が小さい遮蔽部に左眼画像及び右眼画像を投射して表示する場合に、投射される左眼画像と右眼画像とが大きく異なる。両者の画像の差が大きいために、遮蔽部に隣接した車窓、フロントガラスなどの遮蔽部以外の光透過領域を介して見える車外の景色と繋がったように知覚できない、という課題がある。また、右眼で左眼画像が見える、又は、左眼で右眼画像が見えるクロストークが発生して、二重像として知覚されることがある。

【0005】

かかる点に鑑みてなされた本開示の目的は、クロストークの発生を低減しつつ遮蔽部が透明化されたように知覚させることが可能な画像表示装置、車両及び画像表示方法を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る画像表示装置は、
観察者及び前記観察者の周囲を撮像し、撮像して得られた画像データを出力する撮像部と、
前記画像データに基づいて、前記観察者の右眼によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像を生成する第１画像処理部と、
前記画像データに基づいて、前記観察者の左眼によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する第２画像処理部と、
前記観察者を撮影した画像データに基づいて、前記観察者の顔の向き又は視線方向を検出する視線検出部と、
前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて決定した前記第１画像又は前記第２画像のいずれかと、単色の均一画像とを前記遮蔽部に表示する画像表示部とを備える。

【0007】

本開示の一実施形態に係る画像表示装置は、
観察者の右眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第２画像を生成する画像データ処理装置と、
前記観察者の顔の向き又は視線方向を検出する視線検出部と、
前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて、前記第１画像を前記観察者の右眼で知覚させ、単色の均一画像を前記観察者の左眼で知覚させる、又は前記第２画像を前記観察者の左眼で知覚させ、前記単色の均一画像を前記観察者の右眼で知覚させる、画像表示部と、を有する。

【0008】

本開示の一実施形態に係る車両は、
上記の画像表示装置を有する。

【0009】

本開示の一実施形態に係る画像表示装置は、
観察者の右眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像を前記観察者の右眼で知覚させ、
前記観察者の左眼によって見られる前記観察者の視界を遮る遮蔽部に対応する範囲の第２画像を前記観察者の左眼で知覚させ、
前記遮蔽部に対する前記観察者の顔の向き又は視線方向の関係に基づいて決定した前記第１画像又は前記第２画像のいずれかを前記観察者の右眼又は左眼のいずれか一方に知覚させ、単色の均一画像を前記観察者の右眼又は左眼の他方に知覚させる。

【発明の効果】

【0010】

本開示の実施形態によれば、クロストークの発生を低減しつつ遮蔽部が透明化されたように知覚させることが可能な画像表示装置、車両及び画像表示方法を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示の一実施形態に係る画像表示装置の一例を模式的に示す平面図である。

【図2】図２は、スクリーン及び拡散板の構成を示す一部の拡大断面図である。

【図3】図３は、画像表示装置を装備した車両を模式的に示す平面図である。

【図4】図４は、画像表示装置を装備した車両を模式的に示す側面図である。

【図5】図５は、画像表示装置の構成を示すブロック図である。

【図6】図６は、制御部の動作を説明するためのフローチャートである。

【図7】図７は、左眼で遮蔽部の表示画像を見たときの表示状態の従来例を示す図である。

【図8】図８は、右眼で遮蔽部の表示画像を見たときの表示状態の従来例を示す図である。

【図9】図９は、第２画像を単色画像とせずに遮蔽部に視差画像を表示させたときの表示の従来例を示す図である。

【図10】図１０は、第２画像を単色画像として遮蔽部に視差画像を表示させたときの表示の実施例を示す図である。

【図11】図１１は、遮蔽部に対して左側に顔があるときの周囲の見え方を例示する図である。

【図12】図１２は、遮蔽部に対して右側に顔があるときの周囲の見え方を例示する図である。

【図13】図１３は、観察者の顔の向きと遮蔽部との関係について説明するための図である。

【図14】図１４は、第１画像及び第２画像を生成する処理のフローチャートである。

【図15】図１５は、観察者の視線と遮蔽部との関係について説明するための図である。

【図16】図１６は、第１画像及び第２画像を生成する処理のフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施形態に係る画像表示装置、車両及び画像表示方法が説明される。各図中、同一又は相当する部分には、同一符号が付されている。以下の実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0013】

図１は、本実施形態に係る画像表示装置１を模式的に示す平面図である。図２は、画像表示装置１に備えられる再帰反射性スクリーン１１及び拡散板１６の構成を示す一部の拡大断面図である。図３は、画像表示装置１を搭載する車両２を模式的に示す平面図である。図４は、画像表示装置１を搭載する車両２を模式的に示す側面図である。

【0014】

画像表示装置１は、撮像部と、第１画像処理部８（図５参照）と、第２画像処理部９（図５参照）と、画像表示部と、視線検出部と、を備える。

【0015】

撮像部は、観察者及び観察者の周囲を撮像し、撮像して得られた画像データを出力する。本実施形態において、撮像部は、前部車外カメラ３ａ及び後部車外カメラ３ｂと、車内カメラ６と、を含んで構成される。ここで、撮像部は前部車外カメラ３ａ及び後部車外カメラ３ｂのうちの一方と、車内カメラ６とで構成されてよい。前部車外カメラ３ａ及び後部車外カメラ３ｂは車両２の周囲の景色を撮像する。車内カメラ６は運転者５を撮像する。車内カメラ６の画像データは、車両２の運転席４に着座した観察者である運転者５の左眼ＥＬ及び右眼ＥＲの位置を検出し、左眼ＥＬ及び右眼ＥＲの位置及び瞳の位置から運転者５の顔の向き又は視線を検出することに用いられる。

【0016】

第１画像処理部８は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの一方によって見られる、遮蔽部７に対応する範囲の第１画像を生成する。ここで、遮蔽部７は、観察者の視線を遮る物体であって、左眼ＥＬ及び右眼ＥＲから車外を見たときに観察者の視界を遮る物体である。

【0017】

第２画像処理部９は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの他方によって見られる、遮蔽部７に対応する範囲の第２画像を生成する。第２画像は、第１画像に対して視差を有する。従って、第１画像と第２画像に含まれる同一の物体であっても、当該物体を見る視点が異なっているため、画像中における当該物体の位置及び形状は視差に応じて異なっている。ここで、左眼ＥＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば左眼ＥＬによって視認しうる範囲を指す。同様に、右眼ＲＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば右眼ＲＬによって視認しうる範囲を指す。

【0018】

画像表示部は、遮蔽部７に第１画像及び第２画像が混合された画像を表示する。本実施形態において、画像表示部は、表示装置１０を含んで構成される。ここで、車両２における遮蔽部７としては、ダッシュボード、ドア、ピラー、バックシート２３等を列挙することができる。遮蔽部７に車外カメラ３で撮像され、画像処理された画像が映し出されることによって、観察者である運転者５は、画像が車外の景色とつながっているとの知覚を得ることができる。

【0019】

視線検出部は、観察者が撮影された画像データに基づいて、観察者の顔の向き又は視線を検出する。ここで、視線検出部は、観察者の顔の向きと観察者の視線の両方を検出する構成であってよい。本実施形態において、観察者が撮影された画像データは車内カメラ６から出力される。

【0020】

図１及び図２に示すように、表示装置１０は、再帰反射性スクリーン１１と、再帰反射性スクリーン１１に近接して設けられる拡散板１６と、を含んで構成される。拡散板１６は再帰反射性スクリーン１１の観察者に臨む側の表面に貼り付けられて積層されてよい。表示装置１０は、ダッシュボードに設けられたダッシュボード表示装置１０ａと、右サイドピラーに設けられた右サイドピラー表示装置１０ｂと、左サイドピラーに設けられた左サイドピラー表示装置１０ｃと、後部座席２２のバックシート２３の設けられたバックシート表示装置１０ｄとを含んでよい。

【0021】

また、表示装置１０は、投射部として、第１画像を再帰反射性スクリーン１１に投射する第１投射部と、第２画像を再帰反射性スクリーン１１に投射する第２投射部を含んで構成される。例えば右サイドピラーに貼付けられた右サイドピラー表示装置１０ｂの投射部（右サイドピラー投射部１２）は、第１画像を投射する第１投射部１２Ｒ及び第２画像を投射する第２投射部１２Ｌを含んで構成される。ここで、表示装置１０ａ、１０ｂ、１０ｃ、１０ｄは可撓性を有し、各遮蔽部７の起伏に応じて柔軟に湾曲させた状態で、接着剤等によって各遮蔽部７に接合されている。各投射部は同じ構成であるので、右サイドピラー投射部１２を例に詳細に説明する。

【0022】

第１投射部１２Ｒは、第１画像を表示する液晶表示装置１３Ｒと、液晶表示装置１３Ｒから出射された第１画像の画像光を再帰反射性スクリーン１１に投影する第１投射レンズ１４Ｒとを有してよい。第２投射部１２Ｌは、第２画像を表示する液晶表示装置１３Ｌと、液晶表示装置１３Ｌから出射された第２画像の画像光を再帰反射性スクリーン１１に投影する第２投射レンズ１４Ｌとを有してよい。各液晶表示装置１３Ｒ、１３Ｌは、透過型液晶表示素子と、液晶表示素子の背面に光を出射するバックライト装置とを備えてよい。ここで、液晶表示装置に代えてＬＥＤ発光表示装置が用いられてよい。各投射レンズ１４Ｒ、１４Ｌは、第１画像及び第２画像が互いに視差をもたせて再帰反射性スクリーン１１上に結像されるように、それぞれ複数のレンズの組合わせによって構成されてよい。ここで、観察者として運転者５を例示したが、助手席に座っている同乗者が観察者であってよい。第１投射部１２Ｒは、その射出瞳が観察者の右眼ＥＲと同じ高さかつ右眼ＥＲの近傍となるように、例えばヘッドレストの右側に配置されてよい。第２投射部１２Ｌも同様に、その射出瞳が観察者の左眼ＥＬと同じ高さかつ左眼ＥＬの近傍となるように、例えばヘッドレストの左側に配置されてよい。

【0023】

バックシート投射部２４及びダッシュボード投射部２５もまた、右サイドピラー投射部１２と同様に構成され、バックシート投射部２４はバックシート表示装置１０ｄにバックシート２３によって遮蔽される範囲に対応する画像を投射する。またダッシュボード投射部２５はダッシュボード表示装置１０ａにダッシュボードによって遮蔽される範囲に対応する画像を投射する。

【0024】

ダッシュボード投射部２５は、例えば車両２の天井の中央部に取り付けられてよい。バックシート投射部２４は、例えば運転席４の背もたれシートの上部に取付けられてよい。

【0025】

再帰反射性スクリーン１１は、再帰反射性を有し、入射した光を入射方向に反射する。第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌから出射された第１画像の画像光及び第２画像の画像光は、再帰反射性スクリーン１１によって、第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌに向けて反射される。そのため、再帰反射性スクリーン１１上で重なっている（混合された）第１画像の画像光と第２画像の画像光は、観察者の位置において分離して知覚される。また、本実施形態において、再帰反射性スクリーン１１の観察者側の表面には拡散板１６が配置される。拡散板１６は、再帰反射性スクリーン１１で反射した光を、観察者の両眼に向けさせる拡散能力を有する。例えば、観察者の上方にダッシュボード投射部２５がある場合に、拡散能が上下方向に大きく、左右方向に小さい拡散板１６がダッシュボード表示装置１０ａで用いられてよい。ここで、右眼ＥＲ用の画像が左眼ＥＬに入るといった画像の混同をなるべく抑制して、観察者に明瞭な立体画像を知覚させるために、左右方向の拡散能は上下方向の拡散能よりも小さいことが好ましい。拡散板１６は、例えば再帰反射性スクリーン１１の反射面上に接合されたホログラフィック光学素子であってよい。

【0026】

図２に示すように、再帰反射性スクリーン１１は、直径が例えば２０μｍ以上１００μｍ以下の微小な複数のガラスビーズ１１ａを反射膜１１ｂに配置した構成であってよい。再帰反射性スクリーン１１に投射された画像光は、ガラスビーズ１１ａに入射し、ガラスビーズ１１ａの表面で屈折して反射膜１１ｂ側の背面に達し、反射膜１１ｂによって反射される。反射膜１１ｂによって反射された光は、ガラスビーズ１１ａの背面で再び屈折し、ガラスビーズ１１ａの表面に達し、ガラスビーズ１１ａの直径以下の微小距離だけ入射光の入射経路から離間して、入射光と平行な光路を進むため、再帰反射が実現される。

【0027】

上記のように、再帰反射性スクリーン１１上で重なっている右眼ＥＲ用の第１画像の画像光と左眼ＥＬ用の第２画像の画像光は、観察者の位置で分離されており、右眼ＥＲ及び左眼ＥＬに個別に入射する。観察者である運転者５は、第１画像の画像光と第２画像の画像光との混合画像から立体的な像を知覚することができる。観察者の視差を反映させた第１画像の画像光と第２画像の画像光との混合画像を視差画像という。

【0028】

ここで、フロントガラス及び後部ウインドガラスから見える車外の景色と、遮蔽部７に表示される画像とがつながったように知覚させるために、車体を基準とする座標系を用いて再帰性投影に関する計算が実行されてよい。例えば車長方向をＸ軸、車幅方向をＹ軸、車高方向をＺ軸とする座標系が用いられて、運転者５の左眼ＥＬと右眼ＥＲの位置などがこの座標系における座標として定められてよい。車体を基準とする座標系において、運転者５の両眼の位置が定められて、再帰性投影に関する計算が実行されることによって、車外の景色と遮蔽部７に表示される画像とに連続性を持たせることができる。また、運転者５の両眼位置を検出することによって、運転者５の体形及び姿勢の相違に対しても柔軟に追従して画像を表示することができる。

【0029】

また、車両２の前部に設置される前部車外カメラ３ａと後部に設置される後部車外カメラ３ｂは、魚眼レンズを取り付けたカメラであってよい。魚眼レンズを用いることによって、車外の景色を立体角で広範囲にわたって撮像することができる。ここで、車外カメラ３の数は限定されず、例えば１台であってよいし、３台以上であってよい。また、車外の撮像が可能であれば、車外カメラ３の設置場所は限定されない。つまり、車外カメラ３は、車外に設置されていてよいし、車内に設置されていてよい。また、車内カメラ６は、例えばルームミラーに隣接する位置など、運転者５を撮像できる位置に設置される。車外カメラ３及び車内カメラ６は、例えばＣＣＤカメラであってよいが、特定の種類のカメラに限定されない。ここで、車内カメラ６、視線認識装置３１及び車内カメラ制御装置３７を含んで、視線検出部が構成される。

【0030】

図５は、画像表示装置１の構成を示すブロック図である。前部車外カメラ３ａ及び後部車外カメラ３ｂによって撮像された画像の画像データは、車外カメラ制御装置３５に送られる。車外カメラ制御装置３５は、画像表示装置１の一部を構成する。車外カメラ制御装置３５は、画像データに対して必要な信号処理（一例としてアナログ－デジタル変換）を実行して、画像データ処理装置３３に出力する。

【0031】

また、本実施形態において、画像表示装置１は運転者５の着席の有無を検出する着座センサ３６を備える。着座センサ３６は運転席４に設けられる。着座センサ３６は、公知の荷重センサ又はリミットスイッチによって構成されてよい。

【0032】

運転席４に運転者５が着座すると、運転席４に設置してある着座センサ３６によって運転者５の着席が検出される。着座センサ３６の検出結果が視線認識装置３１に送られて、視線検出部は運転者５の両眼位置などの計測を開始する。視線認識装置３１は、車内カメラ６の撮影画像から運転者５の左眼ＥＬ及び右眼ＥＲの位置及び瞳位置を画像認識処理によって抽出し、運転者５の顔の向き及び視線方向を計算する。顔の向き及び視線の計算は公知の手法が用いられてよい。視線認識装置３１は、例えば左眼ＥＬと右眼ＥＲを結ぶ仮想線に垂直な方向を運転者５の顔の向きと判定してよい。また、視線認識装置３１は、眼球を球体と扱って、基準位置からの瞳の位置のずれ（眼球角度）を用いて視線方向を計算してよい。視線認識装置３１の計算結果は画像データ処理装置３３に出力される。画像データ処理装置３３は遮蔽部７が透明化されたように知覚させるための画像処理を実行し、画像処理の結果に基づいて表示制御装置３９が表示装置１０を制御する。視線認識装置３１は、顔の向き又は視線方向の一方のみを検出してよい。視線認識装置３１は、顔の向きに基づいて視線方向を検出してよい。視線認識装置３１は、顔の向きと視線方向とが一致するものとして視線方向を決定してよい。

【0033】

また、画像表示装置１において、車外カメラ制御装置３５、画像データ処理装置３３、車内カメラ制御装置３７、視線認識装置３１及び表示制御装置３９を含んで、制御部５０が構成される。制御部５０は、画像表示装置１を制御する。制御部５０は、ハードウェア資源として例えば電子制御装置（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ；ＥＣＵ）等のプロセッサと、ソフトウェア資源としてコンピュータよって読み取り可能なプログラムとによって実現される。制御部５０は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部５０は、１個又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってよい。制御部５０は、記憶部を備え、記憶部に各種情報又は画像表示装置１の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。

【0034】

図６は、本実施形態に係る画像表示方法として実行される制御部５０の動作を説明するためのフローチャートである。運転者５が運転席４に着座し、スタートボタン等によって車両２の運転を開始すると、運転者５が運転席４に着座したことが着座センサ３６によって検出される。また、車外カメラ制御装置３５が各車外カメラ３ａ、３ｂを作動させて、車両２の周囲を撮像する（ステップＳ１）。車内カメラ制御装置３７が視線認識装置３１及び車内カメラ６を作動させて、車内カメラ６による撮像が開始される。視線認識装置３１は、車内カメラ６によって撮像された画像に基づいて、運転者５の顔の向き又は視線を検出する（ステップＳ２）。画像データ処理装置３３は、遮蔽部７に投射する画像を、車外カメラ３によって撮像された画像から切り出し、例えば第１画像及び第２画像を生成する（ステップＳ３）。ステップＳ３において、例えば第１画像及び第２画像が生成されると、表示制御装置３９は、遮蔽部７に第１画像及び第２画像を表示させる（ステップＳ４）。表示制御装置３９は、本来、遮蔽部７によって遮られて運転者５から見えていない画像を、遮蔽部７に表示させる。

【0035】

ここで、本実施形態では、第１画像又は第２画像の一方に代えて単色の均一表示データを生成して表示することができる（単色化処理）。単色の均一表示データとは、単一の色（例えば白）のみで構成される画像である。例えば第２画像に代えて単色の均一表示データとした場合、均一表示データは第１画像の上に単色の均一画像がフィルタのように表示され、二重像になることがない。第１画像が例えば右眼ＥＲ用であるとすると、左眼ＥＬよって第１画像が明確に認識されることがなくなる。そのため、両眼によって第１画像と均一表示データとが混合されて一部が互いに重なった画像を見たときに、第１画像が主に見られる。このことによって、例えば右サイドピラーに隣接するフロントガラス及び右ウインドガラスを透過して見られる実際の景色と、右サイドピラー表示装置１０ｂに表示されている映像とのずれが緩和される。運転者５は、あたかも右ピラーが透明化されたように知覚し、死角が減少されて、運転の快適性の向上を支援することができる。ここで、単色の均一表示データは、大部分が単一の色のみで構成されていればよい。例えば、単色の均一表示データは、中央部分を含む９０％以上が単一の色のみで構成されていればよい。

【0036】

画像データ処理装置３３は、単色化処理として、遮蔽部７に表示させる第１画像又は第２画像の一方を、単色の均一表示データ（単色の均一画像）に差し替えて表示させる。この単色化処理は、表示対象が左右サイドピラーのいずれに対しても、実行される。運転者５は、左サイドピラーについても、あたかも透明化されたように知覚することができる。単色化処理は、ピラーのように左右方向の幅が小さい遮蔽物に適用することがよい。制御部５０は、視線認識装置３１が認識した観察者の視線方向がピラーのほうを向いたときにのみ、当該ピラーの表示装置１０に表示させる画像に対して単色化処理を実行するようにしてよい。

【0037】

以下、図面を参照しながら、二重映りが抑制されるメカニズムが詳細に説明される。図７は、左眼ＥＬで遮蔽部７の表示画像を見たときの表示状態の従来例を示す図である。図８は右眼ＥＲで遮蔽部７の表示画像を見たときの表示状態の従来例を示す図である。従来例では、単色化処理を実行していない。つまり、右サイドピラー表示装置１０ｂに右眼ＥＲ用の景色の画像と左眼ＥＬ用の景色の画像がそのまま表示されている。図７に示されるように、左眼ＥＬで見ると、フロントガラス４２を透過して見える建物４３と物体４４が４３ａ、４４ａのように右サイドピラー４０にも見えるクロストークが生じ、二重像として知覚される。つまり、外界の実景が繋がらず、右サイドピラー表示装置１０ｂに表示された画像を連続した透過映像として知覚することができない。また、図８も同様に、右眼ＥＲで見ると、右ウインドガラス４６越しに見える建物４５が４５ａのように右サイドピラー４０にも見えて、二重像として知覚される。そのため、観察者は、図９に示されるような二重像を知覚することになる。

【0038】

これに対して、単色化処理を実行した場合には、図１０に示すように、二重像として知覚することがなくなる。例えば、第１画像を右眼ＥＲ用の画像、第２画像を左眼ＥＬ用の画像とした場合、単色化処理によって第２画像に代えて白単色の均一表示データを表示すると、左眼ＥＬで見たときに第１画像の上に白単色の均一表示データが重畳して、乳白のフィルタがかかったような状態となり、第１画像が見えづらくなる。そのため、左眼ＥＬでは、第１画像の表示が抑制され、ウインドウ越しに見える実景映像の認知力が上がり、二重像に見える現象が解消されるためである。ここで、連続した映像として知覚されやすくするため、白単色の均一表示データとしては白又はグレーの無彩色で表示されることが好ましい。

【0039】

ここで、図１０の例では、第１画像が右眼ＥＲ用で、白単色の均一表示データが左眼ＥＬ用であった。しかし、右サイドピラー４０のような遮蔽部７に対して、観察者が右側を向いているか、左側を向いているかによって、見え方は異なってくる。そのため、観察者の顔の向きと、遮蔽部７との関係に基づいて、第１画像及び第２画像のいずれを単色の均一表示データに差し替えるかを決定する必要がある。例えば図１１は、観察者が遮蔽部７に対して左側を向いているときの周囲の見え方を例示する図である。図１２は、図１１と同じ景色について、観察者が遮蔽部７に対して右側を向いているときの周囲の見え方を例示する図である。例えば図１１において左眼ＥＬで見える物体４４は、図１２において右眼ＥＲで見える。本実施形態において、図１１のように観察者が遮蔽部７に対して左側を向いている場合に、物体４４が見えない右眼ＥＲに対して第１画像が割り当てられ、左眼ＥＬに対して単色の均一表示データが割り当てられる。また、図１２のように観察者が遮蔽部７に対して右側を向いている場合に、物体４４が見えない左眼ＥＬに対して第２画像が割り当てられ、右眼ＥＲに対して単色の均一表示データが割り当てられる。すなわち、このことによって、クロストークの発生を低減しつつ遮蔽部７が透明化されたように知覚させることが可能になる。

【0040】

第１画像処理部及び第２画像処理部（画像データ処理装置３３）は、図６のステップＳ３において、検出された観察者の顔の向きが遮蔽部７の表示面において法線軸に対して右側にある場合に、単色の均一表示データを右眼ＥＲ用の画像と決定し、第２画像を左眼ＥＬ用の画像と決定する。また、画像データ処理装置３３は、検出された観察者の顔の向きが遮蔽部７の表示面において法線軸に対して左側にある場合に、第１画像を右眼ＥＲ用の画像と決定し、単色の均一表示データを左眼ＥＬ用の画像と決定する。ここで、顔の向きは、上記のように、車内カメラ６の撮影画像に基づき視線認識装置３１によって計算される。また、表示面は、図１３のように遮蔽部７の第１画像及び第２画像が表示される面である。法線軸は、遮蔽部７の中心を通り、表示面に対して垂直に交わる軸である。

【0041】

図１４は、第１画像及び第２画像を生成する処理（図６のステップＳ３に対応）の詳細を説明するためのフローチャートである。画像データ処理装置３３は、検出された観察者の顔の向きが遮蔽部７の表示面において法線軸に対して右側を向いている場合に（ステップＳ１１のＹＥＳ）、第２画像を左眼ＥＬ側の画像と決定し（ステップＳ１２）、単色の均一表示データを右眼ＥＲ側の画像と決定する（ステップＳ１３）。画像データ処理装置３３は、検出された観察者の顔の向きが遮蔽部７の表示面において法線軸に対して右側を向いていない場合に（ステップＳ１１のＮＯ）、第１画像を右眼ＥＲ側の画像と決定し（ステップＳ１４）、単色の均一表示データを左眼ＥＬ側の画像と決定する（ステップＳ１５）。

【0042】

ここで、画像データ処理装置３３は、観察者の顔の向きに代えて、検出した観察者の視線を用いてよい。ここで、視線は、上記のように、車内カメラ６の撮影画像に基づき視線認識装置３１によって計算される。また、表示面は、図１５のように遮蔽部７の第１画像及び第２画像が表示される面である。法線軸は、遮蔽部７の中心を通り、表示面に対して垂直に交わる軸である。

【0043】

図１６は、観察者の視線を用いる場合における、第１画像及び第２画像を生成する処理の詳細を説明するためのフローチャートである。画像データ処理装置３３は、検出された観察者の視線方向が遮蔽部７の表示面において法線軸に対して右側にある場合に（ステップＳ２１のＹＥＳ）、第２画像を左眼ＥＬ側の画像と決定し（ステップＳ２２）、単色の均一表示データを右眼ＥＲ側の画像と決定する（ステップＳ２３）。画像データ処理装置３３は、検出された観察者の視線方向が遮蔽部７の表示面において法線軸に対して右側にない場合に（ステップＳ２１のＮＯ）、第１画像を右眼ＥＲ側の画像と決定し（ステップＳ２４）、単色の均一表示データを左眼ＥＬ側の画像と決定する（ステップＳ２５）。

【0044】

以上のように、本実施形態に係る画像表示装置１、車両２及び画像表示方法は、上記の構成によって、クロストークの発生を低減しつつ遮蔽部７が透明化されたように観察者に知覚させることが可能である。

【0045】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各工程などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又は工程などを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【符号の説明】

【0046】

１ 画像表示装置
２ 車両
３ 車外カメラ
４ 運転席
５ 運転者
６ 車内カメラ
７ 遮蔽部
８ 第１画像処理部
９ 第２画像処理部
１０ 表示装置
１１ 再帰反射性スクリーン
１１ａ ガラスビーズ
１１ｂ 反射膜
１２ 投射部
１２Ｌ 第２投射部
１２Ｒ 第１投射部
１３Ｌ、１３Ｒ 液晶表示装置
１４Ｌ 第２投射レンズ
１４Ｒ 第１投射レンズ
１６ 拡散板
２２ 後部座席
２３ バックシート
２４ バックシート投射部
２５ ダッシュボード投射部
３１ 視線認識装置
３３ 画像データ処理装置
３５ 車外カメラ制御装置
３６ 着座センサ
３７ 車内カメラ制御装置
３９ 表示制御装置
４０ 右サイドピラー
４２ フロントガラス
４３ 建物
４４ 物体
４５ 建物
４６ 右ウインドガラス
５０ 制御部
ＥＬ 左眼
ＥＲ 右眼

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】