特開 2023-174351 画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023174351

(43)【公開日】2023-12-07

(54)【発明の名称】画像表示装置

(51)【国際特許分類】

   H04N 13/289 20180101AFI20231130BHJP

   B60R 1/24 20220101ALI20231130BHJP

   B60R 1/29 20220101ALI20231130BHJP

   H04N 7/18 20060101ALI20231130BHJP

   H04N 13/128 20180101ALI20231130BHJP

   H04N 13/239 20180101ALI20231130BHJP

   H04N 13/366 20180101ALI20231130BHJP

   H04N 13/363 20180101ALI20231130BHJP

【ＦＩ】

H04N13/289

B60R1/24

B60R1/29

H04N7/18 J

H04N13/128

H04N13/239

H04N13/366

H04N13/363

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022087156

(22)【出願日】2022-05-27

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100180655

【弁理士】

【氏名又は名称】鈴木 俊樹

(72)【発明者】

【氏名】竹内 凌一

【テーマコード（参考）】

5C054

5C061

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054FC12

5C054FC15

5C054FD02

5C054FE05

5C054FE28

5C054FF03

5C054HA30

5C061AA06

5C061AA23

5C061AB04

5C061AB06

5C061AB08

5C061AB12

5C061AB14

5C061AB18

(57)【要約】

【課題】観察者に遮蔽部が透明化されたように知覚させ、正しく知覚できない状態を回避することが可能な画像表示装置が提供される。
【解決手段】画像表示装置（１）は、第１撮像部が観察者の周囲を撮像し、撮像して得られた第１画像データに基づいて、観察者の左眼及び右眼の一方によって見られる、観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、観察者の左眼及び右眼の他方によって見られる、遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、遮蔽部に第１画像及び第２画像を表示する画像表示部と、観察者のピントの位置を検出する視線検出部と、を備え、第２画像は第１画像に対して視差を有し、画像表示部は、観察者の視線のピントの位置に基づいて、第１画像及び第２画像に代えて、視差を有しない画像である視差なし画像を遮蔽部に表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１撮像部が観察者の周囲を撮像し、撮像して得られた第１画像データに基づいて、前記観察者の左眼及び右眼の一方によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼及び右眼の他方によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、
前記遮蔽部に前記第１画像及び前記第２画像を表示する画像表示部と、
前記観察者のピントの位置を検出する視線検出部と、を備え、
前記第２画像は前記第１画像に対して視差を有し、
前記画像表示部は、前記観察者の視線のピントの位置に基づいて、前記第１画像及び前記第２画像に代えて、視差を有しない画像である視差なし画像を前記遮蔽部に表示する、画像表示装置。

【請求項2】

前記画像表示部は、前記観察者の視線のピントの位置が、前記遮蔽部に合っている場合に、前記第１画像及び前記第２画像に代えて、視差を有しない画像である視差なし画像を前記遮蔽部に表示する、請求項１に記載の画像表示装置。

【請求項3】

前記視線検出部は、第２撮像部が前記観察者を撮影して得られた第２画像データに基づいて前記観察者の視線を検出し、
前記画像表示部は、前記観察者の視線が前記遮蔽部の範囲内にあり、かつ、前記視線検出部によって検出された前記観察者の輻輳角が閾値以上である場合に、前記視差なし画像を前記遮蔽部に表示する、請求項１に記載の画像表示装置。

【請求項4】

前記視差なし画像は文字情報を含む、請求項１から３のいずれか一項に記載の画像表示装置。

【請求項5】

前記文字情報は遠方を見ることを促す警告である、請求項４に記載の画像表示装置。

【請求項6】

車両に搭載され、前記遮蔽部がピラーである、請求項１から３のいずれか一項に記載の画像表示装置。

【請求項7】

前記画像表示部は、
前記遮蔽部に設けられた、再帰反射性スクリーンと、
前記第１画像を、前記再帰反射性スクリーンに投射する第１投射部と、
前記第２画像を、前記再帰反射性スクリーンに投射する第２投射部と、を含む、請求項１から３のいずれか一項に記載の画像表示装置。

【請求項8】

前記視差なし画像を前記画像表示部に表示する場合には、前記第１投射部と前記第２投射部は、同一の画像を前記再帰反射性スクリーンに投射する、請求項７に記載の画像表示装置。

【請求項9】

前記画像表示部は、
前記再帰反射性スクリーンに近接して設けられた拡散板を、さらに含む、請求項７に記載の画像表示装置。

【請求項10】

観察者及び前記観察者の周囲を撮像し、撮像して得られた画像データを出力する撮像部と、
前記画像データに基づいて、前記観察者の左眼及び右眼の視差を反映させた視差画像を前記観察者の視界を遮る遮蔽部において、前記観察者に知覚させる画像表示部と、
前記観察者の視線のピントの位置を検出する視線検出部と、を備え、
前記画像表示部は、前記観察者の視線のピントの位置が前記遮蔽部にある場合に、前記観察者の左眼及び右眼の視差を反映させない視差なし画像を前記観察者に知覚させる、画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は画像表示装置に関する。本開示は、特に車両周囲の撮像画像を遮蔽部に表示することによって、車外の景色が繋がったように運転者に知覚させることができる画像表示装置に関する。

【背景技術】

【0002】

従来、車両などにおいて現実環境と重ね合わせられたグラフィックスが表示される技術が知られている（例えば、特許文献１参照）。さらに再帰性投影技術を活用して、あたかも物体が透けて見えるように画像を観察者に知覚させることができる透明化技術が知られている。この透明化技術では、例えば車両の外部に設けたカメラの撮像画像に基づいて、観察者の左眼及び右眼のそれぞれが知覚する左眼画像及び右眼画像がコンピュータによって作成される。左眼画像及び右眼画像が例えば車両のピラー、ダッシュボード等の視線を遮る遮蔽部に投射され、観察者である運転者は車外の景色を撮像した画像を立体画像として知覚し、死角となる部分が透けて外界の景色とつながったように知覚する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１９４４７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、ピラー、ダッシュボード等に投射される景色の画像を外界の景色とつながったように正しく知覚するためには、観察者のピント（焦点）が景色にあっていること、すなわち遠方を見るようになっていることが必要である。しかし、車内の構造物であるピラー、ダッシュボード等を見る場合に、観察者が車内の構造物自体にピントを合わせてしまって、投射された画像を正しく知覚できないことがある。

【0005】

かかる点に鑑みてなされた本開示の目的は、観察者に遮蔽部が透明化されたように知覚させ、正しく知覚できない状態を回避することが可能な画像表示装置を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る画像表示装置は、
第１撮像部が前記観察者の周囲を撮像し、撮像して得られた第１画像データに基づいて、前記観察者の左眼及び右眼の一方によって見られる、前記観察者の視界を遮る遮蔽部に対応する範囲の第１画像と、前記観察者の左眼及び右眼の他方によって見られる、前記遮蔽部に対応する範囲の第２画像を生成する、画像データ処理部と、
前記遮蔽部に前記第１画像及び前記第２画像を表示する画像表示部と、
前記観察者のピントの位置を検出する視線検出部と、を備え、
前記第２画像は前記第１画像に対して視差を有し、
前記画像表示部は、前記観察者の視線のピントの位置に基づいて、前記第１画像及び前記第２画像に代えて、視差を有しない画像である視差なし画像を前記遮蔽部に表示する。

【0007】

本開示の一実施形態に係る画像表示装置は、
観察者及び前記観察者の周囲を撮像し、撮像して得られた画像データを出力する撮像部と、
前記画像データに基づいて、前記観察者の左眼及び右眼の視差を反映させた視差画像を前記観察者の視界を遮る遮蔽部において、前記観察者に知覚させる画像表示部と、
前記観察者の視線のピントの位置を検出する視線検出部と、を備え、
前記画像表示部は、前記観察者の視線のピントの位置が前記遮蔽部にある場合に、前記観察者の左眼及び右眼の視差を反映させない視差なし画像を前記観察者に知覚させる。

【発明の効果】

【0008】

本開示の実施形態によれば、観察者に遮蔽部が透明化されたように知覚させ、正しく知覚できない状態を回避することが可能な画像表示装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示の一実施形態に係る画像表示装置の一例を模式的に示す平面図である。

【図2】図２は、スクリーン及び拡散板の構成を示す一部の拡大断面図である。

【図3】図３は、画像表示装置を装備した車両を模式的に示す平面図である。

【図4】図４は、画像表示装置を装備した車両を模式的に示す側面図である。

【図5】図５は、画像表示装置の構成を示すブロック図である。

【図6】図６は、制御部の動作を説明するためのフローチャートである。

【図7】図７は、遮蔽部に視差画像が表示されていない状態を示す図である。

【図8】図８は、遮蔽部に視差画像が表示されて、正しく知覚できた状態を示す図である。

【図9】図９は、遮蔽部に視差画像が表示されて、正しく知覚できない状態を示す図である。

【図10】図１０は、観察者の視線及び輻輳角と遮蔽部との関係について説明するための図である。

【図11】図１１は、第１画像及び第２画像又は視差なし画像を生成する処理のフローチャートである。

【図12】図１２は、視差なし画像を例示する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本開示の実施形態に係る画像表示装置が説明される。各図中、同一又は相当する部分には、同一符号が付されている。以下の実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0011】

図１は、本実施形態に係る画像表示装置１を模式的に示す平面図である。図２は、画像表示装置１に備えられる再帰反射性スクリーン１１及び拡散板１６の構成を示す一部の拡大断面図である。図３は、画像表示装置１を搭載する車両２を模式的に示す平面図である。図４は、画像表示装置１を搭載する車両２を模式的に示す側面図である。

【0012】

画像表示装置１は、撮像部と、第１画像処理部８及び第２画像処理部９を含む画像データ処理装置３３（図５参照）と、画像表示部と、視線検出部と、を備える。画像データ処理装置３３は画像データ処理部と称されることがある。

【0013】

撮像部は、観察者及び観察者の周囲を撮像し、撮像して得られた画像データを出力する。本実施形態において、撮像部は、前部車外カメラ３ａ及び後部車外カメラ３ｂと、車内カメラ６と、を含んで構成される。前部車外カメラ３ａ及び後部車外カメラ３ｂは車両２の周囲の景色を撮像する。以下において、前部車外カメラ３ａ及び後部車外カメラ３ｂを含む車外カメラを第１撮像部と称することがある。また、第１撮像部が観察者の周囲を撮像して得られた画像データを第１画像データと称することがある。車内カメラ６は運転者５を撮像する。車内カメラ６の画像データは、車両２の運転席４に着座した観察者である運転者５の左眼ＥＬ及び右眼ＥＲの位置を検出し、左眼ＥＬ及び右眼ＥＲの位置及び瞳の位置から運転者５の視線を検出することに用いられる。以下において、車内カメラ６を第２撮像部と称することがある。また、第２撮像部が観察者を撮影して得られた画像データを第２画像データと称することがある。ここで、撮像部は、前部車外カメラ３ａ及び後部車外カメラ３ｂのうち、一方のみを含んでよい。

【0014】

画像データ処理部の第１画像処理部８は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの一方によって見られる、遮蔽部７に対応する範囲の第１画像を生成する。ここで、遮蔽部７は、観察者の視線を遮る物体であって、左眼ＥＬ及び右眼ＥＲから車外を見たときに観察者の視界を遮る物体である。例えば、右眼ＥＲによって見られる、遮蔽部７に対応する範囲の画像が第１画像とされてよい。

【0015】

画像データ処理部の第２画像処理部９は、前部車外カメラ３ａ及び後部車外カメラ３ｂから出力される画像データに基づいて、左眼ＥＬ及び右眼ＥＲの他方によって見られる、遮蔽部７に対応する範囲の第２画像を生成する。例えば、左眼ＬＲによって見られる、遮蔽部７に対応する範囲の画像が第２画像とされてよい。第２画像は、第１画像に対して視差を有する。同様に、第１画像は、第２画像に対して視差を有する。従って、第１画像と第２画像に含まれる同一の物体であっても、当該物体を見る視点が異なっているため、画像中における当該物体の位置及び形状は視差に応じて異なっている。ここで、左眼ＥＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば左眼ＥＬによって視認しうる範囲を指す。同様に、右眼ＲＬによって見られる、遮蔽部７に対応する範囲とは、遮蔽部７が無かったならば右眼ＲＬによって視認しうる範囲を指す。

【0016】

画像表示部は、遮蔽部７に第１画像及び第２画像を表示する。画像表示部は、遮蔽部７に第１画像及び第２画像が混合された画像である視差画像を表示してよい。画像表示部は、視差画像を表示することで、観察者に視差を反映させた画像を知覚させる。本実施形態において、画像表示部は、表示装置１０を含んで構成される。ここで、車両２における遮蔽部７としては、ダッシュボード、ドア、ピラー、バックシート２３等を列挙することができる。遮蔽部７に車外カメラ３で撮像され、画像処理された画像が映し出されることによって、観察者である運転者５は、画像が車外の景色とつながっているとの知覚を得ることができる。

【0017】

視線検出部は、観察者のピントの位置を検出する。視線検出部は、観察者が撮影された画像データに基づいて、観察者の視線を検出してよい。本実施形態において、観察者が撮影された画像データは車内カメラ６から出力される。詳細について後述するが、本実施形態において、視線検出部は観察者の輻輳角も検出する。画像データ処理部は、検出された観察者の視線と輻輳角とが一定の条件を満たす場合に、観察者が第１画像及び第２画像が混合された視差画像を正しく知覚できない状態にあると判定する。そして、画像データ処理部が視差なし画像を生成し、画像表示部は遮蔽部７に視差なし画像を表示する。視差なし画像は、観察者の視差が反映されていない画像である。ここで、輻輳角は眼球から左右の視線が交差する角度である。

【0018】

図１及び図２に示すように、表示装置１０は、再帰反射性スクリーン１１と、再帰反射性スクリーン１１に近接して設けられる拡散板１６と、を含んで構成される。拡散板１６は再帰反射性スクリーン１１の観察者に臨む側の表面に貼り付けられて積層されてよい。表示装置１０は、ダッシュボードに設けられたダッシュボード表示装置１０ａと、右サイドピラーに設けられた右サイドピラー表示装置１０ｂと、左サイドピラーに設けられた左サイドピラー表示装置１０ｃと、後部座席２２のバックシート２３の設けられたバックシート表示装置１０ｄとを含んでよい。

【0019】

また、表示装置１０は、投射部として、第１画像を再帰反射性スクリーン１１に投射する第１投射部と、第２画像を再帰反射性スクリーン１１に投射する第２投射部を含んで構成される。例えば右サイドピラーに貼付けられた右サイドピラー表示装置１０ｂの投射部（右サイドピラー投射部１２）は、第１画像を投射する第１投射部１２Ｒ及び第２画像を投射する第２投射部１２Ｌを含んで構成される。ここで、表示装置１０ａ、１０ｂ、１０ｃ、１０ｄは可撓性を有し、各遮蔽部７の起伏に応じて柔軟に湾曲させた状態で、接着剤等によって各遮蔽部７に接合されている。各投射部は同じ構成であるので、右サイドピラー投射部１２を例に詳細に説明する。

【0020】

第１投射部１２Ｒは、第１画像を表示する液晶表示装置１３Ｒと、液晶表示装置１３Ｒから出射された第１画像の画像光を再帰反射性スクリーン１１に投影する第１投射レンズ１４Ｒとを有してよい。第２投射部１２Ｌは、第２画像を表示する液晶表示装置１３Ｌと、液晶表示装置１３Ｌから出射された第２画像の画像光を再帰反射性スクリーン１１に投影する第２投射レンズ１４Ｌとを有してよい。各液晶表示装置１３Ｒ、１３Ｌは、透過型液晶表示素子と、液晶表示素子の背面に光を出射するバックライト装置とを備えてよい。ここで、液晶表示装置に代えてＬＥＤ発光表示装置が用いられてよい。各投射レンズ１４Ｒ、１４Ｌは、第１画像及び第２画像が互いに視差をもたせて再帰反射性スクリーン１１上に結像されるように、それぞれ複数のレンズの組合わせによって構成されてよい。ここで、観察者として運転者５を例示したが、助手席に座っている同乗者が観察者であってよい。第１投射部１２Ｒは、その射出瞳が観察者の右眼ＥＲと同じ高さかつ右眼ＥＲの近傍となるように、例えばヘッドレストの右側に配置されてよい。第２投射部１２Ｌも同様に、その射出瞳が観察者の左眼ＥＬと同じ高さかつ左眼ＥＬの近傍となるように、例えばヘッドレストの左側に配置されてよい。

【0021】

バックシート投射部２４及びダッシュボード投射部２５もまた、右サイドピラー投射部１２と同様に構成され、バックシート投射部２４はバックシート表示装置１０ｄにバックシート２３によって遮蔽される範囲に対応する画像を投射する。またダッシュボード投射部２５はダッシュボード表示装置１０ａにダッシュボードによって遮蔽される範囲に対応する画像を投射する。

【0022】

ダッシュボード投射部２５は、例えば車両２の天井の中央部に取り付けられてよい。バックシート投射部２４は、例えば運転席４の背もたれシートの上部に取付けられてよい。

【0023】

再帰反射性スクリーン１１は、再帰反射性を有し、入射した光を入射方向に反射する。第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌから出射された第１画像の画像光及び第２画像の画像光は、再帰反射性スクリーン１１によって、第１投射レンズ１４Ｒ及び第２投射レンズ１４Ｌに向けて反射される。そのため、再帰反射性スクリーン１１上で重なっている（混合された）第１画像の画像光と第２画像の画像光は、観察者の位置において分離して知覚される。また、本実施形態において、再帰反射性スクリーン１１の観察者側の表面には拡散板１６が配置される。拡散板１６は、再帰反射性スクリーン１１で反射した光を、観察者の両眼に向けさせる拡散能力を有する。例えば、観察者の上方にダッシュボード投射部２５がある場合に、拡散能が上下方向に大きく、左右方向に小さい拡散板１６がダッシュボード表示装置１０ａで用いられてよい。ここで、右眼ＥＲ用の画像が左眼ＥＬに入るといった画像の混同をなるべく抑制して、観察者に明瞭な立体画像を知覚させるために、左右方向の拡散能は上下方向の拡散能よりも小さいことが好ましい。拡散板１６は、例えば再帰反射性スクリーン１１の反射面上に接合されたホログラフィック光学素子であってよい。

【0024】

図２に示すように、再帰反射性スクリーン１１は、直径が例えば２０μｍ以上１００μｍ以下の微小な複数のガラスビーズ１１ａを反射膜１１ｂに配置した構成であってよい。再帰反射性スクリーン１１に投射された画像光は、ガラスビーズ１１ａに入射し、ガラスビーズ１１ａの表面で屈折して反射膜１１ｂ側の背面に達し、反射膜１１ｂによって反射される。反射膜１１ｂによって反射された光は、ガラスビーズ１１ａの背面で再び屈折し、ガラスビーズ１１ａの表面に達し、ガラスビーズ１１ａの直径以下の微小距離だけ入射光の入射経路から離間して、入射光と平行な光路を進むため、再帰反射が実現される。

【0025】

上記のように、再帰反射性スクリーン１１上で重なっている右眼ＥＲ用の第１画像の画像光と左眼ＥＬ用の第２画像の画像光は、観察者の位置で分離されており、右眼ＥＲ及び左眼ＥＬに個別に入射する。観察者である運転者５は、第１画像の画像光と第２画像の画像光との混合画像から立体的な像を知覚することができる。観察者の視差を反映させた第１画像の画像光と第２画像の画像光との混合画像を視差画像という。

【0026】

ここで、フロントガラス及び後部ウインドガラスから見える車外の景色と、遮蔽部７に表示される画像とがつながったように知覚させるために、車体を基準とする座標系を用いて再帰性投影に関する計算が実行されてよい。例えば車長方向をＸ軸、車幅方向をＹ軸、車高方向をＺ軸とする座標系が用いられて、運転者５の左眼ＥＬと右眼ＥＲの位置などがこの座標系における座標として定められてよい。車体を基準とする座標系において、運転者５の両眼の位置が定められて、再帰性投影に関する計算が実行されることによって、車外の景色と遮蔽部７に表示される画像とに連続性を持たせることができる。また、運転者５の両眼位置を検出することによって、運転者５の体形及び姿勢の相違に対しても柔軟に追従して画像を表示することができる。

【0027】

また、車両２の前部に設置される前部車外カメラ３ａと後部に設置される後部車外カメラ３ｂは、魚眼レンズを取り付けたカメラであってよい。魚眼レンズを用いることによって、車外の景色を立体角で広範囲にわたって撮像することができる。ここで、車外カメラ３の数は限定されず、例えば１台であってよいし、３台以上であってよい。また、車外の撮像が可能であれば、車外カメラ３の設置場所は限定されない。つまり、車外カメラ３は、車外に設置されていてよいし、車内に設置されていてよい。また、車内カメラ６は、例えばルームミラーに隣接する位置など、運転者５を撮像できる位置に設置される。車外カメラ３及び車内カメラ６は、例えばＣＣＤカメラであってよいが、特定の種類のカメラに限定されない。ここで、車内カメラ６、視線認識装置３１及び車内カメラ制御装置３７を含んで、視線検出部が構成される。

【0028】

図５は、画像表示装置１の構成を示すブロック図である。前部車外カメラ３ａ及び後部車外カメラ３ｂによって撮像された画像の画像データは、車外カメラ制御装置３５に送られる。車外カメラ制御装置３５は、画像表示装置１の一部を構成する。車外カメラ制御装置３５は、画像データに対して必要な信号処理（一例としてアナログ－デジタル変換）を実行して、画像データ処理装置３３に出力する。

【0029】

また、本実施形態において、画像表示装置１は運転者５の着席の有無を検出する着座センサ３６を備える。着座センサ３６は運転席４に設けられる。着座センサ３６は、公知の荷重センサ又はリミットスイッチによって構成されてよい。

【0030】

運転席４に運転者５が着座すると、運転席４に設置してある着座センサ３６によって運転者５の着席が検出される。着座センサ３６の検出結果が視線認識装置３１に送られて、視線検出部は運転者５の両眼位置などの計測を開始する。視線認識装置３１は、車内カメラ６の撮影画像から運転者５の左眼ＥＬ及び右眼ＥＲの位置及び瞳位置を画像認識処理によって抽出し、運転者５の輻輳角及び視線を計算する。輻輳角及び視線の計算は公知の手法が用いられてよい。視線認識装置３１は、眼球を球体と扱って、基準位置からの瞳の位置のずれ（眼球角度）を用いて輻輳角及び視線を計算してよい。視線認識装置３１の計算結果は画像データ処理装置３３に出力される。画像データ処理装置３３は遮蔽部７が透明化されたように知覚させるための画像処理を実行し、画像処理の結果に基づいて表示制御装置３９が表示装置１０を制御する。

【0031】

また、画像表示装置１において、車外カメラ制御装置３５、画像データ処理装置３３、車内カメラ制御装置３７、視線認識装置３１及び表示制御装置３９を含んで、制御部５０が構成される。制御部５０は、画像表示装置１を制御する。制御部５０は、ハードウェア資源として例えば電子制御装置（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ；ＥＣＵ）等のプロセッサと、ソフトウェア資源としてコンピュータよって読み取り可能なプログラムとによって実現される。制御部５０は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部５０は、１個又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってよい。制御部５０は、記憶部を備え、記憶部に各種情報又は画像表示装置１の各構成要素を動作させるためのプログラム等を格納してよい。記憶部は、例えば半導体メモリ等で構成されてよい。

【0032】

図６は、制御部５０の動作を説明するためのフローチャートである。運転者５が運転席４に着座し、スタートボタン等によって車両２の運転を開始すると、運転者５が運転席４に着座したことが着座センサ３６によって検出される。また、車外カメラ制御装置３５が各車外カメラ３ａ、３ｂを作動させて、車両２の周囲を撮像する（ステップＳ１）。車内カメラ制御装置３７が視線認識装置３１及び車内カメラ６を作動させて、車内カメラ６による撮像が開始される。視線認識装置３１は、車内カメラ６によって撮像された画像に基づいて、運転者５の視線を検出する（ステップＳ２）。画像データ処理装置３３は、遮蔽部７に投射する画像を、車外カメラ３によって撮像された画像から切り出し、第１画像及び第２画像を生成する（ステップＳ３）。ステップＳ３において、観察者の視線と輻輳角とが一定の条件を満たす場合には、第１画像及び第２画像に代えて、視差を有しない画像である視差なし画像が生成される。視差なし画像の詳細については後述する。また、第１画像及び第２画像が生成されると、表示制御装置３９は、遮蔽部７に第１画像及び第２画像を表示させる（ステップＳ４）。表示制御装置３９は、例えば右サイドピラーに取付けられた右サイドピラー表示装置１０ｂに、本来右サイドピラーによって遮られて運転者５から見えていない画像を表示させる。ここで、ステップＳ３で視差なし画像が生成された場合には、ステップＳ４において、視差なし画像が表示される。

【0033】

ここで、本実施形態に係る画像表示装置１は、観察者の視線と輻輳角とが一定の条件を満たす場合に、第１画像及び第２画像が混合された画像を正しく知覚できない状態にあると判定し、遮蔽部７に視差なし画像を表示する。ピラー、ダッシュボード等に投射される景色の画像を外界の景色とつながったように正しく知覚するためには、観察者のピントが景色にあっていること、すなわち遠方を見るようになっていることが必要である。しかし、車内の構造物であるピラー、ダッシュボード等を見る場合に、観察者が車内の構造物自体にピントを合わせてしまって、投射された画像を正しく知覚できないことがある。本実施形態に係る画像表示装置１は、観察者の視線が遮蔽部７の範囲内にあり、かつ、視線検出部によって検出された観察者の輻輳角が閾値以上である場合に、観察者が正しく知覚できない状態にあると判定する。そして、正しく知覚できない状態において、第１画像及び第２画像が混合された画像の表示を停止し、視差なし画像を表示することによって、観察者である運転者５が二重像などを見ること（物体を誤認すること）を回避し、運転の快適性の向上を支援することができる。つまり、本実施形態に係る画像表示装置１は、観察者に遮蔽部７が透明化されたように知覚させ、正しく知覚できない状態を回避することが可能である。

【0034】

ここで、このような視差なし画像の表示処理は、表示対象が左右サイドピラーのいずれに対しても、画像データ処理装置３３によって実行される。また、ダッシュボード、ドア、バックシート２３を表示対象として、視差なし画像の表示処理が実行されてよい。従来死角にあった物体を誤認することなく、あたかも透明化されたように知覚することができるため、特にピラーを表示対象として適用されることがよい。

【0035】

以下、図面を参照しながら、視差なし画像の表示処理が詳細に説明される。図７は、遮蔽部７に視差画像が表示されていない状態を示す図である。右サイドピラー表示装置１０ｂに視差画像（第１画像及び第２画像が混合された画像）が表示されていない場合に、フロントガラス４２及び右ウインドガラス４６越しに見える建物だけが視認される。図８は、遮蔽部７に視差画像が表示されて、観察者が正しく知覚できた状態を示す図である。視差画像が表示されて、観察者が遠方（すなわち、車外）を見るようにピントを合わせている場合に、観察者は、右サイドピラー４０の右サイドピラー表示装置１０ｂの部分に、物体４４の像を知覚する。これに対して、図９は、遮蔽部７に視差画像が表示されて、観察者が正しく知覚できない状態を示す図である。視差画像が表示されて、観察者が右サイドピラー４０自体又はその手前を見るようにピントが合っている場合に、物体４４は二重像として知覚される。つまり、外界の実景が繋がらず、右サイドピラー表示装置１０ｂに表示された画像を連続した透過映像として知覚することができない。したがって、運転の快適性の観点から、画像表示装置１は、視線のピントの位置に基づいて観察者が正しく知覚できない状態にあることを検知した場合に、第１画像及び第２画像に代えて、視差なし画像を表示する。

【0036】

画像データ処理装置３３は、図６のステップＳ３において、検出された視線及び輻輳角に基づいて、観察者が正しく知覚できない状態にあるか否かを判定する。図１０は、観察者の視線及び輻輳角と遮蔽部７との関係について説明するための図である。視線及び輻輳角は、上記のように、車内カメラ６の撮影画像に基づき視線認識装置３１によって計算される。輻輳角は、図１０においてθで示されている。また、表示面は、図１０のように遮蔽部７の第１画像及び第２画像が表示される面である。画像データ処理装置３３は、観察者の視線が遮蔽部７の範囲内にあるかを判定する。遮蔽部７の範囲は、表示面における幅である。視線が遮蔽部７の左端７Ａと右端７Ｂとで挟まれる範囲にあれば、観察者が遮蔽部７を見ている状態にあると判定される。ここで、右眼ＥＲの視線と左眼ＥＬの視線のそれぞれについて遮蔽部７の範囲内にあるかの判定が行われて、少なくとも１つの視線が遮蔽部７の範囲にないときに、観察者が遮蔽部７を見ていないと判定されてよい。また、別の例として、右眼ＥＲの視線と左眼ＥＬの視線のうちの１つが代表となって、遮蔽部７の範囲内にあるかの判定で用いられてよい。画像データ処理装置３３は、観察者が遮蔽部７を見ている状態にある場合に、続いて、遠方を見ているかを判定する。画像データ処理装置３３は、観察者の輻輳角が閾値以上である場合に、観察者が表示面又は表示面より手前を見ており、視差画像に基づく像を正しく知覚できない状態にあると判定する。観察者が正しく知覚できない状態にある場合に、画像データ処理装置３３は視差なし画像を生成する。また、画像表示部は遮蔽部７に視差なし画像を表示する。ここで、上記の閾値は、観察者の両眼の位置と遮蔽部７の表示面との位置関係に基づいて決定される。閾値は、例えば車両２の運転が開始されるときに、車内カメラ６の撮影画像に基づいて決定されてよい。

【0037】

図１１は、第１画像及び第２画像又は視差なし画像を生成する処理（図６のステップＳ３に対応）の詳細を説明するためのフローチャートである。画像データ処理装置３３は、検出された観察者の視線が遮蔽部７の範囲内にあって（ステップＳ１１のＹＥＳ）、輻輳角が閾値以上である場合に（ステップＳ１２のＹＥＳ）、視差なし画像を生成する（ステップＳ１３）。画像データ処理装置３３は、検出された観察者の視線が遮蔽部７の範囲内にない（ステップＳ１１のＮＯ）、又は、輻輳角が閾値より小さい場合に（ステップＳ１２のＮＯ）、第１画像及び第２画像を生成する（ステップＳ１４）。画像表示部は、遮蔽部７に、生成された画像（「視差なし画像」又は「第１画像及び第２画像」）を表示する。

【0038】

ここで、視差なし画像は無色透明であってよいし、単色の均一画像であってよい。単色は白又はグレーの無彩色であってよい。視差なし画像は、車外の画像であってよい。視差なし画像は、右眼ＥＲ又は左目ＬＲのいずれか一方によって見られる、遮蔽部７に対応する範囲の画像であってよい。視差なし画像は、右眼ＥＲ及び左目ＬＲの間の仮想の視点から見られる、遮蔽部７に対応する範囲の画像であってよい。注意喚起の観点から、視差なし画像は文字情報又はコンテンツを含むものであってよい。文字情報は、例えば遠方を見ることを促す警告、車外にピントを合わせることを促す通知、遮蔽部７にピントを合わせないことを促す通知であってよい。視差なし画像を表示する場合は、第１画像及び第２画像を同一の画像として遮蔽部７に表示させてよい。例えば図１２に示すように、「車外前方確認」という警告を含む視差なし画像が遮蔽部７に表示されることによって、観察者である運転者５は遠方にピントを合わせようとする。その後に、遮蔽部７に視差画像が表示された場合に、運転者５は視差画像に基づく像を正しく知覚することが期待される。

【0039】

以上のように、本実施形態に係る画像表示装置１は、上記の構成によって、観察者に遮蔽部が透明化されたように知覚させ、正しく知覚できない状態を回避することが可能である。

【0040】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各工程などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又は工程などを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【符号の説明】

【0041】

１ 画像表示装置
２ 車両
３ 車外カメラ
４ 運転席
５ 運転者
６ 車内カメラ
７ 遮蔽部
８ 第１画像処理部
９ 第２画像処理部
１０ 表示装置
１１ 再帰反射性スクリーン
１１ａ ガラスビーズ
１１ｂ 反射膜
１２ 投射部
１２Ｌ 第２投射部
１２Ｒ 第１投射部
１３Ｌ、１３Ｒ 液晶表示装置
１４Ｌ 第２投射レンズ
１４Ｒ 第１投射レンズ
１６ 拡散板
２２ 後部座席
２３ バックシート
２４ バックシート投射部
２５ ダッシュボード投射部
３１ 視線認識装置
３３ 画像データ処理装置
３５ 車外カメラ制御装置
３６ 着座センサ
３７ 車内カメラ制御装置
３９ 表示制御装置
４０ 右サイドピラー
４２ フロントガラス
４４ 物体
４６ 右ウインドガラス
５０ 制御部
ＥＬ 左眼
ＥＲ 右眼

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】