(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-05
(45)【発行日】2023-12-13
(54)【発明の名称】映像装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20231206BHJP
H04N 7/18 20060101ALI20231206BHJP
G08G 1/16 20060101ALI20231206BHJP
G09G 5/00 20060101ALI20231206BHJP
G09G 5/10 20060101ALI20231206BHJP
B60R 11/02 20060101ALI20231206BHJP
B60K 35/00 20060101ALI20231206BHJP
【ＦＩ】
G06T1/00 500A
H04N7/18 J
G08G1/16 C
G09G5/00 550C
G09G5/00 510A
G09G5/10 B
G09G5/00 550X
G09G5/00 510V
B60R11/02 C
B60K35/00 A
【請求項の数】
5
(21)【出願番号】P 2022099408
(22)【出願日】2022-06-21
(62)【分割の表示】P 2020201523の分割
【原出願日】2017-09-22
(65)【公開番号】P2022153361
(43)【公開日】2022-10-12
【審査請求日】2022-06-21
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】村田 誠治
(72)【発明者】
【氏名】森 弘充
(72)【発明者】
【氏名】嶋田 堅一
(72)【発明者】
【氏名】山崎 和良
(72)【発明者】
【氏名】長吉 真弓
【審査官】鈴木 明
(56)【参考文献】
【文献】特開２０１６－０５１９８２（ＪＰ，Ａ）
【文献】特開２０１６－０３３７５８（ＪＰ，Ａ）
【文献】特開２０１４－０９６０５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｈ０４Ｎ ７／１８
Ｇ０８Ｇ １／１６
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／１０
Ｂ６０Ｒ １１／０２
Ｂ６０Ｋ ３５／００
(57)【特許請求の範囲】
【請求項1】
撮影画像を入力し、映像表示信号を出力する映像装置であって、ユーザの視線方向を特定する視線方向特定部と、
前記撮影画像における、前記視線方向特定部により特定された視線方向における輝度を特定する輝度特定部と、
前記視線方向特定部により特定された視線方向における、前記輝度特定部により特定された輝度と、当該視線方向の周囲における輝度とに基づいて、当該視線方向の周囲の輝度を変更する輝度変更部と、
前記輝度変更部によって変更された輝度に基づく虚像を生成する虚像生成部と、を備え、
前記虚像生成部により生成された虚像を前記映像表示信号として出力する、
映像装置。
【請求項2】
請求項１に記載の映像装置において、前記ユーザの眼の状態を検出する検出部を備え、
前記輝度変更部は、前記検出部によって検出された眼の状態にさらに基づいて、視線方
向の周囲の輝度を上げる、
映像装置。
【請求項3】
撮影画像を入力し、映像表示信号を出力する映像装置であって、ユーザの頭部または眼球の位置および向きに基づいて視線方向に関する情報を取得する視線方向特定部と、
前記視線方向に関する情報と入力された前記撮影画像を解析して輝度を変更する部分を特定し、当該部分の輝度を変更する輝度変更部と、
前記輝度変更部により変更された輝度に基づき、前記輝度変更部で特定された部分に表示される虚像を生成する虚像生成部と、
前記ユーザの視線方向と前記撮影画像との相対位置に関する相対位置情報を取得する相対位置情報特定部と、
前記撮影画像と、前記虚像と、前記相対位置情報とを履歴情報として記憶する履歴情報記憶部と、を備える、
映像装置。
【請求項4】
請求項３に記載の映像装置において、前記履歴情報に記憶済みの撮影画像に、前記履歴情報に記憶済みの相対位置情報により前記履歴情報に記憶済みの虚像を合成して再生する再生部を備える、
映像装置。
【請求項5】
請求項４に記載の映像装置において、前記映像装置の前記ユーザの前記視線方向からの映像を撮像するユーザ撮像部を備え、
前記履歴情報記憶部は、前記ユーザ撮像部により撮像された画像であるユーザ画像を記憶し、
前記再生部は、前記履歴情報記憶部により記憶されたユーザ画像を再生する、
映像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム及び表示方法に関する。
【背景技術】
【0002】
視線移動を少なくすることで自動車の安全運転支援を行なうことを目的とし、運転者の前方風景と車機器情報（計器、カーナビ情報、注意喚起、警告等）をフロントガラスまたはコンバイナ（サンバイザーの位置あるいはダッシュボードの上方）に重畳して表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）表示装置（ＡＲ－ＨＵＤ）が製品化されている。
【0003】
上記ＡＲ表示装置技術の例として、運転者が見る実際の画像が天候によって劣化する場合、運転者に運転情景を改善した画像を表示する技術がある（例えば、特許文献１参照）。具体的には、運転情景を撮影するカメラ画像を取得し、ノイズフィルタリングにより悪天候で劣化したカメラ画像の画質を改善して出力する。
【先行技術文献】
【特許文献】
【0004】
【文献】特表２００５-５０９９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献１に開示されている技術においては、カメラ画像の画質を画一的に改善している。しかしながら、移動体（例えば、車両）の周囲の状況に応じて、表示処理をした方がより適切に虚像（ＡＲ）を表示することができる。
【0006】
本発明の目的は、移動体の周囲の状況に応じて虚像を出力する表示システム、表示方法を提供することを目的とする。
【0007】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【0008】
前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。
【0009】
一例を挙げるならば、移動体に装着される表示部に虚像を表示させる表示システムであって、表示部を通して、移動体の前方を撮像する撮像部と、移動体の位置を特定する位置特定部と、位置特定部により特定された位置に基づいて、表示部に表示される強調対象を特定する対象特定部と、撮像部により撮像された画像の輝度を特定する輝度特定部と、輝度特定部により特定された輝度に基づいて、対象特定部により特定された強調対象を強調するための虚像を生成する虚像生成部と、虚像生成部により生成された虚像を前記表示部に表示させる表示処理部と、を備える。
【発明の効果】
【0010】
本発明の技術を用いることにより、移動体の周囲の状況に応じて虚像を出力することができる。
【図面の簡単な説明】
【0011】
【図1】車両の運転席における、表示システム１のハードウェア構成の概要を示す図である。
【図2】実施例１の表示システムの機能ブロック図である。
【図3】運転者から見える外界を示す図（１）である。
【図4】周囲領域における輝度の変化を示すグラフである。
【図5】表示システムが、輝度を調整して表示処理する手順を示すフローチャートである。
【図6】実施例２に係る表示システムの構成例について概要を示した図である。
【図7】運転者から見える外界を示す図（２）である。
【図8】虚像を表示した例を示す図である。
【図9】重要オブジェクトを特定して、当該重要オブジェクトを強調表示処理する手順を示すフローチャートである。
【図10】実施例３に係る表示システムの構成例について概要を示した図である。
【図11】車両周囲情報に基づいた虚像を表示する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態の例を、図面を用いて説明する。
【0013】
（表示システムのハードウェア構成）
まず、図１を用いて、表示システム１（表示システム１Ａ～１Ｃ）のハードウェア構成の概要を説明する。図１は、車両の運転席における、表示システム１のハードウェア構成の概要を示す図である。表示システム１は、車両等の移動体に搭載されるシステムである。この表示システム１は、移動体の周囲の状況に応じて、虚像（ＡＲ情報）を生成し、生成した虚像を移動体に装着されている表示部２００（フロントガラス、あるいはコンバイナ）へ表示する。
まず、図１を用いて、表示システム１（表示システム１Ａ～１Ｃ）のハードウェア構成の概要を説明する。図１は、車両の運転席における、表示システム１のハードウェア構成の概要を示す図である。表示システム１は、車両等の移動体に搭載されるシステムである。この表示システム１は、移動体の周囲の状況に応じて、虚像（ＡＲ情報）を生成し、生成した虚像を移動体に装着されている表示部２００（フロントガラス、あるいはコンバイナ）へ表示する。
【0014】
図１に示すように、表示システム１は、ヘッドトラッキング装置１０１と、外界撮影部１０２と、ウェアラブルカメラ１０３と、映像制御装置１０４と、映像表示装置１０５とを含む。また、表示システム１は、図示しないＧＰＳ（Global Positioning System）受信機なども含む。
【0015】
ヘッドトラッキング装置１０１は、運転者３００（表示システム１のユーザ）の頭の位置、向きを検出し、運転者３００の視線を検出する装置である。ヘッドトラッキング装置１０１は、運転席に固定されている。ヘッドトラッキング装置１０１は、検出結果を映像制御装置１０４へ送出する。外界撮影部１０２は、表示部２００を通して、車両の外部（車両前方）を撮影する手段である。外界撮影部１０２は、撮影した結果得られる画像を映像制御装置１０４へ送出する。外界撮影部１０２は、例えば図示しない１つのカメラレンズと１つの受光素子から成る単眼カメラである。また、外界撮影部１０２は、別の形態として、例えば、図示しない２つのレンズと２つの受光素子から成るステレオカメラでもよい。外界撮影部１０２は、運転席に固定されている。
【0016】
ウェアラブルカメラ１０３は、運転者３００へ装着された撮影手段である。ウェアラブルカメラ１０３は、運転者３００の前方を撮像する手段である。ウェアラブルカメラ１０３は、運転者３００に装着されているので、運転者３００視点の画像を得ることができる。ウェアラブルカメラ１０３は、撮影した結果得られる画像を映像制御装置１０４へ送出する。
【0017】
映像制御装置１０４は、周囲の環境に応じて虚像を生成する装置である。映像制御装置１０４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える情報処理装置である。映像制御装置１０４は、ヘッドトラッキング装置１０１から運転者３００の視線検出結果を取得する。また、映像制御装置１０４は、外界撮影部１０２およびウェアラブルカメラ１０３から画像を取得する。また、映像制御装置１０４は、ＧＰＳ受信機からＧＰＳ信号を取得する。また、映像制御装置１０４は、公知の画像解析を行うことができる。映像制御装置１０４は、取得したユーザの視線検出結果、画像、ＧＰＳ信号等に基づいて、表示する虚像を生成する。映像制御装置１０４は、生成した虚像を映像表示装置１０５へ送出する。
【0018】
また、映像制御装置１０４は、取得した画像を記憶し、生成した虚像を記憶する。また、映像制御装置１０４は、生成した虚像を映像表示装置１０５へ送出する。また、映像制御装置１０４は、記憶した画像、虚像をユーザ指定に応じて再生する。また、映像制御装置１０４は、地図情報を記憶し、上記ＧＰＳ信号を用いてナビゲーションする機能を有する。
【0019】
映像表示装置１０５は、光源（ＬＥＤあるいはレーザ）、レンズ、ミラー、ＳＬＭ（空間光変調器）あるいはＭＥＭＳミラーあるいはＤＭＤといった光学素子から構成される投影デバイスであり、例えば、ヘッドアップディスプレイ（ＨＵＤ）である。この映像表示装置１０５から投射された画像を、表示部２００に所定の拡大率、所定の位置にある画像として運転者３００に映るようにする。前記ヘッドアップディスプレイとは別に、例えばシースルー型のヘッドマウントディスプレイ（ＨＭＤ）を用いることもできる。これを使用する場合、例えばＨＭＤに設けた加速度センサの情報から車両の振動を検出し、使用者が不快と感じない範囲で車両の振動をできるだけ打ち消すようＨＭＤのディスプレイで映る画像を振動させる。
【0020】
また、表示システム１は、図示しない運転者状態モニタを備える。この運転者状態モニタは、運転者３００の瞳孔の大きさ、目の反応（動き、視点）を検出する。この運転者状態モニタは、公知の装置であり、例えば、運転手を撮像する装置などである。
【0021】
（実施例１）
続いて、実施例１について説明する。本実施例の表示システム１Ａは、運転者３００の眼に入る眩しい光の周辺輝度を変化させ、当該眩しい光を目立たなくするように表示制御する。
続いて、実施例１について説明する。本実施例の表示システム１Ａは、運転者３００の眼に入る眩しい光の周辺輝度を変化させ、当該眩しい光を目立たなくするように表示制御する。
【0022】
続いて、図２を用いて、実施例１の表示システム１Ａの機能を説明する。図２は、実施例１の表示システム１Ａの機能ブロック図である。表示システム１Ａは、撮像部１１、視線方向特定部１２、ユーザ検出部１３、輝度特定部１４、輝度変更部１５、虚像生成部１６Ａ、表示処理部１７、記録部１８、及び再生部１９を備える。
【0023】
撮像部１１は、表示部２００を通して、車両の前方を撮像する部分である。この撮像部１１は、外界撮影部１０２により実現される。撮像部１１は、車両の前方を撮像した結果の画像を輝度特定部１４および記録部１８へ送出する。
【0024】
なお、撮像部１１は、外界撮影部１０２だけでなく、さらにウェアラブルカメラ１０３により実現されてもよい。この場合、撮像部１１は、ウェアラブルカメラ１０３により撮像された画像（ユーザ画像）を記録部１８へ送出する。すなわち、撮像部１１は、ユーザ撮像部としても機能する。
【0025】
視線方向特定部１２は、運転者３００の視線方向を特定する部分である。視線方向特定部１２は、ヘッドトラッキング装置１０１により実現される。視線方向特定部１２は、特定した視線方向を示す情報を輝度特定部１４および記録部１８へ送出する。
【0026】
ユーザ検出部１３は、ユーザの眼の状態を検出する部分である。ユーザ検出部１３は、上述の運転者モニタにより実現する。ユーザ検出部１３は、ユーザの眼の状態を輝度変更部１５へ送出する。
【0027】
輝度特定部１４は、撮像部１１により撮像された画像における、視線方向特定部１２により特定された視線方向における輝度を特定する部分である。輝度特定部１４は、映像制御装置１０４により実現される。輝度特定部１４は、撮像部１１から画像を取得し、当該画像を解析して当該画像の輝度値を特定する。
【0028】
また、輝度特定部１４は、視線方向特定部１２から視線方向を示す情報を取得して、当該視線方向を示す情報と、画像の解析結果とに基づいて、視線方向および視線方向周囲における輝度を特定する。例えば、輝度特定部１４は、解析結果として、２次元の輝度分布を得る。輝度特定部１４は、特定した輝度を示す情報を輝度変更部１５へ送出する。なお、輝度特定部１４は、視線方向によらず、画像全体の輝度分布を特定するようにしてもよい。
【0029】
輝度変更部１５は、視線方向特定部１２により特定された視線方向における、輝度特定部１４により特定された輝度と、当該視線方向の周囲における輝度とに基づいて、視線方向の周囲の輝度を上げるように輝度を変更する部分である。輝度変更部１５は、映像制御装置１０４により実現される。
【0030】
輝度変更部１５は、輝度特定部１４から輝度を示す情報を取得する。また、輝度変更部１５は、視線方向特定部１２から検出した視線方向を示す情報を取得する。また、輝度変更部１５は、ユーザ検出部１３からユーザ（運転手）の眼の状態を示す情報を取得する。輝度変更部１５は、取得した情報を用いて、運転者３００にとって眩しい箇所を特定し、当該箇所の周囲の輝度を変更する。
【0031】
ここで、図３を用いて、輝度を変更する箇所について説明する。図３は、運転者３００から見える外界を示す図である。運転者３００は、表示部２００を通して外界を見ることができる。ここで、運転者３００の視線の先に眩しい領域３０１（例えば、西日等）がある。輝度変更部１５は、ユーザ検出部１３からユーザの眼の状態を示す情報（例えば、瞳孔の大きさ）に基づき、運転者３００が眩しいと感じているか否かを判断する。輝度変更部１５は、運転者３００が眩しいと感じていると判断した場合、上記視線方向を示す情報に基づいて、運転者３００の視線の先を特定することにより、眩しい領域３０１を特定する。
【0032】
なお、輝度変更部１５は、ユーザ検出部１３からユーザの眼の状態を示す情報を用いずに、眩しい領域３０１を特定するようにしてもよい。例えば、輝度変更部１５は、輝度特定部１４から輝度分布を取得し、当該輝度分布を参照し、予め定めた輝度の絶対値以上である領域を眩しい領域３０１と特定するようにしてもよい。
【0033】
予め定める輝度は、運転者３００が直視できる範囲であることが望ましく、例えば、蛍光灯の表面輝度程度の２０，０００ｃｄ／ｍ２程度に定めてもよい。また、輝度変更部１５は、取得した輝度分布の空間的な輝度変化量を２次元的に算出し、輝度変化量が大きい箇所を境界として明るい側の領域（眩しい領域３０１）として特定してもよい。
【0034】
輝度変更部１５は、周囲領域３０２の輝度を徐々に上げるように、変更後の輝度を決定する。なお、周囲領域３０２は、予め定めていてもよいし、眩しい領域３０１の大きさに応じて変更するようにしてもよい。例えば、眩しい領域３０１の面積の倍とするようにしてもよい。
【0035】
ここで、輝度変更部１５が、眩しい領域３０１の輝度に基づいて、周囲領域３０２の輝度を変更する例について、図４を用いて説明する。図４は、周囲領域３０２における輝度の変化を示すグラフである。縦軸は、輝度であり、横軸は、時間である。眩しい領域３０１の輝度を示す線分３０３（一定の輝度値Ｌ０）で示す。また、輝度変更部１５は、周囲領域３０２の輝度を線分３０４（時間ｔ１まで輝度０）、輝度Ｌ１まで変化する線分３０５（時間ｔ１から時間ｔ２）、輝度Ｌ２まで変化する線分３０６（時間ｔ２から時間ｔ３まで）、輝度Ｌ２を維持する線分３０７（時間ｔ３以降）で示すように時間に対して徐々に上げていく。
【0036】
運転者３００は、一般的に、空間的な輝度コントラストが大きければ、眩しさを感じる。ここで、輝度Ｌ２は、運転者３００が眩しさを感じなくなる閾値である。輝度Ｌ０＞輝度Ｌ２＞輝度Ｌ１＞０の関係を持たせている。また、輝度の時間あたりの変化Ｌ１／（ｔ２－ｔ１）が（Ｌ２－Ｌ１）／（ｔ３－ｔ２）よりも小さくなるようにすれば、周囲領域３０２が徐々に明るくなり自然に明るくなったように見せることができ、急激な輝度変化による運転者３００に対する違和感を回避することができる。
【0037】
別の方法としては、輝度Ｌ１＜輝度Ｌ３＜輝度Ｌ２となる輝度Ｌ３を設ける。そして、輝度Ｌ３に到達する時間を時間ｔ４として、Ｌ１／（ｔ２－ｔ１）＜（Ｌ３－Ｌ１）／（ｔ４－ｔ２）とし、（Ｌ２－Ｌ３）／（ｔ３－ｔ４）＜（Ｌ３－Ｌ１）／（ｔ４－ｔ２）とすれば、Ｌ１からＬ２まで輝度を上昇させる際に、ｔ１からｔ２までの時間を長くとることができる。この結果、前記方法よりも運転者３００に対して輝度変化の始まりを感じさせにくく、違和感を与えない輝度上昇が可能である。
【0038】
また、輝度変更部１５は、周囲領域３０２の内部の輝度領域は、眩しい領域３０１から周囲領域３０２の外側にかけて、眩しい領域３０１の輝度から周囲領域３０２の外側近傍の輝度と同等になるようにグラデーションをかけるように輝度を決定してもよい。この構成であれば、輝度の空間的な変化量が小さくなるため、運転者３００にとって眩しさを低減することができる。また、輝度変更部１５は、前記の輝度分布を実現するために、輝度特定部１４により特定された輝度分布を利用して、運転者３００に提供したい輝度分布から周囲領域３０２に対応する輝度分布を減算した値を変更後の輝度値に決定するようにしてもよい。
【0039】
ただし、いずれの処理においても、輝度変更部１５は、輝度Ｌ０が大きく明るすぎる場合、周辺輝度を明るく追従させるような処理をさせず、周囲領域３０２の輝度を調整しないようにしてもよい。例えば、快晴時の太陽の輝度は、１．７×１０９ｃｄ／ｍ２程度に到達する。このガラスへの写り込みなどに追従させるように制御すると、眩しい領域３０１が増えてしまう。これを防止するために、予め定めた第２の絶対値、例えば、１００，０００ｃｄ／ｍ２以上の輝度になった場合、輝度の上昇の調整を加えないように輝度を決定すると、運転者３００にとって眩しい領域３０１が拡大することを防止することができる。
【0040】
以上のいずれかの処理中に、眩しい領域３０１の輝度が変化した場合の処理について説明する。輝度変更部１５は、処理に用いていた輝度であるＬ１～Ｌ３の輝度を再設定し、再度処理する。最大輝度領域１０７の位置が変化した場合には、対象となる眩しい領域３０１、周囲領域３０２を再度特定する。このような、制御であれば、運転者３００に常に効果的に眩しさを抑えた視野を提供できる。
【0041】
眩しい領域３０１の輝度が変化して運転者３００が眩しさを感じない程度に十分に明るさが低下した時、輝度をもとに戻す。輝度変更部１５は、運転者３００が視認している環境が急変しないように、時間的にフェードアウトするように輝度を変更することが望ましい。
【0042】
輝度変更部１５は、変更した輝度値および変更対象の領域（領域の大きさ、領域の位置を示す情報）を虚像生成部１６へ送出する。
【0043】
虚像生成部１６は、輝度変更部１５によって変更された輝度に基づく虚像を生成する部分である。虚像生成部１６は、映像制御装置１０４により実現される。虚像生成部１６は、輝度変更部１５から変更した輝度値および変更対象の領域を取得する。虚像生成部１６は、輝度変更部１５から取得した領域の大きさであり、変更した輝度値の虚像を生成する。虚像生成部１６は、生成した虚像と、領域の位置を示す情報とを表示処理部１７および記録部１８へ送出する。
【0044】
表示処理部１７は、虚像生成部１６により生成された虚像を表示部２００に表示させる部分である。表示処理部１７は、映像表示装置１０５により実現される。表示処理部１７は、虚像生成部１６から虚像および領域の位置を示す情報を取得する。表示処理部１７は、取得した虚像を当該領域の位置に対応する箇所に表示する。
【0045】
記録部１８は、撮像部１１によって撮像された画像、および虚像生成部１６によって生成された虚像を記憶する部分である。また、記録部１８は、表示システム１のユーザ（運転者３００）の向きと、撮像部１１の撮像方向とに基づいた相対位置情報を特定し、当該相対位置情報を記憶する部分である。すなわち、記録部１８は、相対位置情報特定部および履歴情報記憶部として機能する。記録部１８は、映像制御装置１０４によって実現される。
【0046】
記録部１８は、撮像部１１から画像（外界画像、ユーザ画像）を取得し、虚像生成部１６によって生成された虚像を取得する。また、記録部１８は、視線方向特定部１２から視線方向を示す情報を取得する。記録部１８は、予め記憶している撮像部１１の方向情報と、視線方向を示す情報とを用いて相対位置情報を特定する。この相対位置情報は、撮像部１１の方向（撮像部１１の撮像方向）と視線方向とから特定される角度情報である。
【0047】
記録部１８は、撮像部１１から取得した画像と、虚像生成部１６によって生成された虚像とを別々に履歴情報として、記憶手段（例えば、ハードディスク）に記憶する。また、記録部１８は、相対位置情報を履歴情報として、画像および虚像とは別々に記憶する。
【0048】
なお、記録部１８は、外界画像と、相対位置情報と、虚像とを別々に記憶する代わりに、撮像部１１から取得した画像（外界画像）に、相対位置情報により虚像を合成した合成画像を生成して、当該合成画像を記憶手段に記憶するようにしてもよい。
【0049】
再生部１９は、記録部１８により記憶された情報を用いて、撮像部１１により撮像された画像に、相対位置情報により虚像を合成した合成画像を再生する部分である。再生部１９は、表示システム１Ａのユーザによる再生要求を受け付けると、記録部１８に記憶されている外界画像を取得して、当該外界画像をディスプレイ（例えば、ナビゲーションシステムのディスプレイ）に再生する。また、再生部１９は、外界画像に対応する虚像がある場合、当該虚像と相対位置情報とを記録部１８から取得し、当該外界画像に、相対位置情報に基づいて虚像を合成し、合成した画像を再生する。
【0050】
再生部１９は、合成画像が記憶されている場合、合成処理をせずに合成画像を再生するようにしてもよい。また、再生部１９は、記録部１８に記録されているユーザ画像をさらに再生するようにしてもよい。
【0051】
続いて、図５を用いて、輝度を調整して表示処理をする手順を説明する。図５は、表示システム１Ａが、輝度を調整して表示処理する手順を示すフローチャートである。まず、撮像部１１が外界を撮像する（ステップＳ１）。また、視線方向特定部１２は、運転者３００の視線を特定する（ステップＳ２）。なお、ステップＳ１およびステップＳ２は、順序が逆でもよいし、平行して処理をしてもよい。
【0052】
続いて、輝度特定部１４は、撮像部１１により撮像された外界画像について、輝度を特定し、輝度分布を生成する（ステップＳ３）。輝度変更部１５は、ユーザの視線方向およびユーザの状態に基づいて、輝度分布から眩しい領域３０１を特定する。さらに輝度変更部１５は、周囲領域３０２における変更後の輝度を決定する（ステップＳ４）。
【0053】
虚像生成部１６は、変更後の輝度、および周囲領域３０２に基づいた虚像を生成する（ステップＳ５）。表示処理部１７は、虚像生成部１６により生成された虚像を表示部２００へ表示する（ステップＳ６）。
【0054】
また、記録部１８は、運転者３００の向き（視線方向）と、撮像部１１の撮像方向とに基づいた相対位置情報を特定する（ステップＳ７）。また、記録部１８は、撮像部１１により撮像された画像、相対位置情報、および虚像を履歴情報として、記憶する（ステップＳ８）。そして、再生部１９は、相対位置情報に基づいて、外界画像に虚像を合成した合成画像を再生する（ステップＳ９）。
【0055】
上述のように、輝度特定部１４が、運転者３００の視線方向における外界画像の輝度分布を特定し、輝度変更部１５が、当該輝度分布のうち、眩しい領域３０１を特定する。さらに、輝度変更部１５は、当該眩しい領域３０１の周囲領域３０２における変更後の輝度を決定する。虚像生成部１６Ａが、決定した輝度に基づいた虚像を生成し、表示処理部１７が、当該虚像を表示部２００へ表示する。このように、表示システム１Ａは、眩しい領域３０１の周囲の輝度を上げるための虚像を表示するので、運転者３００が眩しく感じることを緩和することができ、視認性を向上させることができる。すなわち、表示システム１Ａは、周囲の状況に応じた虚像を出力することができる。
【0056】
また、ユーザ検出部１３により、ユーザの眼の状態を検出して、輝度変更部１５が、当該ユーザの眼の状態に基づいて、周囲領域３０２の輝度を変更するので、ユーザ個々で眩しいと感じる輝度の違いを考慮して輝度を変更することができる。
【0057】
また、記録部１８は、相対位置情報と、撮像部１１により撮像された外界画像と、虚像生成部１６Ａにより生成された虚像とを履歴情報として記憶する。そして、再生部１９は、外界画像に上記虚像を合成した画像を再生する。このように、表示システム１Ａは、過去の走行時における虚像情報の表示状態を再生することができる。これにより、虚像情報が適切に表示されたか確認することができる。例えば、車両事故等が発生した場合に、表示システム１Ａのユーザは、虚像を表示したことにより事故が発生してしまったか否か検証することができる。すなわち、記録部１８が、上記履歴情報を記憶することにより、車両が事故を起こした際の責任の所在が運転者３００によるものなのか、表示システムによるものかを判断するための証拠を残すことができる。
【0058】
また、記録部１８は、撮像部１１により撮像された外界画像と、虚像生成部１６Ａにより生成された虚像とを別々に記憶する。これにより、表示システム１Ａは、外界画像と虚像とを重ね合せた状態で記録する場合と比較して記録するためのデータ量を削減することができる。
【0059】
また、記録部１８は、運転者３００のユーザ画像を記憶し、再生部１９は、当該ユーザ画像を再生するので、ユーザ視点における虚像の表示状態を確認することができる。
【0060】
上述では述べなかったが、表示システム１Ａは、虚像を表示した後に、車両が走行するルートに基づいて、虚像の消去するように制御してもよい。例えば、表示システム１Ａは、ナビゲーション機能により探索した走行経路に基づき、現在の走行方向が変わる場所に到達した場合に、虚像を消去するようにしてもよい。例えば、西日の光が正面から入ってくる状況にある場合に、虚像を表示したままとすると、車両の走行方向が変わり、西日が入ってこなくなっているにも関わらず、虚像を表示してしまうことになる。上記のように、走行方向が変わる場合に、虚像を消去することにより、運転者３００にとって眩しくない状況であるにも関わらず、虚像を表示し続けてしまうことを回避することができる。
【0061】
上述の実施例では、視線方向特定部１２は、ヘッドトラッキング装置１０１により実現される旨、記載したが、これに替えて運転者３００の視線方向を検出するアイトラッキング装置を用いてもよい。この場合、運転者３００の眼球の向き、位置などから視線を直接的に検出するため、検出精度を高めることができる。
【0062】
上述の実施例では、記録部１８は、撮像部１１が撮像した外界画像およびユーザ画像を記録する場合について述べたが、ユーザ画像のみ記録するようにしてもよい。この場合、再生部１９は、運転者３００視点の画像を再生することができる。また、記録部１８は、撮像部１１が撮像した外界画像およびユーザ画像を記録する場合について述べたが、外界画像のみ記録するようにしてもよい。この場合、再生部１９は、外界画像およびこれに合成した虚像を再生することができる。
【0063】
本実施例の変形例として、表示部２００を、運転者３００とフロントガラスの間に設定し、液晶シャッターを設けたコンバイナとしてもよい。この場合、コンバイナを通して眩しい光の輝度を低下させ、運転者３００の眼に入る眩しさを防ぐことができる。
【0064】
本実施例の変形例として、フロントガラスを、閾値以上の明るさの光が入射するとその光をカットする機能を有するようにしてもよい。
【0065】
（実施例２）
図６は、実施例２に係る表示システム１Ｂの構成例について概要を示した図である。表示システム１Ｂは、車両前方にある強調対象（注視対象）が運転者３００により見えやすくするように虚像を表示するシステムである。
図６は、実施例２に係る表示システム１Ｂの構成例について概要を示した図である。表示システム１Ｂは、車両前方にある強調対象（注視対象）が運転者３００により見えやすくするように虚像を表示するシステムである。
【0066】
表示システム１Ｂは、関連情報記憶部２０と、撮像部１１と、視線方向特定部１２と、位置特定部２１と、対象特定部２２と、輝度特定部１４と、虚像生成部１６Ｂと、表示処理部１７と、記録部１８と、再生部１９とを備える。
【0067】
関連情報記憶部２０は、看板に表示される文字である看板文字と当該看板文字を簡略化したシンボルとを関連づけた関連情報を記憶する部分である。関連情報記憶部２０は、映像制御装置１０４により実現される。
【0068】
位置特定部２１は、車両の位置を特定する部分である。位置特定部２１は、映像制御装置１０４により実現される。位置特定部２１は、ＧＰＳ信号を受信して、受信したＧＰＳ信号および予め記憶している地図情報を用いて、車両の位置を特定する。位置特定部２１は、特定した位置を示す情報を対象特定部２２へ送出する。
【0069】
対象特定部２２は、位置特定部２１により特定された位置に基づいて、表示部２００に表示される強調対象を特定する部分である。対象特定部２２は、映像制御装置１０４により実現される。ここで、強調対象とは、運転者３００に注視させるべき対象である。本実施例では、信号、交通標識、看板などである。
【0070】
対象特定部２２は、位置特定部２１から位置を示す情報を取得すると、方向センサに基づいて、走行方向も特定し、当該位置と走行方向とに基づいて、車両の走行前方の強調対象とを特定する。具体的に、対象特定部２２は、予め記憶している地図情報を参照して、車両の走行前方にある地図オブジェクト（信号、交通標識、施設等）の情報を取得する。
【0071】
対象特定部２２は、取得した地図オブジェクトの情報に、強調対象であることを示す情報が付されている地図オブジェクトがある場合、当該地図オブジェクトを強調対象に特定する。なお、上記地図オブジェクトの情報には、地図オブジェクトの種類（信号、交通標識等）の情報、地図オブジェクトの位置の情報、地図オブジェクトが強調対象か否かを示す情報、地図オブジェクトの情報の種類が施設である場合、当該施設の看板に記載の名称、当該地図オブジェクトの画像（施設の場合は、看板の画像）を含む。対象特定部２２は、特定した地図オブジェクトの情報を虚像生成部１６Ｂへ送出する。
【0072】
虚像生成部１６Ｂは、輝度特定部１４により特定された輝度に基づいて、対象特定部２２により特定された地図オブジェクトを強調するための虚像を生成する部分である。虚像生成部１６Ｂは、対象特定部２２から地図オブジェクトの情報を取得する。また、虚像生成部１６Ｂは、輝度特定部１４により特定された輝度分布に、予め定めた閾値以上の輝度の領域がある場合、当該領域をマスクする虚像を生成する。なお、虚像生成部１６Ｂは、取得した地図オブジェクトの情報に基づいて、虚像生成部１６Ｂは、撮像部１１により撮像された画像から地図オブジェクトの情報の画像に対応する箇所を特定し、当該位置に表示（配置）させるための、上記閾値以上の輝度より高い輝度の虚像を生成するようにしてもよい。
【0073】
また、虚像生成部１６Ｂは、対象特定部２２から取得した地図オブジェクトの情報を参照し、当該地図オブジェクトの情報の種類が施設である場合、関連情報記憶部２０に記憶されている情報を参照し、看板の名称に対応するシンボルを取得する。虚像生成部１６Ｂは、撮像部１１により撮像された画像から地図オブジェクトの情報の画像に対応する箇所を特定し、当該位置に上記シンボルの虚像を生成する。虚像生成部１６Ｂは、マスク対象の位置を示す情報と、マスクのための虚像と、看板の位置を示す情報と、シンボルの虚像とを表示処理部１７へ送出する。表示処理部１７は、マスク対象の位置にマスクのための虚像を表示する。また、表示処理部１７は、看板の位置に、シンボルの虚像を表示する。
【0074】
ここで、図７を用いて、虚像を生成する箇所について説明する。図７は、運転者から見える外界を示す図である。運転者３００は、表示部２００を通して外界を見ることができる。ここで、運転者３００の視線の先に、強調対象のオブジェクトである信号３１１、看板３１３がある。また、輝度が高いネオン看板３１２がある。虚像生成部１６Ｂは、輝度特定部１４により特定された輝度分布に基づき、ネオン看板３１２の領域をマスク対象の箇所と判断し、マスク用の虚像を生成する。また、重要な施設の看板３１３の簡易版のシンボルの虚像を生成する。
【0075】
図８は、虚像を表示した例を示す図である。図８に示すように、表示処理部１７が、図７のネオン看板３１２の位置にマスク用の虚像３１５を表示する。このように、表示システム１は、不要な現実情報の輝度を低下させることにより、強調対象のオブジェクト（例えば、信号）を強調表示させることができる。また、表示処理部１７は、看板３１３の位置にシンボルの虚像３１４を表示する。看板３１３の文字が小さい場合や、文字数が多い場合でも簡易なシンボルに表示切り替えするので、運転者に直感的に看板を認識させることができる。この結果、運転者３００の注意力が散漫になることを防ぐことができる。また、外国人に理解しやすいシンボルを用意しておけば、外国人の運転手であっても、意味を容易に理解させることができる。表示システム１Ｂにおいて、ユーザ入力等により、運転手の人種を特定しておき、当該人種に対応するシンボルを表示することにより実現できる。
【0076】
続いて、図９を用いて、注視対象を特定して、当該注視対象を強調表示処理する手順を説明する。図９は、注視対象を特定して、当該注視対象を強調表示処理する手順を示すフローチャートである。なお、ステップＳ１１、ステップＳ１３、ステップＳ１６～Ｓ１９は、それぞれステップＳ１、ステップＳ３、ステップＳ６～Ｓ９と同様であるので、説明を省略する。
【0077】
位置特定部２１は、自車両の位置を特定する（ステップＳ１２）。なお、ステップＳ１１およびステップＳ１２は、順序が逆でもよいし、平行して処理をしてもよい。
【0078】
虚像生成部１６Ｂは、自車両の位置・走行方向に基づいて強調対象を特定する（ステップＳ１４）。続いて、虚像生成部１６Ｂは、上記輝度分布に基づいて、輝度の高い箇所を特定して、当該箇所をマスクするための虚像を生成する。また、虚像生成部１６Ｂは、施設の看板が強調対象である場合、当該看板の文字に対応する簡略したシンボルがある場合、当該シンボルの虚像を生成する（ステップＳ１５）。
【0079】
なお、上述の実施例において、輝度が高い箇所にマスク処理する場合について述べたが、強調対象の箇所に対して輝度を高めた虚像を重畳させて、強調表示するようにしてもよい。また、マスク処理と併せて行うようにしてもよい。
【0080】
また、上述の実施例では、マスクするための虚像を表示することにより、ネオン看板３１２を消す例について述べてが、目的地への到達のために必要なものである場合は、当該ネオン看板３１２にマスク処理をすることは望ましくない。そこで、撮像部１１により撮像された画像における輝度の高い領域と、走行位置との関係から、当該輝度の高い領域が目的地に対応する場合、マスク処理を中止することが考えられる。
【0081】
より簡易な処理として、目的地に近づいた場合、仮に輝度の高い領域が存在しても、マスク処理を禁止するようにしてもよい。
【0082】
また、オブジェクト情報にマスク対象を禁止する情報を付加しておき、当該情報が付加されているオブジェクトを画像から抽出した場合、当該箇所をマスク対象から除外してもよい。このような構成であれば、運転者３００にとって、潜在的な必要性を秘めた対象物を隠すことなく、運転者３００に提供することができる。特に、目的地の看板を目視させる場合には好適である。
【0083】
本実施例の変形例として、運転者３００とフロントガラスの間に設けたコンバイナの内部に液晶シャッターを設け、この液晶シャッターを動作させることにより、ネオン看板３１２の領域の輝度を低下させるようにしてもよい。このように、運転者３００の視認性を向上させ、より安全な運転が可能となる。
【0084】
上述のように、虚像生成部１６Ｂは、輝度特定部１４により特定された輝度に基づいて、強調対象を強調するための虚像を生成し、当該虚像を表示するので、車両の前方が眩しい状況でも、強調対象を視認しやすくすることができ、より安全な走行が可能となる。すなわち、表示システム１Ｂは、周囲の状況に応じた虚像を出力することができる。
【0085】
具体的に、虚像生成部１６Ｂは、表示部２００に表示される強調対象の位置の虚像を生成するので、強調対象の箇所を目立たせることが可能となる。また、虚像生成部１６Ｂは、強調対象の位置周囲の輝度が高い場合に、当該周囲の位置をマスクする虚像を生成するので、強調対象の周囲が眩しいために、強調対象が視認しづらい状況を解消することができる。また、虚像生成部１６Ｂは、強調対象が看板文字である場合、関連情報記憶部２０に記憶されている当該看板文字を簡略化したシンボル情報に基づいた虚像を生成する。これにより、表示システム１Ｂは、運転者３００（例えば、高齢運転者、外国人の運転者）にとって、視認しやすい表示形態で強調対象を表示することができる。
【0086】
（実施例３）
図１０は、実施例３に係る表示システム１Ｃの構成例について概要を示した図である。表示システム１Ｃは、運転者３００が目視では認識することが困難な情報（例えば、小さな起伏、凹凸等）を虚像で表示するシステムである。
図１０は、実施例３に係る表示システム１Ｃの構成例について概要を示した図である。表示システム１Ｃは、運転者３００が目視では認識することが困難な情報（例えば、小さな起伏、凹凸等）を虚像で表示するシステムである。
【0087】
表示システム１Ｃは、撮像部１１と、視線方向特定部１２と、周囲情報検出部３１と、位置特定部２１と、判断部３２と、虚像生成部１６Ｃと、表示処理部１７と、記録部１８と、再生部１９とを備える。
【0088】
周囲情報検出部３１は、車両の前方の注視物を示す周囲情報を検出する部分である。周囲情報検出部３１は、映像制御装置１０４により実現される。ここで、注視物とは、車両の運転者３００が視認する必要があると考えられる物であり、例えば、ガードレール、道路の白線（センターライン等）、崖等である。周囲情報検出部３１は、センサ機能等により、起伏のある箇所を公知技術により特定する。周囲情報検出部３１は、当該起伏の形状、当該起伏のある箇所を含む情報である周囲情報を検出する。また、周囲情報検出部３１は、当該周囲情報を判断部３２へ送出する。
【0089】
また、周囲情報検出部３１は、位置特定部２１により特定された位置や走行方向等に基づいて、周囲情報を検出するようにしてもよい。周囲情報検出部３１は、位置特定部２１により特定された位置と、走行方向とに基づいて、走行方向前方の所定範囲を定める。周囲情報検出部３１は、予め記憶している地図情報を参照し、当該範囲における注視物（ここでは、ガードレール、車両の白線数）を示す地図情報を取得することにより、周囲情報を検出する。周囲情報検出部３１は、当該周囲情報を判断部３２へ送出する。
【0090】
判断部３２は、撮像部１１により撮像された画像を解析し、当該画像に周囲情報検出部３１により検出された周囲情報が示す注視物の画像が含まれているか否かを判断する部分である。判断部３２は、映像制御装置１０４により実現される。判断部３２は、撮像部１１から撮像された外界画像を取得する。また、判断部３２は、周囲情報検出部３１から周
囲情報を取得する。
囲情報を取得する。
【0091】
判断部３２は、撮像部１１により撮像された画像を解析して、当該画像中に周囲情報検出部３１から取得した周囲情報に対応する情報が含まれるか否かを判断する。すなわち、判断部３２は、走行前方に、起伏や地図オブジェクトを運転者３００が視認できる状態であるか否かを判断する。判断部３２は、予め地図オブジェクトや起伏の画像を記憶しておき、撮像部１１から取得した画像に、周囲情報の注視物を示す画像が含まれているか否かにより判断する。
【0092】
判断部３２は、上記判断をした結果、注視物の画像が含まれていた場合、虚像生成部１６Ｃへ虚像の生成要求を行わない。一方、判断部３２は、上記判断をした結果、注視物の画像が含まれていない場合、注視物の情報を送出し、虚像生成部１６Ｃへ虚像の生成要求をする。
【0093】
虚像生成部１６Ｃは、周囲情報に基づく虚像を生成する部分である。虚像生成部１６Ｃは、判断部３２から周囲情報を取得すると、当該周囲情報が示す位置に、当該周囲情報に対応する虚像を生成する。例えば、周囲情報がガードレールを示す情報である場合、虚像生成部１６Ｃは、ガードレールを示す虚像を生成する。また、周囲情報が白線を示す情報である場合、虚像生成部１６Ｃは、白線を示す虚像を生成する。なお、虚像生成部１６Ｃは、警告を示す虚像を生成するようにしてもよい。例えば、周囲情報が崖を示す情報である場合、虚像生成部１６Ｃは、崖があることを注意喚起する警告を示す虚像を生成する。
【0094】
続いて、図１１を用いて、周囲情報に基づいた虚像を表示する処理の手順を説明する。図１１は、周囲情報に基づいた虚像を表示する処理の手順を示すフローチャートである。なお、ステップＳ２１、ステップＳ２２、ステップＳ２６～Ｓ２９は、それぞれステップＳ１、ステップＳ１２、ステップＳ６～Ｓ９と同様であるので、説明を省略する。
【0095】
なお、ステップＳ２１およびステップＳ２２は、順序が逆でもよいし、平行して処理をしてもよい。
【0096】
ステップＳ２３において、周囲情報検出部３１は、移動体前方の周囲情報を検出する（ステップＳ２３）。続いて、判断部３２は、撮像部１１により撮像された画像を解析し、当該画像に注視物の画像が含まれているか否かを判断する（ステップＳ２４）。判断部３２により、当該画像に注視物の画像が含まれていないと判断された場合、虚像生成部１６Ｃは、当該周囲情報に基づく虚像を生成する（ステップＳ２５）。
【0097】
上述のように、表示システム１Ｃは、周囲情報検出部３１により検出された周囲情報を取得して、撮像部１１により撮像された画像に注視物の画像が含まれているか否かを判断する。この判断をした結果、当該注視物の画像が含まれていない場合、虚像生成部１６Ｃが、当該周囲情報に基づく虚像を生成して、表示部２００へ表示させる。これによれば、積雪等により、運転者３００がガードレールやセンターライン（白線）を視認できない状態であっても、運転者３００にそれらがある旨を認識させることができる。すなわち、表示システム１Ｃは、車両の周囲の状況に応じた虚像を出力することができる。この結果、表示システム１Ｃは、運転者３００が、危険個所を回避して安全に運転することを助長することができる。
【0098】
上述では、自動車の運転を想定し、ヘッドアップディスプレイを利用した例を説明してきたが、これに限られない。例えば、スキー場で滑走する状況を想定し、滑走者のゴーグルにシースルー型のヘッドマウントディスプレイを内蔵した場合に対しても適用することが可能である。この場合、雪に埋もれており滑走者の目視では見つけられない危険箇所をメッシュ等の画像で強調して虚像情報とし、ゴーグルの表示部にて現実情報と重ね合わせる。その他、目視では見つけにくい滑走面のコブ凹凸をマーキング画像で強調してＡＲ情報とし、ゴーグルの表示部にて現実情報と重ね合わせる。以上より、滑走者に危険箇所（コブ凹凸）を認識させ、回避させることが可能となる。
【0099】
なお、上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記各実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。前記各実施例では、カメラとヘッドアップディスプレイ（ＨＵＤ）、カメラとヘッドマウントディスプレイ（ＨＭＤ）を用いた例で説明してきたが、これらに限らず、撮像部と表示部を備えたデバイスを用いても良い。例えば、スマートフォン（携帯電話）、タブレット端末、Ｗebカメラを搭載したパーソナルコンピュータ（ＰＣ）等を使用することが可能である。移動体の例として主に自動車を想定して記載したが、オートバイ、自転車、パーソナルビークルなどにも適用できる。
【0100】
前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。
【0101】
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【0102】
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0103】
１Ａ…表示システム、１Ｂ…表示システム、１Ｃ…表示システム、１１…撮像部、１２…視線方向特定部、１３…ユーザ検出部、１４…輝度特定部、１５…輝度変更部、１６Ａ…虚像生成部、１６Ｂ…虚像生成部、１６Ｃ…虚像生成部、１７…表示処理部、１８…記録部、１９…再生部、２０…関連情報記憶部、２１…位置特定部、２２…対象特定部、３１…周囲情報検出部、３２…判断部、１０１…ヘッドトラッキング装置、１０２…外界撮影部、１０３…ウェアラブルカメラ、１０４…映像制御装置、１０５…映像表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】