特許 7574785 画像表示システムおよび画像コントローラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】画像表示システムおよび画像コントローラ

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241022BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 11

(21)【出願番号】P 2021189236

(22)【出願日】2021-11-22

(65)【公開番号】P2023076068

(43)【公開日】2023-06-01

【審査請求日】2023-07-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】青木 隆行

(72)【発明者】

【氏名】小林 英樹

(72)【発明者】

【氏名】太田 龍佑

(72)【発明者】

【氏名】稲田 智洋

(72)【発明者】

【氏名】村木 均至

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０２１－１４８９０６（ＪＰ，Ａ）

【文献】特開２０１５－２０４６１６（ＪＰ，Ａ）

【文献】特開２０１６－１６７１３２（ＪＰ，Ａ）

【文献】特開２０１７－１２９９０４（ＪＰ，Ａ）

【文献】特開２０１４－２３５７０４（ＪＰ，Ａ）

【文献】特開２０１６－１８４２９６（ＪＰ，Ａ）

【文献】特開２０１７－１２９４０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

車両の乗員である利用者の頭部に装着され、前記利用者の視野に対象画像を重畳表示する表示器と、
前記表示器に対して固定され、前記表示器の周囲を写したスラム用画像を取得するスラム用カメラと、
車室内に設けられ、マーカとして機能する光を出力する１以上の発光装置と、
前記マーカが写った前記スラム用画像に基づいて、前記対象画像の表示位置を決定する画像コントローラと、
を備え、
前記マーカは、その輝度、色、および、明度の少なくとも一つを含むマーカ表示条件が変更可能であり、
前記発光装置の周辺の光環境条件に応じて、前記マーカ表示条件が変更される、
ことを特徴とする画像表示システム。

【請求項2】

車両の乗員である利用者の頭部に装着され、前記利用者の視野に対象画像を重畳表示する表示器と、
前記表示器に対して固定され、前記表示器の周囲を写したスラム用画像を取得するスラム用カメラと、
車室内に設けられ、マーカとして機能する光を出力する１以上の発光装置と、
前記マーカが写った前記スラム用画像に基づいて、前記対象画像の表示位置を決定する画像コントローラと、
を備え、
前記マーカは、その輝度、色、および、明度の少なくとも一つを含むマーカ表示条件が変更可能であり、
前記画像コントローラは、前記スラム用画像に応じて、前記マーカ表示条件を変更する、
ことを特徴とする画像表示システム。

【請求項3】

車両の乗員である利用者の頭部に装着され、前記利用者の視野に対象画像を重畳表示する表示器と、
前記表示器に対して固定され、前記表示器の周囲を写したスラム用画像を取得するスラム用カメラと、
車室内に設けられ、マーカとして機能する光を出力する１以上の発光装置と、
前記マーカが写った前記スラム用画像に基づいて、前記対象画像の表示位置を決定する画像コントローラと、
前記車室内に配された車載表示器と、
を備え、
前記画像コントローラは、前記スラム用画像から前記マーカを検知できない場合、前記車載表示器に、前記対象画像に対応する画像を表示させる、
ことを特徴とする画像表示システム。

【請求項4】

請求項１から３のいずれか１項に記載の画像表示システムであって、
前記発光装置は、前記車室内に設けられ、画像を表示する車載表示器であり、
前記マーカは、前記車載表示器の表示エリアに表示された画像である、
ことを特徴とする画像表示システム。

【請求項5】

請求項１に記載の画像表示システムであって、さらに、
前記発光装置の周辺の光環境条件を検知する光環境センサを備え、
前記画像コントローラは、前記光環境センサの検知結果に基づいて、前記発光装置の周辺の光環境条件を特定する、
ことを特徴とする画像表示システム。

【請求項6】

請求項１または５に記載の画像表示システムであって、
前記画像コントローラは、日時、前記車両の灯火の点灯状況および前記スラム用画像の少なくとも一つに基づいて、前記発光装置の周辺の光環境条件を特定する、ことを特徴とする画像表示システム。

【請求項7】

請求項１から６のいずれか１項に記載の画像表示システムであって、
前記画像コントローラは、前記スラム用画像から前記マーカを検知できた場合、前記対象画像が表すオブジェクトの実空間における仮想的な配置位置と、前記スラム用画像から求まる前記表示器の実空間における位置と、に基づいて前記対象画像の前記表示器の表示エリア内での表示位置を決定し、前記対象画像を決定された位置に表示させる、ことを特徴とする画像表示システム。

【請求項8】

請求項１から７のいずれか１項に記載の画像表示システムであって、
前記画像コントローラは、前記スラム用画像から前記マーカを検知できない場合、前記表示器の実空間での位置と無関係に、前記対象画像の前記表示器の表示エリア内での表示位置を決定し、前記対象画像を決定された位置に表示させる、ことを特徴とする画像表示システム。

【請求項9】

請求項１から８のいずれか１項に記載の画像表示システムであって、さらに、
前記マーカは、前記利用者が運転席に座って運転する際に、前記利用者の視界に入る位置に設けられる、ことを特徴とする画像表示システム。

【請求項10】

請求項１から９のいずれか１項に記載の画像表示システムであって、
前記発光装置が、互いに離間して２以上設けられ、
２以上の前記発光装置それぞれが前記マーカとして機能する光を出力する、
ことを特徴とする画像表示システム。

【請求項11】

車両の乗員である利用者の頭部に装着されるとともに前記利用者の視野に対象画像を重畳表示する表示器の駆動を制御する画像コントローラであって、
車室内に設けられた１以上の発光装置に、マーカとして機能する光を出力させ、
前記表示器に対して固定されたスラム用カメラに、前記表示器の周囲を撮像したスラム用画像を取得させ、
前記マーカが写った前記スラム用画像に基づいて、前記対象画像の表示位置を決定し、
前記発光装置の周辺の光環境条件に応じて、マーカ表示条件を変更し、
前記マーカ表示条件は、前記マーカの輝度、色、および、明度の少なくとも一つを含む、
ことを特徴とする画像コントローラ。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、車両の乗員である利用者の視野に、対象画像を重畳表示する画像表示システム、および、画像コントローラを開示する。

【背景技術】

【0002】

従来から、利用者の視野に、所定の画像を重畳表示し、これにより、当該画像が表わす仮想的なオブジェクトが現実に存在しているように、利用者に認識させる技術が知られている。例えば、特許文献１には、運転手が、眼鏡型の表示器であるスマートグラスを装着し、このスマートグラスに、運転手が乗車する車両を先導する先行車両を表した画像を表示する技術が開示されている。特許文献１において、画像で表現された先行車両は、運転手が乗車している車両を目的地に導くように動く。そのため、運転手は、先行車両に追従するように運転操作を行うことで、目的地に移動できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１２９４０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、仮想的なオブジェクトが現実に存在しているかのように認識させるためには、表示器に表示される画像（以下「対象画像」と呼ぶ）の表示位置を、対象画像が表わす仮想的なオブジェクトの実空間での位置、および、表示器の実空間での位置、に基づいて決定する必要がある。

【0005】

特許文献１では、表示器の実空間での位置を特定するために、ダッシュボードの上に、専用のマーカを設置するとともに、表示器にカメラを取り付けている。そして、カメラで、マーカを含む風景を撮像し、得られた画像に基づいて、表示器の現実空間での位置を特定している。この特許文献１のように、マーカを利用することで、表示器の実空間での位置を少ない演算量で検知できる。

【0006】

しかしながら、特許文献１において、マーカは、現実に存在する物体で構成される物理的マーカである。こうした物理的マーカは、周辺の光環境条件（例えば照度や色温度等）によって見え方が大きく変化する。そのため、表示器のカメラで物理的マーカを撮像しても、当該物理的マーカの位置を検知できない場合があった。例えば、夜間のように暗い環境下では、物理的マーカを撮像しても、その像が黒く潰れてしまい、物理的マーカの位置を検知できない場合がある。また、逆に、物理的マーカに強い太陽光が当たる環境下では、物理的マーカを撮像しても、その像が白く潰れてしまい、物理的マーカの位置を検知できない場合がある。そして、このように、物理的マーカの位置を検知できない場合、当然ながら、表示器の実空間での位置も検知できず、結果として、対象画像の適切な表示位置を決定できないという問題があった。

【0007】

そこで、本明細書では、対象画像の表示位置をより適切に決定できる画像表示システム、および、画像コントローラを開示する。

【課題を解決するための手段】

【0008】

本明細書で開示する画像表示システムは、車両の乗員である利用者の頭部に装着され、前記利用者の視野に対象画像を重畳表示する表示器と、前記表示器に対して固定され、前記表示器の周囲を写したスラム用画像を取得するスラム用カメラと、車室内に設けられ、マーカとして機能する光を出力する１以上の発光装置と、前記マーカが写った前記スラム用画像に基づいて、前記対象画像の表示位置を決定する画像コントローラと、を備えることを特徴とする。

【0009】

マーカを、光で構成することで、夜間等の暗い環境下でもマーカを検知できる。結果として、表示器の実空間での位置をより確実に特定できる。そして、これにより、対象画像の表示位置をより適切に決定できる。

【0010】

この場合、前記発光装置は、前記車室内に設けられ、画像を表示する車載表示器であり、前記マーカは、前記車載表示器の表示エリアに表示された画像でもよい。

【0011】

かかる構成とすることで、マーカの形状や位置、輝度等を自由に変更できる。その結果、車内の環境に適したマーカを生成することができ、表示器の実空間での位置をより確実に特定できる。

【0012】

また、前記マーカは、その輝度、色、および、明度の少なくとも一つを含むマーカ表示条件が変更可能であってもよい。

【0013】

マーカの輝度等を変更することで、マーカの検知可能性を高めることができる。結果として、対象画像の表示位置をより適切に決定できる。

【0014】

この場合、前記マーカは、前記発光装置の周辺の光環境条件に応じて、前記マーカ表示条件が変更されてもよい。

【0015】

光環境条件に応じてマーカの表示条件を変更することで、マーカの検知可能性を高めることができる。結果として、対象画像の表示位置をより適切に決定できる。

【0016】

また、前記発光装置の周辺の光環境条件を検知する光環境センサを備え、前記画像コントローラは、前記光環境センサの検知結果に基づいて、前記発光装置の周辺の光環境条件を特定してもよい。

【0017】

光環境センサを設けることで、発光装置の周辺の光環境条件を正確に検知できる。そして、これにより、マーカの表示条件をより適切に設定できる。

【0018】

また、前記画像コントローラは、日時、前記車両の灯火の点灯状況および前記スラム用画像の少なくとも一つに基づいて、前記発光装置の周辺の光環境条件を特定してもよい。

【0019】

かかる構成とすることで、光環境センサを設けなくても、発光装置の周辺の光環境条件を把握できる。

【0020】

また、前記画像コントローラは、前記スラム用画像に応じて、前記マーカ表示条件を変更してもよい。

【0021】

かかる構成とすることで、マーカの検知可能性をより高めることができる。

【0022】

また、前記画像コントローラは、前記スラム用画像から前記マーカを検知できた場合、前記対象画像が表すオブジェクトの実空間における仮想的な配置位置と、前記スラム用画像から求まる前記表示器の実空間における位置と、に基づいて前記対象画像の前記表示器の表示エリア内での表示位置を決定し、前記対象画像を決定された位置に表示させてもよい。

【0023】

かかる構成とすることで、対象画像が表わすオブジェクトが、現実に存在していると利用者に錯覚させることができ、利用者の認識できる現実環境を拡張できる。

【0024】

また、前記画像コントローラは、前記スラム用画像から前記マーカを検知できない場合、前記表示器の実空間での位置と無関係に、前記対象画像の前記表示器の表示エリア内での表示位置を決定し、前記対象画像を決定された位置に表示させてもよい。

【0025】

かかる構成とすることで、マーカを検知できない場合でも、対象画像を利用者に提供できる。

【0026】

また、さらに、前記車室内に配された車載表示器を備え、前記画像コントローラは、前記スラム用画像から前記マーカを検知できない場合、前記車載表示器に、前記対象画像に対応する画像を表示させてもよい。

【0027】

かかる構成とすることで、マーカを検知できない場合でも、対象画像と同等の情報を持つ画像を利用者に提供できる。

【0028】

また、さらに、前記マーカは、前記利用者が運転席に座って運転する際に、前記利用者の視界に入る位置に設けられてもよい。

【0029】

かかる構成とすることで、利用者が運転中でもマーカを検知でき、運転中に対象画像を提供できる。

【0030】

また、前記発光装置が、互いに離間して２以上設けられ、２以上の前記発光装置それぞれが前記マーカとして機能する光を出力してもよい。

【0031】

マーカを複数設けることで、表示器の位置検出精度が向上する。

【0032】

本明細書で開示する画像コントローラは、車両の乗員である利用者の頭部に装着されるとともに前記利用者の視野に対象画像を重畳表示する表示器の駆動を制御する画像コントローラであって、車室内に設けられた１以上の発光装置に、マーカとして機能する光を出力させ、前記表示器に対して固定されたスラム用カメラに、前記表示器の周囲を撮像したスラム用画像を取得させ、前記マーカが写った前記スラム用画像に基づいて、前記対象画像の表示位置を決定する、ことを特徴とする。

【0033】

マーカを、光で構成することで、夜間等の暗い環境下でもマーカを検知できる。結果として、表示器の実空間での位置をより確実に特定できる。そして、これにより、対象画像の表示位置をより適切に決定できる。

【発明の効果】

【0034】

本明細書で開示する技術によれば、対象画像の表示位置をより適切に決定できる。

【図面の簡単な説明】

【0035】

【図1】画像表示システムの構成を示すブロック図である。

【図2】利用者がウェアラブルデバイスを装着した状態を示す図である。

【図3】利用者である運転手の視界を模式的に示した図である。

【図4】空間固定表示とデバイス固定表示とを説明するイメージ図である。

【図5】対象画像が表示されている際の利用者の視界を模式的に示した図である。

【図6】夜間における運転手の視界を模式的に示した図である。

【図7】ＡＲマーカの他の例を示す図である。

【図8】輝度プロファイルの一例を示す図である。

【図9】ＡＲマーカが検知できなかった場合の画像の表示例を示す図である。

【図10】画像表示システムにおける画像表示処理の流れを示すフローチャートである。

【図11】ビジュアルスラム処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0036】

以下、図面を参照して、画像表示システム１０の構成について説明する。説明においては、理解を容易にするため、具体的な態様について示すが、これらは一例であり、適宜、変更可能である。図１は、画像表示システム１０の構成を示すブロック図である。画像表示システム１０は、ウェアラブルデバイス１２と車載システム２８とを備える。

【0037】

ウェアラブルデバイス１２は、車両の乗員（例えば運転手）が、その頭部に装着するデバイスであり、例えば、眼鏡あるいはゴーグル型のデバイスである。ウェアラブルデバイス１２は、表示器１４、スラム用カメラ１６、瞳孔位置センサ１８、および、デバイスコントローラ２０を有する。

【0038】

このウェアラブルデバイス１２について図２を参照して詳説する。図２は、車両の乗員である利用者１００がウェアラブルデバイス１２を装着した状態を示す図である。ウェアラブルデバイス１２は、眼鏡の形状に形成されたデバイスであり、スマートグラスあるいはＡＲグラスと呼ばれる。ウェアラブルデバイス１２は、耳に掛けるための直線状のフレームであるテンプル２６と、目の周囲を囲むとともに鼻に掛けられる形状に形成されたフレームであるリム２４と、を備える。

【0039】

表示器１４は、ウェアラブルデバイス１２を装着している利用者１００の視野に画像を表示する。本例において、表示器１４は、リム２４の内側に配された表示エリア２２を有する有機ＥＬディスプレイまたは液晶ディスプレイであり、この表示エリア２２の一部または全部に画像を映し出す。表示エリア２２は、高い透明性を有している。そのため、表示エリア２２に画像が表示されていない場合、利用者１００（すなわち乗員）は、表示エリア２２越しに前方の風景を視認できる。また、表示エリア２２の一部にのみ画像が表示されている場合、利用者１００は、前方の視界の風景と、表示された画像と、を同時に見ることができる。この場合、画像は、不透明でもよいし、半透明でもよい。なお、以下の説明では、表示器１４に表示される画像を、その他の画像と区別するために、「対象画像」と呼ぶ。また、対象画像が仮想的に表すオブジェクトを「対象オブジェクト」と呼ぶ。

【0040】

スラム用カメラ１６は、表示器１４に対して固定されたカメラであり、表示器１４の周囲を撮像するカメラである。スラム用カメラ１６は、例えば、テンプル２６の前端近傍において、前向きに固定されており、利用者１００の視野と類似した範囲を撮像する。以下では、このスラム用カメラ１６で撮像された画像を「スラム用画像」と呼ぶ。後述する画像コントローラ３０は、スラム用画像に写り込んだＡＲマーカに基づいて、表示器１４の実空間での位置および姿勢を特定するが、これについては、後述する。

【0041】

瞳孔位置センサ１８は、利用者１００の右目と左目の瞳孔の位置を検知するセンサであり、例えば、リム２４の中心付近に固定される。この瞳孔位置センサ１８は、例えば、カメラ等を利用して形成することができる。

【0042】

デバイスコントローラ２０は、画像コントローラ３０からの指示に応じて、ウェアラブルデバイス１２の作動を制御する。かかるデバイスコントローラ２０は、例えば、プロセッサとメモリとを有するコンピュータである。デバイスコントローラ２０は、スラム用カメラ１６および瞳孔位置センサ１８で取得された画像を随時、画像コントローラ３０に送信するとともに、画像コントローラ３０からの指示に従って表示器１４に対象画像を表示させる。

【0043】

再び図１に戻って、車載システム２８について説明する。車載システム２８は、車両に搭載されたシステムである。車載システム２８は、画像コントローラ３０と、メータディスプレイ４０ａと、マルチディスプレイ４０ｂと、電子インナーミラー４０ｃと、光環境センサ４２と、を有する。メータディスプレイ４０ａ、マルチディスプレイ４０ｂ、および、電子インナーミラー４０ｃは、いずれも、車両に搭載され、運転手が運転中に視認可能な表示器である。以下では、これらを区別しない場合は、「車載表示器４０」と呼ぶ。車載表示器４０は、後述するＡＲマーカを形成する光を発する発光装置として機能するが、これについては後述する。

【0044】

車載表示器４０の配置について図３を参照して説明する。図３は、利用者１００である運転手の視界を模式的に示した図である。メータディスプレイ４０ａは、車速や燃費等、車両の状態に関する情報を表示するディスプレイである。このメータディスプレイ４０ａは、図３に示すように、運転手からみてステアリングホイール５６の奥側に配置されており、運転手は、ステアリングホイール５６越しにメータディスプレイ４０ａの表示エリアを視認できる。

【0045】

マルチディスプレイ４０ｂは、車載電子機器（例えばナビゲーション装置や、オーディオ装置）に関する情報を表示するディスプレイである。このマルチディスプレイ４０ｂは、図３に示すように、インストルメントパネルの車幅方向中央、すなわち、一般に、センターコンソールと呼ばれる箇所に配置されている。

【0046】

電子インナーミラー４０ｃは、バックカメラ（図示せず）で撮像された車両の後方の画像を映し出すディスプレイである。この電子インナーミラー４０ｃは、光学的な反射により車両の後方を映す後写鏡の替わりに用いられる。電子インナーミラー４０ｃは、画像を映し出すデジタルモードと、光学的な反射で後方を写すミラーモードと、に切り替えできるものでもよい。電子インナーミラー４０ｃは、図３に示すように、一般的な後写鏡と同等の位置、すなわち、ウィンドウシールドガラスの上端近傍に配置される。

【0047】

再び、図１を参照して説明する。光環境センサ４２は、車載表示器４０の周辺の光環境条件を検知するセンサである。ここで、光環境条件とは、光の照度および色温度の少なくとも一つを含む条件である。かかる光環境センサ４２は、光の明るさを検知する照度センサ、および、光の色を検知する色温度センサの少なくとも一つを含んでもよい。また、光環境センサ４２の個数は、一つでもよいし、複数でもよい。例えば、光環境センサ４２は、ウェアラブルデバイス１２に設けられてもよい。また、別の形態として、光環境センサ４２は、複数の車載表示器４０それぞれの近傍に一つずつ設けられてもよい。また、光環境センサ４２は、画像表示システム１０のために専用に設けられてもよいし、既存の車両に搭載されているセンサを流用してもよい。例えば、車両には、当該車両の周囲が暗い場合に、ヘッドライト等の灯火を自動で点灯するオートライト機能を有するものがある。かかるオートライト機能のために設けられた照度センサ（いわゆるオートライトセンサ）を、光環境センサ４２として流用してもよい。また、マルチディスプレイ４０ｂの中には、周辺の明るさに応じて、自動的に発光輝度を調整するために、照度センサを内蔵しているものがある。かかるマルチディスプレイ４０ｂに内蔵されている照度センサを、光環境センサ４２として利用してもよい。

【0048】

画像コントローラ３０は、表示器１４に表示させる対象画像のデータを生成する。この画像コントローラ３０は、物理的には、プロセッサ３２とメモリ３４と通信Ｉ／Ｆ３５とを有したコンピュータである。この「コンピュータ」には、コンピュータシステムを一つの集積回路に組み込んだマイクロコントローラも含まれる。また、プロセッサ３２とは、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0049】

メモリ３４は、コンピュータが処理すべきデジタルデータを保持する装置を意味する。このメモリ３４は、メモリバスを介してプロセッサ３２に接続されたメインメモリ、および、入出力チャネルを介してプロセッサ３２がアクセスする二次記憶装置の少なくとも一つを含む。かかるメモリ３４は、半導体メモリ（例えばＲＡＭ、ＲＯＭ、ソリッドステートドライブ等）および磁気ディスク（例えば、ハードディスクドライブ等）の少なくとも一つを含んでもよい。

【0050】

通信Ｉ／Ｆ３５は、有線または無線により、他の電子機器、具体的には、ウェアラブルデバイス１２や車載表示器４０、光環境センサ４２とデータを送受する。例えば、通信Ｉ／Ｆ３５は、車載表示器４０および光環境センサ４２と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信でデータを送受してもよい。また、通信Ｉ／Ｆ３５は、ウェアラブルデバイス１２と、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、赤外線通信などの近距離無線通信でデータを送受してもよい。

【0051】

こうした画像コントローラ３０は、単一のコンピュータでなく、機械的に離間した複数のコンピュータで構成されてもよい。また、以下で説明する画像コントローラ３０の処理の一部は、ウェアラブルデバイス１２や車載表示器４０に内蔵されたコンピュータで実現されてもよい。また、本例では、画像コントローラ３０を車両に搭載しているが、画像コントローラ３０は、ウェアラブルデバイス１２に組み込まれてもよいし、ウェアラブルデバイス１２とは別の可搬型コンピュータ（例えばスマートフォン等）に組み込まれてもよい。

【0052】

画像コントローラ３０は、上述した通り、表示器１４に表示させる対象画像のデータを生成する。ここで、表示器１４における対象画像の表示形態には、「空間固定表示」と「デバイス固定表示」とがある。この二つの表示形態について図４を参照して説明する。

【0053】

空間固定表示は、所定のオブジェクトを表す対象画像を、実空間に存在するかのように表示する表示形態である。一方、デバイス固定表示は、実空間の位置とは無関係に、表示エリア２２の特定の位置に対象画像を表示する表示形態である。

【0054】

例えば、図４に示すように、利用者１００が、表示器１４の表示エリア２２を通じて、テーブル８０が実在している実空間を見ている場合を考える。このとき、図４の状態Ｓ１に示すように、表示エリア２２に「球」を表す対象画像５０を表示すると、当然ながら、利用者１００の視野には、テーブル８０を含む実空間と、「球」の対象画像５０と、が同時に映る。

【0055】

デバイス固定表示の場合、対象画像５０が示す対象オブジェクト７２（図４の例の場合「球」）の表示位置を、実空間とは無関係に決定する。したがって、デバイス固定表示では、図４の状態Ｓ２に示すように、利用者１００の視点が移動したとしても、表示エリア２２内における対象画像５０の表示位置やサイズ、形状を変化させる必要は無い。

【0056】

一方、空間固定表示では、対象画像５０が示す対象オブジェクト７２（図４の例の場合「球」）が実空間のどこに位置しているかを特定し、特定された位置に実在するかのように対象画像５０を表示する。例えば、空間固定表示において、「球」の対象オブジェクト７２が実空間のテーブル８０の上に位置していると仮定した場合を考える。この場合、状態Ｓ３に示すように、利用者１００の視点が移動しても、「球」がテーブル８０の上に位置するように見えるように、表示エリア２２内における「球」の表示エリア２２での表示位置やサイズ、形状を変化させる。

【0057】

このように、空間固定表示で対象画像５０を表示することで、利用者１００は、対象画像５０が示す対象オブジェクト７２が現実に存在するかのように錯覚する。換言すれば、空間固定表示で対象画像５０を表示することで、現実環境に情報を付加・削除・強調・減衰させることができ、人間から見た現実世界を拡張できる。こうした技術は、一般に、「拡張現実」または「ＡＲ」と呼ばれる。

【0058】

次に、本例における対象画像５０の表示の一例を説明する。図５は、対象画像５０ａ，５０ｂ，５０ｃが表示されている際の利用者１００（本例の場合は運転手）の視野を模式的に示した図である。図５の例では、歩行者を強調する対象画像５０ａと、車両の進行方向を示す対象画像５０ｂと、運転手への注意喚起メッセージを示す対象画像５０ｃと、が空間固定表示されている。こうした対象画像５０ａ，５０ｂ，５０ｃは、当該画像が示す対象オブジェクトが現実に存在する場合と同様の位置およびサイズで、表示器１４に表示される。例えば、対象画像５０ａは、現実に存在する歩行者とともに移動するオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア２２に表示される。そのため、歩行者と利用者１００との相対位置関係が変化すれば、対象画像５０ａの表示エリア２２内での位置およびサイズも変化する。また、歩行者の現実での位置や姿勢に応じて、対象画像５０ａの形状も変化してもよい。

【0059】

また、対象画像５０ｂは、現実に存在する車両の前方の路面に、対象画像５０ｂで表現された矢印状のオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア２２に表示される。また、対象画像５０ｃは、現実に存在するステアリングホイール５６の右上に、対象画像５０ｃで表現されたテキストオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア２２に表示される。したがって、利用者１００の視線が移動すれば、これら対象画像５０ｂ，５０ｃの表示エリア２２内での表示位置およびサイズも変化する。

【0060】

このように空間固定表示の場合、実在の物体の配置を考慮して対象画像５０を表示できるため、対象画像５０が運転操作の邪魔になることを確実に防止できる。また、空間固定表示の場合、実在の物体（例えば歩行者等）と相関性のある位置に対象画像５０を表示できるため、当該物体に利用者１００の注意を効果的に向けさせることができる。

【0061】

ところで、空間固定表示を行うためには、表示器１４に対する瞳孔の位置、および、実空間における表示器１４の位置および姿勢を正確に検知する必要がある。画像コントローラ３０は、対象オブジェクトの実空間での位置および姿勢と、実空間における表示器１４の位置および姿勢と、表示器１４に対する瞳孔の位置と、に基づいて、対象画像５０の表示エリア２２内での位置等を決定する。このうち、表示器１４に対する瞳孔の位置は、上述した通り、瞳孔位置センサ１８で検知される。

【0062】

実空間における表示器１４の位置および姿勢は、画像コントローラ３０が、スラム用カメラ１６で得られたスラム用画像に基づいてビジュアルスラム（Visual Simultaneous Localization and Mapping）を行うことで算出される。ビジュアルスラムは、カメラで撮影された映像から環境の三次元情報とカメラの位置姿勢を同時に推定する技術である。このビジュアルスラムを容易に行うために、車内には、ＡＲマーカ６０（図３参照）が配置されている。画像コントローラ３０は、スラム用カメラ１６で撮像されたスラム用画像から、ＡＲマーカ６０の像を抽出し、このＡＲマーカ６０の像のスラム用画像内での座標やサイズ、歪み等に基づいて、表示器１４の実空間での位置および姿勢を算出する。

【0063】

ところで、従来、こうしたＡＲマーカ６０として、実在する物体を用いていた。しかし、実在する物体は、車内の光環境条件によっては、画像コントローラ３０で検知することが難しい場合があった。例えば、夜間等の暗い環境下では、スラム用画像に写り込むＡＲマーカ６０の周辺が黒く見えなくなる黒潰れが生じることがあった。また、逆に、実在するＡＲマーカ６０に強い太陽光が当たっている場合、スラム用画像に写り込むマーカが白く見えなくなる白飛びが生じることがあった。こうした黒潰れや白飛びが生じた場合には、画像コントローラ３０で、ＡＲマーカ６０を検知すること、ひいては、表示器１４の実空間での位置および姿勢を検知することが難しく、対象画像５０の空間固定表示ができなかった。

【0064】

そこで、本例では、ビジュアルスラムに用いるＡＲマーカ６０を、車載表示器４０（すなわち発光装置）から出力される光で構成している。具体的には、本例では、車載表示器４０に、ＡＲマーカ６０として機能する画像を表示させている。図３の例では、メータディスプレイ４０ａ、マルチディスプレイ４０ｂ、および、電子インナーミラー４０ｃそれぞれに表示された十字状の画像が、ビジュアルスラムに用いるＡＲマーカ６０として機能する。

【0065】

このように、車載表示器４０から出力される光をＡＲマーカ６０として利用することで、図６に示すように、夜間等の暗い環境下であっても、ＡＲマーカ６０の形状がスラム用画像に適切に写る。そのため、画像コントローラ３０は、スラム用画像に基づいて適切にビジュアルスラムを実行でき、ひいては、対象画像５０を適切に表示できる。

【0066】

なお、画像コントローラ３０が、ＡＲマーカ６０の形状および表示位置を必要なタイミングで把握できるのであれば、ＡＲマーカ６０の形状および表示位置は、不変でもよいし、適宜変更されてもよい。例えば、ＡＲマーカ６０の表示位置および形状は、予め、決定され、不変でもよい。この場合、画像コントローラ３０は、決定されたＡＲマーカ６０の表示位置および形状を予め記憶している。また、別の形態として、ＡＲマーカ６０の表示位置および形状は、適宜変更されてもよい。例えば、マルチディスプレイ４０ｂに地図情報が表示されている場合、ＡＲマーカ６０は、マルチディスプレイ４０ｂの右上の隅に表示され、マルチディスプレイ４０ｂにオーディオ情報が表示されている場合、ＡＲマーカ６０は、マルチディスプレイ４０ｂの右下の隅に表示されてもよい。また、この二つの場面で、ＡＲマーカ６０の形状が変更されてもよい。この場合、画像コントローラ３０および車載表示器４０の一方が、ＡＲマーカ６０の表示位置および形状を決定し、その決定内容を、データ通信で他方に通知する。

【0067】

また、複数の車載表示器４０に表示されるＡＲマーカ６０は、互いに同じ形状でもよいし、互いに異なる形状でもよい。すなわち、図７に示すように、三つの車載表示器４０ａ，４０ｂ，４０ｃに、互いに異なる形状のＡＲマーカ６０ａ，６０ｂ，６０ｃを表示してもよい。また、ＡＲマーカ６０は、ビジュアルスラムのために、専用に設けられてもよいし、既存の画像を流用してもよい。例えば、メータディスプレイ４０ａには、ビジュアルスラムの実行とは無関係に、車速の単位（図７の例では「Ｋｍ／ｈ」）を示す画像が表示される。かかる画像を、ＡＲマーカ６０ａとして利用してもよい。また、ＡＲマーカ６０を構成する光は、スラム用カメラ１６で検知できるのであれば、可視光に限らず、不可視光でもよい。例えば、ＡＲマーカ６０ｃの像は、赤外線光で構成されてもよい。

【0068】

また、画像コントローラ３０は、車載表示器４０周辺の光環境条件に応じて、ＡＲマーカ６０の輝度、色彩および明度の少なくとも一つを含むマーカ表示条件を決定し、このマーカ表示条件でのＡＲマーカ６０の表示を車載表示器４０に指示してもよい。例えば、画像コントローラ３０は、車載表示器４０周辺の照度（以下「環境照度」と呼ぶ）に応じてＡＲマーカ６０の表示輝度を変更してもよい。この場合、画像コントローラ３０は、図８に示す輝度プロファイルを記憶しておき、この輝度プロファイルに基づいて、ＡＲマーカ６０の表示輝度を決定してもよい。図８の輝度プロファイルにおいて、横軸は、環境照度を、縦軸は、ＡＲマーカ６０の表示輝度を示している。図８の例では、環境照度が高いほど、ＡＲマーカ６０の表示輝度を高くしている。かかる構成とすることで、環境照度が高い環境下でも、ＡＲマーカ６０を明確に映し出すことができる。一方で、環境照度が低い場合には、ＡＲマーカ６０が過度に明るくなることが防止できるため、利用者１００に眩しさを感じさせない。

【0069】

また、別の形態として、画像コントローラ３０は、車載表示器４０周辺の色温度（以下「環境色温度」と呼ぶ）に応じて、ＡＲマーカ６０の色彩および明度の少なくとも一つを変更してもよい。例えば、環境色温度が、夕日のように赤みの強い色温度の場合、ＡＲマーカ６０の色を青に近づけてもよい。

【0070】

また、車載表示器４０周辺の光環境条件は、光環境センサ４２での検知結果に基づいて特定してもよい。また、別の形態として、画像コントローラ３０は、日時または車両の灯火の点灯状況に基づいて、車載表示器４０周辺の光環境条件を推定してもよい。例えば、画像コントローラ３０は、日時に基づいて、太陽の高度を算出し、この高度に基づいて車載表示器４０周辺の光環境条件（例えば照度等）を推定してもよい。さらに、画像コントローラ３０は、天候、車両の位置、車両の向きの少なくとも一つに基づいて、日時から推定した光環境条件を修正してもよい。例えば、画像コントローラ３０は、天候に基づいて、太陽光の強さを推定し、その推定結果に基づいて、日時から推定した光環境条件を修正してもよい。また、画像コントローラ３０は、車両の位置に基づいて、太陽光の遮蔽度合い（例えば車両が屋内にあるか否か等）を推定し、その推定結果に基づいて、日時から推定した光環境条件を修正してもよい。また、画像コントローラ３０は、太陽の高度および車両の向きに基づいて、直射日光が車内に挿し込んでいるか否かを推定し、その推定結果に基づいて、日時から推定した光環境条件を修正してもよい。また、別の形態として、画像コントローラ３０は、夜間における点灯が義務付けられている灯火（例えばヘッドライト等）の点灯状況に基づいて、車載表示器４０周辺の光環境条件を推定してもよい。

【0071】

また、別の形態として、画像コントローラ３０は、スラム用カメラ１６で撮像されたスラム用画像に基づいて、車載表示器４０周辺の光環境条件を推定してもよい。すなわち、ウェアラブルデバイス１２は、車両の乗員の頭部に装着されているため、スラム用画像は、車内を撮像した画像と推測できる。そして、かかるスラム用画像の全体的な輝度や色彩は、車内、ひいては、車載表示器４０周辺の光環境条件を反映している可能性が高い。そこで、画像コントローラ３０は、スラム用画像の全体的な輝度や色の傾向に基づいて、車載表示器４０周辺の光環境条件を推定してもよい。

【0072】

また、上述の説明では、車載表示器４０周辺の光環境条件に基づいてＡＲマーカ６０の表示条件を変更しているが、画像コントローラ３０は、スラム用カメラ１６で撮像されたスラム用画像に基づいて、ＡＲマーカ６０の表示条件を変更してもよい。例えば、スラム用画像からＡＲマーカ６０を抽出できない場合には、ＡＲマーカ６０の表示輝度が不足している可能性が高い。そこで、画像コントローラ３０は、スラム用画像からＡＲマーカ６０を抽出できない場合には、ＡＲマーカ６０の表示輝度を上げるように、車載表示器４０に指示してもよい。また、スラム用画像からＡＲマーカ６０を抽出できない場合、画像コントローラ３０は、ＡＲマーカ６０の表示輝度や色彩を一方向に徐々に変更するように車載表示器４０に指示し、ＡＲマーカ６０が適切に検出できた時点での表示輝度等を、ＡＲマーカ６０の表示条件として特定してもよい。また、画像コントローラ３０は、スラム用画像からＡＲマーカ６０を抽出できた場合でも、当該ＡＲマーカ６０のエッジが十分に明瞭でない場合には、エッジが明瞭に映るように、車載表示器４０にＡＲマーカ６０の表示条件の変更を指示してもよい。

【0073】

以上の通り、本例では、車載表示器４０に表示される画像をＡＲマーカ６０として取り扱う。これにより、画像コントローラ３０がＡＲマーカ６０をより確実に検知できるため、ビジュアルスラムをより適切に実行でき、対象画像５０をより適切に表示できる。しかしながら、車内の光環境条件によっては、ＡＲマーカ６０の輝度等を変更しても、当該ＡＲマーカ６０を画像コントローラ３０側で検知できない場合もある。かかる場合、画像コントローラ３０は、対象画像５０を空間固定表示ではなく、デバイス固定表示させてもよい。また、別の形態として、ＡＲマーカ６０を検知できない場合、画像コントローラ３０は、対象画像５０に対応する画像を車載表示器４０に表示させてもよい。

【0074】

例えば、歩行者に注意を向けさせるための対象画像５０ａを表示しようとしたものの、ＡＲマーカ６０が検知できなかった場合を考える。この場合、画像コントローラ３０は、図９に示すように、マルチディスプレイ４０ｂに、歩行者への注意を促す画像を表示させてもよい。また、画像コントローラ３０は、表示エリア２２の特定箇所に、歩行者への注意を促す画像（図９における対象画像５０ａ）を表示させてもよい。なお、対象画像５０ａを、デバイス固定表示する場合には、当該画像５０ａが、運転操作の邪魔にならないように配慮する。例えば、人間は、運転操作に必要な情報の多くを、その視野の中心から取得する。したがって、視野の中心に画像を表示した場合、運転操作の邪魔になる可能性が高い。そこで、対象画像５０ａをデバイス固定表示する場合、当該画像５０ａの表示位置は、表示エリア２２の隅部としてもよい。また、対象画像５０ａをデバイス固定表示する場合、当該画像５０ａ越しに、周辺環境を視認できるように、当該画像５０ａを半透明にしてもよい。

【0075】

次に、画像表示システム１０における画像表示処理の流れについて図１０を参照して説明する。画像コントローラ３０は、対象画像５０の表示が必要と判断すれば（Ｓ１０でＹｅｓ）、表示器１４の実空間での位置および姿勢を特定するビジュアルスラム処理を実行する（Ｓ１２）。このビジュアルスラム処理の詳細については後述する。

【0076】

ビジュアルスラム処理が成功した場合（Ｓ１４でＹｅｓ）、画像コントローラ３０は、特定された表示器１４の実空間での位置および姿勢に基づいて、対象画像５０の表示エリア２２での表示位置等を特定し（Ｓ１６）、対象画像５０を表示器１４に空間固定表示させる（Ｓ１８）。その後、（Ｓ１０）に戻り、同様の処理を繰り返す。

【0077】

一方、ビジュアルスラム処理が失敗した場合（Ｓ１４でＮｏ）、画像コントローラ３０は、対象画像５０に対応する画像を、デバイス固定で表示器１４に表示させたり、車載表示器４０に表示させたりする（Ｓ２０）。その後、（Ｓ１０）に戻り、同様の処理を繰り返す。

【0078】

次に、ビジュアルスラム処理の流れについて図１１を参照して説明する。ビジュアルスラム処理を行う場合、画像コントローラ３０は、車載表示器４０周辺の光環境条件を特定する（Ｓ３０）。光環境条件は、光環境センサ４２での検知結果に基づいて特定してもよいし、日時や灯火の点灯状況、スラム用画像等に基づいて特定してもよい。

【0079】

光環境条件が特定できれば、画像コントローラ３０は、この光環境条件に基づいて、ＡＲマーカ６０の表示条件（すなわち表示輝度や色彩等）を決定し（Ｓ３２）、決定された表示条件でのＡＲマーカ６０の表示を車載表示器４０に指示する（Ｓ３４）。この指示を受けて車載表示器４０にＡＲマーカ６０が表示される。

【0080】

続いて、画像コントローラ３０は、スラム用カメラ１６で撮像されたスラム用画像を取得する（Ｓ３６）。画像コントローラ３０は、取得したスラム用画像から、ＡＲマーカ６０が検知できたか否かを確認する（Ｓ３８）。その結果、ＡＲマーカ６０が検知できた場合（Ｓ３８でＹｅｓ）、画像コントローラ３０は、当該ＡＲマーカ６０のスラム用画像内での位置やサイズ、歪み等を特定する（Ｓ４０）。そして、特定されたＡＲマーカ６０の情報に基づいて、実空間における表示器１４の位置および姿勢を算出する（Ｓ４２）。

【0081】

一方、ステップＳ３８において、スラム用画像からＡＲマーカ６０が検知できなかった場合（Ｓ３８でＮｏ）、画像コントローラ３０は、表示器１４の位置および姿勢の算出は行わず、ステップＳ２０（図１０）に進む。

【0082】

以上の説明で明らかな通り、本例では、ビジュアルスラムに必要なＡＲマーカ６０を発光装置（具体的には車載表示器４０）から出力される光で構成している。かかる構成とすることで、夜間等の暗い環境下であっても、ＡＲマーカ６０の検知、ひいては、ビジュアルスラムを適切に実行できる。また、本例では、ＡＲマーカ６０が適切に検知できるように、車載表示器４０の周辺の光環境条件や、得られたスラム用画像に基づいて、ＡＲマーカ６０の表示条件を変更している。これにより、車載表示器４０の周辺の光環境条件が変化しても、ＡＲマーカ６０をより確実に検知でき、ひいては、ビジュアルスラムを適切に実行できる。

【0083】

なお、上述した説明は一例であり、少なくとも、発光装置が出力する光で構成される像をＡＲマーカ６０として取り扱うのであれば、その他の構成は、適宜変更されてもよい。例えば、上述の説明では、発光装置として、画像を表示する車載表示器４０を採用しているが、他の機器を発光装置として用いてもよい。例えば、車室内に設けられ、所定の形態の光を発するインジケータランプや照明器具等を発光装置として採用してもよい。

【0084】

また、上述の説明では、表示器１４として、表示エリア２２に画像を映し出すディスプレイを例示したが、表示器１４は、利用者１００の網膜に映像を照射するプロジェクタでもよい。また、上述の説明では、利用者１００は、透明な表示エリア２２越しに、実空間を視認している。しかし、表示エリア２２を不透明にし、表示エリア２２越しに、実空間を視認できないようにしてもよい。この場合、画像コントローラ３０は、実空間を撮像した画像と、仮想的なオブジェクトを表す対象画像と、を合成した合成画像を、表示エリア２２に表示させる。

【符号の説明】

【0085】

１０ 画像表示システム、１２ ウェアラブルデバイス、１４ 表示器、１６ スラム用カメラ、１８ 瞳孔位置センサ、２０ デバイスコントローラ、２２ 表示エリア、２４ リム、２６ テンプル、２８ 車載システム、３０ 画像コントローラ、３２ プロセッサ、３４ メモリ、３５ 通信Ｉ／Ｆ、４０ 車載表示器、４０ａ メータディスプレイ、４０ｂ マルチディスプレイ、４０ｃ 電子インナーミラー、４２ 光環境センサ、５０ 対象画像、５６ ステアリングホイール、６０ ＡＲマーカ、７２ 対象オブジェクト、８０ テーブル、１００ 利用者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】