特許 7487714 表示制御装置、表示システム、表示方法及び表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-13

(45)【発行日】2024-05-21

(54)【発明の名称】表示制御装置、表示システム、表示方法及び表示プログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240514BHJP

   B60K 35/22 20240101ALI20240514BHJP

   B60K 35/235 20240101ALI20240514BHJP

   B60K 35/40 20240101ALI20240514BHJP

【ＦＩ】

G09G5/00 550C

B60K35/22

B60K35/235

B60K35/40

【請求項の数】 4

(21)【出願番号】P 2021141710

(22)【出願日】2021-08-31

(65)【公開番号】P2023035095

(43)【公開日】2023-03-13

【審査請求日】2023-05-17

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】稲田 智洋

(72)【発明者】

【氏名】村木 均至

【審査官】塚本 丈二

(56)【参考文献】

【文献】特開２０２０－０９１６６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３３３３９６（ＵＳ，Ａ１）

【文献】特開２０２０－１１２６９８（ＪＰ，Ａ）

【文献】特開２０１９－１２５１８８（ＪＰ，Ａ）

【文献】特開２０２０－１１７１０５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００８１５２５（ＵＳ，Ａ１）

【文献】国際公開第２０２０／０３１９１５（ＷＯ，Ａ１）

【文献】韓国公開特許第１０－２０１７－００５１９７８（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００－５／４２

Ｂ６０Ｋ ３５／００－３５／９０

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
移動体に固定された第一表示部及び人体に装着される第二表示部において、透過される実像を対象に重畳表示されるコンテンツを決定し、
所定の条件に基づいて前記コンテンツを前記第一表示部及び前記第二表示部の何れの表示部に表示させるかを選択し、
選択された前記表示部において前記対象に合わせて前記コンテンツを重畳表示させ、且つ、
前記移動体から前記対象までの距離が所定値よりも大きい場合は、前記コンテンツを前記第二表示部に表示させる
ように構成されている表示制御装置。

【請求項2】

請求項１に記載の表示制御装置と、
前記移動体である車両に搭載された前記第一表示部としてのヘッドアップディスプレイと、
前記車両の乗員の瞳に装着された前記第二表示部としてのスマートコンタクトレンズと、
を備える表示システム。

【請求項3】

移動体に固定された第一表示部及び人体に装着される第二表示部において、透過される実像を対象に重畳表示されるコンテンツを決定し、
所定の条件に基づいて前記コンテンツを前記第一表示部及び前記第二表示部の何れの表示部に表示させるかを選択し、
選択された前記表示部において前記対象に合わせて前記コンテンツを重畳表示させ、且つ、
前記移動体から前記対象までの距離が所定値よりも大きい場合は、前記コンテンツを前記第二表示部に表示させる
処理をコンピュータが実行する表示方法。

【請求項4】

移動体に固定された第一表示部及び人体に装着される第二表示部において、透過される実像を対象に重畳表示されるコンテンツを決定し、
所定の条件に基づいて前記コンテンツを前記第一表示部及び前記第二表示部の何れの表示部に表示させるかを選択し、
選択された前記表示部において前記対象に合わせて前記コンテンツを重畳表示させ、且つ、
前記移動体から前記対象までの距離が所定値よりも大きい場合は、前記コンテンツを前記第二表示部に表示させる
処理をコンピュータに実行させる表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示システム、表示方法及び表示プログラムに関する。

【背景技術】

【0002】

特許文献１には、フロントガラスに画像を重畳するＡＲ－ＨＵＤが開示され、特許文献２には、コンタクトレンズに表示部を備えたスマートコンタクトレンズが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１３８７７３号公報

【文献】米国特許出願公開第２０１６／００９７９４０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＨＵＤやコンタクトレンズをＡＲ表示器とする場合、ＨＵＤは視野角が限定され、コンタクトレンズは表示の精度が得られない。

【0005】

本発明は、異なる表示部のそれぞれの特徴を補間してユーザーにとって視認しやすい表示を提供する表示制御装置、表示システム、表示方法及び表示プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の表示制御装置は、プロセッサを備え、前記プロセッサは、移動体に固定された第一表示部及び人体に装着される第二表示部において、透過される実像を対象に重畳表示されるコンテンツを決定し、所定の条件に基づいて前記コンテンツを前記第一表示部及び前記第二表示部の何れの表示部に表示させるかを選択し、選択された前記表示部において前記対象に合わせて前記コンテンツを重畳表示させ、且つ、前記移動体から前記対象までの距離が所定値よりも大きい場合は、前記コンテンツを前記第二表示部に表示させるように構成されている。

【0007】

請求項１に記載の表示制御装置では、プロセッサが第一表示部及び第二表示部の各々の表示部に対してコンテンツを表示するように構成されている。ここで、第一表示部は、車両等の移動体に固定され、第二表示部は頭部又は瞳等の人体に対して装着されている。当該表示制御装置においてプロセッサは、所定の条件に基づいてコンテンツを表示させる表示部を選択し、選択された表示部において透過される実像に対してコンテンツを重畳表示させる。当該表示制御装置によれば、異なる表示部のそれぞれの特徴を補間してユーザーにとって視認しやすい表示を提供することができる。加えて、第一表示部において遠方の表示対象に対してコンテンツの視点距離がずれる場合であっても、第二表示部によりコンテンツの表示を補完することができる。

【0014】

請求項２に記載の表示システムは、請求項１に記載の表示制御装置と、前記移動体である車両に搭載された前記第一表示部としてのヘッドアップディスプレイと、前記車両の乗員の瞳に装着された前記第二表示部としてのスマートコンタクトレンズと、を備えている。

【0015】

請求項２に記載の表示システムによれば、車両において特徴の異なる表示部を使い分けることで、乗員に対して視認しやすい表示を提供することができる。

【0016】

請求項３に記載の表示方法は、移動体に固定された第一表示部及び人体に装着される第二表示部において、透過される実像を対象に重畳表示されるコンテンツを決定し、所定の条件に基づいて前記コンテンツを前記第一表示部及び前記第二表示部の何れの表示部に表示させるかを選択し、選択された前記表示部において前記対象に合わせて前記コンテンツを重畳表示させ、且つ、前記移動体から前記対象までの距離が所定値よりも大きい場合は、前記コンテンツを前記第二表示部に表示させる処理をコンピュータが実行する。

【0017】

請求項３に記載の表示方法では、コンピュータが第一表示部及び第二表示部の各々の表示部に対してコンテンツを表示するように構成されている。ここで、第一表示部及び第二表示部の態様については上述のとおりである。当該表示方法においてコンピュータは、所定の条件に基づいてコンテンツを表示させる表示部を選択し、選択された表示部において透過される実像に対してコンテンツを重畳表示させる。当該表示方法によれば、異なる表示部のそれぞれの特徴を補間してユーザーにとって視認しやすい表示を提供することができる。加えて、第一表示部において遠方の表示対象に対してコンテンツの視点距離がずれる場合であっても、第二表示部によりコンテンツの表示を補完することができる。

【0018】

請求項４に記載の表示プログラムは、移動体に固定された第一表示部及び人体に装着される第二表示部において、透過される実像を対象に重畳表示されるコンテンツを決定し、所定の条件に基づいて前記コンテンツを前記第一表示部及び前記第二表示部の何れの表示部に表示させるかを選択し、選択された前記表示部において前記対象に合わせて前記コンテンツを重畳表示させ、且つ、前記移動体から前記対象までの距離が所定値よりも大きい場合は、前記コンテンツを前記第二表示部に表示させる処理をコンピュータに実行させる。

【0019】

請求項４に記載の表示プログラムは、コンピュータが第一表示部及び第二表示部の各々の表示部に対してコンテンツを表示するように構成されている。ここで、第一表示部及び第二表示部の態様については上述のとおりである。当該表示プログラムが実行されるコンピュータは、所定の条件に基づいてコンテンツを表示させる表示部を選択し、選択された表示部において透過される実像に対してコンテンツを重畳表示させる。当該表示プログラムによれば、異なる表示部のそれぞれの特徴を補間してユーザーにとって視認しやすい表示を提供することができる。加えて、第一表示部において遠方の表示対象に対してコンテンツの視点距離がずれる場合であっても、第二表示部によりコンテンツの表示を補完することができる。

【発明の効果】

【0020】

本発明によれば、異なる表示部のそれぞれの特徴を補間してユーザーにとって視認しやすい表示を提供することができる。

【図面の簡単な説明】

【0021】

【図1】第１の実施形態に係る表示システムの概略構成を示す図である。

【図2】第１の実施形態の車両のハードウェア構成を示すブロック図である。

【図3】第１の実施形態の表示制御装置におけるＲＯＭの構成を示すブロック図である。

【図4】第１の実施形態の表示制御装置におけるＣＰＵの機能構成を示すブロック図である。

【図5】第１の実施形態に係るスマートコンタクトレンズのハードウェア構成を示す図である。

【図6】第１の実施形態における表示処理の流れを示すフローチャートである。

【図7】第１の実施形態における選択処理の流れを示すフローチャートである。

【図8】第１の実施形態において、ヘッドアップディスプレイによる表示を説明する図である。

【図9】第１の実施形態において、スマートコンタクトレンズによる表示を説明する図である。

【図10】第２の実施形態に係る表示システムの概略構成を示す図である。

【図11】第２の実施形態における選択処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0022】

以下、図面を用いて本発明の実施形態である表示システム１０について説明する。

【0023】

［第１の実施形態］
（全体構成）
図１に示されるように、第１の実施形態の表示システム１０は、表示制御装置２０、ヘッドアップディスプレイ２４、スマートコンタクトレンズ１４及びスマートフォン１６を含んで構成されている。ヘッドアップディスプレイ２４及びスマートコンタクトレンズ１４は、車両１２の乗員に対して、車両１２の各種機能に係る表示を提供する表示部ＤＳとして提供されている。また、本実施形態のヘッドアップディスプレイ２４及びスマートコンタクトレンズ１４は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いて、画像や文字等のコンテンツを車外の風景に重畳させて表示することを可能としている。ヘッドアップディスプレイ２４は、第一表示部の一例であり、スマートコンタクトレンズ１４は第二表示部の一例である。

【0024】

表示制御装置２０及びヘッドアップディスプレイ２４はその主たる構成がダッシュボード１２Ａ（図８及び図９参照）の内部に収容されている。スマートコンタクトレンズ１４は乗員の瞳に装着されている。スマートフォン１６は乗員が所持している。

【0025】

ヘッドアップディスプレイ２４は表示制御装置２０と電気的に接続されている。また、スマートコンタクトレンズ１４は、スマートフォン１６を介して表示制御装置２０と通信可能に接続されている。

【0026】

（車両）
図２に示されるように、車両１２は、表示制御装置２０、ＥＣＵ２２及びヘッドアップディスプレイ２４を少なくとも含んで構成されている。また、車両１２は、ＧＰＳ装置３０、外部カメラ３４及び視線カメラ３６が搭載されている。

【0027】

ＥＣＵ２２は、カーナビゲーションＥＣＵ２２Ａ、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）－ＥＣＵ２２Ｂ、及びボデーＥＣＵ２２Ｃを含む。

【0028】

カーナビゲーションＥＣＵ２２Ａは、カーナビゲーションシステムを制御する。カーナビゲーションＥＣＵ２２Ａには、ＧＰＳ装置３０が接続されている。ＧＰＳ装置３０は車両１２の現在位置を測定する装置である。ＧＰＳ装置３０は、ＧＰＳ衛星からの信号を受信する図示しないアンテナを含んでいる。なお、ＧＰＳ装置３０は、表示制御装置２０に対して直接接続されていてもよい。

【0029】

ＡＤＡＳ－ＥＣＵ２２Ｂは、先進運転支援システムを統括制御する。ＡＤＡＳ－ＥＣＵ２２Ｂには、少なくとも車両１２の前方を撮像する外部センサである外部カメラ３４が接続されている。ＡＤＡＳ－ＥＣＵ２２Ｂには、外部カメラ３４の他に、車両１２の周辺環境の検出に用いられるセンサ群として、探査波を送信し反射波を受信するミリ波レーダ、及び車両１２の前方をスキャンするライダ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等が接続されている。また、ＡＤＡＳ－ＥＣＵ２２Ｂには、ブレーキ及びアクセルの各々を駆動させる図示しないアクチュエータが接続されている。なお、外部カメラ３４は、表示制御装置２０に対して直接接続されていてもよい。

【0030】

ボデーＥＣＵ２２Ｃは、ワイパーやライト類を制御する。ボデーＥＣＵ２２Ｃには、例えば、前照灯、ウィンカ等のスイッチが接続されている。

【0031】

ヘッドアップディスプレイ２４は、投影装置２６及びアクチュエータ２８を含んで構成されている。アクチュエータ２８は、投影装置２６から投影された画像を反射するミラーの角度、及び当該ミラーと投影装置２６との距離を調整するための駆動装置である。

【0032】

視線カメラ３６は、少なくとも乗員の顔を撮像するカメラであって、乗員の視線を検出する。視線カメラ３６は、後述する入出力Ｉ／Ｆ２０Ｆに接続されている。

【0033】

ヘッドアップディスプレイ２４は、フロントウインドウ１２Ｂに所定の領域の投影面ＰＡを有し（図８及び図９参照）、投影装置２６から投影された画像が表示される。この投影面ＰＡは、ヘッドアップディスプレイ２４の表示領域に相当する。なお、ヘッドアップディスプレイ２４の投影面は、フロントウインドウ１２Ｂに限らず、ダッシュボード１２Ａに設けられたコンバイナ（反射板）が投影面であってもよい

【0034】

本実施形態の表示制御装置２０は、外部カメラ３４の撮像画像を基にヘッドアップディスプレイ２４に表示させるコンテンツの位置を設定する。この際、視線カメラ３６の映像を基に乗員のアイポイントの三次元座標を取得し、取得した三次元座標に基づいて撮像画像の撮影場所が乗員のアイポイントに補正される。これにより、ヘッドアップディスプレイ２４では、コンテンツの表示対象となる実像に対し、当該対象に合わせてコンテンツを重畳表示させることができる。なお、外部カメラ３４の撮像画像に基づいて走行中の走行路、他の車両及び歩行者を仮想空間上に配置すると共に、仮想空間における表示対象に対してコンテンツの位置を設定してもよい。この場合もヘッドアップディスプレイ２４では、コンテンツの表示対象となる実像に対し、当該対象に合わせてコンテンツを重畳表示させることができる。

【0035】

表示制御装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、無線通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０Ｄ、車内通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、無線通信２０Ｄ、車内通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、内部バス２０Ｇを介して相互に通信可能に接続されている。

【0036】

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。

【0037】

ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。図３に示されるように、本実施形態のＲＯＭ２０Ｂは、処理プログラム１００、及び画像データ１１０を記憶している。なお、処理プログラム１００及び画像データ１１０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージに記憶されていてもよい。

【0038】

表示プログラムとしての処理プログラム１００は、後述する表示処理及び選択処理を行うためのプログラムである。画像データ１１０は、ヘッドアップディスプレイ２４に表示させる画像であるコンテンツを記憶したデータである。

【0039】

図２に示されるように、ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。

【0040】

無線通信Ｉ／Ｆ２０Ｄは、スマートフォン１６又はスマートグラス１８と接続するためのインタフェースである。無線通信Ｉ／Ｆ２０Ｄでは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。

【0041】

車内通信Ｉ／Ｆ２０Ｅは、各ＥＣＵ２２と接続するためのインタフェースである。当該インタフェースは、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）プロトコルによる通信規格が用いられている。車内通信Ｉ／Ｆ２０Ｅは、外部バス２０Ｈを介して各ＥＣＵ２２と接続されている。

【0042】

入出力Ｉ／Ｆ２０Ｆは、ヘッドアップディスプレイ２４を構成する投影装置２６及びアクチュエータ２８と通信するためのインタフェースである。

【0043】

図４に示されるように本実施形態の表示制御装置２０では、ＣＰＵ２０Ａが、処理プログラム１００を実行することで、取得部２００、決定部２１０、選択部２２０及び表示制御部２３０として機能する。

【0044】

取得部２００は、車両１２における撮像画像、及び車両１２の制御等に係る車両情報を取得する機能を有している。例えば、取得部２００は、外部カメラ３４及び視線カメラ３６の撮像画像を取得する。また例えば、取得部２００は、カーナビゲーションＥＣＵ２２Ａから目的地までの進路を取得する。また例えば、取得部２００は、ＡＤＡＳ－ＥＣＵ２２Ｂから車両１２の速度、加速度、ヨーレイト等を取得する。

【0045】

決定部２１０は、ヘッドアップディスプレイ２４、及びスマートコンタクトレンズ１４に表示させるコンテンツを決定する機能を有している。例えば、決定部２１０は、画像データ１１０からカーナビゲーションに使用する矢印等の画像をコンテンツとして決定する。また例えば、決定部２１０は、車速に対応する数字の画像をコンテンツとして決定する。

【0046】

選択部２２０は、所定の条件に基づいて決定部２１０が決定したコンテンツをヘッドアップディスプレイ２４及びスマートコンタクトレンズ１４の何れの表示部ＤＳに表示させるかを選択する機能を有している。選択部２２０は、後述する選択処理を実行することで、表示させるコンテンツの各々について、ヘッドアップディスプレイ２４及びスマートコンタクトレンズ１４の何れの表示部ＤＳに表示させるかを選択する。

【0047】

表示制御部２３０は、コンテンツを選択部２２０により選択された表示部ＤＳに表示させる機能を有している。

【0048】

（スマートコンタクトレンズ）
スマートコンタクトレンズ１４は、車両１２の乗員の瞳に装着され、瞳に対して画像を表示させるウェアラブルデバイスである。図５に示されるように、スマートコンタクトレンズ１４は、制御ユニット４０、表示ユニット４２、カメラユニット４４、電源ユニット４６、通信ユニット４８及びセンサ４９を含んで構成されている。

【0049】

制御ユニット４０は、スマートコンタクトレンズ１４を構成する表示ユニット４２、カメラユニット４４、電源ユニット４６、通信ユニット４８及びセンサ４９の各部を制御する。制御ユニット４０は、ＣＰＵ、ＲＯＭ及びＲＡＭを有するマイクロコンピュータとして構成されている。

【0050】

表示ユニット４２は、乗員に対して提示する画像や文字等のコンテンツを表示する表示部として機能する。本実施形態の表示ユニット４２は、画像を生成する複数の発光素子を備えている。なお、表示ユニット４２は、例えば、発光素子としてのＬＥＤとマイクロレンズとを組み合わせて画像を網膜に投影する方式、発光素子としてホログラフィック光学素子を使用する方式が採用され、視点距離の影響を受けにくいデバイスとして機能する。また、本実施形態の表示ユニット４２は、乗員の眼球表面で反射した光を受光する視線検出用の複数の受光素子を備えている。

【0051】

カメラユニット４４は、瞳の外部を撮像する撮像部として機能する。カメラユニット４４は、撮像レンズ、及び撮像レンズを駆動する駆動部を含んで構成されている。

【0052】

電源ユニット４６は、制御ユニット４０、表示ユニット４２、カメラユニット４４、通信ユニット４８及びセンサ４９を駆動させる駆動源である。なお、スマートコンタクトレンズ１４では、電源ユニット４６を設けずにワイヤレス給電を行ってもよい。

【0053】

通信ユニット４８は、外部のスマートフォン１６又は表示制御装置２０と通信を行う通信部として機能する。通信ユニット４８には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格が適用される。通信ユニット４８は、表示ユニット４２に表示させるコンテンツのデータを受信する。また、通信ユニット４８は、カメラユニット４４が撮像した撮像画像のデータ及び後述するセンサ４９が取得したデータを送信する。なお、本実施形態の通信ユニット４８はスマートフォン１６を介して表示制御装置２０に接続されているが、これに限らず、通信ユニット４８は表示制御装置２０に対して直接接続されていてもよい。

【0054】

センサ４９は、乗員の瞳における涙液の電気抵抗を測定する。涙液の電気抵抗値を測定することにより、表示制御装置２０では涙液量を測定することができる。

【0055】

本実施形態のスマートコンタクトレンズ１４は、カメラユニット４４の撮像画像を基に表示ユニット４２に表示させるコンテンツの位置を設定する。これにより、スマートコンタクトレンズ１４では、コンテンツの表示対象となる実像に対して、当該対象に合わせてコンテンツを重畳表示させることができる。

【0056】

（スマートフォン）
スマートフォン１６は、乗員が所持する通信端末である。スマートフォン１６は、スマートコンタクトレンズ１４及び表示制御装置２０の双方と無線通信により接続される。

【0057】

（制御の流れ）
本実施形態の表示制御装置２０において実行される表示方法としての表示処理及び選択処理の流れについて、図６及び図７を用いて説明する。表示処理及び選択処理は、ＣＰＵ２０Ａが、取得部２００、決定部２１０、選択部２２０及び表示制御部２３０として機能することにより実行される。

【0058】

図６のステップＳ１００において、ＣＰＵ２０Ａは、各カメラから撮像画像を、各ＥＣＵ２２から車両情報を取得する。例えば、ＣＰＵ２０Ａは、車両情報として車両１２の目的地までの進路、車両１２の速度、加速度、ヨーレイト等を取得する。

【0059】

ステップＳ１０１において、ＣＰＵ２０Ａは、各表示部ＤＳに表示させるコンテンツとその表示位置とを決定する。

【0060】

ステップＳ１０２において、ＣＰＵ２０Ａは、選択処理を実行する。選択処理の詳細については後述する。

【0061】

ステップＳ１０３において、ＣＰＵ２０Ａは、選択された表示部ＤＳに対してコンテンツを表示させる。そして、ステップＳ１００に戻る。

【0062】

具体的に、ヘッドアップディスプレイ２４にコンテンツを表示させる場合、ＣＰＵ２０Ａは、コンテンツの画像情報を投影装置２６に出力する。これにより、投影面ＰＡでは、乗員の視点において、フロントウインドウ１２Ｂを通じた実像に対してコンテンツが重畳表示される。例えば、図８に示されるように、表示の対象物である前方の車両に対して、先進運転支援システムが検知していることを示すコンテンツであるバウンディングボックスＣ１が重畳表示される。また例えば、表示の対象物である走行路に対して車両１２の経路を示すコンテンツであるラインＣ２が重畳表示される。

【0063】

また、スマートコンタクトレンズ１４にコンテンツを表示させる場合、ＣＰＵ２０Ａは、コンテンツの画像情報及び位置情報をスマートフォン１６経由でスマートコンタクトレンズ１４に出力する。これにより、スマートコンタクトレンズ１４では、制御ユニット４０が表示ユニット４２を制御して、当該表示ユニット４２を通じた実像に対してコンテンツが重畳表示される。例えば、図９に示されるように、表示の対象物である前方の走行路に対して、この先の進路を示すコンテンツである矢印Ｃ３が重畳表示される。また例えば、表示の対象領域である車両１２の右側方において、右後方から二輪車が接近していることを示すコンテンツである警告表示Ｃ４が重畳表示される。

【0064】

次に、ステップＳ１０２の選択処理について、図７を用いて説明する。
図７のステップＳ２００において、ＣＰＵ２０Ａは、Ｓ１０１で表示が決定されたコンテンツを取得する。

【0065】

ステップＳ２０１において、ＣＰＵ２０Ａは、投影面ＰＡ内、すなわちヘッドアップディスプレイ２４の表示領域内にコンテンツが表示されるか否かの判定を行う。換言すると、ＣＰＵ２０Ａは、ヘッドアップディスプレイ２４の視野角にコンテンツの表示が収まるか否かの判定を行う。ＣＰＵ２０Ａは、投影面ＰＡ内にコンテンツが表示されると判定した場合（ステップＳ２０１でＹＥＳの場合）、ステップＳ２０２に進む。一方、ＣＰＵ２０Ａは、投影面ＰＡ内にコンテンツが表示されないと判定した場合（ステップＳ２０１でＮＯの場合）、ステップＳ２０５に進む。

【0066】

ステップＳ２０２において、ＣＰＵ２０Ａは、コンテンツの表示位置が車両１２から所定距離以下であるか否かの判定を行う。補足すると、車両１２からの距離とはコンテンツの虚像が表示される仮想の位置までの距離である。ＣＰＵ２０Ａは、コンテンツの表示位置が車両１２から所定距離以下であると判定した場合（ステップＳ２０２でＹＥＳの場合）、ステップＳ２０３に進む。一方、ＣＰＵ２０Ａは、コンテンツの表示位置が車両１２から所定距離以下ではない、すなわち所定距離を超えると判定した場合（ステップＳ２０２でＮＯの場合）、ステップＳ２０５に進む。

【0067】

ステップＳ２０３において、ＣＰＵ２０Ａは、コンテンツの追従対象があるか否かの判定を行う。ここで、コンテンツの追従対象とは、コンテンツを重畳表示させる対象となる車両、歩行者、走行路、その他の構造物である。ＣＰＵ２０Ａは、コンテンツの追従対象があると判定した場合（ステップＳ２０３でＹＥＳの場合）、ステップＳ２０４に進む。一方、ＣＰＵ２０Ａは、コンテンツの追従対象がないと判定した場合（ステップＳ２０３でＮＯの場合）、ステップＳ２０５に進む。

【0068】

ステップＳ２０４において、ＣＰＵ２０Ａは、コンテンツをヘッドアップディスプレイ２４に表示させることを選択する。そして、ステップＳ２０６に進む。

【0069】

ステップＳ２０５において、ＣＰＵ２０Ａは、コンテンツをスマートコンタクトレンズ１４に表示させることを選択する。そして、ステップＳ２０６に進む。

【0070】

ステップＳ２０６において、ＣＰＵ２０Ａは、選択すべき他のコンテンツはないか否かの判定を行う。ＣＰＵ２０Ａは、選択すべき他のコンテンツはないと判定した場合（ステップＳ２０６でＹＥＳの場合）、選択処理を終了させる。一方、ＣＰＵ２０Ａは、選択すべき他のコンテンツがあると判定した場合（ステップＳ２０６でＮＯの場合）、ステップＳ２００に戻る。

【0071】

（まとめ）
本実施形態の表示制御装置２０では、ＣＰＵ２０Ａが第一表示部としてのヘッドアップディスプレイ２４、及び第二表示部としてのスマートコンタクトレンズ１４の各々に対してコンテンツを表示するように構成されている。ここで、ヘッドアップディスプレイ２４は、車両１２に固定され、スマートコンタクトレンズ１４は乗員の瞳に装着されている。本実施形態においてＣＰＵ２０Ａは、所定の条件に基づいてコンテンツを表示させる表示部ＤＳを選択し、選択された表示部ＤＳにおいて透過される実像に対してコンテンツを重畳表示させる。本実施形態の表示制御装置２０によれば、異なる表示部ＤＳのそれぞれの特徴を補間してユーザーにとって視認しやすい表示を提供することができる。

【0072】

補足すると、ヘッドアップディスプレイ２４は、実像に合わせてコンテンツを重畳する場合の表示位置の精度がスマートコンタクトレンズ１４に比べて優れている。他方、本実施形態のスマートコンタクトレンズ１４は、網膜にコンテンツを直接投影する等することで、ヘッドアップディスプレイ２４のようにコンテンツの視点距離が遠く離れた場合の違和感が生じ難い。本実施形態では、ＣＰＵ２０Ａがコンテンツを重畳表示させる対象、車両１２から表示対象までの距離、各表示部ＤＳの視野角に対するコンテンツの表示位置の少なくとも何れか一つの条件に基づいて、何れの表示部ＤＳにコンテンツを表示させるかを選択する。

【0073】

特に、本実施形態の表示制御装置２０では、コンテンツを重畳表示させる対象が車両、歩行者、走行路、その他の構造物等である場合、位置決め精度が優位なヘッドアップディスプレイ２４が選択される。

【0074】

また、本実施形態の表示制御装置２０では、コンテンツの表示位置がヘッドアップディスプレイ２４の視野角、つまり表示領域を超える場合、当該コンテンツを視野角の制限が少ないスマートコンタクトレンズ１４に表示させる。そのため、本実施形態によれば、ヘッドアップディスプレイ２４の表示領域外のコンテンツの表示をスマートコンタクトレンズ１４により補完することができる。

【0075】

また、本実施形態の表示制御装置２０では、車両１２から表示対象までの距離が所定距離よりも大きい場合、コンテンツを視点距離の影響を受け難いスマートコンタクトレンズ１４に表示させる。そのため、本実施形態によれば、ヘッドアップディスプレイ２４において遠方の表示対象に対してコンテンツの視点距離がずれる場合であっても、スマートコンタクトレンズ１４によりコンテンツの表示を補完することができる。

【0076】

［第２の実施形態］
第１の実施形態では、表示部ＤＳとしてヘッドアップディスプレイ２４及びスマートコンタクトレンズ１４を備え、コンテンツを何れの表示部ＤＳに表示させるかを選択していた。これに対して、第２の実施形態では、表示部ＤＳとして、ヘッドアップディスプレイ２４及びスマートコンタクトレンズ１４に加えてスマートグラス１８を含み、何れの表示部ＤＳに表示させるかを選択する。以下、第１の実施形態との相違点について説明する。なお、同一の構成については同一の符号を付しており、詳細な説明は割愛する。

【0077】

図１０に示されるように、本実施形態の表示制御装置２０には、スマートフォン１６に加えて、スマートグラス１８が通信可能に接続されている。このスマートグラス１８は乗員の頭部に装着されている。スマートグラス１８は第二表示部の一例である。

【0078】

（スマートグラス）
スマートグラス１８は、ＡＲ技術を用いて、画像や文字等のコンテンツを車外の風景に重畳させて表示するヘッドマウントディスプレイ方式のウェアラブルデバイスである。このスマートグラス１８は、車両１２の乗員が装着するデバイスである。図示しないが、スマートグラス１８は、車室内外の映像を撮影するカメラと、透過型のディスプレイと、表示制御装置２０と通信を行うための通信装置を少なくとも含んでいる。

【0079】

（制御の流れ）
本実施形態の選択処理について、図１１を用いて説明する。
図１１のステップＳ２５０において、ＣＰＵ２０Ａは、Ｓ１０１で表示が決定されたコンテンツを取得する。

【0080】

ステップＳ２５１において、ＣＰＵ２０Ａは、投影面ＰＡ内にコンテンツが表示されるか否かの判定を行う。ＣＰＵ２０Ａは、投影面ＰＡ内にコンテンツが表示されると判定した場合（ステップＳ２５１でＹＥＳの場合）、ステップＳ２５２に進む。一方、ＣＰＵ２０Ａは、投影面ＰＡ内にコンテンツが表示されないと判定した場合（ステップＳ２５１でＮＯの場合）、ステップＳ２５５に進む。

【0081】

ステップＳ２５２において、ＣＰＵ２０Ａは、コンテンツの表示位置が車両１２から所定距離以下であるか否かの判定を行う。ＣＰＵ２０Ａは、コンテンツの表示位置が車両１２から所定距離以下であると判定した場合（ステップＳ２５２でＹＥＳの場合）、ステップＳ２５３に進む。一方、ＣＰＵ２０Ａは、コンテンツの表示位置が車両１２から所定距離以下ではない、すなわち所定距離を超えると判定した場合（ステップＳ２５２でＮＯの場合）、ステップＳ２５５に進む。

【0082】

ステップＳ２５３において、ＣＰＵ２０Ａは、コンテンツの追従対象があるか否かの判定を行う。ＣＰＵ２０Ａは、コンテンツの追従対象があると判定した場合（ステップＳ２５３でＹＥＳの場合）、ステップＳ２５４に進む。一方、ＣＰＵ２０Ａは、コンテンツの追従対象がないと判定した場合（ステップＳ２５３でＮＯの場合）、ステップＳ２５６に進む。

【0083】

ステップＳ２５４において、ＣＰＵ２０Ａは、コンテンツをヘッドアップディスプレイ２４に表示させることを選択する。そして、ステップＳ２５８に進む。

【0084】

ステップＳ２５５において、ＣＰＵ２０Ａは、コンテンツの追従対象があるか否かの判定を行う。当該判定内容は、ステップＳ２５３と同様である。ＣＰＵ２０Ａは、コンテンツの追従対象があると判定した場合（ステップＳ２５５でＹＥＳの場合）、ステップＳ２５７に進む。一方、ＣＰＵ２０Ａは、コンテンツの追従対象がないと判定した場合（ステップＳ２５５でＮＯの場合）、ステップＳ２５６に進む。

【0085】

ステップＳ２５６において、ＣＰＵ２０Ａは、コンテンツをスマートコンタクトレンズ１４に表示させることを選択する。そして、ステップＳ２５８に進む。

【0086】

ステップＳ２５７において、ＣＰＵ２０Ａは、コンテンツをスマートグラス１８に表示させることを選択する。そして、ステップＳ２５８に進む。

【0087】

ステップＳ２５８において、ＣＰＵ２０Ａは、選択すべき他のコンテンツはないか否かの判定を行う。ＣＰＵ２０Ａは、選択すべき他のコンテンツはないと判定した場合（ステップＳ２５８でＹＥＳの場合）、選択処理を終了させる。一方、ＣＰＵ２０Ａは、選択すべき他のコンテンツがあると判定した場合（ステップＳ２５８でＮＯの場合）、ステップＳ２５０に戻る。

【0088】

第２の実施形態においても、第１の実施形態と同様の効果を得ることができる。特に、ヘッドアップディスプレイ２４、スマートコンタクトレンズ１４及びスマートグラス１８の３種類の表示部ＤＳを用いてコンテンツを乗員に表示させることで、各表示部ＤＳの長所を生かした最適な表示を乗員に提供することができる。具体的にスマートグラス１８を用いることで、ヘッドアップディスプレイ２４よりも表示領域の制約を受け難く、スマートコンタクトレンズ１４よりも表示位置の精度を確保することができる。

【0089】

［備考］
なお、上記実施形態でＣＰＵ２０Ａがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0090】

また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、表示制御装置２０における処理プログラム１００は、ＲＯＭ２０Ｂに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0091】

上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【符号の説明】

【0092】

１０ 表示システム
１２ 車両（移動体）
２０ 表示制御装置
１４ スマートコンタクトレンズ（第二表示部、表示部）
１８ スマートグラス（第二表示部、表示部）
２０Ａ ＣＰＵ（プロセッサ）
２４ ヘッドアップディスプレイ（第一表示部、表示部）
１００ 処理プログラム（表示プログラム）
Ｃ１ バウンディングボックス（コンテンツ）
Ｃ２ ライン（コンテンツ）
Ｃ３ 矢印（コンテンツ）
Ｃ４ 警告表示（コンテンツ）
ＤＳ 表示部
ＰＡ 投影面（表示領域）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】