(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154100
(43)【公開日】2024-10-30
(54)【発明の名称】表示制御装置、表示システム、及び表示制御方法
(51)【国際特許分類】
B60K 35/00 20240101AFI20241023BHJP
B60K 35/23 20240101ALI20241023BHJP
G01C 21/26 20060101ALI20241023BHJP
G09G 5/00 20060101ALI20241023BHJP
G02B 27/01 20060101ALI20241023BHJP
G02B 27/02 20060101ALI20241023BHJP
【FI】
B60K35/00 Z
B60K35/00 A
G01C21/26 C
G09G5/00 550B
G09G5/00 550C
G09G5/00 510B
G09G5/00 510Z
G09G5/00 510V
G02B27/01
G02B27/02 Z
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023067729
(22)【出願日】2023-04-18
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100067356
【弁理士】
【氏名又は名称】下田 容一郎
(74)【代理人】
【識別番号】100160004
【弁理士】
【氏名又は名称】下田 憲雅
(74)【代理人】
【識別番号】100120558
【弁理士】
【氏名又は名称】住吉 勝彦
(74)【代理人】
【識別番号】100148909
【弁理士】
【氏名又は名称】瀧澤 匡則
(74)【代理人】
【識別番号】100192533
【弁理士】
【氏名又は名称】奈良 如紘
(72)【発明者】
【氏名】高野 凌
【テーマコード(参考)】
2F129
2H199
3D344
5C182
【Fターム(参考)】
2F129AA03
2F129BB02
2F129CC14
2F129CC15
2F129EE25
2F129EE26
2F129EE29
2F129EE30
2F129EE69
2F129GG17
2F129HH12
2F129HH14
2H199CA02
2H199CA29
2H199CA32
2H199CA45
2H199CA68
2H199CA69
2H199CA77
2H199DA03
2H199DA15
2H199DA36
3D344AA20
3D344AA21
3D344AA26
3D344AA30
3D344AB01
3D344AC25
3D344AD01
3D344AD13
5C182AA03
5C182AA04
5C182AA05
5C182AA31
5C182AB15
5C182AB25
5C182AB31
5C182AB35
5C182AC02
5C182AC12
5C182AC35
5C182BA14
5C182BA23
5C182BA55
5C182BA56
5C182BB02
5C182BB04
5C182CA02
5C182CA32
5C182CB14
5C182CB41
5C182CB47
5C182DA65
(57)【要約】
【課題】 POI画像の画像量が増加する状況下においても、運転者等のユーザに与える悪影響を抑制しつつ、運転者等に好ましい情報を提示可能とする。
【解決手段】 表示制御装置200は、POI情報を取得するPOI情報取得部505と、POI画像の表示を制御する表示制御部203と、を有し、表示制御部203は、表示候補のPOI画像を特定するPOI表示候補特定部511と、特定された表示候補のPOI画像をすべて基準時点において表示する場合の画像量と、その基準時点から所定時間だけ前の時点において表示されていたPOI画像の画像量とに基づいて、POI画像の変化率を検出するPOI画像の変化率検出部514と、検出されたPOI画像の変化率が所定の閾値以上である場合において、表示されるPOI画像の画像量を減少させる画像減少処理を実施する画像減少処理部517と、を有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
車両に搭載され、周囲の情報に関連する1つ、又は複数の画像の表示を制御する表示制御装置であって、
前記車両の周囲にある対象物に関する情報であるPOI(Point Of Interest)情報を取得するPOI情報取得部と、
前記POI情報に基づいて、POI画像の表示を制御する表示制御部と、を有し、
前記表示制御部は、
前記POI情報取得部から得られた情報を基に、表示候補のPOI画像を特定するPOI表示候補特定部と、
特定された表示候補のPOI画像をすべて基準時点において表示する場合の画像量と、その基準時点から所定時間だけ前の時点において表示されていたPOI画像の画像量とに基づいて、POI画像の変化率を検出するPOI変化率検出部と、
検出されたPOI画像の変化率が所定の閾値以上である場合において、表示されるPOI画像の画像量を減少させる画像減少処理を実施する画像減少処理部と、
を有する、表示制御装置。
【請求項2】
前記表示制御部の前記画像減少処理部は、前記車両が停止している状態、又は停止しているとみなすことができる低速走行状態から、前記車両が走行状態に移行した場合において前記画像減少処理を実施する、
請求項1に記載の表示制御装置。
【請求項3】
前記表示制御部の前記画像減少処理部は、
表示候補のPOI画像が複数、存在する状況で前記画像減少処理を実施する場合は、
現在の車両位置を基準として、直線距離又は経路距離がより長い対象についてのPOI画像、又は到達するのに必要な所要時間がより長い対象についてのPOI画像から順に削減する、
請求項1に記載の表示制御装置。
【請求項4】
前記画像減少処理部は、前記画像減少処理を実施する場合において、
現在の車両位置を基準とした対象物までの直線距離又は経路距離の長短、又は所要時間の長短の判定基準となり得る画像増加処理用の閾値を可変に制御し、より遠くにある対象物についてのPOI画像から順に削減する、
請求項3に記載の表示制御装置。
【請求項5】
前記表示制御部は、
前記画像減少処理後のPOI画像を表示する際、表示するPOI画像の表示態様を、画像減少処理が実施されない場合における表示態様とは異ならせる表示態様変更部を、さらに有する、
請求項1に記載の表示制御装置。
【請求項6】
前記表示制御部は、
前記画像減少処理後にPOI画像を表示する際、表示するPOI画像を、画像減少処理が実施されない場合において使用される表示装置とは異なる他の表示装置を用いて表示させる表示装置変更部を、さらに有する、
請求項1に記載の表示制御装置。
【請求項7】
前記表示制御部は、
前記画像減少処理によってPOI画像の表示が制限されていることを、ユーザに報知する、
又は、
前記画像減少処理によってPOI画像の表示が制限されていること、及びその制限の内容に関する情報を、ユーザに報知する、
請求項1に記載の表示制御装置。
【請求項8】
前記表示制御部は、
前記画像減少処理が実施された後に、POI画像の表示の制限を緩和して、前記POI画像の変化率が前記所定の閾値を超えない範囲においてPOI画像の画像量を増加させる画像増加処理を実施する画像増加処理部を、さらに有する、
請求項1に記載の表示制御装置。
【請求項9】
前記表示制御部の前記画像増加処理部は、前記車両が走行状態から、前記車両が停止した状態、又は停止しているとみなすことができる低速走行状態に移行した場合において前記画像増加処理を実施する、
請求項8に記載の表示制御装置。
【請求項10】
前記画像増加処理部は、前記画像増加処理を実施する場合において、
現在の車両位置を基準とした対象物までの直線距離又は経路距離の長短、又は所要時間の長短の判定基準となり得る画像増加処理用の閾値を可変に制御し、より近くにある対象物についてのPOI画像から順に表示することで、POI画像を時間経過と共に漸増させる、請求項8に記載の表示制御装置。
【請求項11】
前記画像増加処理部は、前記画像増加処理を実施する際、画像増加処理を実施可能な運転状況であるか否かを判定し、実施可能な運転状況でない場合は、画像増加処理を延期させる、
請求項8に記載の表示制御装置。
【請求項12】
前記表示制御部は、
前記画像増加処理によってPOI画像の画像量が増加していることを、ユーザに報知する、
又は、
前記画像増加処理によってPOI画像の画像量が増加していること、及び画像増加処理の内容に関する情報を、ユーザに報知する、
請求項8に記載の表示制御装置。
【請求項13】
前記車両に搭載されると共に、請求項1乃至12の何れか1項に記載の表示制御装置と、前記画像の表示光を被投影部材に投影することで前記画像を表示する表示部と、を有する、
又は、
前記車両に搭載されるとともに、請求項1乃至12の何れか1項に記載の表示制御装置と、前記乗員の頭部に装着するヘッドマウントディスプレイと、を有する、
表示システム。
【請求項14】
車両に搭載され、少なくとも1つの表示部を備える表示装置の、前記車両の周囲の情報に関する画像の表示を制御する表示制御方法であって、
前記車両の周囲にある対象物に関する情報であるPOI情報を取得するステップと、
前記POI情報を基に、表示候補のPOI画像を特定するステップと、
特定された表示候補のPOI画像をすべて基準時点において表示する場合の画像量と、その基準時点から所定時間だけ前の時点において表示されていたPOI情報の画像量とに基づいて、POI画像の変化率を検出するステップと、
検出されたPOI画像の変化率が所定の閾値以上である場合において、表示されるPOI画像の画像量を減少させる画像減少処理を実施するステップと、
を含む表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動車等の車両に搭載される表示制御装置、表示システム、及び表示制御方法等に関する。
【背景技術】
【0002】
特許文献1には、ヘッドアップディスプレイ(HUD)装置等を用いて、ウインドシールド越しに沿線の建物の名前や飲食店の名前のような、車両の乗員にとって興味や関心を惹きそうな地点(Point Of Interest:POI)の関連情報を、POI表示として実景の対応する地点に重畳させて表示することが記載されている。
【0003】
特許文献2の例えば[0035]、
図3には、「運転者は、関心を持つポイント(POI)については、視点を一定時間置く傾向があることに着目し、運転者の視野領域において、運転者がフロントウィンドウ上に視点を一定時間置いた箇所に応じたPOI情報をHUD装置で重畳表示することが示されている。
【0004】
特許文献3の[0005]、[0006]には、「複数の表示コンテンツが表示されている表示画面において、運転者が注視する注視コンテンツがある場合には、その注視コンテンツが、表示画面の運転者が視認しやすい位置に表示されるように、表示画面上における表示コンテンツの配置を変更すること」が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第6987208号公報
【特許文献2】特開2021-148506号公報
【特許文献3】特開2016-84021号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
例えば、車両が信号待ちで停車している場合には、運転者は周囲の実景(外景)を視認する余裕があるため、周囲のビルや店舗等の内、興味を惹かれる特定の対象について注視する場合が想定され得る。この場合には、一例として、注視点を基準として視野範囲を推定し、その視野範囲内において表示するPOI表示を決定することが想定され、このときに表示されるPOIの画像量(広義には、表示コンテンツの画像量)は比較的少ないと予想される。
【0007】
一方、信号機が青になって車両が走行を開始すると、運転者は前方を含む車両の周囲の状況に目を配りながら車両を運転するため、運転者の視線(注視点を含む)の移動の頻度が増加する。
このとき、例えば、車両が繁華街やビル街等を通行中であるとすると、運転者が興味を惹かれるPOIの数も増える可能性が高い。よって、この場合は、車両が停車していたときと比べて、POI画像(表示コンテンツ)の画像量が急激に増えることが想定され得る。
【0008】
車両が停車状態から走行状態に移行した場合、特に、その移行の初期段階では、運転者は、安全運転の観点から、人、他の車両の状況等に気を配り、周囲の状況に素早く慣れる必要がある。このような状況で、POI画像の画像量が急に増大すると、運転者は違和感を覚えたり、急増するPOI画像に煩わしさを覚えたりする場合があり得る。
【0009】
よって、上記のような運転状況下では、POI画像が運転者等のユーザに与える悪影響を抑制しつつ、例えば運転者が興味を惹かれる対象についてのPOI情報を適切に表示することが重要となる。
【0010】
このような課題については、上記の特許文献1~3の何れにも記載がなく、その対策についても言及されていない。
なお、上記の例では、車両が停止状態から走行状態に移行した場合について説明しているが、上記の例は典型的な一例であり、その例に限定されるものではない。例えば、車両の走行中に周囲環境が急激に変化することで、POI画像の画像量が急に増える場合もあり得る。このような場合においても同様の課題が生じ得る。
【0011】
本発明は、POI画像(表示コンテンツ)の画像量が増加する状況下においても、運転者等のユーザに与える悪影響を抑制しつつ、運転者等に好ましい情報を提示可能とすることを目的とする。
【0012】
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【0013】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【0014】
本発明の第1の態様において、表示制御装置は、車両に搭載された周囲の情報に関連する1つ、又は複数の画像の表示を制御する表示制御装置であって、前記車両の周囲にある対象物に関する情報であるPOI(Point Of Interest)情報を取得するPOI情報取得部と、前記POI情報に基づいて、POI画像の表示を制御する表示制御部と、を有し、前記表示制御部は、前記POI情報取得部から得られた情報を基に、表示候補のPOI画像を特定するPOI表示候補特定部と、特定された表示候補のPOI画像をすべて基準時点において表示する場合の画像量と、その基準時点から所定時間だけ前の時点において表示されていたPOI画像の画像量とに基づいて、POI画像の変化率を検出するPOI変化率検出部と、検出されたPOI画像の変化率が所定の閾値以上である場合において、表示されるPOI画像の画像量を減少させる画像減少処理を実施する画像減少処理部と、を有する。
【0015】
第1の態様によれば、車両の運行中において、POI画像の画像量が急に増えると予測される場合には、表示するPOI画像の画像量を低下させること、言い換えれば、POI画像の表示を抑制することができる。
これにより、運転者等のユーザが急増するPOI画像に違和感を覚えたり、煩わしさを覚えたりすることが抑制され得る。
よって、POI画像(表示コンテンツ)の画像量が増加する状況下においても、運転者等のユーザに与える悪影響を抑制しつつ、運転者等に好ましい情報を的確に提示可能とすることができる。
【0016】
第1の態様に従属する第2の態様において、前記表示制御部の前記画像減少処理部は、前記車両が停止している状態、又は停止しているとみなすことができる低速走行状態から、前記車両が走行状態に移行した場合において前記画像減少処理を実施してもよい。
【0017】
第2の態様では、車両が、停止状態(停止状態と見なし得る状態を含む)から走行状態に移行する場合において、POI画像の画像量を減少させる画像減少処理が実施される。
車両が停車状態から走行状態に移行した場合、特に、その移行の初期段階では、例えば運転者は、安全運転の観点から、人、他の車両の状況等に気を配り、周囲の状況に素早く慣れる必要がある。
このような状況で、POI画像の画像量が急に増大すると、運転者は違和感を覚えたり、急増するPOI画像に煩わしさを覚えたりする場合があり得る。
本態様によれば、上記のような運転状況のときに画像減少処理が実施されるため、POI画像が運転者等のユーザに与える悪影響を抑制しつつ(言い換えれば、前方を含む周囲の実景の良好な視認性を確保しつつ)、例えば運転者が興味を惹かれる対象についてのPOI情報を適切に表示することが可能である。
【0018】
第1、又は第2の態様に従属する第3の態様において、前記表示制御部の前記画像減少処理部は、表示候補のPOI画像が複数、存在する状況で前記画像減少処理を実施する場合は、現在の車両位置を基準として、直線距離又は経路距離がより長い対象についてのPOI画像、又は到達するのに必要な所要時間がより長い対象についてのPOI画像から順に削減してもよい。
【0019】
第3の態様では、画像減少処理を実施する際、車両を基準としてより遠方のPOI画像から順に削減する。
車両に近い位置に表示されるPOI画像は、車両の走行に伴い短時間で消え去る。この点で、近い位置のPOI画像は、遠方のPOI画像に比べて表示の緊急性が高いといえる。
また、近い位置のPOI画像を運転者等が見逃した場合、そのPOI画像が、運転者等のユーザにとって重要な意味をもつPOI画像であった場合は、運転者等のユーザが受ける不利益が大きい。
本態様によれば、画像減少処理が実施されても、より緊急性の高い情報を優先的にユーザに提供でき、ユーザの利便性を確保することができる。
【0020】
第3の態様に従属する第4の態様において、前記画像減少処理部は、前記画像減少処理を実施する場合において、現在の車両位置を基準とした対象物までの直線距離又は経路距離の長短、又は所要時間の長短の判定基準となり得る画像減少処理用の閾値を可変に制御し、より遠くにある対象物についてのPOI画像から順に削減してもよい。
【0021】
第4の態様によれば、現在の車両位置を基準とした対象物までの直線距離又は経路距離の長短、又は所要時間の長短の判定基準となり得る閾値を可変に制御することで、その閾値を基準としてより遠方にある対象物についてのPOI画像を確実に削減する(非表示とする)ことができる。
【0022】
第1乃至第4の何れか1つの態様に従属する第5の態様において、前記表示制御部は、前記画像減少処理後のPOI画像を表示する際、表示するPOI画像の表示態様を、画像減少処理が実施されない場合における表示態様とは異ならせる表示態様変更部を、さらに有してもよい。
【0023】
第5の態様では、画像減少処理後のPOI画像を表示するに際し、例えば、そのPOI画像の表示態様を変更して視認性や誘目性を低下させることで、ユーザが、前方や周囲の実景を視認する際の負荷(視認負荷)を感じにくくすることができる。
視認性や誘目性を低下させる表示態様の変更例としては、POI画像の輝度の低下、及び、POI画像のサイズの縮小、及び、POI画像における少なくとも一色の色の変更、及び、POI画像が、下地部分である第1の部分と、下地部分の上に表示される文字、図形、記号の少なくとも1つを含む第2の部分とを有する場合に、第1の部分と第2の部分とのコントラストの低下、及び、POI画像がアイコン等の本体と付記情報とを含む場合における付記情報の削除、の少なくとも1つを挙げることができる。
【0024】
第1乃至第5の態様の何れか1つに従属する第6の態様において、前記表示制御部は、前記画像減少処理後にPOI画像を表示する際、表示するPOI画像を、画像減少処理が実施されない場合において使用される表示装置とは異なる他の表示装置を用いて表示させる表示装置変更部を、さらに有してもよい。
【0025】
第6の態様では、画像減少処理後のPOI画像の表示に際しては、そのPOI画像は、画像減少処理が実施されない場合の表示装置とは異なる他の表示装置を用いて表示する。これにより、運転者等のユーザが前方を含む周囲の実景を視認する際の負担がより軽減される。
例えば、通常は、ウインドシールド等の被投影部材に画像(表示光)を投影して虚像を表示するHUD(ヘッドアップディスプレイ)装置を用いてPOI画像を表示し、一方、画像減少処理後に表示するPOI画像(POI表示)については、車両の中央部に設けられるセンターインフォメーションディスプレイ(CID)や、乗員の正面に位置する計器クラスタディスプレイ(ICD)に表示してもよい。
CIDやICDは、HUD装置に比べて、正面を向いて着座している運転者等のユーザにとっては、車両外の実景(外景)の視認に与える影響が小さい位置に設けられているため、表示されるPOI画像の視認性や誘目性を低下させることが可能である。
よって、ユーザが車両外の実景を視認する際の負担がより軽減され得る。
【0026】
第1乃至第6の何れか1つの態様に従属する第7の態様において、前記表示制御部は、前記画像減少処理によってPOI画像の表示が制限されていることを、ユーザに報知してもよく、又は、前記画像減少処理によってPOI画像の表示が制限されていること、及びその制限の内容に関する情報を、ユーザに報知してもよい。
【0027】
第7の態様によれば、画像減少処理による表示制限中であることが、運転者等のユーザに報知されることで、ユーザは現状の表示状態を正確に認識できる。このことは、ユーザが違和感や不快感を覚えることを低減することに貢献する。よって、ユーザの利便性が向上する。
【0028】
第1乃至第7の何れか1つの態様に従属する第8の態様において、前記表示制御部は、前記画像減少処理が実施された後に、POI画像の表示の制限を緩和して、前記POI画像の変化率が前記所定の閾値を超えない範囲においてPOI画像の画像量を増加させる画像増加処理を実施する画像増加処理部を、さらに有してもよい。
【0029】
第8の態様によれば、画像減少処理によって表示可能なPOI画像の画像量が制限された後、例えば、POI画像の変化率が所定の閾値を超えない範囲で徐々にPOI画像の画像量を増加させる。これにより、POI画像の急激な増加を抑制してユーザの違和感等を抑制しつつ、ユーザに、無理なく、より多くの情報を提示することが可能となる。
【0030】
第8の態様に従属する第9の態様において、前記表示制御部の前記画像増加処理部は、前記車両が走行状態から、前記車両が停止した状態、又は停止しているとみなすことができる低速走行状態に移行した場合において前記画像増加処理を実施してもよい。
【0031】
第9の態様では、車両の停止状態(停止しているとみなすことができる低速走行状態を含む)では、車両の走行状態に比べて、運転者等のユーザは車両の周囲を視認する余裕が生じるため、POI画像の画像量を増加させる。これにより、運転者等のユーザに、より多くの有用な情報を提示することができる。
【0032】
第8又は第9の態様に従属する第10の態様において、前記画像増加処理部は、前記画像増加処理を実施する場合において、現在の車両位置を基準とした対象物までの直線距離又は経路距離の長短、又は所要時間の長短の判定基準となり得る画像増加処理用の閾値を可変に制御し、より近くにある対象物についてのPOI画像から順に表示することで、POI画像を時間経過と共に漸増させてもよい。
【0033】
第10の態様によれば、現在の車両位置を基準とした対象物までの直線距離又は経路距離の長短、又は所要時間の長短の判定基準となり得る閾値を可変に制御することで、より近くにある対象物についてのPOI画像から順に表示することで、POI画像を時間経過と共に徐々に増やす、すなわち漸増させることができる。これにより、ユーザに、より多くの情報を提示することができる。
【0034】
第8乃至第10の何れか1つの態様に従属する第11の態様において、前記画像増加処理部は、前記画像増加処理を実施する際、画像増加処理を実施可能な運転状況であるか否かを判定し、実施可能な運転状況でない場合は、画像増加処理を延期させてもよい。
【0035】
第11の態様では、画像増加処理を実施しようとする際、車両の運転状況が画像増加処理に適さない状況と判断される場合には、画像増加処理を延期(あるいは遅延)させる。
【0036】
例えば、車両の前方の道路を人が横断している場合や、前方に障害物がある場合、周囲に安全を阻害する要因が多い運転状況、通常時よりも前方や周囲の視認性(外界視認性)が求められる運転状況である場合等においては、運転者等のユーザは、安全運転のために、前方や周囲をより注意深く視認する(確認する)必要がある。なお、通常時よりも外界視認性が求められる運転状況としては、本線道路への合流の場合、車線変更の場合、交差点に近づいている場合を挙げることができる。
【0037】
本態様では、このような運転状況下では、その視認(確認)を優先させ、画像増加処理を延期する。なお、延期の態様としては、上記の運転状況ではなくなるまで待つ、あるいは、所定時間だけ遅延させる、といった態様が考えられる。
これにより、増加するPOI画像によってユーザの前方や周囲の視認(確認)が妨げられることが抑制され得る。このことは、車両の安全運転に貢献する。
【0038】
第8乃至第11の態様の何れか1つの態様に従属する第12の態様において、前記表示制御部は、前記画像増加処理によってPOI画像の画像量が増加していることを、ユーザに報知してもよく、又は、前記画像増加処理によってPOI画像の画像量が増加していること、及び画像増加処理の内容に関する情報を、ユーザに報知してもよい。
【0039】
第12の態様によれば、画像増加処理によってPOIの画像量が増加されていることが、運転者等のユーザに報知されることで、ユーザは現状の表示状態を正確に認識できる。このことは、ユーザが違和感や不快感を覚えることを低減することに貢献する。よって、ユーザの利便性が向上する。
【0040】
第13の態様において、表示システムは、前記車両に搭載されると共に、第1乃至第12の態様の何れか1つの表示制御装置と、前記画像の表示光を被投影部材に投影することで前記画像を表示する表示部と、を有する、又は、前記車両に搭載されるとともに、第1乃至第12の何れか1つの表示制御装置と、前記乗員の頭部に装着するヘッドマウントディスプレイと、を有する。
【0041】
第13の態様によれば、POI画像(表示コンテンツ)の画像量が増加する状況下においても、運転者等のユーザに与える悪影響を抑制しつつ、運転者等に好ましい情報を提示可能である表示システムを実現することができる。
【0042】
第14の態様において、表示制御方法は、車両に搭載され、少なくとも1つの表示部を備える表示装置の、前記車両の周囲の情報に関する画像の表示を制御する表示制御方法であって、前記車両の周囲にある対象物に関する情報であるPOI情報を取得するステップと、前記POI情報を基に、表示候補のPOI画像を特定するステップと、特定された表示候補のPOI画像をすべて基準時点において表示する場合の画像量と、その基準時点から所定時間だけ前の時点において表示さていたPOI情報の画像量とに基づいて、POI画像の変化率を検出するステップと、検出されたPOI画像の変化率が所定の閾値以上である場合において、表示されるPOI画像の画像量を減少させる画像減少処理を実施するステップと、を含む。
【0043】
第14の態様によれば、POI画像(表示コンテンツ)の画像量が増加する状況下においても、運転者等のユーザに与える悪影響を抑制しつつ、運転者等に好ましい情報を提示可能とする表示制御方法を提供することができる。
この表示制御方法は、可搬の記録媒体に記録されたコンピュータプログラムによって実現されてもよい。この場合、表示制御方法の実施が容易化される。
【0044】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【0045】
【
図1】
図1は、被投影部材への画像の投影によって虚像を表示する表示装置(ここではHUD装置)と、画面に実像を表示する表示装置(CIDやICD等)とを有する、POI情報の表示が可能な表示システムの構成の一例を示す図である。
【
図2】
図2は、
図1の表示制御装置(プロセッサ)の、より詳細な構成例を示す図である。
【
図3】
図3(A)、(B)は、
図1、
図2に示される表示システムにおける、各表示装置の配置例、ならびに構成例を示す断面図である。
【
図4】
図4は、眼鏡型ヘッドマウントディスプレイ(HMD)の構成の一例を示す図である。
【
図5】
図5は、車両が停止状態から走行状態に移行したときに、画像減少処理を実施しない場合の課題を示す図である。
【
図6】
図6は、車両が停止状態から走行状態に移行したときに、画像減少処理を実施する場合のPOI画像の表示の一例を示す図である。
【
図7】
図7(A)、(B)は、画像減少処理を実施する場合のPOI画像の表示の他の例を示す図である。
【
図8】
図8は、画像減少処理を実施する場合のPOI画像の表示の、さらに他の例を示す図である。
【
図9】
図9(A)、(B)は、画像減少処理におけるPOI画像の表示の変形例、応用例(削減対象の画像を非表示とせず、画像を簡略化するなどして表示する例等)を示す図である。
【
図10】
図10は、画像減少処理後において、車両走行中に画像増加処理を実施する場合のPOI画像の表示例を示す図である。
【
図11】
図11は、画像減少処理後において、車両の停止中に画像増加処理を実施する場合のPOI画像の表示例を示す図である。
【
図12】画像減少処理、及び画像増加処理を含む表示制御を実施する場合の処理手順例を示すフローチャートである。
【発明を実施するための形態】
【0046】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0047】
(第1の実施形態)
図1を参照する。
図1は、被投影部材への画像の投影によって虚像を表示する表示装置(ここではHUD装置)と、画面に実像を表示する表示装置(CIDやICD等)とを有する、POI情報の表示が可能な表示システムの構成の一例を示す図である。
【0048】
なお、
図1において、車両(移動体)1の幅方向を左右方向(あるいは横方向:X方向)とし、左右方向に直交すると共に、地面又は地面に相当する面(ここでは路面40とする)に直交する線分に沿う方向を上下方向(あるいは高さ方向:Y方向)とし、左右方向及び上下方向の各々に直交する線分に沿う方向(車両1の前進及び後退の向きを示す方向)を前後方向(Z方向)とする。正のZ方向を前方、負のZ方向を後方とする。この点は、他の図面においても同様である。
【0049】
図1に示される、車両(自車両)1に備わる表示システム(車載表示システム)100は、ダッシュボード41に収納されているヘッドアップディスプレイ(HUD)装置102と、ウインドシールドディスプレイ(WSD)104と、センターインフォメーションディスプレイ(CID)120と、乗員5の正面の下側に位置する計器クラスタディスプレイ(ICD)130と、を有する。HUD、WSD、CID、ICDは各々、独立した表示装置(表示部)を構成する。
【0050】
また、これらの表示装置(表示部)102、104、120、130を構成要素として表示システム100が構成される。各表示装置における車両1の周囲の情報に関する画像の表示が、表示制御装置200によって制御される。表示制御装置200は、少なくとも1つのプロセッサにより構成され得る。
【0051】
なお、CID120とICD130は共に、ステアリングホイール4を操作して車両1を運転中の運転者(乗員、あるいはユーザ)5の視界内にあり、運転者5は、目線(視線)を少し変更することで、CID120やICD130に表示されている表示コンテンツ(例えば、ナビゲーション用の地図等)を見ることができる。
【0052】
HUD装置102、WSD装置104は共に投影型の表示装置(投影表示装置)であり、車両1に備わる被投影部材としてのウインドシールド2に画像(あるいは画像の表示光)を投影し、運転者(乗員)5から所定距離(虚像表示距離)だけ離れた位置において設定される仮想的な面である虚像表示面(虚像表示領域:
図3の符号PS1を参照)上において、実景の対象物α、βの各々に重畳されるように、あるいはその近傍に、虚像であるPOI画像(言い換えればPOI表示)ARa、ARbの各々を表示することができる。なお、被投影部材は、スクリーン等であってもよい。
【0053】
また、HUD装置102は、基本的には凹面鏡等の光学系を介して被投影部材に画像を投影する。WSD装置104は、光学系を有さず、ディスプレイに表示された画像を直接的に被投影部材に投影する直接投影表示装置である。なお、広義には、WSDもHUDの一種とみることができる。
【0054】
また、HUD、WSDは共に、虚像を表示する虚像表示装置ということもできる。なお、各表示装置(表示部)の概念は広く解釈するものとする。例えば、車内において、例えばステアリングホイール等に表示光を照射して情報を提示する機能をもつ車内プロジェクタも投影表示装置に含めることができる。
【0055】
また、CID、ICDは共に、表示面(画面、あるいは表示領域)に実像を表示する実像表示型の表示装置(表示部)であり、典型的には液晶表示装置等のフラットパネルディスプレイが該当する。
【0056】
図1の例では、HUD装置102の表示面(表示領域)には、対象物に対する重畳表示が可能な表示領域である第1の領域DZ1が設定される。また、
図1の例では、WSD装置104の表示面(表示領域)に、例えば車速表示SP(ここでは「30km/h」という表示)のような車両情報を表示可能な第2の領域DZ2が設定される。第2の領域DZ2は、例えば、対象物への重畳が想定されない画像の表示領域として使用でき、この場合、領域DZ2は非重畳表示領域と称することができる。
【0057】
また、車両1には、車両外の前方や周囲の実景(景色、あるいは外景)を撮像可能な外カメラ227と、運転者(乗員、ユーザ)5の顔の状態、及び目の状態の少なくとも一方を撮像可能な内カメラ226が設けられている。
【0058】
表示制御装置200は、表示装置制御部201と、表示制御部(あるいは画像制御部)203と、ユーザ状態判定部205と、を有する。
【0059】
表示装置制御部201は、CID制御部141と、ICD制御部143と、WSD制御部159と、HUD制御部160と、を有する。
【0060】
表示制御部(画像制御部)203は、車両1に搭載され、周囲の情報に関連する1つ、又は複数の画像の表示を制御する機能を有する。典型的には、表示制御部203は、車両1の周囲に位置する対象物に関する情報であるPOI(Point Of Interest)情報に基づいて、POI画像(アイコン等の表示本体の他、例えばPOIの特徴的内容を示す付記情報等を含むことができる)を、その対象物に重畳させて表示する場合の表示制御を実施する。
【0061】
この表示制御部203は、外カメラ227の撮像画像、各種センサ(加速度センサ等を含む)250の検出信号(センサ出力)、及びナビゲーション装置230からのナビゲーション情報等に基づいて画像の表示制御を実施する。表示制御部203の内部の具体的な構成例については
図2を用いて後述する。
【0062】
また、ユーザ状態判定部205は、内カメラ226の撮像画像、及び各種センサ(加速度センサ等を含む)250の検出信号(センサ出力)に基づいて、運転者等のユーザ5の、顔の位置、顔の動き、目の位置、視線の向き等を検出する機能を有する。ユーザ状態判定部205の内部の具体的な構成例については
図2を用いて後述する。
【0063】
なお、各種センサ250の検出信号に代えて、ECU(電子制御ユニット)等から供給される、車両1の状態を示す各種の信号を用いてもよい。
【0064】
また、表示システム100には、ナビゲーション装置230が設けられている。ナビゲーション装置230は、周辺施設情報取得部232と、位置情報部234と、を有する。周辺施設情報取得部232は、例えばクラウドネットワーク220から車両1の周囲(周辺)に位置する施設等の情報を取得する。
【0065】
位置情報部234は、自車両1の位置情報を検出(取得)して出力する機能を有する。この位置情報部234は、アンテナANを介してGNSS(Global Navigation Satellite System:全地球航法衛星システム)からの電波(無線信号)を受信するGNSS受信機236と、位置情報取得部238と、3次元地図データ240と、を有する。
【0066】
次に、
図2を参照する。
図2は、
図1の表示制御装置(プロセッサ)の、より詳細な構成例を示す図である。
図2において、
図1と共通する部分には同じ符号を付している。なお、
図2では、表示装置102、104、120、130の集合体を、表示装置群119と記載している。また、
図2のナビゲーション装置230は、
図1と同じであるため、その説明は省略する。
【0067】
図2において、表示制御装置200のユーザ状態判定部205は、画像解析部401と、顔状態判定部403と、顔情報部405と、目情報部413と、移動状態判定部407と、を有する。
【0068】
顔情報部405は、ユーザの顔の位置を検出する顔位置検出部409と、顔の動きを検出する顔の動き検出部411と、を有する。また、目情報部413は、ユーザの目の位置を検出する目位置検出部415と、視線(視線方向)を検出する視線検出部419と、を有する。
【0069】
視線検出部419は、注視点検出部421を有する。この注視点検出部421は、ユーザの視線が、少なくとも基準時間にわたって止まっていることを検出し、そのときのユーザが見ている地点(例えば地図上の座標)を注視点として検出(抽出)する機能を有する。また、注視点検出部421は、検出された注視点を基準として、仮想的な注視範囲(注視領域)を設定する機能も有する。
【0070】
画像解析部401は、内カメラ226の撮像画像に基づいて解析処理を実施し、例えば、ユーザの顔、目や鼻といった顔の部位等を検出する。
【0071】
移動状態判定部407は、各種センサ250からの検出信号(センサ信号)に基づいて車両1の移動状態を判定する。この移動状態の判定結果は、顔情報部405における顔の動きの検出や、目情報部413における目の動き(視線)の検出の際に、参考情報として利用され得る。
【0072】
また、
図2において、表示制御装置200の表示制御部203は、先に
図1に示した表示装置制御部201と、画像解析部501と、ユーザ状態情報取得部503と、POI情報取得部505と、表示画像生成部507と、POI制御部509と、を有する。
【0073】
POI制御部509は、表示条件判定部510と、POI表示候補特定部511と、POI位置検出部513と、POI画像の変化率検出部514と、画像調整部515と、表示態様変更部523と、表示装置変更部525と、を有する。
【0074】
画像調整部515は、画像減少処理部517と、画像増加処理部519と、画像減少処理又は画像増加処理が実施されていることをユーザに報知する報知部521と、を有する。
【0075】
ここで、画像解析部501は、外カメラ227からの撮像画像に基づいて、車両1の周囲の画像を解析し、POI画像を表示する対象となり得る施設等を検出する。
【0076】
ユーザ状態情報取得部503は、ユーザ状態判定部205から供給されるユーザ状態の検出信号(ユーザ状態の判定信号)を取得する。
【0077】
POI情報取得部505は、車両1の周囲にある対象物に関する情報であるPOI情報を取得する。より具体的には、このPOI情報取得部505は、POI画像の表示に必要なPOI情報(表示候補のPOI情報とも称され得る)を計算によって算出して取得する機能を有し、「POI算出部」とも称され得る。
【0078】
表示画像生成部507は、表示画像を生成する。
【0079】
POI制御部509は、POI情報に基づいて、POI画像の表示を制御する。POI制御部509における表示条件判定部510は、POI情報取得部(POI算出部)505から供給されるPOI情報を、例えば予め用意されている表示条件と比較し、表示条件を満たすか否かの判定を実施し、これにより、表示条件を満たすPOIを特定(抽出)する。
【0080】
ここで、表示条件は、例えば、以下の第1~第3の条件を含んでもよい。第1の条件は、「ユーザから対象施設までの直線距離又は経路距離又は所要時間が所定の閾値より短いこと」である。第2の条件は、「ユーザが視認できる表示器の表示範囲内であること」である。第3の条件は、「ユーザの視認時間が所定の閾値(注視判定閾値、言い換えれば基準時間)以上であること」である。表示条件は、周囲環境等に合わせて適宜、変更されてもよい。
【0081】
POI表示候補特定部511は、特定(抽出)されたPOIに基づき、表示候補のPOI画像を特定する。
【0082】
POI位置検出部は、POI表示候補特定部によって特定された表示候補の各POI画像の地図上の座標位置を検出する。
【0083】
POI画像の変化率検出部514は、POI画像の画像量の変化率(ここでは増加率)を検出し、検出された変化率(増加率)が、変化率の大小判定用の閾値以上であるか否かを判定する。
ここで、POI画像は、所定期間(例えば数秒)毎に周期的に更新されるものとする。
また、一般に、基準量Pに対して、+αの増分、あるいは、-αの減少分があったときに、α/Pを「変化率」と称し、+αのときは「増加率」とも称され、-αのときは「減少率」とも称される。
【0084】
「POI画像(の画像量)の変化率」は、以下のように求めることができる。
基準時点において、特定された表示候補のPOI画像をすべて表示する場合の全画像量をS1とする。その基準時点から所定時間(表示の更新周期)だけ前の時点において表示されていたPOI画像の全画像量をS0とする。この場合、所定時間でのPOI画像の増加量は、S1-S0である。
よって、POI画像変化率(ここでは、増加率とする)は、(S1-S0)/S0で表される。
【0085】
このようにして検出されたPOI画像の変化率が所定の閾値(画像の専有面積を表す閾値)以上である場合(あるいは閾値を超えている場合)には、画像減少処理部517が、表示されるPOI画像の画像量を減少させる画像減少処理を実施する。
【0086】
例えば、説明の便宜上、複数個のPOI画像が表示される場合でも、各POI画像の画像量は予め定められた画像量に統一されているものとする。すなわち、POI画像の専有面積は共通である。この場合、POI画像の変化率は、POI画像の「数」によって求めることができる。
【0087】
例えば、時刻t1に、HUD装置102によって表示されているPOI画像の数が「1」であったとする。ここで、次の更新周期の時点(時刻t1から所定時間だけ経過した時点)t2では、表示候補のPOI画像の数が「5」であったとする。この場合、POI画像の変化率(増加率)は、「4(=(5-1)/1)」となる。所定の閾値が例えば「1」に設定されているとすると、変化率(=「4」)>閾値(=「1」)の関係が成立する。よって、画像減少処理部517が画像減少処理を実施する。
【0088】
所定の閾値は「1」に設定されており、表示が許容されるのは「1」を超えない個数のPOI画像である。よって、画像減少処理部517は、表示候補の5個のPOI画像のうち、例えば車両1を基準として、より遠方にあるPOI画像を優先的に削減するという規則に基づいて4個のPOI画像を削減(非表示)とする。これにより、車両1から最も近い位置にある施設に対してPOI画像が重畳表示される。
【0089】
このように、画像減少処理が実施されることで、車両1の運行中において、POI画像の画像量が急に増えると予測される場合には、表示するPOI画像の画像量を低下させること、言い換えれば、POI画像の表示を抑制することができる。これにより、運転者等のユーザが、急増するPOI画像に違和感を覚えたり、煩わしさを覚えたりすることが抑制され得る。よって、POI画像(表示コンテンツ)の画像量が増加する状況下においても、運転者等のユーザに与える悪影響を抑制しつつ、運転者等に好ましい情報を的確に提示可能とすることができる。
【0090】
また、上記の説明のとおり、画像減少処理では、車両1を基準として、より遠い位置のPOI画像を優先的に削減することが好ましい。言い換えれば、画像減少処理部517は、表示候補のPOI画像が複数、存在する状況で画像減少処理を実施する場合は、現在の車両位置を基準として、直線距離又は経路距離がより長い対象についてのPOI画像、又は到達するのに必要な所要時間がより長い対象についてのPOI画像を優先的に削減してもよい。
車両に近い位置に表示されるPOI画像は、車両の走行に伴い短時間で消え去る。この点で、近い位置のPOI画像は、遠方のPOI画像に比べて表示の緊急性が高いといえる。 また、近い位置のPOI画像を運転者等が見逃した場合、そのPOI画像が、運転者等のユーザにとって重要な意味をもつPOI画像であった場合は、運転者等のユーザが受ける不利益が大きい。
よって、より遠くのPOI画像から削減していくことで、画像減少処理が実施されても、より緊急性の高い情報を優先的にユーザに提供でき、ユーザの利便性を確保することができる。
【0091】
また、より遠方のPOI画像を優先的に削減するために、画像減少処理用の閾値を使用することができる。例えば、現在の車両位置を基準とした対象物までの直線距離又は経路距離の長短、又は所要時間の長短の判定基準となり得る閾値(画像減少処理用の閾値)を可変に制御することで、その閾値を基準としてより遠方にある対象物についてのPOI画像を確実に削減する(非表示とする)ことができる。
【0092】
また、画像増加処理部519は、画像増加処理を実施する。言い換えれば、画像増加処理部519は、画像減少処理が実施された後に、POI画像の表示の制限を緩和して、POI画像の変化率が所定の閾値を超えない範囲においてPOI画像の画像量を増加させる画像増加処理を実施する。
画像減少処理によって表示可能なPOI画像の画像量が制限された後、例えば、POI画像の変化率が所定の閾値を超えない範囲で徐々にPOI画像の画像量を増加させる。これにより、POI画像の急激な増加を抑制してユーザの違和感等を抑制しつつ、ユーザに、無理なく、より多くの情報を提示することが可能となる。
【0093】
また、画像調整部515における報知部521は、画像減少処理、あるいは画像増加処理が実施されていることを、ユーザに報知する。
例えば、画像減少処理についての報知を実施する場合は、画像減少処理によってPOI画像の表示が制限されていることを、ユーザに報知してもよく、又は、画像減少処理によってPOI画像の表示が制限されていること、及びその制限の内容に関する情報を、ユーザに報知してもよい。
【0094】
画像減少処理による表示制限中であることが、運転者等のユーザに報知されることで、ユーザは現状の表示状態を正確に認識できる。このことは、ユーザが違和感や不快感を覚えることを低減することに貢献する。よって、ユーザの利便性が向上する。
【0095】
また、表示態様変更部523は、画像減少処理後のPOI画像を表示する際、表示するPOI画像の表示態様を、画像減少処理が実施されない場合における表示態様とは異ならせる機能を有する。画像減少処理後のPOI画像を表示するに際し、例えば、そのPOI画像の表示態様を変更して視認性や誘目性を低下させることで、ユーザが、前方や周囲の実景を視認する際の負荷(視認負荷)を感じにくくすることができる。
【0096】
視認性や誘目性を低下させる表示態様の変更例としては、POI画像の輝度の低下、及び、POI画像のサイズの縮小、及び、POI画像における少なくとも一色の色の変更、及び、POI画像が、下地部分である第1の部分と、下地部分の上に表示される文字、図形、記号の少なくとも1つを含む第2の部分とを有する場合に、第1の部分と第2の部分とのコントラストの低下、及び、POI画像がアイコン等の本体と付記情報とを含む場合における付記情報の削除、の少なくとも1つを挙げることができる。
【0097】
また、表示装置変更部525は、画像減少処理後にPOI画像を表示する際、表示するPOI画像を、画像減少処理が実施されない場合において使用される表示装置とは異なる他の表示装置を用いて表示させる機能を有する。これにより、運転者等のユーザが前方を含む周囲の実景を視認する際の負担がより軽減される。
【0098】
例えば、通常は、ウインドシールド2等の被投影部材に画像(表示光)を投影して虚像を表示するHUD(ヘッドアップディスプレイ)装置102を用いてPOI画像を表示し、一方、画像減少処理後に表示するPOI画像(POI表示)については、車両1の中央部に設けられるセンターインフォメーションディスプレイ(CID)120や、乗員5の正面の下側に位置する計器クラスタディスプレイ(ICD)130に表示してもよい。CIDやICDは、HUD装置に比べて、正面を向いて着座している運転者等のユーザにとっては、車両外の実景(外景)の視認に与える影響が小さい位置に設けられているため、表示されるPOI画像の視認性や誘目性を低下させることが可能である。よって、ユーザが車両外の実景を視認する際の負担がより軽減され得る。
【0099】
次に、
図3を参照する。
図3(A)、(B)は、
図1、
図2に示される表示システムにおける、各表示装置の配置例、ならびに構成例を示す断面図である。
【0100】
図3(A)に示される表示システム(車載表示システム)100は、HUD装置102と、WSD(ウインドシールドディスプレイ)装置104とを有する。
【0101】
HUD装置102は、ダッシュボード41内に収容されている。HUD装置102は、筐体103と、画像の表示光を出射する光源部151と、光学系を構成する凹面鏡(曲面鏡)170を有する。凹面鏡170は、被投影部材としてのウインドシールド2に、画像(画像の表示光)を投影する。なお、被投影部材はスクリーン等であってもよい。
【0102】
HUD装置102の表示光の一部はウインドシールド2で反射されて運転者(乗員)5の目(視点)3に入射され、この結果として、虚像表示面(虚像表示領域)PS1上に虚像V1が表示される。先に説明した
図1では、この虚像表示面PS1上に、第1の領域DZ1が設定される。
【0103】
なお、凹面鏡170における曲率を均等にせず、例えば高い曲率の領域、中程度の曲率の領域、低い曲率の領域等を適宜、設定することで、虚像表示面を、傾斜面(例えば湾曲形状の傾斜面)とすることができ、この場合は、奥行き感のある表示が可能となる。
【0104】
WSD装置104は、表示器152の表示面に表示される画像の表示光を、光学系を介さずに、直接的に被投影部材(ウインドシールド)2に投影する投影表示装置である。WSD装置104によって、虚像表示面(虚像表示領域)PS2上に、虚像V2が表示される。先に示した
図1では、この虚像表示面(虚像表示領域)PS2上に、車速表示SP等が表示される第2の領域DZ2が設定される。
【0105】
また、
図3(B)に示される表示システム(車載表示システム)100は、HUD装置102と、表示器装置(CID120及びICD130)と、を含む。
【0106】
表示器装置を構成するCID120やICD130は、例えば液晶パネルで構成され得る。これらはダッシュボード41の外側に設置される。液晶パネルの表示面SU上に実像J1が表示される。先に
図1に示した車速表示SPは、表示面SU上に表示してもよい。
【0107】
次に、
図4を参照する。
図4は、眼鏡型ヘッドマウントディスプレイ(HMD)の構成の一例を示す図である。
【0108】
本実施形態では、先に説明したHUD装置102に代えて、あるいは、HUD装置102と共に、例えば
図4に示されるようなヘッドマウントディスプレイ(HMD)装置を使用してもよい。HMD装置は投射表示装置の一種である。
【0109】
図4のA-1に示されるように、眼鏡型のHMD装置300は、一対の眼鏡レンズ53a、53bと、各レンズを保持するレンズフレーム52a、52bと、レンズフレーム52a、52bの外縁部から後方に延びる一対のテンプル51a、51bと、を備える。
【0110】
図4のA-2に示されるように、一対の眼鏡レンズ53a、53bの目(視点)3(具体的には、眼球33a、33bの瞳孔80a、80b)に対向する面には、画像の表示光(レーザー光)を反射する、波長選択性をもつホログラムミラー70a、70bが設けられている。
【0111】
ホログラムミラー70a、70bは波長選択性を有しており、レーザー光の波長のみを反射する。その結果、乗員5は、車外の実景と、レーザー光によって描かれる画像の双方を同時に視認することが可能である。ホログラムミラー70a、70bで偏向された表示光は、人の目3の網膜に結像して画像を形成する。
【0112】
一対のテンプル51a、51bには、その内部に、上記の表示光(例えばレーザ光)を出射する光源部62a、62bと、表示光を走査する走査部63a、63bと、各部を制御するHMD用の制御部61a、61bが設けられている。
図4の構造は一例であり、この構造に限定されるものではない。
【0113】
次に、
図5を参照する。
図5は、車両が停止状態から走行状態に移行したときに、画像減少処理を実施しない場合の課題を示す図である。
【0114】
図5のA-1では、信号機600は赤であり、車両1は、信号待ちによって停止している状態(停止しているとみなすことができる低速走行状態を含み得る)である。運転者等のユーザは、車両1の周囲を視認する余裕が生じ、興味をひかれた対象に目をとめ、時間をかけて観察する場合も多い。
【0115】
図5のA-1では、ユーザは、前方の手前、右側の施設(店舗)に興味をもち、視線を止めてその施設(店舗)を注視しているものとする。この結果、
図2に示した注視点検出部421が注視点を検出し、その注視点を基準として、所定の広がりをもつ注視範囲(注視領域、あるいは注視領域と推定される領域)F1を設定する。図中、注視範囲(注視領域)F1は、説明の便宜上、破線の円で示している。
【0116】
また、
図2で示したPOI情報取得部(POI算出部)505は、注視範囲(注視領域)F1の位置情報と、ナビゲーション装置230の位置情報取得部238から供給される自車両1の位置情報、及び周囲施設情報とに基づいて、注視範囲(注視領域)F1に対応する位置にある施設(店舗)に関するPOI情報を取得(算出)する。このPOI情報の取得に際しては、多変数の関数を使用して所定の演算を実施してもよい。
【0117】
このようにして注視範囲(注視領域)F1に対応した施設(POI)が特定される。次に、
図2で示した表示画像生成部507によって、POI画像Q1が生成され、次に、表示装置制御部201による表示制御によって、POI画像Q1が、その施設に重畳されるように表示される。
【0118】
この結果、
図5のA-1では、1個のPOI画像Q1が表示されている。
【0119】
図5のA-2では、車両1は、停止状態から走行状態へと移行している。車両1が停車状態から走行状態に移行した場合、特に、その移行の初期段階では、例えば運転者(ユーザ)5は、安全運転の観点から、人、他の車両の状況等に気を配り、周囲の状況に素早く慣れる必要がある。
【0120】
この結果、運転者(ユーザ)5の視線の移動が頻繁となり、かなり多くの注視点が生じる可能性が高くなる。
図5では、4つの注視範囲(注視領域)F2(図中、破線の円で示されている)が生じている。
【0121】
図2で示したPOI表示候補特定部511は、4つの注視範囲F2の各々について、表示候補のPOI画像を特定する。
図5のA-2では、表示候補のPOI画像として、車両1から近い順に、6個のPOI画像Q2、Q3、Q4、Q5、Q6、Q7が特定(抽出)される。
【0122】
これらの6個のPOI画像は、例えば、車両1が走行状態に移行した後の、最初のPOI画像の更新時点(所定周期で訪れる表示更新タイミング)において一挙に表示される。説明の便宜上、各POI画像の専有面積は同じものとして取り扱う。
【0123】
この場合、
図5のA-1とA-2とを比較すると、POI画像の変化率(増加率)は、「5」(=(6-1)/1)となり、かなり大きい。
【0124】
上記のとおり、車両1が停車状態から走行状態に移行した場合、特に、その移行の初期段階では、例えば運転者(ユーザ)5は、安全運転の観点から、人、他の車両の状況等に気を配り、周囲の状況に素早く慣れる必要がある。このような状況で、POI画像の画像量(ここでは、POI画像の個数として取り扱うことができる)が急に増大すると、運転者5は違和感を覚えたり、急増するPOI画像に煩わしさを覚えたりする場合があり、このことは、安全運転上も好ましいとはいえない。
【0125】
このような課題が、本発明者によって明らかとされた。そこで、本発明の実施形態(
図6~
図8)では、車両1が停車状態から走行状態に移行した場合において、
図2で示したPOI制御部509の画像減少処理部517が、POI画像を減少させる画像減少処理を実施する。
【0126】
上記のような運転状況のときに画像減少処理が実施されるため、POI画像が運転者等のユーザに与える悪影響を抑制しつつ(言い換えれば、前方を含む周囲の実景の良好な視認性を確保しつつ)、例えば運転者が興味を惹かれる対象についてのPOI情報については適切に表示することが可能となる。
【0127】
以下、画像減少処理(画像削減処理、画像低減処理)について、具体例を用いて説明する。
図6を参照する。
図6は、車両が停止状態から走行状態に移行したときに、画像減少処理を実施する場合のPOI画像の表示の一例を示す図である。
【0128】
図6のA-1は、
図5のA-1と同じである。
図6のA-2は、
図5のA-2に対応するが、
図6のA-2では、1個のPOI画像Q2が表示されている。
【0129】
先に説明したように、POI画像の変化率(増加率)は、「5」(=(6-1)/1)であり、ここで、所定の閾値として「1」が設定されている場合は、変化率が閾値を超えることになるため、画像減少処理が実施される。
【0130】
そして、閾値が「1」であることは、ここでは、「1」を超えない個数のPOI画像を表示可能ということを意味する。言い換えれば、表示可能なPOI画像は1個である。
【0131】
そこで、
図6のA-2では、車両1を基準として最も近くに表示されるPOI画像Q2のみを表示することとし、他の5個の表示候補のPOI画像Q3~Q7は削減(非表示)としている。
【0132】
ここで、車両1に近い位置に表示されるPOI画像は、車両の走行に伴い短時間で消え去る。この点で、近い位置のPOI画像は、遠方のPOI画像に比べて表示の緊急性が高いといえる。また、近い位置のPOI画像を運転者等が見逃した場合、そのPOI画像が、運転者等のユーザにとって重要な意味をもつPOI画像であった場合は、運転者等のユーザが受ける不利益が大きい。よって、より遠くのPOI画像から削減していくことで、画像減少処理が実施されても、より緊急性の高い情報を優先的にユーザに提供でき、ユーザの利便性を確保することができる。
【0133】
図6のA-2では、画像減少処理が実施されるため、ユーザの前方の視界が十分に確保されると共に、POI画像Q2によって、最も近い位置にあるPOIについての情報をユーザに提示でき、安全運転と情報提示とを両立することができる。
【0134】
次に、
図7を参照する。
図7(A)、(B)は、画像減少処理を実施する場合のPOI画像の表示の他の例を示す図である。
【0135】
図7(A)では、画像減少処理が実施されていることを、ユーザに報知する報知制御が実施される。
【0136】
図7(A)では、第2の領域DZ2において、「POI表示制限中」という報知のための文字情報が表示されている。なお、この報知は、音声により実施されてもよい。
【0137】
また、上記の報知の文言としては、例えば「近くの施設のPOIのみを表示中」、あるいは、「10m以内の施設のPOIのみを表示中」というように、表示制限の内容に言及する文言を含むものであってもよい。
【0138】
このように、画像減少処理によってPOI画像が減少されていることが、運転者等のユーザに報知されることで、ユーザは現状の表示状態を正確に認識できる。このことは、ユーザが違和感や不快感を覚えることを低減することに貢献する。よって、ユーザの利便性が向上する。
【0139】
また、
図7(B)では、POI画像Q2’の表示態様は、
図7のA-1のPOI画像Q2(このPOI画像Q2は、画像減少処理が実施されない場合と同じ態様の画像とする)の表示態様とは異なっている。この表示態様の変更は、
図2で示した表示態様変更部523が実施する表示態様変更制御によって実現される。
【0140】
図7(B)では、画像減少処理後のPOI画像を表示するに際し、例えば、そのPOI画像の表示態様を変更して視認性や誘目性を低下させることで、ユーザが、前方や周囲の実景を視認する際の負荷(視認負荷)を感じにくくすることができる。
【0141】
図7(B)では、POI画像Q2’の輝度が、POI画像Q2の輝度よりも低下されている。
【0142】
視認性や誘目性を低下させる表示態様の変更例としては、POI画像の輝度の低下、及び、POI画像のサイズの縮小、及び、POI画像における少なくとも一色の色の変更、及び、POI画像が、下地部分である第1の部分と、下地部分の上に表示される文字、図形、記号の少なくとも1つを含む第2の部分とを有する場合に、第1の部分と第2の部分とのコントラストの低下、及び、POI画像がアイコン等の本体と付記情報とを含む場合における付記情報の削除、の少なくとも1つを挙げることができる。
【0143】
次に、
図8を参照する。
図8は、画像減少処理を実施する場合のPOI画像の表示の、さらに他の例を示す図である。
【0144】
図8では、画像減少処理後のPOI画像の表示に際しては、そのPOI画像は、画像減少処理が実施されない場合の表示装置とは異なる他の表示装置を用いて表示する。これにより、運転者等のユーザが前方を含む周囲の実景を視認する際の負担がより軽減される。
【0145】
例えば、通常は、ウインドシールド等の被投影部材に画像(表示光)を投影して虚像を表示するHUD(ヘッドアップディスプレイ)装置102を用いてPOI画像を表示し、一方、画像減少処理後に表示するPOI画像(POI表示)については、車両の中央部に設けられるセンターインフォメーションディスプレイ(CID)120や、乗員の正面に位置する計器クラスタディスプレイ(ICD)130に表示してもよい。
【0146】
図8では、POI画像Q2は、CID120に表示されている。また、
図8では、HUD装置102の第1の領域(第1の表示領域)DZ1において、「10m以内の施設のPOIのみ表示中」という報知情報が表示されている。
【0147】
CID120やICD130は、HUD102装置に比べて、正面を向いて着座している運転者等のユーザ5にとっては、車両外の実景(外景)の視認に与える影響が小さい位置に設けられているため、表示されるPOI画像の視認性や誘目性を低下させることが可能である。よって、ユーザが車両外の実景を視認する際の負担がより軽減され得る。
【0148】
次に、
図9を参照する。
図9(A)、(B)は、画像減少処理におけるPOI画像の表示の変形例、応用例(削減対象の画像を非表示とせず、画像を簡略化するなどして表示する例等)を示す図である。
【0149】
図6~
図8にて説明した画像減少処理では、削減対象のPOI画像は非表示とされていた。但し、これは原則的な表示制御であり、その例外もあり得る。言い換えれば、画像減少処理においては、削減対象のPOI画像についても、より簡略化して情報量を減らした態様にて表示するといった変形例が考えられる。
【0150】
例えば、通常のPOI画像の表示では、アイコン、施設名称、簡単な説明といった情報を含むPOI画像を対象物に重畳して表示して表示するが、画像減少処理(画像量削減処理)の削減対象となったPOI画像については、アイコンのみを表示する場合があり得る。
図9(A)に、この場合のPOI画像の表示例を示す。
【0151】
図9(A)では、画像減少処理が実施され、車両1から最も近い位置にPOI画像Q2が表示されている。このPOI画像Q2は、「洋服」という簡単な説明表示(付記情報表示)を含む。
【0152】
原則的には、より遠方のPOI画像については非表示として画像量を削減するが、
図9(A)では、削減対象となった遠方のPOI画像QD(このPOI画像QDは、注視範囲F2’に対応する)も、簡単な説明表示(付記情報表示)無しでアイコンのみを表示している。付記情報表示が無い分、画像量を低減でき、一方、ユーザには、より多くの情報を提示することが可能である。
【0153】
また、
図9(B)に示される他の例では、POI画像QDは、対象物に重畳せずに、第2の領域DZ2に表示している。対象物に重畳しないことで、ユーザの前方視界が確保される。言い換えれば、POI画像を対象物に重畳しないことで、ユーザの視野範囲(視野範囲と推定される範囲)内における画像量が実質的に低減されたことになる。
【0154】
また、
図9(B)には、POI画像QDを、CID120に表示する例も記載されている。この例では、ウインドシールド2に対応する表示領域には、削減対象のPOI画像が表示されないことから、良好なユーザの視界を確保できる。その一方、ユーザの目への負担を軽減しつつ、例えば遠方の対象物についての情報も提示することができる。
【0155】
(第2の実施形態)
第2の実施形態では、画像増加処理について説明する。
図10を参照する。
図10は、画像減少処理後において、車両走行中に画像増加処理を実施する場合のPOI画像の表示例を示す図である。
【0156】
画像増加処理は、画像減少処理が実施された後に、POI画像の表示の制限を緩和して、POI画像の変化率が所定の閾値を超えない範囲においてPOI画像の画像量を増加させる画像処理である。
【0157】
言い換えれば、画像減少処理によって表示可能なPOI画像の画像量が制限された後、例えば、POI画像の変化率が所定の閾値を超えない範囲で徐々にPOI画像の画像量を増加させる。これにより、POI画像の急激な増加を抑制してユーザの違和感等を抑制しつつ、ユーザに、無理なく、より多くの情報を提示することが可能となる。
【0158】
図10のA-1は、先に示した
図7のA-1と実質的に同じである。
図10のA-1では、車両1は走行中であり、画像減少処理の結果としてPOI画像が削減されており、また、第2の領域DZ2において、「POI表示制限中」という報知情報が表示されている。
【0159】
図10のA-2では、画像減少処理が実施された後、車両走行中に、画像増加処理が実施される。
【0160】
例えば、画像増加処理部519は、画像増加処理を実施する場合において、現在の車両位置を基準とした対象物までの直線距離又は経路距離の長短、又は所要時間の長短の判定基準となり得る画像増加処理用の閾値を可変に制御することで、より近くにある対象物についてのPOI画像から順に表示することで、POI画像を時間経過と共に徐々に増やす、すなわち漸増させる。
【0161】
具体的には、先に説明した画像減少処理では、POI画像の変化率の大小を判定する閾値を「1」としていたが、
図10のA-2では、画像増加処理においても上記の閾値を使用すると共に、その閾値の値を「2」に設定し、2個のPOI画像の表示を許容している。
【0162】
これに伴い、
図10のA-2では、注視範囲(注視領域)F3に対応する位置にPOI画像Q8を表示し、注視範囲(注視領域)F4に対応する位置にPOI画像Q9を表示している。これにより、ユーザに、より多くの情報を提示することができる。
【0163】
時間経過と共に、閾値の値を「2」から「3」、「3」から「4」へと順次、増加させることで、表示可能なPOI画像の数を、時間経過と共に漸増させることができる。これにより、ユーザに、無理なく、徐々により多くの情報を提示することができる。
【0164】
但し、画像増加処理部519は、画像増加処理を実施する際、画像増加処理を実施可能な運転状況であるか否かを判定し、実施不可の場合は、画像増加処理を延期(遅延)させてもよい。
【0165】
例えば、車両の前方の道路を人が横断している場合や、前方に障害物がある場合、周囲に安全を阻害する要因が多い運転状況、通常時よりも前方や周囲の視認性(外界視認性)が求められる運転状況である場合等においては、運転者等のユーザは、安全運転のために、前方や周囲をより注意深く視認する(確認する)必要がある。なお、通常時よりも外界視認性が求められる運転状況としては、本線道路への合流の場合、車線変更の場合、交差点に近づいている場合を挙げることができる。
【0166】
本態様では、このような運転状況下では、その視認(確認)を優先させ、画像増加処理を延期する。なお、延期の態様としては、上記の運転状況ではなくなるまで待つ、あるいは、所定時間だけ遅延させる、といった態様が考えられる。
【0167】
また、報知部521は、画像増加処理によってPOI画像の画像量が増加していることを、ユーザに報知してもよく、又は、画像増加処理によってPOI画像の画像量が増加していること、及び画像増加処理の内容に関する情報を、ユーザに報知してもよい。
【0168】
図10のA-2では、第2の領域DZ2において、「POI表示を増やしています」という報知情報が表示されている。
【0169】
画像増加処理によってPOIの画像量が増加されていることが、運転者等のユーザに報知されることで、ユーザは現状の表示状態を正確に認識できる。このことは、ユーザが違和感や不快感を覚えることを低減することに貢献する。よって、ユーザの利便性が向上する。
【0170】
次に、
図11を参照する。
図11は、画像減少処理後において、車両の停止中に画像増加処理を実施する場合のPOI画像の表示例を示す図である。
【0171】
図11のA-1は、
図10のA-1と同じである。
図11のA-1では、車両1は走行中であり、画像減少処理の結果としてPOI画像が削減されており、また、第2の領域DZ2において、「POI表示制限中」という報知情報が表示されている。
【0172】
図11のA-2では、車両1は停止状態(停止状態とみなし得る状態を含む)に移行している。画像増加処理部519は、車両1が走行状態から、停止した状態、又は停止しているとみなすことができる低速走行状態に移行した場合に画像増加処理を実施する。
【0173】
車両の停止状態では、車両の走行状態に比べて、運転者等のユーザは車両の周囲を視認する余裕が生じるため、POI画像の画像量を増加させる。これにより、運転者等のユーザに、より多くの有用な情報を提示することができる。
【0174】
図11のA-2では、注視範囲(注視領域)F5に対応する位置にPOI画像Q11を表示し、注視範囲(注視領域)F6に対応する位置にPOI画像Q10を表示している。これにより、ユーザに、より多くの情報を提示することができる。
【0175】
(第3の実施形態)
次に、
図12を参照する。
図12は、画像減少処理、及び画像増加処理を含む表示制御を実施する場合の処理手順例を示すフローチャートである。なお、各ステップの動作の説明においては、適宜、
図2の表示システムの構成を参照する。
【0176】
ステップS1~S4は、POI画像の生成に必要な情報(基礎情報)を取得するステップである。
【0177】
ステップS1では、ナビゲーション装置230の位置情報取得部238、及び周辺施設情報取得部232が、ユーザと周辺施設の位置情報を取得する。
【0178】
ステップS2では、ナビゲーション装置230における周辺施設情報取得部232が、クラウドネットワーク220を経由して、現在のユーザ位置の周囲における複数の施設情報を取得する。施設情報と共に、その施設に関係するPOI情報を取得してもよい。周辺施設情報としては、例えば、施設の名称や営業時間、カテゴリ、施設の簡単な説明、メニューリスト、評価点、レビュー等の情報が含まれ得る。
【0179】
ステップS3では、ユーザ状態情報取得部503が、ユーザ状態判定部205から、ユーザ状態の情報を取得する。ユーザ状態の情報は、例えば、ユーザの顔の位置、顔の動き、目の位置、視線情報、ならびに、移動状態判定部407で検出(判定)された車両1の移動状態の情報等を含んでもよい。
【0180】
ステップS4では、周囲(例えば前方)の実景(外景)情報を取得する。言い換えれば、表示制御部203における画像解析部501が、外カメラ227で取得した実景(外景)の画像を画像解析することで、例えば、後にPOI画像の表示位置を決定する際に必要となる情報等を取得する。
【0181】
次に、画像減少処理に関係するステップについて説明する。
【0182】
ステップS5では、例えば、ユーザの位置、顔状態、周辺施設の位置、実景情報に基づいて、表示候補のPOIを特定する。言い換えれば、ステップS1~S4で取得された情報に基づき、例えばPOI情報取得部(POI算出部)505が所定の計算を実施し、POI画像の生成の対象となり得るPOIについてのPOI情報を取得し、続いて、表示条件判定部510が、それらのPOI情報の中から「所定の表示条件」を満たすPOI情報を抽出し、その抽出されたPOI情報に基づいて、POI表示候補特定部511が、表示候補のPOI(表示候補のPOI画像)を特定する。
【0183】
ここで、上記の「所定の表示条件」は、例えば、以下の第1~第3の条件を含んでもよい。第1の条件は、「ユーザから対象施設までの直線距離又は経路距離又は所要時間が所定の閾値より短いこと」である。第2の条件は、「ユーザが視認できる表示器の表示範囲内であること」である。第3の条件は、「ユーザの視認時間が所定の閾値(注視判定閾値、言い換えれば基準時間)以上であること」である。なお、表示条件は、周囲環境等に合わせて適宜、変更されてもよい。
【0184】
ステップS6では、POI画像の変化率(ここでは増加率)が閾値以上であるか否かが判定される。言い換えれば、POI画像の変化率検出部514は、POI画像の画像量の変化率(ここでは増加率)を検出し、検出された変化率(増加率)が、変化率の大小判定用の閾値以上であるか否かを判定する。
【0185】
ステップS6にて、Yのときは、ステップS7に移行し、NのときはステップS8に移行する。ステップ8~ステップ11は画像増加処理に関する処理である。その内容については後述する。
【0186】
ステップS7では、画像減少処理部517が画像減少処理を実施する。ここで、画像減少処理は、表示条件をより厳しく設定する(例えば、現在の車両位置からの直線距離又は経路距離又は所要時間を判定する閾値をより小さく設定する)ことで、現在の車両位置を基準として、より遠方のPOI画像が削減され易くする処理であってもよい。
【0187】
画像減少処理においては、削減対象のPOI情報は表示しないのが原則であるが、但し、削減対象のPOI画像についても、例えば、より簡略化して情報量を減らした態様にて表示することも可能である。
【0188】
例えば、周辺施設情報の提示情報量を調整することで、POI画像の、使用される表示装置の画角内に占める面積(占有面積)を減少させてもよい。例えば、アイコン、施設名、営業時間等の簡単な説明が示されていたPOI画像を、アイコンだけが表示されるPOI画像に変更することで、POI画像の画像量を減少させてもよい(先に説明した
図9(A)の例)。
【0189】
また、例えば、通常の表示では、アイコン、施設名称、簡単な説明といった情報を含むPOI画像が対象物に重畳されて表示されるが、画像減少処理(画像量削減処理)の削減対象となったPOI画像については、対象物に対する重畳表示は行わず、例えば、アイコンのみを、表示装置の画角内の下側の領域等に表示してもよい(先に説明した
図9(B)の例)。
【0190】
また、画像減少処理において、削減された情報を別の表示装置で表示してもよい。例えば通常はHUD装置102を使用し、削減されたPOI画像の表示は、別の表示装置であるCID(センターインフォメーションディスプレイ等)に表示してもよい(
図9(B)の例)。
【0191】
画像減少処理後は、ステップS11に移行する。ステップS11では、POI位置検出部513が、ユーザの視線や施設の位置等の情報に基づいて、POI画像の表示位置を検出する。
【0192】
ステップS12では、POI画像を生成すると共に、生成したPOI画像の合成処理等を実施して表示画像を生成する。このとき、先に
図7~
図11にて例示した報知画像を併せて生成してもよい。報知情報は報知部521が作成する。表示画像生成部507が表示画像を生成する。
また、
図7のA-2に示したように、画像減少処理後のPOI画像の表示態様を変更してもよく、また、
図8に示したように、使用する表示装置を変更してもよい。表示態様の変更は、表示態様変更部523が実施する。表示装置の変更は、表示装置変更部525が実施する。
【0193】
次に、ステップS13にて、表示画像(POI画像)を表示する。ステップS14では、表示候補のPOI画像をすべて表示したか否かが判定される。画像減少処理が実施されると、表示候補のPOIがすべて表示されないが、表示されないPOI候補も、画像増加処理によって徐々に表示される可能性もあるため、ステップS13にて、表示候補のPOI画像がすべて表示されたか否かを判定する。ステップS13で、Yのときは終了し、Nのときは、ステップS15に移行する。
【0194】
ステップS15では、ステップS11の時点における表示条件が保持される。言い換えれば、画像減少処理にて、表示条件が厳しく設定されていた場合は、その表示条件を保持しながらステップS1に戻り、同様の処理を再開する。
【0195】
ステップS1~S6では、先に説明したものと同じ処理が実施される。ステップS6では、先に説明したようにPOI画像の変化率(増加率)が閾値以上であるか否かが検出される。ここで、Nのとき(つまり、閾値未満であるとき)はステップS8に移行する。
【0196】
ステップS8では、画像減少処理が実施された後の状態(言い換えれば、画像減少処理が実施された直後の状態)であるかが検出される。NのときはステップS11に移行し、Yのときは、ステップS9に移行する。
【0197】
ステップS9では、画像増加処理が可能な運転状況であるかが判定される。Nのときは、画像増加処理は延期され、ステップS11に移行し、これによって、画像減少処理が実施された状態が継続される。
【0198】
一方、ステップS9で、Yのときは、ステップS10に移行する。ステップS10では、画像増加処理が実施される。言い換えれば、ステップS9では、例えば経過時間、及び/又は、移動距離等が長くなるに従い、POI画像を漸増させる処理が実施される。
【0199】
ここで、画像増加処理に際しては、表示条件を徐々に緩和することで、閾値を徐々に大きくし、POI画像を漸増させてもよい。また、周辺施設情報の提示情報量を画像減少処理の際に調整していた場合は、それを元に戻す処理を実施してもよい。
【0200】
また、画像増加処理に際しては、ステップS12にて、POI画像を増やしていることを報知する報知画像を表示させてもよい。この報知は、音声での報知であってもよい。また、画像増加処理の条件の説明を報知してもよい。例えば、現在位置からの直線距離が、閾値より短いPOI画像を表示していることを報知してもよい。
【0201】
以下、ステップS14にて、Yと判定されるまで、同様の処理が繰り返される。
【0202】
以上説明したように、本発明の実施形態によれば、例えば、POI画像の画像量が増加する状況下においても、運転者等のユーザに与える悪影響を抑制しつつ、運転者等に好ましい情報を提示することができる。
【0203】
本明細書において、車両という用語は、広義に、乗り物、あるいは、移動体としても解釈し得るものである。
【0204】
また、ナビゲーションに関する用語(例えば標識等)についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。
【0205】
また、HUD装置や表示器装置等の表示部(表示装置)や表示システムには、シミュレータ(例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等)として使用されるものも含まれるものとする。
【0206】
また、上述の実施形態では、投影表示装置として、主としてHUD装置を例に説明したが、これに限定されず、例えば、車内プロジェクタ等も使用可能である。
【0207】
また、上述の実施例では、表示器装置として、車両の中央部に設けられるセンターインフォメーションディスプレイ(CID)や、乗員の正面に位置する計器クラスタディスプレイ(ICD)を例にとって説明したが、これに限定されるものではなく、他の表示器装置を使用してもよい。言い換えれば、表示器装置の名称に拘泥することなく、実質的にCIDやICDと同様の機能を有するディスプレイは、すべて本発明において使用可能である。
【0208】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【0209】
1・・・車両(自車両)、2・・・被投影部材(ウインドシールド等)、4・・・ステアリングホイール、5・・・運転者(乗員、ユーザ)、41・・・ダッシュボード、51a、51b・・・テンプル、52a、52b・・・フレーム、53a、53b・・・眼鏡レンズ、61a、61b・・・HMD用の制御部、62a、62b・・・光源部、63a、63b・・・走査部、70a、70b・・・ホログラムミラー、100・・・表示システム(車両表示システム)、102・・・ヘッドアップディスプレイ(HUD)装置、103・・・HUD装置の筐体、104・・・ウインドシールドディスプレイ(WSD)、119・・・表示装置群、120・・・センターインフォメーションディスプレイ(CID)、130・・・計器クラスタディスプレイ(ICD、メータディスプレイ)、141・・・CID制御部、143・・・ICD制御部、151・・・光源部、152・・・表示器(WSDの構成要素)、159・・・WSD制御部、160・・・HUD制御部、170・・・凹面鏡(曲面反射鏡、光学系)、200・・・表示制御装置(プロセッサ)、201・・・表示装置制御部、203・・・表示制御部、205・・・ユーザ状態判定部、220・・・クラウドネットワーク、226・・・内カメラ(ユーザ撮像カメラ)、227・・・外カメラ(車両外の実景撮像カメラ)、230・・・ナビゲーション装置、232・・・周辺施設情報取得部、234・・・位置情報部、236・・・GNSS受信機、238・・・位置情報取得部、240・・・3次元地図データ、250・・・各種センサ(加速度センサ等)、401・・・画像解析部、403・・・顔状態判定部、405・・・顔情報部、407・・・移動状態判定部、409・・・顔位置検出部、411・・・顔の動き検出部、413・・・目情報部、415・・・目位置検出部、419・・・視線検出部、421・・・注視点検出部、501・・・画像解析部、503・・・ユーザ状態情報取得部、505・・・POI情報取得部(POI算出部)、507・・・表示画像生成部、509・・・POI制御部、510・・・表示条件判定部、511・・・POI表示候補特定部、513・・・POI位置検出部、514・・・POI画像の変化率検出部、515・・・画像調整部(画像量調整部)、517・・・画像減少処理部(画像削減処理部、画像低減処理部)、519・・・画像増加処理部、521・・・報知部、523・・・表示態様変更部、524・・・表示装置変更部、AN・・・アンテナ、SP・・・車速表示、DZ1・・・第1の領域、DZ2・・・第2の領域、ARa、ARb、Q1~Q10・・・POI画像(POI表示,POIアイコン)、F1、F2、F2’、F3~F6・・・注視範囲(注視領域、注視領域と推定される領域)。