知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024030734
(43)【公開日】2024-03-07
(54)【発明の名称】表示制御装置、表示システム、及び表示制御方法
(51)【国際特許分類】
B60K 35/23 20240101AFI20240229BHJP
B60K 35/00 20240101ALI20240229BHJP
【ＦＩ】
B60K35/00 A
B60K35/00 Z
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022133818
(22)【出願日】2022-08-25
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100067356
【弁理士】
【氏名又は名称】下田 容一郎
(74)【代理人】
【識別番号】100160004
【弁理士】
【氏名又は名称】下田 憲雅
(74)【代理人】
【識別番号】100120558
【弁理士】
【氏名又は名称】住吉 勝彦
(74)【代理人】
【識別番号】100148909
【弁理士】
【氏名又は名称】瀧澤 匡則
(74)【代理人】
【識別番号】100192533
【弁理士】
【氏名又は名称】奈良 如紘
(72)【発明者】
【氏名】▲高▼野 凌
【テーマコード（参考）】
3D344
【Ｆターム（参考）】
3D344AA19
3D344AB01
3D344AC25
3D344AD01
(57)【要約】
【課題】 乗員の状態（心理状態を含む）を察知して表示画像を適切に更新することで、乗員の負担を軽減できる表示制御装置、表示システム（表示装置を含む）、及び表示制御方法を提供することである。
【解決手段】 表示制御装置１４２は、車両１に搭載される少なくとも１つの表示部１０８、１５０の画像表示を制御する制御部１４０を有し、制御部１４０は、表示中の画像に関して車両の乗員の心理状態を推定し、推定結果に基づいて、表示中の画像の更新の要否を判定する表示更新要否判定部１９４を有し、表示更新要否判定部１９４は、表示更新要の場合には、表示中の画像を他の画像に切り替える表示切替制御、又は、表示中の画像の他に、他の画像を追加する表示追加制御を実行する。
【選択図】 図４
【解決手段】 表示制御装置１４２は、車両１に搭載される少なくとも１つの表示部１０８、１５０の画像表示を制御する制御部１４０を有し、制御部１４０は、表示中の画像に関して車両の乗員の心理状態を推定し、推定結果に基づいて、表示中の画像の更新の要否を判定する表示更新要否判定部１９４を有し、表示更新要否判定部１９４は、表示更新要の場合には、表示中の画像を他の画像に切り替える表示切替制御、又は、表示中の画像の他に、他の画像を追加する表示追加制御を実行する。
【選択図】 図４
【特許請求の範囲】
【請求項1】
車両に搭載される少なくとも１つの表示部の画像表示を制御する制御部を有し、
前記制御部は、表示中の画像に関して前記車両の乗員の心理状態を推定し、推定結果に基づいて前記表示中の画像の更新の要否を判定する表示更新要否判定部を有し、
前記制御部は、表示更新要の場合には、
前記表示中の画像を他の画像に切り替える表示切替制御、
又は、
前記表示中の画像の他に、他の画像を追加する表示追加制御を実行する、
表示制御装置。
前記制御部は、表示中の画像に関して前記車両の乗員の心理状態を推定し、推定結果に基づいて前記表示中の画像の更新の要否を判定する表示更新要否判定部を有し、
前記制御部は、表示更新要の場合には、
前記表示中の画像を他の画像に切り替える表示切替制御、
又は、
前記表示中の画像の他に、他の画像を追加する表示追加制御を実行する、
表示制御装置。
【請求項2】
前記表示中の画像は、前記車両を案内する第１のナビゲーション画像であり、
前記表示切替制御における前記他の画像、又は、前記表示追加制御における前記他の画像は、
前記車両の周辺の道路を、上空の所定の視点から見た俯瞰図により表した俯瞰画像としての第２のナビゲーション画像である、
請求項１に記載の表示制御装置。
前記表示切替制御における前記他の画像、又は、前記表示追加制御における前記他の画像は、
前記車両の周辺の道路を、上空の所定の視点から見た俯瞰図により表した俯瞰画像としての第２のナビゲーション画像である、
請求項１に記載の表示制御装置。
【請求項3】
前記第１のナビゲーション画像は、局所的に表示される第１の案内画像であり、
前記第２のナビゲーション画像における前記俯瞰画像は、前記第１の案内画像よりも広域にわたって表示され、かつ道路に沿って延在するように表示される走行ルート案内画像としての第２の案内画像を含む、
請求項２に記載の表示制御装置。
前記第２のナビゲーション画像における前記俯瞰画像は、前記第１の案内画像よりも広域にわたって表示され、かつ道路に沿って延在するように表示される走行ルート案内画像としての第２の案内画像を含む、
請求項２に記載の表示制御装置。
【請求項4】
前記少なくとも１つの表示部は、
画像を被投影部材に投影する投影型の表示装置としての第１の表示部を有する、
又は、
画像を被投影部材に投影する投影型の表示装置としての第１の表示部と、表示面に画像を表示する表示器を備える表示器装置としての第２の表示部と、を有する
請求項１に記載の表示制御装置。
画像を被投影部材に投影する投影型の表示装置としての第１の表示部を有する、
又は、
画像を被投影部材に投影する投影型の表示装置としての第１の表示部と、表示面に画像を表示する表示器を備える表示器装置としての第２の表示部と、を有する
請求項１に記載の表示制御装置。
【請求項5】
前記表示更新要否判定部は、
可視光を用いた可視カメラによる前記乗員の撮像信号、
赤外光を用いた赤外カメラによる前記乗員の撮像信号、
ミリ波レーダーセンサによる前記乗員を対象とする検出信号、
静電容量式センサによる前記乗員の体圧分布の検出信号、
前記乗員の並進運動及び回転運動の少なくとも一方を検出する慣性計測装置（ＩＭＵ）の検出信号、
の少なくとも１つに基づく判定によって、前記乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じていると判定され、
かつ、
その乗員の身体の変動と、前記現在表示されている画像に相関性が有ると推定される場合に、
表示更新要と判定する、
請求項１に記載の表示制御装置。
可視光を用いた可視カメラによる前記乗員の撮像信号、
赤外光を用いた赤外カメラによる前記乗員の撮像信号、
ミリ波レーダーセンサによる前記乗員を対象とする検出信号、
静電容量式センサによる前記乗員の体圧分布の検出信号、
前記乗員の並進運動及び回転運動の少なくとも一方を検出する慣性計測装置（ＩＭＵ）の検出信号、
の少なくとも１つに基づく判定によって、前記乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じていると判定され、
かつ、
その乗員の身体の変動と、前記現在表示されている画像に相関性が有ると推定される場合に、
表示更新要と判定する、
請求項１に記載の表示制御装置。
【請求項6】
前記乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じているか否かは、
前記乗員の、
視線移動の頻度、
視線移動の大きさ、
表情の変動、
顔を振る大きさ、
顔を振る頻度、
上半身の並進運動、
上半身の回転運動、
重心の偏り、
姿勢の変動、
のうちの、異なる事象についての少なくとも２つの総合的評価に基づいて判定される、
請求項５に記載の表示制御装置。
前記乗員の、
視線移動の頻度、
視線移動の大きさ、
表情の変動、
顔を振る大きさ、
顔を振る頻度、
上半身の並進運動、
上半身の回転運動、
重心の偏り、
姿勢の変動、
のうちの、異なる事象についての少なくとも２つの総合的評価に基づいて判定される、
請求項５に記載の表示制御装置。
【請求項7】
前記俯瞰画像を含む第２のナビゲーション用画像は、
地図データと、前記車両と路側機との路車間通信によって前記路側機から得られる俯瞰画像データと、に基づいて作成される、
請求項２に記載の表示制御装置。
地図データと、前記車両と路側機との路車間通信によって前記路側機から得られる俯瞰画像データと、に基づいて作成される、
請求項２に記載の表示制御装置。
【請求項8】
前記制御部は、
前記表示切替制御、又は、前記表示追加制御が実行されると、これに合わせて運転イベントの一区間を設定し、
前記運転イベントの一区間が終了すると、前記表示切替制御、又は、前記表示追加制御を中止し、元の画像の表示に復帰させる、
請求項１に記載の表示制御装置。
前記表示切替制御、又は、前記表示追加制御が実行されると、これに合わせて運転イベントの一区間を設定し、
前記運転イベントの一区間が終了すると、前記表示切替制御、又は、前記表示追加制御を中止し、元の画像の表示に復帰させる、
請求項１に記載の表示制御装置。
【請求項9】
前記制御部は、
前記運転イベントの一区間を設定する道路状況判定部を有する、
請求項８に記載の表示制御装置。
前記運転イベントの一区間を設定する道路状況判定部を有する、
請求項８に記載の表示制御装置。
【請求項10】
前記制御部は、
前記運転イベントの一区間が終了する前に、前記乗員から、元の画像への復帰要求があった場合は、元の画像の表示に復帰させる、
請求項８に記載の表示制御装置。
前記運転イベントの一区間が終了する前に、前記乗員から、元の画像への復帰要求があった場合は、元の画像の表示に復帰させる、
請求項８に記載の表示制御装置。
【請求項11】
車両に搭載される少なくとも１つの表示部と、
請求項１乃至１０の何れか１項に記載の制御部と、
を有する、
表示システム。
請求項１乃至１０の何れか１項に記載の制御部と、
を有する、
表示システム。
【請求項12】
車両に搭載される少なくとも１つの表示部における画像表示を制御する表示制御方法であって、
前記車両における乗員の状態の検出信号に基づいて、表示中の画像の更新の要否を判定するステップと、
表示更新要の場合において、前記表示中の画像を他の画像に切り替える表示切替制御、又は、前記表示中の画像はそのままにして他の画像を追加する表示追加制御を実行するステップと、
を含む表示制御方法。
前記車両における乗員の状態の検出信号に基づいて、表示中の画像の更新の要否を判定するステップと、
表示更新要の場合において、前記表示中の画像を他の画像に切り替える表示切替制御、又は、前記表示中の画像はそのままにして他の画像を追加する表示追加制御を実行するステップと、
を含む表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動車等の車両に搭載される表示制御装置、表示システム、及び表示制御方法等に関する。
【背景技術】
【0002】
従来の運転支援システムは、例えば、特許文献１に示されている。この運転支援システムは、車両が交差点を右折する時に、遮蔽物（他車両）によって死角が発生している場合には、路側機から俯瞰画像を取得し、その俯瞰画像を車両の表示装置に表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００９－１９９５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、車両が交差点に進入する場合の死角の解消に限定されているが、運転者にとって前方等が見づらい状況は、交差点以外でも発生する。よって、より広範な運転状況にも対応可能とすることが好ましい。
【0005】
また、例えば、地理不案内の道路を走行している際に、走行方向を示す矢印の画像等が局所的に表示されたとしても、車両の乗員（運転者を含む）にとっては、その矢印の画像と周囲の道路分布とが整合せず、目的地に無事たどり着けるか不安になる、といったこともある。
【0006】
具体的には、例えば、走行ルートに関係する道路に、分岐路が複数、存在しており、どの道を行けばよいのかわからず、不安になるという場合が想定され得る。
【0007】
このような場合は、乗員自らが、顔や身体を動かし、目を凝らすなどして、より多くの情報を取得する必要があり、乗員の負担が増加する。
【0008】
このような場合に、乗員の要求を待つことなく、表示する画像を適切に更新できれば、乗員の負担が軽減されるが、現状の技術では対応できない。
【0009】
このような課題が本発明者によって明らかとされた。この課題については、特許文献１には何ら記載されていない。
【0010】
本発明の目的の一つは、乗員の状態（心理状態を含む）を察知して表示画像を適切に更新することで、乗員の負担を軽減できる表示制御装置、表示システム（表示装置を含む）、及び表示制御方法を提供することである。
【0011】
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【0012】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【0013】
本発明の第１の態様において、表示制御装置は、
車両に搭載される少なくとも１つの表示部の画像表示を制御する制御部を有し、
前記制御部は、表示中の画像に関して前記車両の乗員の心理状態を推定し、推定結果に基づいて前記表示中の画像の更新の要否を判定する表示更新要否判定部を有し、
前記制御部は、表示更新要の場合には、
前記表示中の画像を他の画像に切り替える表示切替制御、
又は、
前記表示中の画像の他に、他の画像を追加する表示追加制御を実行する。
車両に搭載される少なくとも１つの表示部の画像表示を制御する制御部を有し、
前記制御部は、表示中の画像に関して前記車両の乗員の心理状態を推定し、推定結果に基づいて前記表示中の画像の更新の要否を判定する表示更新要否判定部を有し、
前記制御部は、表示更新要の場合には、
前記表示中の画像を他の画像に切り替える表示切替制御、
又は、
前記表示中の画像の他に、他の画像を追加する表示追加制御を実行する。
【0014】
第１の態様では、表示制御装置が表示更新要否判定部を備える。よって、乗員からの要求がなくても、表示中の画像に関する乗員の心理状態を推定して、必要に応じて画像を更新することが可能となる。
【0015】
これによって、乗員の負担が軽減され、また、表示システム（表示装置を含む）の利便性が向上する。
【0016】
また、乗員（運転者）の注意散漫、前方不注意等が抑制され、安全運転を実現する効果も得られる。
【0017】
第１の態様に従属する第２の態様において、
前記表示中の画像は、前記車両を案内する第１のナビゲーション画像であり、
前記表示切替制御における前記他の画像、又は、前記表示追加制御における前記他の画像は、
前記車両の周辺の道路を、上空の所定の視点から見た俯瞰図により表した俯瞰画像としての第２のナビゲーション画像であってもよい。
前記表示中の画像は、前記車両を案内する第１のナビゲーション画像であり、
前記表示切替制御における前記他の画像、又は、前記表示追加制御における前記他の画像は、
前記車両の周辺の道路を、上空の所定の視点から見た俯瞰図により表した俯瞰画像としての第２のナビゲーション画像であってもよい。
【0018】
第２の態様では、表示中の画像の更新に際し、例えば矢印等の案内画像（第１のナビゲーション画像）を、俯瞰画像（第２のナビゲーション画像）に切り替えたり、あるいは、矢印等の案内画像は残しつつ俯瞰画像を追加したりする。
【0019】
俯瞰画像は、不慣れな道路を走行している乗員に、道路分布、道路環境、道路事情等の広範囲にわたる情報を提供でき、乗員の不安感を軽減するのに役立つ。
【0020】
例えば、俯瞰画像（道路俯瞰画像）上において、適宜、矢印等を用いて走行ルートを明示することで、乗員は走行ルートを容易に把握でき、乗員は安心感を得られると共に、乗員の認知負荷（周囲の道路環境等を認識しようとする場合の負担）が軽減される。
【0021】
第２の態様に従属する第３の態様において、
前記第１のナビゲーション画像は、局所的に表示される第１の案内画像であり、
前記第２のナビゲーション画像における前記俯瞰画像は、前記第１の案内画像よりも広域にわたって表示され、かつ道路に沿って延在するように表示される走行ルート案内画像としての第２の案内画像を含んでもよい。
前記第１のナビゲーション画像は、局所的に表示される第１の案内画像であり、
前記第２のナビゲーション画像における前記俯瞰画像は、前記第１の案内画像よりも広域にわたって表示され、かつ道路に沿って延在するように表示される走行ルート案内画像としての第２の案内画像を含んでもよい。
【0022】
第３の態様においても、第２の態様と同じく、表示中の画像の更新に際し、例えば矢印等の案内画像（第１のナビゲーション画像）を、俯瞰画像（第２のナビゲーション画像）に切り替えたり、あるいは、矢印等の案内画像は残しつつ俯瞰画像を追加したりする。
【0023】
但し、本態様では、第１のナビゲーション画像としての第１の案内画像は、局所的に表示されるものである。第１の案内画像としては、例えば、右折や左折を指示する、短い矢印の表示が想定され得る。
【0024】
これに対して、第２のナビゲーション画像としての俯瞰画像では、例えば、第１の案内画像よりも広域にわたって表示され、かつ道路に沿って延在するように表示される走行ルート案内画像としての第２の案内画像が含まれる。
【0025】
第２の案内画像としては、例えば、現在の車両位置から進路変更後の位置までを連続的に示す帯状の表示が想定され得る。この帯状の表示は、適宜、着色されてもよく、また、矢印を伴うものであってもよい。このような第２の案内画像を、俯瞰画像上で目視することで、乗員は、走行ルートを容易に、かつ的確に把握することが可能となる。
【0026】
第１乃至３の何れかの態様に従属する第４の態様において、
前記少なくとも１つの表示部は、
画像を被投影部材に投影する投影型の表示装置としての第１の表示部を有してもよく、
又は、
画像を被投影部材に投影する投影型の表示装置としての第１の表示部と、表示面に画像を表示する表示器を備える表示器装置としての第２の表示部と、を有してもよい。
前記少なくとも１つの表示部は、
画像を被投影部材に投影する投影型の表示装置としての第１の表示部を有してもよく、
又は、
画像を被投影部材に投影する投影型の表示装置としての第１の表示部と、表示面に画像を表示する表示器を備える表示器装置としての第２の表示部と、を有してもよい。
【0027】
第４の態様では、表示制御装置は、ＨＵＤ装置のような投影型の表示装置の表示を制御してもよい。また、表示制御装置は、ＨＵＤ装置のような投影型の表示装置、及び表示面を備える表示器装置の各々の表示を制御してもよい。
【0028】
表示更新が実施された場合において、更新後の画像を投影型の表示装置に表示すれば、乗員は、視線移動が少ない状態で更新後の画像を視認できるため、乗員の認知負荷を軽減することができる。
【0029】
また、投影型の表示装置と表示器装置とを併用する場合は、更新後の画像を何れに表示してもよい。表示器装置（例えばＣＩＤ等）を活用すれば、例えば、比較的大型の俯瞰地図の画像も表示可能であり、乗員は少しの視線移動で画像を目視できる。また、複数の種類の画像の表示も可能であるという利点もある。
【0030】
第１乃至４の何れかの態様に従属する第５の態様において、
前記表示更新要否判定部は、
可視光を用いた可視カメラによる前記乗員の撮像信号、
赤外光を用いた赤外カメラによる前記乗員の撮像信号、
ミリ波レーダーセンサによる前記乗員を対象とする検出信号、
静電容量式センサによる前記乗員の体圧分布の検出信号、
前記乗員の並進運動及び回転運動の少なくとも一方を検出する慣性計測装置（ＩＭＵ）の検出信号、
の少なくとも１つに基づく判定によって、前記乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じていると判定され、
かつ、
その乗員の身体の変動と、前記現在表示されている画像に相関性が有ると推定される場合に、
表示更新要と判定してもよい。
前記表示更新要否判定部は、
可視光を用いた可視カメラによる前記乗員の撮像信号、
赤外光を用いた赤外カメラによる前記乗員の撮像信号、
ミリ波レーダーセンサによる前記乗員を対象とする検出信号、
静電容量式センサによる前記乗員の体圧分布の検出信号、
前記乗員の並進運動及び回転運動の少なくとも一方を検出する慣性計測装置（ＩＭＵ）の検出信号、
の少なくとも１つに基づく判定によって、前記乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じていると判定され、
かつ、
その乗員の身体の変動と、前記現在表示されている画像に相関性が有ると推定される場合に、
表示更新要と判定してもよい。
【0031】
第５の態様では、表示更新の要否を決めるに際して、２種類の判定（下記の第１、第２の判定）が実施され、各判定において肯定的結果が得られた場合に、表示更新要と判定される。
【0032】
各種のセンサやカメラの信号に基づいた乗員の身体の変動（動き）に関して、偶発的な変動の程度を超える変動が生じているか否かの判定（第１の判定）を実施することで、偶発的な身体の動きが、表示更新の要否判定に影響を与えることを排除できる。
【0033】
また、その変動が、表示中の画像と相関性があるか否かの判定（第２の判定）を実施することで、現在表示中の画像とは無関係な変動が、表示更新の要否判定に影響を与えることを排除できる。
【0034】
例えば、左折を促す矢印の画像が表示されているとき、乗員（運転者等）が、矢印が指す方向の実景を頻繁に見たり、上半身を左側に回転させるような姿勢をとりつつ、前のめりになって矢印が示す方向の実景を見たり、あるいは、顔の表情が変化して不安が見て取れる場合等には、乗員自らが、顔や身体を動かし、目を凝らすなどして、より多くの情報を取得しようと努力していると推定でき、相関性があると判定できる。
【0035】
これらの判定によって、乗員の、表示中の画像に関する心理状態（例えば情報が不足して不安を抱いている心理状態）を、所望レベルの信頼性をもって推定することが可能である。
【0036】
第５の態様に従属する第６の態様において、
前記乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じているか否かは、
前記乗員の、
視線移動の頻度、
視線移動の大きさ、
表情の変動、
顔を振る大きさ、
顔を振る頻度、
上半身の並進運動、
上半身の回転運動、
重心の偏り、
姿勢の変動、
のうちの、異なる事象についての少なくとも２つの総合的評価に基づいて判定されてもよい。
前記乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じているか否かは、
前記乗員の、
視線移動の頻度、
視線移動の大きさ、
表情の変動、
顔を振る大きさ、
顔を振る頻度、
上半身の並進運動、
上半身の回転運動、
重心の偏り、
姿勢の変動、
のうちの、異なる事象についての少なくとも２つの総合的評価に基づいて判定されてもよい。
【0037】
第６の態様では、乗員の身体の変動（動き）に関する判定の、好ましい一例を示している。判定の対象となる事象としては、例えば、乗員の視線移動（第１の事象）、表情の変動（第２の事象）、顔を振る動き（第３の事象）、上半身の動き（並進や回転：第４の事象）、重心の偏り（重心の移動：第５の事象）、姿勢の変動（第６の事象）を挙げることができる。
【0038】
例えば、各事象について、その事象の程度（例えば、顔を振る動きに関しては、その振りの大きさの程度等）を予め設定されている閾値で判定し、事象毎に、複数段階（例えば５段階）の評価で評価値を算出する。
【0039】
そして、異なる事象（例えば、顔を振る動きと、上半身の動き）の各々についての評価値を例えば加算する。言い換えれば、種類が異なる事象についての、少なくとも２つの評価値を加算して総合評価値を算出する。
その総合評価値の数値が、例えば総合評価用の閾値を超えている場合には、乗員の顔を含む身体（好ましくは局所的ではなく全体的な身体）に、偶発的な変動の程度を超える変動が生じていると判定し得る。但し、これは一例であり、この例に限定されるものではない。
その総合評価値の数値が、例えば総合評価用の閾値を超えている場合には、乗員の顔を含む身体（好ましくは局所的ではなく全体的な身体）に、偶発的な変動の程度を超える変動が生じていると判定し得る。但し、これは一例であり、この例に限定されるものではない。
【0040】
本態様によれば、異なる種類の、複数の事象についての評価を統合して総合的に評価するため、誤判定を抑制できる。
【0041】
第２の態様に従属する第７の態様において、
前記俯瞰画像を含む第２のナビゲーション用画像は、
地図データと、前記車両と路側機との路車間通信によって前記路側機から得られる俯瞰画像データと、に基づいて作成されてもよい。
前記俯瞰画像を含む第２のナビゲーション用画像は、
地図データと、前記車両と路側機との路車間通信によって前記路側機から得られる俯瞰画像データと、に基づいて作成されてもよい。
【0042】
第７の態様によれば、路車間通信により得られる俯瞰画像データを利用することで、俯瞰画像を効率的に作成することができる。このことは、路車間通信の利用促進にも寄与する。
【0043】
第１乃至７の何れかの態様に従属する第８の態様において、
前記制御部は、
前記表示切替制御、又は、前記表示追加制御が実行されると、これに合わせて運転イベントの一区間を設定し、
前記運転イベントの一区間が終了すると、前記表示切替制御、又は、前記表示追加制御を中止し、元の画像の表示に復帰させてもよい。
前記制御部は、
前記表示切替制御、又は、前記表示追加制御が実行されると、これに合わせて運転イベントの一区間を設定し、
前記運転イベントの一区間が終了すると、前記表示切替制御、又は、前記表示追加制御を中止し、元の画像の表示に復帰させてもよい。
【0044】
第８の態様では、運転場面の変化等によって表示切替や表示の追加が不要となった場合には、元の表示（元の表示コンテンツ）に戻す。不要となった表示を残していると、乗員が違和感を覚える原因となるため、運転イベントの一区間が終了すると、表示を元に戻すこととしたものである。
【0045】
第８の態様に従属する第９の態様において、
前記制御部は、
前記運転イベントの一区間を設定する道路状況判定部を有してもよい。
前記制御部は、
前記運転イベントの一区間を設定する道路状況判定部を有してもよい。
【0046】
第９の態様では、道路状況判定部が設けられ、この道路状況判定部が、運転イベントの一区間を適宜、設定し、また、その区間の終了を適宜、判定する。
【0047】
例えば、「運転イベントの一区間」とは、例えば、交差点の右折を開始してから、交差点を曲がり切り、自車両が直進に転じるまでの区間である。道路状況判定部は、自車両が直進に転じる地点に達したときに、右折という運転イベントの一区間が終了したと判定することができる。
【0048】
第８の態様に従属する第１０の態様において、
前記制御部は、
前記運転イベントの一区間が終了する前に、前記乗員から、元の画像への復帰要求があった場合は、元の画像の表示に復帰させてもよい。
前記制御部は、
前記運転イベントの一区間が終了する前に、前記乗員から、元の画像への復帰要求があった場合は、元の画像の表示に復帰させてもよい。
【0049】
第１０の態様によれば、乗員（運転者等）の意思によって、元の表示に復帰させることができ、乗員の使い勝手が向上する。
【0050】
第１１の態様において、表示システムは、
車両に搭載される少なくとも１つの表示部と、
第１乃至第１０の何れか１つの態様の制御部と、
を有する。
車両に搭載される少なくとも１つの表示部と、
第１乃至第１０の何れか１つの態様の制御部と、
を有する。
【0051】
第１１の態様によれば、乗員の状態（心理状態を含む）を察知して表示画像を適切に更新することで、乗員の負担を軽減できる表示システム（表示装置を含む）を実現することができる。
【0052】
第１２の態様において、
車両に搭載される少なくとも１つの表示部における画像表示を制御する表示制御方法であって、
前記車両における乗員の状態の検出信号に基づいて、表示中の画像の更新の要否を判定するステップと、
表示更新要の場合において、前記表示中の画像を他の画像に切り替える表示切替制御、又は、前記表示中の画像はそのままにして他の画像を追加する表示追加制御を実行するステップと、
を含む。
車両に搭載される少なくとも１つの表示部における画像表示を制御する表示制御方法であって、
前記車両における乗員の状態の検出信号に基づいて、表示中の画像の更新の要否を判定するステップと、
表示更新要の場合において、前記表示中の画像を他の画像に切り替える表示切替制御、又は、前記表示中の画像はそのままにして他の画像を追加する表示追加制御を実行するステップと、
を含む。
【0053】
これによって、乗員の負担が軽減され、また、表示システム（表示装置を含む）の利便性が向上する。また、乗員（運転者）の注意散漫、前方不注意等が抑制され、安全運転を実現する効果も得られる。
【0054】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【0055】
【発明を実施するための形態】
【0056】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0057】
また、以下の説明では、「乗員」という用語を使用するが、「乗員」には、「車両の運転者」、あるいは「運転者以外の乗員」の双方を含めることができる。
【0058】
例えば、ヘッドアップディスプレイ（ＨＵＤ）装置は、車両を運転中の「運転者としての乗員」に、適宜、ナビゲーション画像（虚像）を表示することができる。
【0059】
また、完全な自動運転モードが実現された場合を想定すると、ＨＵＤ装置は、「車両の自動運転の状況を監視する役割をする乗員（運転席に着座している乗員でもよく、助手席に着座している乗員でもよい）」に、適宜、ナビゲーション画像を表示するようにしてもよい。以下の説明では、主として、運転者としての乗員を想定して説明する。
【0060】
【0061】
表示システム（車載表示システム）１００は、ヘッドアップディスプレイ（ＨＵＤ）装置１０２と、表示器装置１０３と、を有する。
【0062】
ＨＵＤ装置１０２は、ダッシュボード４１内に収容されている。ＨＵＤ装置１０２は、筐体５と、画像の表示光を出射する光源部（この部分が「ＨＵＤ装置の表示部」に相当する）７と、光学系を構成する凹面鏡（曲面鏡）９を有する。凹面鏡９は、被投影部材としてのウインドシールド２に、画像（画像の表示光）を投影する。なお、被投影部材はスクリーン等であってもよい。
【0063】
表示光の一部はウインドシールド２で反射されて、例えば、ステアリングホイール４を操作している運転者としての乗員の目（視点）Ｅに入射される。この結果として、虚像Ｖ１が表示される。図２の例では、虚像Ｖ１は、虚像表示面ＰＳ上に表示される。
【0064】
表示器装置１０３の構成要素である表示パネル１０８は、例えば液晶パネルで構成される。液晶パネルの表示面上に実像Ｊ１が表示される。
【0065】
【0066】
表示システム（車載表示システム）１００は、Ｉ／Ｏインタフェース３０と、制御部（表示制御部）１４０を有する少なくとも１つのプロセッサ（表示制御装置）１４２と、画像処理部２１０と、画像表示部２３０と、記憶部（メモリ）３５０と、車外通信接続機器４２０と、を有する。
【0067】
車外通信接続機器４２０は、ＧＰＳ通信、車々間通信、及び路車間通信に対応した通信機能を有する。また、車外通信接続機器４２０は、Ｉ／Ｏインタフェース３０と接続されている。
【0068】
画像表示部２３０は、ＨＵＤ装置１０２の構成要素であるＨＵＤ制御部１６３、及びＨＵＤ装置の表示部１５０、表示器装置１０３の構成要素である表示器制御部１０７、及び表示器１０８を有する。
【0069】
Ｉ／Ｏインタフェース３０には、道路情報データベース４０１（地図データ４０３を含む）と、自車位置検出部４０５と、車外センサ４０７と、車外カメラ４０９と、ＬｉＤＡＲ（光検出部及び測距部）４１１と、車内センサ４１３と、車内カメラ４１５と、各種の車内装置４１７と、車両ＥＣＵ（中央制御ユニット）４１９と、学習データベース４２１と、が接続される。
【0070】
なお、車両ＥＣＵ４１９には、ピッチ角センサや舵角センサ等の各種センサ（不図示）から、適宜、必要な情報が提供される。
【0071】
また、記憶部（メモリ）３５０には、例えば、実オブジェクト及びその位置検出モジュール５１０と、周囲環境検出モジュール５１２と、車両状況検出モジュール５１４と、画像種類決定モジュール５１６と、画像配置決定モジュール５１８と、グラフィック表示モジュール５２０と、表示更新モジュール５２２と、が含まれる。
【0072】
表示更新モジュール５２２には、情報解析モジュール５２４と、乗員の心理状態推定モジュール５２６とが含まれる。表示制御装置（プロセッサ）１４２が、上記のモジュール（プログラム）に従って動作することで、例えば、機能ブロックとしての制御部１４０や各種の処理部等が構築される。
【0073】
【0074】
図３のＡ－１において、静電容量式センサユニットＳＥ１、ＳＥ２を備える第１の体圧分布センサシート５１は、車両１の座席４５の肩部（乗員の肩を支持する部分）に装着される。
【0075】
また、静電容量式センサユニットＳＥ３、ＳＥ４を備える第２の体圧分布センサシート５２は、車両１の座席４５の背部（乗員の背中を支持する部分）に装着される。
【0076】
なお、静電容量式センサユニットＳＥ１～ＳＥ４は、体圧分布計としての静電容量式センサ１８５の構成要素である。各静電容量式センサユニットＳＥ１～ＳＥ４からは、乗員の体圧分布（圧力分布）を示す検出信号が出力される。
【0077】
図３のＡ－２に示すように、乗員（ここでは運転者とする）６０は、車両１の座席４５に着座し、ステアリングホイール４を操作して車両１を運転している。乗員６０の左手首には第１の慣性計測装置（ＩＭＵ）ＳＧ１が装着され、また、左腕には、第２の慣性計測装置（ＩＭＵ）ＳＧ２が装着されている。
【0078】
ここで、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）は、３次元の慣性運動（直交３軸の各方向における並進運動および回転運動）を検出する装置であり、例えば、加速度センサにより並進運動を検出し、角速度（ジャイロ）センサにより回転運動を検出する。
【0079】
乗員６０の手首に装着された第１の慣性計測装置（ＩＭＵ）ＳＧ１の検出信号により、例えば腕の回転方向や回転頻度の情報が得られる。この情報を分析することで、例えば、乗員６０のステアリングホイール４の操作状況を判定することができる。
【0080】
また、乗員の腕に装着された第２の慣性計測装置（ＩＭＵ）ＳＧ２により、腕の曲げ伸ばしが発生する頻度や、その動きが急峻であるか緩慢であるか等の情報を得ることができる。これらの情報は、乗員６０の心理状況を読み解く基礎情報となり得る。
【0081】
また、車内カメラ４１５が、乗員６０の顔、及び上半身を撮像可能な位置に取り付けられている。車内カメラ４１５は、例えば、赤外カメラ４１２、可視光カメラ４１４を含むことができる。これらのカメラは、瞳撮像カメラ（視線方向検出カメラ）として利用可能であり、また、目Ｅ、鼻Ｎｓ、口Ｍｓを構成要素とする顔部分６２における各構成要素の相対的位置関係の変化から表情の変化を読み取る表情検出センサとしても利用可能であり、また、顔の回転等の動きを検出する顔の動き検出センサとしても利用可能である。
【0082】
次に、図４を参照する。図４は、制御部の構成例を示す図である。先に図２で説明したように、表示制御装置（プロセッサ）１４２は、車両１に搭載される少なくとも１つの表示部の画像表示を制御する制御部１４０を有している。
【0083】
この制御部１４０は、表示中の画像に関して車両の乗員の心理状態を推定し、推定結果に基づいて表示中の画像の更新の要否を判定する機能を有し、表示更新要の場合には、表示中の画像を他の画像に変更する「表示切替制御（表示切替処理）」、又は、表示中の画像の他に、他の画像を追加する「表示追加制御（表示追加処理）」を実行することができる。
【0084】
図４の例では、図４の左上側に示されるように、虚像表示面ＰＳに表示されている右折を促す「矢印の画像Ｖ１」を含む第１のナビゲーション画像を、「道路俯瞰図の画像Ｖ２」を含む第２のナビゲーション画像に切り替える「表示切替制御（表示切替処理）」が実施される。
【0085】
この「表示切替制御」等は、ＨＵＤ制御部１６３が、ＨＵＤ装置の表示部１５０に対して表示制御を実施することで実現される。ＨＵＤ制御部１６３は、表示更新部１６４と、イベント管理部１６６と、道路状況判定部１６７と、を有する。なお、「表示切替制御」及び「表示追加制御」の具体例については後述する（図５～図８参照）。
【0086】
図４において、制御部１４０は、ＨＵＤ制御部１６３と、乗員の表情に関係する情報を取得する表情検出部１７１と、乗員の体動を検出する体動検出部１８０と、乗員の状態（ＨＵＤ装置等による表示を見た乗員の心理的な状態を含む）を判定（推定）する乗員の状態判定部１９０と、運行状況検出部２０１と、情報取得部２０３と、を有する。
【0087】
表情検出部１７１は、情報解析部１７２と、目情報検出部１７７と、を有する。情報解析部１７２は、画像解析部１７３と、顔判定部１７４と、顔の動き判定部１７５と、表情変化判定部１７６とを有する。表情検出部１７１の各部は、車内カメラ４１５（赤外カメラ４１２、可視光カメラ４１４を含む）の撮像信号（検出信号）に基づいて、各種の信号処理（パターンマッチングによる情報解析等）を実行することができる。
【0088】
体動検出部１８０は、モーションキャプチャ部１８１を有する。モーションキャプチャ部１８１は、車内センサ４１３（ここでは、慣性計測装置（ＩＭＵ）１８３、静電容量式センサ１８５、及びミリ波レーダーセンサ１８７の少なくとも１つを有するものとする）からの検出信号に基づいて、乗員の体動（特に、視線と連動した上半身の動き等）を検出する。
【0089】
目情報検出部１７７は、目位置検出部１７８と、視線（目線）の方向を検出する視線検出部１７９と、を有する。
【0090】
乗員の状態判定部１９０は、情報取得部１９１と、情報毎の閾値判定部１９２と、総合評価値判定部１９３と、表示更新要否判定部１９４（乗員の心理状態推定部１９５を含む）と、を有する。
【0091】
ＨＵＤ制御部１６３は、道路情報データベース４０１（地図データ４０３を含む）、及び、学習データベース４２１（過去走行履歴データベース４２３と、ホームタウン情報４２５とを含む）を適宜、参照することができる。学習データベースの利用方法については、後述する。
【0092】
また、ＨＵＤ制御部１６３は、自車位置検出部４０５、車外センサ４０７、車外カメラ４０９、ＬｉＤＡＲ（光検出部及び測距部）４１１等による検出信号を受信して、その検出信号に基づく運行状況や道路状況に関する判定（各種の判断）を行うことができる。
【0093】
図４の構成によれば、表示制御装置（図２の符号１４２）における制御部１４０が、表示更新要否判定部１９４を備える。よって、乗員からの要求がなくても、表示中の画像に関する乗員の心理状態を推定して、必要に応じて画像を更新することが可能となる。これによって、乗員の負担が軽減され、また、表示システム（表示装置を含む）の利便性が向上する。また、乗員（運転者）の注意散漫、前方不注意等が抑制され、安全運転を実現する効果も得られる。
【0094】
また、表示更新処理によって、「表示中の画像」を「他の画像」に変更する場合、あるいは、「表示中の画像」に「他の画像」を追加する場合において、「表示中の画像」は、例えば車両を案内する第１のナビゲーション画像であり、「他の画像」は、例えば、車両の周辺の道路を、上空の所定の視点から見た俯瞰図により表した俯瞰画像としての第２のナビゲーション画像であってもよい。
【0095】
なお、「俯瞰図（俯瞰画像、俯瞰画像等）」については広義に解釈するものとし、「地図情報、地理的情報」と表現することも可能である。また、俯瞰図は、車両の周囲の、広がりのある範囲における地理的な情報を提示するものであり、これに類する表示は、広義の俯瞰図に含まれるものとして扱うことができる。また、例えば、テキストによる説明の表示、あるいは音声によって、車両の周囲の地理的情報を案内する場合において、その説明は、俯瞰図と等価なものとして取り扱うことも可能である。
【0096】
図４の左上側に示したように、本実施形態では、表示中の画像の更新に際し、例えば矢印の案内画像Ｖ１（第１のナビゲーション画像）を、俯瞰画像Ｖ２（第２のナビゲーション画像）に切り替えたり、あるいは、矢印Ｖ１の案内画像は残しつつ、俯瞰画像Ｖ２を追加したりすることができる。
【0097】
ここで、俯瞰画像は、不慣れな道路を走行している乗員に、道路分布、道路環境、道路事情等の広範囲にわたる情報を提供でき、乗員の不安感を軽減するのに役立つ。
【0098】
例えば、道路俯瞰図において、適宜、矢印等を用いて走行ルートを明示することで、乗員は走行ルートを容易に把握でき、乗員は安心感を得られると共に、乗員の認知負荷（周囲の道路環境等を認識しようとする場合の負担）が軽減される。
【0099】
また、表示更新前の第１のナビゲーション画像を、局所的に表示される走行方向を示す第１の案内画像と称する場合、表示更新後の第２のナビゲーション画像における俯瞰画像は、第１の案内画像よりも広域にわたって表示され、かつ道路に沿って延在するように表示される走行ルート案内画像としての第２の案内画像を含むことができる。
【0100】
言い換えれば、表示更新前の画像は、局所的な表示（例えば、右折や左折を指示する短い矢印の表示）であり、これに対して、表示更新後の画像は、より広い範囲にわたる俯瞰画像（周辺の地理や地図情報を提供するもの）であり、提示される情報量が格段に増加している。この情報量の増加によって、乗員（運転者等）の不安感が払拭され得る。
【0101】
また、好ましい一例としては、俯瞰画像を表示する際に、例えば、現在の車両位置から進路変更後の位置までを連続的に示す帯状の表示が示し、この帯状の表示に、適宜、着色を施したり、進行方向を示す矢印を付加したりするのがよい（図５～図８参照）。このような案内表示を、俯瞰画像上で目視することで、乗員は、走行ルートを容易に、かつ的確に把握することが可能となる。
【0102】
また、画像を表示する表示部としては、画像を被投影部材に投影する投影型の表示装置としての第１の表示部（ＨＵＤ装置）を採用することができる。乗員は、視線をほとんど動かすことなく画像を視認でき、目を動かすことによる疲労が軽減されるという利点が得られる。
【0103】
なお、ＨＵＤ装置には、光学系を有さず、表示器の画像を直接的にウインドシールド等の被投影部材に投影するタイプの直接投影型のもの（これをウインドシールドディスプレイ（ＷＳＤ）と称する場合がある）も含まれる。
【0104】
このように、表示更新が実施された場合において、更新後の画像を投影型の表示装置に表示すれば、乗員は、視線移動が少ない状態で更新後の画像を視認できるため、乗員の認知負荷を軽減することができる。
【0105】
また、投影型の表示装置と表示器装置とを併用する場合は、更新後の画像を何れに表示してもよい。表示器装置（例えばＣＩＤ等）を活用すれば、例えば、比較的大型の俯瞰地図の画像も表示可能であり、乗員は少しの視線移動で画像を目視できる。また、複数の種類の画像の表示も可能であるという利点もある。
【0106】
また、図４の制御部１４０に含まれる表示更新要否判定部１９４は、可視光を用いた可視カメラによる前記乗員の撮像信号、赤外光を用いた赤外カメラによる前記乗員の撮像信号、ミリ波レーダーセンサによる前記乗員を対象とする検出信号、静電容量式センサによる前記乗員の体圧分布の検出信号、乗員の並進運動及び回転運動の少なくとも一方を検出する慣性計測装置（ＩＭＵ）の検出信号、の少なくとも１つに基づく判定によって、乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じていると判定され、かつ、その乗員の身体の変動と、現在表示されている画像に相関性が有ると推定される場合に、表示更新要と判定してもよい。
【0107】
言い換えれば、表示更新の要否を決めるに際して、２種類の判定（下記の第１、第２の判定）を実施し、各判定において肯定的結果が得られた場合に、表示更新要と判定することができる。
【0108】
この判定処理は、乗員の状態判定部１９０に含まれる、情報取得部１９１、情報毎の閾値判定部１９２、総合評価値判定部１９３、乗員の心理状態推定部１９５等の働きによって実現することができる。
【0109】
各種のセンサやカメラの信号に基づいた乗員の身体の変動（動き）に関して、偶発的な変動の程度を超える変動が生じているか否かの判定（第１の判定）を実施することで、偶発的な身体の動きが、表示更新の要否判定に影響を与えることを排除できる。
【0110】
また、その変動が、表示中の画像と相関性があるか否かの判定（第２の判定）を実施することで、現在表示中の画像とは無関係な変動が、表示更新の要否判定に影響を与えることを排除できる。
【0111】
例えば、左折を促す矢印の画像が表示されているとき、乗員（運転者等）が、矢印が指す方向の実景を頻繁に見たり、上半身を左側に回転させるような姿勢をとりつつ、前のめりになって矢印が示す方向の実景を見たり、あるいは、顔の表情が変化して不安が見て取れる場合等には、乗員自らが、顔や身体を動かし、目を凝らすなどして、より多くの情報を取得しようと努力していると推定でき、相関性があると判定できる。
【0112】
これらの判定によって、乗員の、表示中の画像に関する心理状態（例えば情報が不足して不安を抱いている心理状態）を、所望レベルの信頼性をもって推定することが可能である。
【0113】
また、乗員の顔を含む身体に、偶発的な変動の程度を超える変動が生じているか否かは、乗員の、視線移動の頻度、視線移動の大きさ、表情の変動、顔を振る大きさ、顔を振る頻度、上半身の並進運動、上半身の回転運動、重心の偏り、姿勢の変動、のうちの、異なる事象についての少なくとも２つの総合的評価に基づいて判定されてもよい。
【0114】
乗員の身体の変動（動き）に関する判定の対象となる事象としては、例えば、乗員の視線移動（第１の事象）、表情の変動（第２の事象）、顔を振る動き（第３の事象）、上半身の動き（並進や回転：第４の事象）、重心の偏り（重心の移動：第５の事象）、姿勢の変動（第６の事象）を挙げることができる。
【0115】
例えば、各事象について、その事象の程度（例えば、顔を振る動きに関しては、その振りの大きさの程度等）を予め設定されている閾値で判定し、事象毎（情報毎）に、例えば複数段階（例えば５段階）の評価の評価値を算出する。この処理は、情報毎の閾値判定部１９２が実施する。例えば、評価値として「１」～「５」を用意しておき、動きの大きさが大きいほど、あるいは、動きの頻度が多いほど、「５」に近い評価値を付与し、動きの大きさが小さいほど、あるいは、動きの頻度が小さいほど、「１」に近い評価値を付与する。
【0116】
そして、総合評価値判定部１９３が、異なる事象（例えば、顔を振る動きと、上半身の動き）の各々についての評価値を例えば加算する。「異なる事象」とするのは、同種の事象についての検出信号のみでは、乗員の上半身の動き等を総合的に勘案するのが難しいからである。異なる２以上の事象についての評価値を総合的に勘案することで、乗員の上半身の総合的な動きを精度よく評価することができる。
【0117】
例えば、総合評価値判定部１９３は、種類が異なる事象についての、少なくとも２つの評価値を加算して総合評価値を算出する。例えば、視線移動の評価値が「３」、顔を振る動きの評価値が「３」、上半身の動きの評価値が「４」である場合、総合評価値は、「１０（＝３＋３＋４）」となる。
【0118】
その総合評価値の数値（上記の例では「１０」）が、総合評価用の閾値（ここでは、「７」とする）を超えている場合には、乗員の顔を含む身体（好ましくは「局所的ではなく全体的な身体」）に、偶発的な変動の程度を超える変動が生じていると判定し得る。上記の例では、総合評価値は「１０（＞７）」であるため、偶発的な変動の程度を超える変動が生じていると判定し得る。但し、上記の処理は一例であり、この例に限定されるものではない。例えば、各事象の重要度に応じて、評価値に重み付けを施す等の処理を実施してもよい。
【0119】
このように、異なる種類の、複数の事象についての評価を統合して総合的に評価するため、誤判定を抑制できる。
【0120】
また、俯瞰画像（俯瞰図）を含む第２のナビゲーション用画像は、地図データと、車両と路側機との路車間通信によって前記路側機から得られる俯瞰画像データと、に基づいて作成されてもよい。路車間通信により得られる俯瞰画像データを利用することで、俯瞰画像を効率的に作成することができる。
【0121】
また、制御部１４０に含まれるＨＵＤ制御部１６３におけるイベント管理部１６６は、表示切替制御、又は、表示追加制御が実行されると、これに合わせて運転イベントの一区間を設定し、運転イベントの一区間が終了すると、表示切替制御、又は、表示追加制御を中止し、元の画像の表示に復帰させてもよい。
【0122】
言い換えれば、運転場面の変化等によって表示切替や表示の追加が不要となった場合には、元の表示（元の表示コンテンツ）に戻す。不要となった表示を残していると、乗員が違和感を覚える原因となるため、運転イベントの一区間が終了すると、表示を元に戻すこととしたものである。
【0123】
また、制御部１４０に含まれるＨＵＤ制御部１６３における道路状況判定部１６７は、運転イベントの一区間を適宜、設定し、また、その区間の終了を適宜、判定する。例えば、「運転イベントの一区間」とは、例えば、交差点の右折を開始してから、交差点を曲がり切り、自車両が直進に転じるまでの区間である。道路状況判定部１６７は、自車両が直進に転じる地点に達したときに、右折という運転イベントの一区間が終了したと判定することができる。
【0124】
また、制御部１４０に含まれるＨＵＤ制御部１６３の表示更新部１６４は、運転イベントの一区間が終了する前に、乗員から、元の画像への復帰要求があった場合は、元の画像の表示に復帰させてもよい。この場合、乗員（運転者等）の意思によって、元の表示に復帰させることができ、乗員の使い勝手が向上する。
【0125】
本発明に係る制御部と、この制御部によって表示が制御される、少なくとも１つの表示部を有する表示システム（車載表示システム）は、乗員の状態（心理状態を含む）を察知して表示画像を適切に更新するという新しい機能を有する。これによって、乗員の負担を軽減でき、また、表示システム（表示装置）の利便性が向上する。
【0126】
【0127】
図５のＡ－１において、車両１は、直線状の道路６を走行中である。また、車両１の前方に先行車両ＦＣ１があり、この先行車両ＦＣ１が乗員の前方視界を遮っている。また、ＨＵＤ装置によって、前方に少し見えている道路Ｒ１における左折を促すナビゲーション用の矢印Ｇ１が表示されている。
【0128】
図５のＡ－１のような運転場面では、乗員（ここでは運転者）は、左折を促す矢印の画像Ｇ１が表示されていることから、前方にみえている道路Ｒ１を左折すればよいのであろう推測はできる。但し、先行車両ＦＣ１によって、視界が遮られているため、道路Ｒ１の全体を見ることができない。
【0129】
ここで、乗員（運転者）が、現在走行中の道路の分布、道路環境、道路状況等を熟知しているのであれば、上記の運転場面でも、特に問題はないかもしれないが、一方、地理不案内であるときは、乗員（運転者）には、左折位置がはっきりとはわからないことから、不安な心理が生じ得る。
【0130】
このような場合においては、乗員（運転者）は、矢印の画像Ｇ１が指す方向の実景（現在走行中の道路と左折路Ｒ１との分岐点を基準として左側の実景）を頻繁に見たり、上半身を左側に回転させるような姿勢をとりつつ、前のめりになって矢印が示す方向の実景を見たり、あるいは、顔の表情が変化して不安な表情となる場合が想定され得る。
【0131】
なお、不安な表情や不安な仕草としては、例えば、上瞼を上げる、顎を下げて口を開ける、視線が動かずに固まる、眉毛を上げ、左右の眉毛を中央に寄せる、顔をかしげる、手が曲がった状態が継続する、顔や身体が前方等に傾斜して姿勢が崩れる、唇を固く結ぶ、目を細める、口角が上がる、といった事象を挙げることができる。
【0132】
表示システムは、上述の第１、第２の判定を実施し、上記のような乗員の変化（乗員に関する各種の事象の変化）を読み取り、表示更新要否判定部１９４（具体的には、乗員の心理状態推定部１９５）は、例えば、「乗員自らが、顔や身体を動かし、目を凝らすなどして、より多くの情報を取得しようと努力している状態（言い換えれば、情報不足によって不安が表面化している状態）である」と推定する。
【0133】
そして、表示更新要否判定部１９４は、表示更新要と判定する。この判定結果は、ＨＵＤ制御部１６３に供給される。
【0134】
ＨＵＤ制御部１６３における表示更新部１６４は、例えば図５のＡ－２に示されるように、俯瞰画像Ｍ１を用いた表示に切り替える。
【0135】
図５のＡ－２では、俯瞰画像によって、周辺の道路の分布状況がわかり易く示されており、これによって、乗員（運転者）が不慣れな道路を走行中であっても、不安感が軽減される。
【0136】
なお、表示更新要否の判定に際しては、上記のとおり、乗員が、道路分布等をよく知っているか否かも考慮するのが好ましい。先に、図４に示したとおり、ＨＵＤ制御部１６３の表示更新部１６４は、学習データベース４２１内の過去走行履歴データベース４２３や、乗員が予め登録しているホームタウン情報（具体的には、乗員が道路状況等をよく知っている地域として予め登録している、町や村などの地域名の情報等）を、適宜、参照することができる。
【0137】
これにより、表示更新部１６４は、現在走行中の道路が、乗員（運転者）が慣れている道路なのか、地理不案内の道路なのかを知ることができる。一例としては、地理不案内の道路であるときのみ、上記の乗員の心理状態の推定結果を利用して、表示更新の要否を判定するようにしてもよい。これによって、表示更新部１６４の表示更新処理における負担を軽減することができる。
【0138】
また、図５のＡ－２の俯瞰画像においては、道路に沿って延在するように表示される走行ルート案内画像、具体的には、現在の車両位置から進路変更後の位置までを連続的に示す帯状の表示Ｕ１が示されている。この帯状の表示Ｕ１は、見易いように着色されており、かつ、進路を示す矢印Ｕ２が付与されている。
【0139】
図５のＡ－１における矢印の図形Ｇ１は、短い矢印の表示であり、局所的な（ワンポイント的な）表示でもある。また、左折路Ｒ１から、かなり離れて表示されている。
【0140】
これに対して、図５のＡ－２における俯瞰画像Ｍ１は、矢印の図形Ｇ１よりも、広域にわたって表示され、かつ道路に沿って延在するように表示される走行ルートの案内画像である。この案内画像は、上述のとおり、現在の車両位置から進路変更後の位置までを連続的に示す帯状の表示であり、見易いように着色されており、また、進路を示す矢印Ｕ２も付加されており、この点でも、進路を理解し易い表示となっている。言い換えれば、乗員が、その案内画像を、俯瞰画像上で目視することで、乗員は、走行ルートを容易に、かつ的確に把握することが可能となり、これによって不安感が払拭され得る。
【0141】
【0142】
【0143】
一方、図６のＡ－１では、左折路Ｒ１に関して、分岐路Ｒ２、Ｒ３が存在し、単に、矢印の図形Ｇ１による案内だけでは、正確な進路がわかりにくい状況である。
【0144】
そこで、表示更新部１６４は、図５で説明したのと同様に、乗員の、現在表示中の画像に関する感情を推定する。この結果、例えば、情報が不足して不安になっている、と推定される場合には、表示の切り替えが実施される。図６のＡ－２では、矢印の画像Ｇ１が、俯瞰画像Ｍ２に切り替えられる。
【0145】
俯瞰画像Ｍ２において、着色された帯状の案内画像Ｕ１が、進行方向を示す矢印Ｕ２と共に示されている。乗員は、この案内画像Ｕ１を見ることで、左折路Ｒ１を左折した後、直進すればよい、ということを容易に、直感的に知ることができる。よって、上記の不安感は払拭される。
【0146】
このようにして、乗員は、表示システムに対して、追加情報がほしい旨の新たな要求をしなくても、表示が自動的に切り替えられる。言い換えれば、乗員は、情報量が豊富な俯瞰画像等を目視することで、必要な情報を容易に得ることができる。よって、乗員の認知負担が軽減され、また、表示システムの利便性が向上する。
【0147】
また、俯瞰図等は、車々間通信によって路側機から得ることができる場合が多い。本発明の好ましい一例によれば、路側機側から得られる俯瞰画像等を、多様な運転場面で活用できるようになる。言い換えれば、車々間通信を種々の運転場面で利用できるようになり、車々間通信の利用価値が向上する。
【0148】
【0149】
図７のＡ－１における運転場面は、先に示した図５のＡ－１と同じである。但し、図７のＡ－２では、左折を案内する矢印の画像Ｇ１は消えずに残されており、ダッシュボード４１に設けられている表示器１０８（表示パネル：例えば、中央情報ディスプレイ（ＣＩＤ）等）に、俯瞰画像Ｍ３（内容自体は図５のＡ－２に示されるものと同じである）が表示されている。
【0150】
言い換えれば、図７のＡ－２では、矢印の画像Ｇ１の表示は維持されると共に、俯瞰画像Ｍ３が追加されている。図７のＡ－２の状態では、乗員（運転者等）は、矢印の画像Ｇ１、及び俯瞰画像Ｍ３の双方を見ることができる。よって、乗員は、左折位置、ならびに、左折後の進路についての情報等を容易に取得できる。
【0151】
【0152】
図８のＡ－１における運転場面は、先に示した図７のＡ－１と同じである。但し、図８のＡ－２では、左折を案内する矢印の画像Ｇ１は、ダッシュボード４１に設けられている表示器１０８（表示パネル：例えば、中央情報ディスプレイ（ＣＩＤ）等）に設けられている。
【0153】
一方、俯瞰画像Ｍ３（内容自体は図７のＡ－２に示されるものと同じである）は、ＨＵＤ装置による虚像として表示されている。
【0154】
言い換えれば、図８のＡ－２では、矢印の画像Ｇ１と俯瞰画像Ｍ３の各位置が、図７のＡ－２とは逆である。図８のＡ－２の例では、矢印の画像Ｇ１を見ていた乗員は、視線をほとんど動かすことなく、俯瞰画像Ｍ３を目視することができ、認知負担が軽減される。
【0155】
【0156】
ステップＳ１では、運転環境等に応じた案内画像を生成する。ステップＳ２では、案内画像を表示する。
【0157】
ステップＳ３では、乗員の表情情報や体動情報等が取得される。ステップＳ４では、乗員の心理状態（好ましくは、表示中の画像に関する心理状態）が推定される。
【0158】
ステップＳ５では、現在の表示では不十分か否かが判定される。言い換えれば、表示更新の要否が判定される。
【0159】
ステップＳ６では、路車間通信等により取得したデータに基づいて、俯瞰画像（俯瞰画像、地図画像）が作成される。
【0160】
ステップＳ７では、表示更新処理が実施される。例えば、現在の表示画像から俯瞰画像等への切り替え、又は、現在の表示画像に俯瞰画像等を追加する処理が実施される。
【0161】
ステップＳ８では、ステップＳ７の表示更新に同期して、運転イベント区間の管理処理が実施される。
【0162】
ステップＳ９では、乗員から、表示を元に戻すような要求（表示切替要求）があるか否かが判定される。ステップＳ９でＹのときは、ステップＳ１１に移行する。
【0163】
ステップＳ９でＮのときは、ステップＳ１０にて、運転イベント区間が終了したか否かが判定される。ステップＳ１０にてＮのときは、ステップＳ９に戻り、Ｙのときは、ステップＳ１１に移行する。
【0164】
ステップＳ１１では、元の表示に復帰させる表示処理が実施される。
【0165】
このような表示制御方法によれば、乗員の負担が軽減され、また、表示システム（表示装置を含む）の利便性が向上する。また、乗員（運転者）の注意散漫、前方不注意等が抑制され、安全運転を実現する効果も得られる。
【0166】
以上説明したように、本発明によれば、乗員の状態（心理状態を含む）を察知して表示画像を適切に更新することで、乗員の負担を軽減できる表示制御装置、表示システム（表示装置を含む）、及び表示制御方法を提供することができる。
【0167】
従来の表示システムでは、案内画像が指し示す範囲が狭く、広く周囲の状況を知りたいという乗員の心理に沿った情報の提示ができない場合があった。
【0168】
特に、案内画像に対応する実景の全体が視認できない状況（例えば図５の運転状況）の場合や、車両が地理不案内の道を走行しており、乗員が道路分布等を十分に把握できていない場合（図６の場合等）においては、局所的な案内画像の表示だけでは、情報提供が不十分となりがちである。
【0169】
この結果、乗員は、実景との調和性が不足した画像に違和感を覚えることがあり、また、案内画像の本来の空間認識性が低下する場合もある。言い換えれば、周囲の情報を迅速に把握して的確な車両運行を確保したい乗員（視認者、観察者）は、追加の情報を得るための要求を表示システムに発出する必要があり、乗員の負担が増えるといった課題があった。
【0170】
本発明によれば、新たな要求を発出しなくても、表示更新処理が実施されて、必要な情報を提示可能な俯瞰画像等が自動的に表示されるため、上記の課題は解消され、乗員の負担（認知負担）が軽減され得る。
【0171】
また、表示システムの利便性の向上も実現される。また、路車間通信により得られる俯瞰図等のデータを、種々の運転場面で利用できるようになり、路車間通信の活用が促進され得る。
【0172】
本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語（例えば標識等）についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、ＨＵＤ装置や表示器装置（及び広義の表示装置）には、シミュレータ（例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等）として使用されるものも含まれるものとする。
【0173】
また、上述の実施例では、投影型の表示装置として、主としてＨＵＤ装置を例に説明したが、これに限定されず、例えば、車内プロジェクタ等も使用可能である。
【0174】
また、表示器装置としては、車両の中央部に設けられる中央情報ディスプレイ（ＣＩＤ）の他、例えば、乗員（視認者）の正面に位置する計器クラスタディスプレイ（ＩＣＤ）等を使用することもできる。言い換えれば、表示器装置の名称に拘泥することなく、実質的にＣＩＤやＩＣＤと同様の機能を有するディスプレイは、すべて本発明において使用可能である。
【0175】
また、「乗員」は広く解釈するのが好ましい。例えば、「乗員」には、手動運転時にステアリングホイールを操作している運転者、あるいは、助手席にて走行ルートの案内の役割を果たしている乗員、又は、自動運転時において、車両が正確に運行されているかを監視している乗員等が含まれ得る。
【0176】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【0177】
１・・・車両（自車両）、２・・・被投影部材（ウインドシールド等）、４・・・ステアリングホイール、５・・・筐体、６・・・道路、７・・・光源部、９・・・凹面鏡（曲面鏡）、３０・・・Ｉ／Ｏインタフェース、４１・・・ダッシュボード、４５・・・座席、５１、５２・・・第１、第２の体圧分布センサシート、１００・・・表示システム（車載表示システム）、１０２・・・ＨＵＤ装置、１０３・・・表示器装置、１０７・・・表示器制御部、１０８・・・表示器（表示パネル、ＣＩＤ等）、１４０・・・制御部、１４２・・・表示制御装置（プロセッサ）、１５０・・・ＨＵＤ装置の表示部、１６３・・・ＨＵＤ制御部、１６４・・・表示更新部、１６６・・・イベント管理部、１６７・・・道路状況判定部、１７１・・・表情検出部、１７２・・・情報解析部、１７３・・・画像解析部、１７４・・・顔判定部、１７５・・・顔の動き判定部、１７６・・・表情変化判定部、１７７・・・目情報検出部、１７８・・・目位置検出部、１７９・・・視線検出部（視線方向検出部）、１８０・・・体動検出部、１８１・・・モーションキャプチャ部、１８３・・・慣性計測装置（ＩＭＵ）、１８５・・・静電容量式センサ、１８７・・・ミリ波レーダーセンサ、１９０・・・乗員の状態判定部、１９１・・・情報取得部、１９２・・・情報毎の閾値判定部、１９３・・・総合評価値判定部、１９４・・・表示更新要否判定部、１９５・・・乗員の心理状態推定部、２０１・・・運行状況検出部、２０３・・・情報取得部、２１０・・・画像処理部、４０１・・・道路情報データベース、４０３・・・地図データ、４０５・・・自車位置検出部、４０７・・・車外センサ、４０９・・・車外カメラ、４１１・・・ＬｉＤＡＲ（光検出部及び測距部）、４１２・・・赤外カメラ、４１３・・・車内センサ、４１４・・・可視光カメラ、４１５・・・車内カメラ、４１７・・・各種の車内装置、４１９・・・車両ＥＣＵ（中央制御ユニット）、４２０・・・車外通信接続機器、４２１・・・学習データベース、４２３・・・過去走行履歴データ、４２５・・・ホームタウン情報、５２２・・・表示更新モジュール、５２４・・・情報解析モジュール、５２６・・・乗員の心理状態推定モジュール、ＳＥ１～ＳＥ４・・・静電容量式センサユニット。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】