知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000632
(43)【公開日】2024-01-09
(54)【発明の名称】表示制御装置、表示システム、及び表示制御方法
(51)【国際特許分類】
G01C 21/36 20060101AFI20231226BHJP
B60K 35/23 20240101ALI20231226BHJP
B60K 35/00 20240101ALI20231226BHJP
G06F 3/16 20060101ALI20231226BHJP
G06F 3/01 20060101ALI20231226BHJP
【ＦＩ】
G01C21/36
B60K35/00 A
B60K35/00 Z
G06F3/16 650
G06F3/16 630
G06F3/16 620
G06F3/01 510
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022099426
(22)【出願日】2022-06-21
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100067356
【弁理士】
【氏名又は名称】下田 容一郎
(74)【代理人】
【識別番号】100160004
【弁理士】
【氏名又は名称】下田 憲雅
(74)【代理人】
【識別番号】100120558
【弁理士】
【氏名又は名称】住吉 勝彦
(74)【代理人】
【識別番号】100148909
【弁理士】
【氏名又は名称】瀧澤 匡則
(74)【代理人】
【識別番号】100192533
【弁理士】
【氏名又は名称】奈良 如紘
(72)【発明者】
【氏名】菊地 裕太
(72)【発明者】
【氏名】新保 貴也
【テーマコード（参考）】
2F129
3D344
5E555
【Ｆターム（参考）】
2F129AA03
2F129HH12
2F129HH14
3D344AA19
3D344AB01
3D344AC25
3D344AD01
3D344AD13
5E555AA46
5E555BA23
5E555BB23
5E555BC01
5E555CB64
5E555CB65
5E555DA04
5E555DA09
5E555DA23
5E555DB53
5E555DD08
5E555FA00
(57)【要約】
【課題】 運転者又は乗員が音声による要求又は指示を発することで、必要な情報を、適切な表示部に表示される画像によって得ることが可能な、表示制御装置、表示システム、及び表示制御方法を提供することである。
【解決手段】 表示制御装置１０２は、第１、第２の各表示部１２５、１２２の少なくとも一方に、応答結果の画像を表示する場合の画像表示を制御する制御部を有し、第１の表示部は、正面を向いている運転者から見て、表示画像を見る場合の目線を外す程度が第２の表示部よりも小さく、かつ第２の表示部は、乗員も表示画像を目視できる位置にあり、制御部は、要求又は指示の主体が、運転者であるか、乗員であるか、及び、応答結果の画像が、車両の運転操作に関連する情報を含むか否か、に応じて、応答結果の画像を表示する表示部を切り替え、また、画像に代えて音声で報知するかを切り替える。
【選択図】 図３
【解決手段】 表示制御装置１０２は、第１、第２の各表示部１２５、１２２の少なくとも一方に、応答結果の画像を表示する場合の画像表示を制御する制御部を有し、第１の表示部は、正面を向いている運転者から見て、表示画像を見る場合の目線を外す程度が第２の表示部よりも小さく、かつ第２の表示部は、乗員も表示画像を目視できる位置にあり、制御部は、要求又は指示の主体が、運転者であるか、乗員であるか、及び、応答結果の画像が、車両の運転操作に関連する情報を含むか否か、に応じて、応答結果の画像を表示する表示部を切り替え、また、画像に代えて音声で報知するかを切り替える。
【選択図】 図３
【特許請求の範囲】
【請求項1】
車両の運転者又は乗員の発話による要求又は指示に応答して、前記車両に搭載される第１の表示部、及び第２の表示部の少なくとも一方に、応答結果の画像を表示する場合の画像表示を制御する制御部を有し、
前記第１の表示部は、運転席に着座して正面を向いている前記運転者が、表示画像を見る場合の目線を外す程度が、前記第２の表示部よりも小さく、
かつ、前記第２の表示部は、前記乗員も表示画像を目視できる位置にあり、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者であるか、前記乗員であるか、
及び、
前記応答結果の画像が、前記車両の運転操作に関連する情報を含むか否か、
に応じて、前記応答結果の画像を、
前記第１の表示部に表示するか、前記第２の表示部に表示するか、前記第１、第２の表示部に表示するか、又は、前記第１、第２の表示部の何れにも表示せず、音声で報知するか、を切り替える、
表示制御装置。
前記第１の表示部は、運転席に着座して正面を向いている前記運転者が、表示画像を見る場合の目線を外す程度が、前記第２の表示部よりも小さく、
かつ、前記第２の表示部は、前記乗員も表示画像を目視できる位置にあり、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者であるか、前記乗員であるか、
及び、
前記応答結果の画像が、前記車両の運転操作に関連する情報を含むか否か、
に応じて、前記応答結果の画像を、
前記第１の表示部に表示するか、前記第２の表示部に表示するか、前記第１、第２の表示部に表示するか、又は、前記第１、第２の表示部の何れにも表示せず、音声で報知するか、を切り替える、
表示制御装置。
【請求項2】
前記第１の表示部は、前記車両のウインドシールド、又は前記ウインドシールドの少なくとも一部を覆うように設けられるスクリーンに、画像の表示光を投影する投影方式の表示装置であり、
前記第２の表示部は、表示画面に画像を表示する表示器装置である、
請求項１に記載の表示制御装置。
前記第２の表示部は、表示画面に画像を表示する表示器装置である、
請求項１に記載の表示制御装置。
【請求項3】
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含むときは、
前記応答結果の画像を、前記第１の表示部に表示させる、又は、前記第１の表示部のみならず、前記第２の表示部にも表示させる、
請求項１に記載の表示制御装置。
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含むときは、
前記応答結果の画像を、前記第１の表示部に表示させる、又は、前記第１の表示部のみならず、前記第２の表示部にも表示させる、
請求項１に記載の表示制御装置。
【請求項4】
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含まないときは、
前記応答結果の画像を、前記第２の表示部に表示させる、又は、前記第１、第２の表示部の何れにも表示させず、その代わりに音声出力部を制御して音声で報知させる、
請求項１に記載の表示制御装置。
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含まないときは、
前記応答結果の画像を、前記第２の表示部に表示させる、又は、前記第１、第２の表示部の何れにも表示させず、その代わりに音声出力部を制御して音声で報知させる、
請求項１に記載の表示制御装置。
【請求項5】
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記運転者が、前記要求又は指示の際に、応答結果の画像を表示する表示部を指示した場合、又は、音声による報知を指示した場合は、その指示に従った応答結果の提示を実行する、
請求項１に記載の表示制御装置。
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記運転者が、前記要求又は指示の際に、応答結果の画像を表示する表示部を指示した場合、又は、音声による報知を指示した場合は、その指示に従った応答結果の提示を実行する、
請求項１に記載の表示制御装置。
【請求項6】
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含むときは、
前記応答結果の画像を、前記第１の表示部に表示させる、又は、前記第１の表示部のみならず、前記第２の表示部にも表示させる、
請求項１に記載の表示制御装置。
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含むときは、
前記応答結果の画像を、前記第１の表示部に表示させる、又は、前記第１の表示部のみならず、前記第２の表示部にも表示させる、
請求項１に記載の表示制御装置。
【請求項7】
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含まないときは、
前記応答結果の画像を、前記第２の表示部に表示させる、又は、前記第１、第２の表示部の何れにも表示させず、その代わりに音声出力部を制御して音声で報知させる、
請求項１に記載の表示制御装置。
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含まないときは、
前記応答結果の画像を、前記第２の表示部に表示させる、又は、前記第１、第２の表示部の何れにも表示させず、その代わりに音声出力部を制御して音声で報知させる、
請求項１に記載の表示制御装置。
【請求項8】
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記乗員が、前記要求又は指示の際に、応答結果の画像を表示する表示部を指示した場合、又は、音声による報知を指示した場合は、その指示に従った応答結果の提示を実行する、
請求項１に記載の表示制御装置。
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記乗員が、前記要求又は指示の際に、応答結果の画像を表示する表示部を指示した場合、又は、音声による報知を指示した場合は、その指示に従った応答結果の提示を実行する、
請求項１に記載の表示制御装置。
【請求項9】
前記制御部は、
前記車両の走行環境、前記車両の運転状態、及び、前記運転者の状態の少なくとも１つに基づいて、前記第１の表示部における前記応答結果の画像の表示の適否を判定し、不適切と判定された場合には、前記第１の表示部における表示を不可とする、
請求項１に記載の表示制御装置。
前記車両の走行環境、前記車両の運転状態、及び、前記運転者の状態の少なくとも１つに基づいて、前記第１の表示部における前記応答結果の画像の表示の適否を判定し、不適切と判定された場合には、前記第１の表示部における表示を不可とする、
請求項１に記載の表示制御装置。
【請求項10】
前記応答結果の画像が前記第２の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、さらなる要求又は指示があった場合において、
前記制御部は、
前記さらなる要求又は指示の主体が、前記運転者である場合には、
前記さらなる要求又は指示に対する応答結果の画像を、前記第１、第２の各表示部に表示させ、
前記さらなる要求又は指示の主体が、前記乗員である場合には、
前記さらなる要求又は指示に対する応答結果の画像を、前記第２の表示部に表示させる、請求項１に記載の表示制御装置。
前記制御部は、
前記さらなる要求又は指示の主体が、前記運転者である場合には、
前記さらなる要求又は指示に対する応答結果の画像を、前記第１、第２の各表示部に表示させ、
前記さらなる要求又は指示の主体が、前記乗員である場合には、
前記さらなる要求又は指示に対する応答結果の画像を、前記第２の表示部に表示させる、請求項１に記載の表示制御装置。
【請求項11】
前記応答結果の画像が前記第２の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、第１のさらなる要求又は指示があった場合において、
前記制御部は、
前記第１のさらなる要求又は指示の主体が、前記運転者である場合には、
前記第１のさらなる要求又は指示に対する応答結果の画像を、前記第１、第２の各表示部に表示させ、
前記第１のさらなる要求又は指示の主体が、前記乗員である場合には、
前記第１のさらなる要求又は指示に対する応答結果の画像を、前記第２の表示部に表示させると共に、
前記応答結果の画像が前記第１の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、第２のさらなる要求又は指示があった場合において、
前記制御部は、
前記第２のさらなる要求又は指示の主体が、前記運転者である場合には、
前記第２のさらなる要求又は指示に対する応答結果の画像を、前記第１の表示部に表示させ、
前記第２のさらなる要求又は指示の主体が、前記乗員である場合には、
前記第２のさらなる要求又は指示に対する応答結果の画像を、前記第１、及び第２の各表示部に表示させる、
請求項１に記載の表示制御装置。
前記制御部は、
前記第１のさらなる要求又は指示の主体が、前記運転者である場合には、
前記第１のさらなる要求又は指示に対する応答結果の画像を、前記第１、第２の各表示部に表示させ、
前記第１のさらなる要求又は指示の主体が、前記乗員である場合には、
前記第１のさらなる要求又は指示に対する応答結果の画像を、前記第２の表示部に表示させると共に、
前記応答結果の画像が前記第１の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、第２のさらなる要求又は指示があった場合において、
前記制御部は、
前記第２のさらなる要求又は指示の主体が、前記運転者である場合には、
前記第２のさらなる要求又は指示に対する応答結果の画像を、前記第１の表示部に表示させ、
前記第２のさらなる要求又は指示の主体が、前記乗員である場合には、
前記第２のさらなる要求又は指示に対する応答結果の画像を、前記第１、及び第２の各表示部に表示させる、
請求項１に記載の表示制御装置。
【請求項12】
前記制御部は、
前記第１、第２の各表示部に前記応答結果の画像を表示させる場合に、
前記第１の表示部には、前記応答結果の画像として、提示する情報量が少ない第１の提示画像を表示させ、前記第２の表示部には、前記応答結果の画像として、前記第１の提示画像よりも提示する情報量が多い第２の提示画像を表示させる、
又は、
前記第１の表示部に表示される画像の誘目性が、前記第２の表示部に表示される画像の誘目性よりも低くなるように制御する、
請求項１に記載の表示制御装置。
前記第１、第２の各表示部に前記応答結果の画像を表示させる場合に、
前記第１の表示部には、前記応答結果の画像として、提示する情報量が少ない第１の提示画像を表示させ、前記第２の表示部には、前記応答結果の画像として、前記第１の提示画像よりも提示する情報量が多い第２の提示画像を表示させる、
又は、
前記第１の表示部に表示される画像の誘目性が、前記第２の表示部に表示される画像の誘目性よりも低くなるように制御する、
請求項１に記載の表示制御装置。
【請求項13】
車両に搭載される第１、第２の表示部と、
前記車両に搭載される、音声出力部と、
請求項１乃至１２の何れか１項に記載の制御部と、
を有する、
表示システム。
前記車両に搭載される、音声出力部と、
請求項１乃至１２の何れか１項に記載の制御部と、
を有する、
表示システム。
【請求項14】
車両の運転者又は乗員の発話による要求又は指示に応答して、前記車両に搭載される第１の表示部、及び第２の表示部の少なくとも一方に、応答結果の画像を表示する場合の画像表示を制御する表示制御方法であって、
前記第１の表示部は、運転席に着座して正面を向いている前記運転者が、表示画像を見る場合の目線を外す程度が、前記第２の表示部よりも小さく、かつ、前記第２の表示部は、前記乗員も表示画像を目視できる位置にある場合に、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者であるか、前記乗員であるかを判定する主体判定ステップと、
前記応答結果の画像が、前記車両の運転操作に関連する情報を含むか否かを判定する内容判定ステップと、
前記主体判定ステップの判定結果、及び前記内容判定ステップの判定結果に応じて、前記応答結果の画像を、前記第１の表示部に表示するか、前記第２の表示部に表示するか、前記第１、第２の表示部に表示するか、又は、前記第１、第２の表示部の何れにも表示せず、音声で報知するか、を切り替える情報提示切り替えステップと、
を含む、表示制御方法。
前記第１の表示部は、運転席に着座して正面を向いている前記運転者が、表示画像を見る場合の目線を外す程度が、前記第２の表示部よりも小さく、かつ、前記第２の表示部は、前記乗員も表示画像を目視できる位置にある場合に、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者であるか、前記乗員であるかを判定する主体判定ステップと、
前記応答結果の画像が、前記車両の運転操作に関連する情報を含むか否かを判定する内容判定ステップと、
前記主体判定ステップの判定結果、及び前記内容判定ステップの判定結果に応じて、前記応答結果の画像を、前記第１の表示部に表示するか、前記第２の表示部に表示するか、前記第１、第２の表示部に表示するか、又は、前記第１、第２の表示部の何れにも表示せず、音声で報知するか、を切り替える情報提示切り替えステップと、
を含む、表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動車等の車両に搭載される表示制御装置、表示システム、及び表示制御方法等に関する。
【背景技術】
【0002】
特許文献１には、ユーザから発話された音声を認識し、その音声による指示に応じて空調装置や音響装置等を作動させる車両用の音声認識システムが示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－３９２６０号公報（図１等）
【発明の概要】
【発明が解決しようとする課題】
【0004】
音声認識機能を有する運転支援システムは、音声による機器の操作だけでなく、必要な情報の提示にも利用可能である。
【0005】
例えば、運転者又は乗員が発話よって要求又は指示を発出し、音声認識機能を有する運転支援システムが、その要求や指示に応答して応答結果を出力し、その応答結果を表示部に表示させる、という利用形態が想定され得る。
【0006】
車両には複数の表示部、例えば、ヘッドアップディスプレイ（ＨＵＤ）装置やセンターインフォメーションディスプレイ（ＣＩＤ）等が搭載されている。よって、応答結果を示す画像は、適切な位置の表示部に表示される必要がある。
【0007】
不適切な位置の表示部に情報が表示されると、運転者や乗員が、表示画像を視認する際に、視線を外す程度が大きくなり、煩わしさが生じる場合がある。
【0008】
また、手動運転の場合、運転者が情報の確認のために視線を大きく外すことがあると、車両運行の安全性が低下する場合がある。
【0009】
また、車両の運行に関係のない情報が、運転者に最も近い表示部に表示されると、そのことが、車両運行の妨げになる場合もあり得る。また、運転者の安心感が阻害され、心理的な負担が増える場合もあり得る。
【0010】
このような課題が、本発明者の検討によって明らかとされた。このような課題については、上記の特許文献１には記載がなく、その対策についても言及されていない。
【0011】
本発明の目的の一つは、運転者又は乗員が音声による要求又は指示を発することで、必要な情報を、適切な表示部に表示される画像によって得ることが可能な、表示制御装置、表示システム、及び表示制御方法を提供することである。
【0012】
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【0013】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【0014】
本発明の第１の態様において、表示制御装置は、
車両の運転者又は乗員の発話による要求又は指示に応答して、前記車両に搭載される第１の表示部、及び第２の表示部の少なくとも一方に、応答結果の画像を表示する場合の画像表示を制御する制御部を有し、
前記第１の表示部は、運転席に着座して正面を向いている前記運転者が、表示画像を見る場合の目線を外す程度が、前記第２の表示部よりも小さく、
かつ、前記第２の表示部は、前記乗員も表示画像を目視できる位置にあり、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者であるか、前記乗員であるか、
及び、
前記応答結果の画像が、前記車両の運転操作に関連する情報を含むか否か、
に応じて、前記応答結果の画像を、
前記第１の表示部に表示するか、前記第２の表示部に表示するか、前記第１、第２の表示部に表示するか、又は、前記第１、第２の表示部の何れにも表示せず、音声で報知するか、を切り替える。
車両の運転者又は乗員の発話による要求又は指示に応答して、前記車両に搭載される第１の表示部、及び第２の表示部の少なくとも一方に、応答結果の画像を表示する場合の画像表示を制御する制御部を有し、
前記第１の表示部は、運転席に着座して正面を向いている前記運転者が、表示画像を見る場合の目線を外す程度が、前記第２の表示部よりも小さく、
かつ、前記第２の表示部は、前記乗員も表示画像を目視できる位置にあり、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者であるか、前記乗員であるか、
及び、
前記応答結果の画像が、前記車両の運転操作に関連する情報を含むか否か、
に応じて、前記応答結果の画像を、
前記第１の表示部に表示するか、前記第２の表示部に表示するか、前記第１、第２の表示部に表示するか、又は、前記第１、第２の表示部の何れにも表示せず、音声で報知するか、を切り替える。
【0015】
第１の態様では、第１、第２の表示部が車両に搭載されていることを想定する。第１の表示部は、運転者が画像を見るときに、視線を外す程度が第２の表示部よりも小さく、また、第２の表示部は、例えば車両前列にて運転者の近くに（例えば運転者に隣接して）着座している乗員（運転者以外の者）が目視可能な位置にある。
【0016】
運転者又は乗員の発話による要求又は指示が発出された場合、その応答は、発話者（要求又は指示を発出した運転者又は乗員）に提示するのが原則である。
【0017】
その一方、例えば車両の運転操作に関連しない情報を第１の表示部に表示すると、運転に関係ない情報が運転視界に入って運転操作の妨げになり、運転者の安心感が損なわれる場合もあり得る。
【0018】
そこで、発話者は誰か、及び、応答結果の画像が運転操作に関連する情報を含むか否かという２つの要因に基づいて、画像を表示する表示部を迅速に切り替えることとした。
【0019】
これによって、発話者が、音声によって、必要な情報を迅速に、かつ確実に確認することができ、利便性が向上する。
【0020】
また、応答結果の内容に対応して、適切な位置の表示部に応答結果を示す画像が表示されることから、煩わしさが抑制され、運転の安心感が損なわれることも抑制される。
【0021】
また、応答結果の内容によっては、例えば、発話者が誰かに関わらず、運転者と乗員の双方に、応答結果を受け取る期待感が生じる場合もあるため、このような場合は、第１、第２の表示部の双方に、応答結果を示す画像を表示する。これにより、運転者、乗員の双方が、違和感なく必要な情報を確認可能である。
【0022】
第１の態様に従属する第２の態様では、
前記第１の表示部は、前記車両のウインドシールド、又は前記ウインドシールドの少なくとも一部を覆うように設けられるスクリーンに、画像の表示光を投影する投影方式の表示装置であり、
前記第２の表示部は、表示画面に画像を表示する表示器装置であってもよい。
前記第１の表示部は、前記車両のウインドシールド、又は前記ウインドシールドの少なくとも一部を覆うように設けられるスクリーンに、画像の表示光を投影する投影方式の表示装置であり、
前記第２の表示部は、表示画面に画像を表示する表示器装置であってもよい。
【0023】
第２の態様では、第１の表示部として、ウインドシールドや、ウインドシールドの一部を覆うようなスクリーンに画像を投影するヘッドアップディスプレイ（ＨＵＤ）等の投影式の表示装置を用いることができる。これにより、運転者は、運転中に正面を向いたまま、視線を大きく外すことなく、応答結果の画像を視認することができる。
【0024】
一方、第２の表示部としては、表示画面に画像を表示する表示器装置、例えば、ダッシュボードの中央に設けられるセンターインフォメーションディスプレイ（ＣＩＤ）等の表示器装置を用いることができる。
【0025】
例えばＣＩＤは、多様な情報を表示するのに適しており、また、運転者及び乗員の双方が表示画像を視認できるため、応答結果の画像の表示にも適する。
【0026】
表示器装置を活用することで、乗員も、音声によって必要な情報を容易に取得することができるようになり、乗員の利便性も向上する。
【0027】
第１の態様に従属する第３の態様では、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含むときは、
前記応答結果の画像を、前記第１の表示部に表示させる、又は、前記第１の表示部のみならず、前記第２の表示部にも表示させてもよい。
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含むときは、
前記応答結果の画像を、前記第１の表示部に表示させる、又は、前記第１の表示部のみならず、前記第２の表示部にも表示させてもよい。
【0028】
第３の態様では、発話者が運転者であり、かつ応答結果の画像が運転操作に関連する情報を含むときは、運転者が迅速に、視線を外さずに情報を取得できるように、第１の表示部に画像を表示する。
【0029】
但し、例えば乗員が運転者のナビゲータとして、車両の運転に間接的に参加している場合もあり得る。このような場合は、運転者が発した運転関連の要求や指示であっても、その応答結果は、乗員も知りたいと思うのが通常である。よって、このような場合には、第２の表示部にも応答結果の画像を表示するのが好ましい。
【0030】
第１の態様に従属する第４の態様において、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含まないときは、
前記応答結果の画像を、前記第２の表示部に表示させる、又は、前記第１、第２の表示部の何れにも表示させず、その代わりに音声出力部を制御して音声で報知させてもよい。
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含まないときは、
前記応答結果の画像を、前記第２の表示部に表示させる、又は、前記第１、第２の表示部の何れにも表示させず、その代わりに音声出力部を制御して音声で報知させてもよい。
【0031】
第４の態様では、発話者が運転者であり、かつ応答結果の画像が運転操作に関連する情報を含まないときは、応答結果の画像は、第１の表示部には表示せず、第２の表示部に表示する、あるいは、音声にて応答する。
【0032】
これにより、運転に関係ない情報が、車両を運転している運転者の視界に入って、車両の安全運行の妨げになることが抑制される。また、運転者の安心感が損なわれることも抑制される。
【0033】
第１乃至第４の何れか１つの態様に従属する第５の態様において、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記運転者が、前記要求又は指示の際に、応答結果の画像を表示する表示部を指示した場合、又は、音声による報知を指示した場合は、その指示に従った応答結果の提示を実行してもよい。
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者である場合において、
前記運転者が、前記要求又は指示の際に、応答結果の画像を表示する表示部を指示した場合、又は、音声による報知を指示した場合は、その指示に従った応答結果の提示を実行してもよい。
【0034】
第５の態様によれば、運転者自身が応答結果（回答）をどこに表示してほしいかを発話時に指示した場合は、応答結果を示す画像は、その指示に従って表示する。これによって、運転者の想定や希望と異なる場所に応答結果（回答）が表示されることがなく、したがって、運転者の期待が損なわれない。
【0035】
また、運転者が音声による報知を指示した場合は、応答結果は、その指示に従って音声によって出力（提示）される。したがって、運転者の期待が損なわれない。
【0036】
第１の態様に従属する第６の態様において、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含むときは、
前記応答結果の画像を、前記第１の表示部に表示させる、又は、前記第１の表示部のみならず、前記第２の表示部にも表示させてもよい。
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含むときは、
前記応答結果の画像を、前記第１の表示部に表示させる、又は、前記第１の表示部のみならず、前記第２の表示部にも表示させてもよい。
【0037】
第６の態様では、発話者が乗員であり、かつ応答結果の画像が運転操作に関連する情報を含む場合における応答結果は、運転中の運転者に提示されることで車両の運行に反映されるため、発話者が乗員であっても、第１の表示部に表示する。これにより、運転者は、ＣＩＤ等を操作してＨＵＤ装置による画像表示に切り替えるといった手間を省くことができ、表示された情報を運転操作に迅速に反映させることもできる。
【0038】
但し、例えば乗員が運転者のナビゲータとして、車両の運転に間接的に参加している場合もあり得る。このような場合は、その応答結果は、乗員も知りたいと思うのが通常である。よって、このような場合には、第２の表示部にも応答結果の画像を表示するのが好ましい。
【0039】
第１の態様に従属する第７の態様において、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含まないときは、
前記応答結果の画像を、前記第２の表示部に表示させる、又は、前記第１、第２の表示部の何れにも表示させず、その代わりに音声出力部を制御して音声で報知させてもよい。
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記応答結果の画像が前記車両の運転操作に関連する情報を含まないときは、
前記応答結果の画像を、前記第２の表示部に表示させる、又は、前記第１、第２の表示部の何れにも表示させず、その代わりに音声出力部を制御して音声で報知させてもよい。
【0040】
第７の態様では、発話者が乗員であり、かつ応答結果の画像が運転操作に関連する情報を含まない場合の応答結果は、運転中の運転者の視界に入らないように第２の表示部に表示するか、音声にて回答する。これにより、運転に関係ない情報が、車両を運転している運転者の視界に入って、車両の安全運行の妨げになることが抑制される。また、運転者の安心感が損なわれることも抑制される。
【0041】
第１の態様に従属する第８の態様において、
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記乗員が、前記要求又は指示の際に、応答結果の画像を表示する表示部を指示した場合、又は、音声による報知を指示した場合は、その指示に従った応答結果の提示を実行してもよい。
前記制御部は、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記乗員である場合において、
前記乗員が、前記要求又は指示の際に、応答結果の画像を表示する表示部を指示した場合、又は、音声による報知を指示した場合は、その指示に従った応答結果の提示を実行してもよい。
【0042】
第８の態様によれば、乗員自身が応答結果（回答）をどこに表示してほしいかを発話時に指示した場合は、応答結果を示す画像は、その指示に従って表示する。これによって、乗員の想定や希望と異なる場所に応答結果（回答）が表示されることがなく、したがって、乗員の期待が損なわれない。
【0043】
第１乃至第８の何れか１つに従属する第９の態様において、
前記制御部は、
前記車両の走行環境、前記車両の運転状態、及び、前記運転者の状態の少なくとも１つに基づいて、前記第１の表示部における前記応答結果の画像の表示の適否を判定し、不適切と判定された場合には、前記第１の表示部における表示を不可としてもよい。
前記制御部は、
前記車両の走行環境、前記車両の運転状態、及び、前記運転者の状態の少なくとも１つに基づいて、前記第１の表示部における前記応答結果の画像の表示の適否を判定し、不適切と判定された場合には、前記第１の表示部における表示を不可としてもよい。
【0044】
第９の態様では、第１の表示部は、応答結果の表示のみならず、車両の運行に関係する種々の情報の表示に利用される点を考慮し、車両の走行環境、運転状態、及び運転者の状態の少なくとも１つに起因して第１の表示部に応答結果を表示することが不適当と判定される場合は、第１の表示部への応答結果の表示を不可とする。
【0045】
例えば、車両が交通量の多い交差点にさしかかっている場合や、急ブレーキや急ハンドルが必要となる緊急事態が生じている場合、あるいは、運転者が長時間の運転で疲労が蓄積している場合等においては、第１の表示部に応答結果の画像を表示することは、運転者に情報の読み取りを強制することにもなりかねず、かえって運転者の負担が増し、安全性の低下等につながる場合も想定され得る。よって、このような場合は、第２の表示部に表示するか、あるいは、音声による回答に切り替える。これにより、運転者は、車両の運転に集中することができる。
【0046】
また、車両の運転モードも、完全自動運転、完全自動運転ではない自動運転、運転支援を受ける手動運転、完全手動運転、というように種々のモードがあるため、各運転モードにおける運転者の負荷、心理的な負担等を考慮する必要がある。例えば、運転者の負担が重い運転モードのときは、第１の表示部における情報の提示は最小限に抑え、第２の表示部を利用し、あるいは、音声による応答を利用するのが好ましい。
【0047】
第１乃至第９の何れか１つの態様に従属する第１０の態様において、
前記応答結果の画像が前記第２の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、さらなる要求又は指示があった場合において、
前記制御部は、
前記さらなる要求又は指示の主体が、前記運転者である場合には、
前記さらなる要求又は指示に対する応答結果の画像を、前記第１、第２の各表示部に表示させ、
前記さらなる要求又は指示の主体が、前記乗員である場合には、
前記さらなる要求又は指示に対する応答結果の画像を、前記第２の表示部に表示させてもよい。
前記応答結果の画像が前記第２の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、さらなる要求又は指示があった場合において、
前記制御部は、
前記さらなる要求又は指示の主体が、前記運転者である場合には、
前記さらなる要求又は指示に対する応答結果の画像を、前記第１、第２の各表示部に表示させ、
前記さらなる要求又は指示の主体が、前記乗員である場合には、
前記さらなる要求又は指示に対する応答結果の画像を、前記第２の表示部に表示させてもよい。
【0048】
第１０の態様では、第２の表示部のみに応答結果が表示された後、さらに音声による要求又は指示がなされた場合を想定する。この場合には、運転中の運転者の負担にならないように、運転者の意思に反して、応答結果の画像が第１の表示部に表示されることを防止する。
【0049】
言い換えれば、発話が運転者であった場合は、運転者の期待に応えて第１の表示部に応答結果の画像を表示する。
また、今回の発話の元になった画像は第２の表示部に表示されたものであり、乗員も見ている可能性が高いため、乗員も、今回の応答結果についても知りたいと望む場合が多いと考えられる。よって、第２の表示部にも、今回の応答結果の画像を表示する。
また、今回の発話の元になった画像は第２の表示部に表示されたものであり、乗員も見ている可能性が高いため、乗員も、今回の応答結果についても知りたいと望む場合が多いと考えられる。よって、第２の表示部にも、今回の応答結果の画像を表示する。
【0050】
一方、発話者が乗員であった場合は、今回の応答結果の画像は第１の表示部には表示せず、第２の表示部に表示する。これによって、今回の応答結果の画像が、運転者の意思に反して第１の表示部に表示されることが防止される。
【0051】
第１乃至第９の何れか１つの態様に従属する第１１の態様において、
前記応答結果の画像が前記第２の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、第１のさらなる要求又は指示があった場合において、
前記制御部は、
前記第１のさらなる要求又は指示の主体が、前記運転者である場合には、
前記第１のさらなる要求又は指示に対する応答結果の画像を、前記第１、第２の各表示部に表示させ、
前記第１のさらなる要求又は指示の主体が、前記乗員である場合には、
前記第１のさらなる要求又は指示に対する応答結果の画像を、前記第２の表示部に表示させると共に、
前記応答結果の画像が前記第１の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、第２のさらなる要求又は指示があった場合において、
前記制御部は、
前記第２のさらなる要求又は指示の主体が、前記運転者である場合には、
前記第２のさらなる要求又は指示に対する応答結果の画像を、前記第１の表示部に表示させ、
前記第２のさらなる要求又は指示の主体が、前記乗員である場合には、
前記第２のさらなる要求又は指示に対する応答結果の画像を、前記第１、及び第２の各表示部に表示させてもよい。
前記応答結果の画像が前記第２の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、第１のさらなる要求又は指示があった場合において、
前記制御部は、
前記第１のさらなる要求又は指示の主体が、前記運転者である場合には、
前記第１のさらなる要求又は指示に対する応答結果の画像を、前記第１、第２の各表示部に表示させ、
前記第１のさらなる要求又は指示の主体が、前記乗員である場合には、
前記第１のさらなる要求又は指示に対する応答結果の画像を、前記第２の表示部に表示させると共に、
前記応答結果の画像が前記第１の表示部のみに表示された後、前記応答結果の画像が提示する情報に関して、音声による、第２のさらなる要求又は指示があった場合において、
前記制御部は、
前記第２のさらなる要求又は指示の主体が、前記運転者である場合には、
前記第２のさらなる要求又は指示に対する応答結果の画像を、前記第１の表示部に表示させ、
前記第２のさらなる要求又は指示の主体が、前記乗員である場合には、
前記第２のさらなる要求又は指示に対する応答結果の画像を、前記第１、及び第２の各表示部に表示させてもよい。
【0052】
第１１の態様では、第２の表示部のみに応答結果が表示された後、さらに音声による要求又は指示がなされた場合（この点は、第１０の態様と同じである）、及び、第１の表示部のみに応答結果が表示された後、さらに音声による要求又は指示がなされた場合を想定する。
【0053】
前者の場合（第２の表示部に表示された画像について、第１のさらなる要求や指示があった場合）は、先に説明した第１０の態様と同様の表示がなされる。
【0054】
後者の場合（第１の表示部に表示された画像について、第２のさらなる要求や指示があった場合）において、発話者が運転者の場合は、今回の応答結果を示す画像を第１の表示部に表示する。運転者は、自身が欲する情報を運転者に近い位置の表示部にて確認できる。また、運転者の情報の取得が容易化され、また、運転者への迅速な情報の提示も可能となる。
【0055】
一方、発話者が乗員であるときは、乗員の近くに位置する第２の表示部に表示し、必要な情報を、乗員に、見易く、かつ迅速に提示する。
【0056】
また、今回の発話の元になった画像は第１の表示部に表示されたものであり、運転者も見ていた画像であるため、運転者も、今回の応答結果についても知りたいと望む場合が多いと考えられる。よって、第１の表示部にも、今回の応答結果の画像を表示する。これにより、運転者の、今回の応答結果を知りたいという期待に応えることができる。
【0057】
第１乃至第１１の何れか１つの態様に従属する第１２の態様において、
前記制御部は、
前記第１、第２の各表示部に前記応答結果の画像を表示させる場合に、
前記第１の表示部には、前記応答結果の画像として、提示する情報量が少ない第１の提示画像を表示させ、前記第２の表示部には、前記応答結果の画像として、前記第１の提示画像よりも提示する情報量が多い第２の提示画像を表示させる、
又は、
前記第１の表示部に表示される画像の誘目性が、前記第２の表示部に表示される画像の誘目性よりも低くなるように制御してもよい。
前記制御部は、
前記第１、第２の各表示部に前記応答結果の画像を表示させる場合に、
前記第１の表示部には、前記応答結果の画像として、提示する情報量が少ない第１の提示画像を表示させ、前記第２の表示部には、前記応答結果の画像として、前記第１の提示画像よりも提示する情報量が多い第２の提示画像を表示させる、
又は、
前記第１の表示部に表示される画像の誘目性が、前記第２の表示部に表示される画像の誘目性よりも低くなるように制御してもよい。
【0058】
第１２の態様では、応答結果の画像を、第１、第２の表示部の各々に表示する場合において、情報量に差を設けたり、誘目性に差を設けたりする。言い換えれば、第２の表示部により提示される情報量を第１の表示部における情報量よりも増やしたり、あるいは、第２の表示部の画像の誘目性を、第１の表示部の画像の誘目性よりも高くしたりする。
【0059】
第１の表示部（ＨＵＤ装置等）は、車両の運行に必要な重要な情報の提示に使用されるため、応答結果の画像が表示領域を占有したり、あるいは、運転者の目線を誘目して運転時の注意を逸らしたりすることは避ける必要がある。
【0060】
一方、第２の表示部（ＣＩＤ等）は、情報を統括的に管理するのに適しており、近年は、大型化、高精細化、マルチディスプレイ化等が進展している。これらの点を考慮すると、応答結果の画像の情報量が多い場合、あるいは、応答結果の画像の誘目性が高い場合でも、特に問題はないと考えられる。
【0061】
よって、例えば、第１の表示部にはナビゲーション用の矢印のみを表示し、第２の表示部には、地図を表示して情報量に差を設けたり、第１の表示部の画像については、輝度を低くする、あるいはサイズを縮小する等によって誘目性を低下させて表示したりしてもよい。
【0062】
本発明の第１３の態様において、表示システムは、
車両に搭載される第１、第２の表示部と、
前記車両に搭載される、音声出力部と、
第１乃至１２の何れか１つの態様の制御部と、
を有する。
車両に搭載される第１、第２の表示部と、
前記車両に搭載される、音声出力部と、
第１乃至１２の何れか１つの態様の制御部と、
を有する。
【0063】
これにより、運転者又は乗員の発話による要求又は指示に応じて、必要な情報を、画像又は音声で容易に、かつ車両運行の安全性を低下させずに確認できる表示システム、言い換えれば、車載表示システムを実現することができる。
【0064】
本発明の第１４の態様において、表示制御方法は、
車両の運転者又は乗員の発話による要求又は指示に応答して、前記車両に搭載される第１の表示部、及び第２の表示部の少なくとも一方に、応答結果の画像を表示する場合の画像表示を制御する表示制御方法であって、
前記第１の表示部は、運転席に着座して正面を向いている前記運転者が、表示画像を見る場合の目線を外す程度が、前記第２の表示部よりも小さく、かつ、前記第２の表示部は、前記乗員も表示画像を目視できる位置にある場合に、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者であるか、前記乗員であるかを判定する主体判定ステップと、
前記応答結果の画像が、前記車両の運転操作に関連する情報を含むか否かを判定する内容判定ステップと、
前記主体判定ステップの判定結果、及び前記内容判定ステップの判定結果に応じて、前記応答結果の画像を、前記第１の表示部に表示するか、前記第２の表示部に表示するか、前記第１、第２の表示部に表示するか、又は、前記第１、第２の表示部の何れにも表示せず、音声で報知するか、を切り替える情報提示切り替えステップと、
を含む。
車両の運転者又は乗員の発話による要求又は指示に応答して、前記車両に搭載される第１の表示部、及び第２の表示部の少なくとも一方に、応答結果の画像を表示する場合の画像表示を制御する表示制御方法であって、
前記第１の表示部は、運転席に着座して正面を向いている前記運転者が、表示画像を見る場合の目線を外す程度が、前記第２の表示部よりも小さく、かつ、前記第２の表示部は、前記乗員も表示画像を目視できる位置にある場合に、
前記応答結果の画像を表示する契機となった前記要求又は指示の主体が、前記運転者であるか、前記乗員であるかを判定する主体判定ステップと、
前記応答結果の画像が、前記車両の運転操作に関連する情報を含むか否かを判定する内容判定ステップと、
前記主体判定ステップの判定結果、及び前記内容判定ステップの判定結果に応じて、前記応答結果の画像を、前記第１の表示部に表示するか、前記第２の表示部に表示するか、前記第１、第２の表示部に表示するか、又は、前記第１、第２の表示部の何れにも表示せず、音声で報知するか、を切り替える情報提示切り替えステップと、
を含む。
【0065】
これにより、運転者又は乗員の発話による要求又は指示に応じて、必要な情報を、画像又は音声で容易に、かつ車両運行の安全性を低下させずに確認できるようになる。
【0066】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【0067】
【発明を実施するための形態】
【0068】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0069】
なお、以下の説明では、各種の表示装置の各々を「表示部」と称する場合がある。また、液晶パネルのように、表示画面上に実像を表示できる表示装置を「表示器、あるいは表示器装置」と称する場合がある。
【0070】
また、本発明は、車両の運転モードに関係なく適用可能であるが、以下の説明では、主として手動運転状態の場合について説明する。
【0071】
また、画像（あるいは画像の表示光）をウインドシールド等の被投影部材に投影する投影型の表示装置としては、典型的にはヘッドアップディスプレイ（ＨＵＤ）装置が知られている。
【0072】
但し、ＨＵＤ装置は、凹面鏡等の反射光学系を介して画像を投影するが、この反射光学系を除去して、例えば表示画面に表示される画像を、そのまま被投影部材に投影する方式の表示装置もある。本明細書では、これを便宜上、直接投影ディスプレイあるいはＷＳＤ（ウインドシールドディスプレイ）と称して、ＨＵＤ装置とは区別して取り扱う。但し、広義には、このＷＳＤも、ＨＵＤ装置の一種である。
【0073】
また、投影方式の表示装置（表示部）としては、画像の表示光をステアリングホイール等に投影するプロジェクタも使用可能である。本明細書では、車内に搭載され、室内装飾の他に情報の提示も可能なプロジェクタを「車内プロジェクタ」と称する。
【0074】
図１を参照する。図１は、運転支援システム（自動運転システムを含む）、車両用表示システム、及び表示制御装置の構成例を示す図である。なお、図１において、車両の幅方向（運転者から見た左右方向）をＸ方向とし、車両の高さ方向をＹ方向とし、運転者から見た前方方向をＺ方向とする。
【0075】
運転支援システム（自動運転システムであってもよい）１０は、ＥＣＵ等から各種情報を収集する情報収集部１２と、ＡＩモジュール（運転支援制御部）１４と、音声認識機能を有する音声認識エンジン（音声認識部）１５と、各種データベース１６と、無線アンテナＡＮを用いて、車内又は車外のシステム等と無線通信可能な無線通信部１８と、を有する。
運転支援システム１０は、例えば、無線通信部１８とアンテナＡＮを介して、インターネット上のサーバーにアクセスし、例えばウエッブ検索によって、運転者や乗員が発した質問に関係する事項を検索し、検索した事項に基づいて、回答（応答）を作成することができる。
運転支援システム１０は、例えば、無線通信部１８とアンテナＡＮを介して、インターネット上のサーバーにアクセスし、例えばウエッブ検索によって、運転者や乗員が発した質問に関係する事項を検索し、検索した事項に基づいて、回答（応答）を作成することができる。
【0076】
表示システム１８０は、表示制御装置（プロセッサ）１０２と、画像解析部１１０と、運転者の情報取得部１１１と、車内プロジェクタ１１２と、車両１の乗員（運転者等）を撮像する撮像カメラ１１４と、ヘッドアップディスプレイ（ＨＵＤ）装置１２５、センターインフォメーションディスプレイ（ＣＩＤ）１２７と、指向性マイク１４２、１４４及びスピーカ１４６を有すると共に、ダッシュボード１２０に設置されている音声アシスタント１４０と、を有する。
【0077】
乗員の状態判定部１１１は、視線位置検出部１３と、運転状態監視部１７とを有する。
【0078】
ＨＵＤ装置１２５は、ウインドシールド２（あるいは、ウインドシールド２を覆うように設けられる透明、あるいは半透明のスクリーン等）に画像を投影することで、前方の、例えば乗員の視点位置から所定距離だけ離れた空間に設定される仮想的な虚像表示面ＰＳ１に虚像（画像）を表示することができる。ＷＳＤも同様である。
【0079】
ＨＵＤ装置１２５は、例えば、第１の表示領域Ｚ１に虚像（画像）Ｖ１を表示することができ、また、第２の表示領域Ｚ２に虚像（画像）Ｖ２を表示することができる。
【0080】
また、ＨＵＤ装置１２５、及びセンターインフォメーションディスプレイ（ＣＩＤ）１２７、ダッシュボード１２０に設けられている。以下の説明では、ＨＵＤ装置１２５を第１の表示部、ＣＩＤ１２７を第２の表示部と称する場合がある。
【0081】
また、車内プロジェクタ１１２は、例えば、ステアリングホイール４に画像Ｒ１を投影することで、必要な情報の提示を行うことができる。但し、これは一例であり、車内プロジェクタ１１２は、ダッシュボード１２０やウインドシールド２、あるいはウインドシールド２に被せるようにして設けられるスクリーン（不図示）等に画像を投影してもよい。
【0082】
表示制御装置（プロセッサ）１０２は、各種の表示部の表示態様を制御する制御部１１３と、音声出力部（音声合成機能を有してもよい）１０５と、を有する。
【0083】
制御部１１３は、統括制御部１０４と、表示器制御部１０７と、ＨＵＤ及びＷＳＤ制御部１０８と、車内プロジェクタ制御部１０９と、を有する。
【0084】
また、統括制御部１０４は、表示部決定部１１５を有する。この表示部決定部１１５は、音声アシスタント１４０を用いて運転者５、又は乗員（図３の符号６）が音声によって要求又は指示を発出した場合に、応答結果の画像を、どの表示部に表示するかを決定する機能を有する。
【0085】
また、音声アシスタント１４０に内蔵されるマイク１４２、１４４は指向性を有し、マイク１４２は、主として乗員（例えば車両の前列に着座している乗員：図３の符号６）の音声を集音し、マイク１４４は、主として運転者５の音声を集音する。
【0086】
音声アシスタント１４０は、音声信号の入力があった場合に、その音声を発した者（発話者）を特定すると共に、その音声信号を、例えばＡ／Ｄ変換してデジタルデータに変換し、音声認識エンジン１５に供給する。
【0087】
音声アシスタント１４０は、例えば、マイク１４２、又は１４４を介して信号入力が有った場合、その信号の強度が所定の閾値以上ならば、ノイズではなく音声信号であるとみなし、その音声信号をデジタル信号に変換する。
【0088】
なお、音声アシスタント１４０は、マイク１４２、１４４の双方に信号入力があり、各信号の強度が所定の閾値以上である場合は、各信号の強度を比較し、強度が大きい方の信号を入力された音声信号とみなし、その音声信号をデジタル信号に変換する。
【0089】
また、音声信号が、マイク１４２を介して得られた場合は、発話者は乗員６であると特定され、マイク１４４を介して得られた場合は、発話者は運転者５であると特定され得る。音声アシスタント１４０は、特定された発話者の情報ＡＳを、統括制御部１０４の表示部決定部１１５に送る。表示部決定部１１５は、送られてきた発話者の情報ＡＳを一時的に記憶する。発話者の情報ＡＳは、応答結果を示す画像をどの表示部に表示するかを決定する際の判断要素となる。
【0090】
また、デジタル化された音声信号は、音声アシスタント１４０から音声認識エンジン（音声認識部）１５に供給される。音声認識エンジン（音声認識部）１５は、音声データを解析し、発話者の要求又は指示の内容を理解する。
【0091】
このとき、音声認識エンジン（音声認識部）１５は、例えばキーワード検索を行い、音声データ中に含まれる用語（単語）を解析して、その要求や指示が、運転操作（言い換えれば、車両の走行）に関連するものであるか否かを迅速に判定する。音声による要求又は指示が運転操作（車両運行）に関連するか否かの判定結果の情報ＡＱは、表示部決定部１１５に送られる。
【0092】
表示部決定部１１５は、発話者の情報ＡＳと、要求又は指示が転操作（車両運行）に関連するか否かの判定結果の情報ＡＱと、に基づいて、応答結果の画像をどの表示部に表示するかを決定する（詳細は後述する）。
【0093】
また、音声認識エンジン（音声認識部）１５は、音声認識の結果をＡＩモジュール（運転支援制御部）１４に送る。ＡＩモジュール（運転支援制御部）１４は、情報収集部１２から各種情報を取得し、また、各種データベース１６を検索し、あるいは、無線通信部１８を介してネットワーク上のサーバーにアクセスするなどして必要な情報を収集し、要求又は指示に対する応答（回答）を作成する。
【0094】
作成された応答（回答）は、統括制御部１０４に送られる。統括制御部１０４は、表示器制御部１０７、ＨＵＤ＆ＷＳＤ制御部、及び車内プロジェクタ制御部１０９の少なくとも１つを制御し、表示部決定部１１５が決定した表示部（例えば、ＨＵＤ装置、ＣＩＤ等）に応答結果を示す画像を表示させる。応答結果を示す画像の表示方法の詳細については後述する。
【0095】
【0096】
本発明で利用可能な表示部（表示装置）としては、例えば、ヘッドアップディスプレイ（ＨＵＤ）装置１２５、ディスプレイに表示された画像を、光学系を介さずにウインドシールド又はスクリーンに投影する直接投影ディスプレイとしてのＷＳＤ１２３、センターインフォメーションディスプレイ（ＣＩＤ）１２７、パッセンジャーディスプレイ１２８をあげることができる。図示はしないが、センターコンソールモニタも利用可能な表示装置となり得る。但し、上記の例に限定されるものではない。車両１に備わる多様な表示部、言い換えれば表示装置を活用することで、特別な表示装置を付加することなく、応答結果の画像を表示することができる。
【0097】
なお、１つのディスプレイが２以上の表示画面を有する場合は、表示画面毎に表示部があるものとみなしてもよい。
【0098】
【0099】
図３の例では、第１の表示部（表示装置）としてＨＵＤ装置１２５が使用され、第２の表示部（表示装置）としてセンターインフォメーションディスプレイ（ＣＩＤ）１２７が使用されるものとする。
【0100】
ここで、第１の表示部は、運転者が画像を見るときに、視線を外す程度が第２の表示部よりも小さく、また、第２の表示部は、例えば車両前列にて運転者の近くに（例えば運転者に隣接して）着座している乗員（運転者以外の者）が目視可能な位置にある。
【0101】
第１の表示部としては、ウインドシールドや、ウインドシールドの一部を覆うようなスクリーンに画像を投影するヘッドアップディスプレイ（ＨＵＤ）等の投影式の表示装置を用いることができる。運転者５は、運転中に正面を向いたまま、視線を大きく外すことなく、応答結果の画像を視認することができる。
【0102】
一方、第２の表示部としては、表示画面に画像を表示する表示器装置、例えば、ダッシュボードの中央に設けられるセンターインフォメーションディスプレイ（ＣＩＤ）等の表示器装置を用いることができる。
【0103】
例えばＣＩＤは、多様な情報を表示するのに適しており、また、運転者及び乗員の双方が表示画像を視認できるため、応答結果の画像の表示にも適する。表示器装置を活用することで、乗員も、音声によって必要な情報を容易に取得することができるようになり、乗員の利便性も向上する。
【0104】
図３のＡ－１に示されるように、車両１は右ハンドル車であり、運転席ＦＲには運転者５が着座している。また、車両１の前列、かつ運転者５に隣接する助手席ＦＬに乗員（パッセンジャー）６が着座している。
【0105】
また、車両１の運転モードは、自動運転モードであってもよいが、ここでは、手動運転モードであるとする。図３のＡ－１では、運転者５は、運転中に、「自宅までの道案内をお願い」という要求（あるいは指示）を音声にて発出する。
【0106】
図１にて説明したように、音声アシスタント１４０は、指向性をもつマイク１４４で、その音声を集音する。これにより、発話者が運転者５であることが判明する。音声アシスタント１４０は、特定された発話者の情報ＡＳを、統括制御部１０４の表示部決定部１１５に送る。
【0107】
また、音声認識エンジン（音声認識部）１５は、音声データを解析し、音声中に「自宅」、「道案内」という用語が存在することを検出する。この発話に対する回答（応答）によって、車両１の走行ルートが変更されることもあり得る。よって、この発話に対する回答（応答）は、車両１の運転操作に関連する要求又は指示に対する回答と判定される。
【0108】
音声認識エンジン（音声認識部）１５は、音声による要求又は指示が運転操作（車両運行）に関連するか否かの判定結果の情報ＡＱを、表示部決定部１１５に送る。
【0109】
表示部決定部１１５は、発話者の情報ＡＳと、要求又は指示が転操作（車両運行）に関連するか否かの判定結果の情報ＡＱと、に基づいて、応答結果の画像をどの表示部に表示するかを決定する。
【0110】
運転者５又は乗員６の発話による要求又は指示が発出された場合、その応答は、発話者（要求又は指示を発出した運転者又は乗員）に提示するのが原則である。その一方、例えば車両１の運転操作に関連しない情報を第１の表示部であるＨＵＤ装置１２５で表示すると、運転に関係ない情報が運転視界に入って運転操作の妨げになり、運転者５の安心感が損なわれる場合もあり得る。
【0111】
そこで、発話者は誰か、及び、応答結果の画像が運転操作に関連する情報を含むか否かという２つの要因に基づいて、画像を表示する表示部を迅速に切り替える。これによって、発話者が、音声によって、必要な情報を迅速に、かつ確実に確認することができ、利便性が向上する。
【0112】
また、応答結果の内容に対応して、適切な位置の表示部に応答結果を示す画像が表示されることから、煩わしさが抑制され、運転の安心感が損なわれることも抑制される。
【0113】
また、応答結果の内容によっては、例えば、発話者が誰かに関わらず、運転者と乗員の双方に、応答結果を受け取る期待感が生じる場合もあるため、このような場合は、第１、第２の表示部の双方に、応答結果を示す画像を表示する（この点については、図４にて説明する）。
【0114】
図３のＡ－１の例では、発話者が運転者５である。また、発話による要求又は指示が、運転支援システム１０に自宅までの道案内を依頼するものであるため、応答結果を示す画像が表示されると、その画像は、運転者５の運転操作に影響を与える。よって、応答結果の画像は、運転操作に関連する情報を含むと判定される。
【0115】
この場合は、図３のＡ－１、Ａ－２に示すように、運転者５が迅速に、視線を外さずに運行に必要な情報を取得できるように、第１の表示部であるＨＵＤ装置１２５を用いて画像が表示される。
【0116】
図３のＡ－２では、ＨＵＤ装置１２５によって、虚像表示領域ＰＳ１に、運行ルートを示す地図ＭＰが表示される。また、図３のＡ－３では、右折を促す矢印の図形ＮＡ１が表示されている。何れの表示でもよい。但し、地図ＭＰの占有面積が大きすぎて運転中の表示には適さない場合は、図３のＡ－３のように、運行ルートを逐次、ガイドし、運転状況に応じたガイド用の画像を表示するのが好ましい。
【0117】
【0118】
図４のＡ－２～Ａ－４の例では、応答結果の画像を、第１の表示部であるＨＵＤ装置１２５のみならず、第２の表示部であるＣＩＤ１２７にも表示している。例えば乗員６が運転者５のナビゲータとして、車両１の運転に間接的に参加している場合もあり得る。このような場合は、運転者５が発した運転関連の要求や指示であっても、その応答結果は、乗員も知りたいと思うのが通常である。このような場合等も考慮して、図４のＡ－２～Ａ－４では、第２の表示部であるＣＩＤ１２７にも、画像の表示を行う。
【0119】
図４のＡ－３では、第１の表示部であるＨＵＤ装置１２５によって地図ＭＰが表示され、第２の表示部であるＣＩＤ１２７には、応答結果の画像が表示済みであることを乗員６に伝える「表示済み」の表示がなされている。これにより、乗員６は、必要な情報が運転者５に提示されたことを確認でき、安心感を得ることができる。上記の「表示済み」という表示も、広義には、応答結果を示す画像に含めてもよい。
【0120】
また、図４のＡ－３では、第１の表示部であるＨＵＤ装置１２５によって、右折を促す矢印の図形ＮＡ１が表示されており、第２の表示部であるＣＩＤ１２７にも、同じ図形ＮＡ１が表示されている。
【0121】
また、図４のＡ－４では、第１の表示部であるＨＵＤ装置１２５によって、右折を促す矢印の図形ＮＡ１が表示されており、第２の表示部であるＣＩＤ１２７には、より情報量が多い地図の画像ＭＰが表示されている。また、矢印の図形ＮＡ１については、輝度を低下させたり、サイズをより縮小したりして、誘目性を低下させてもよい。
【0122】
図４のＡ－４の例では、応答結果の画像を、第１、第２の各表示部１２５、１２７に表示する場合において、情報量に差を設けたり、誘目性に差を設けたりしている。
【0123】
言い換えれば、第２の表示部であるＣＩＤ１２７により提示される情報量を、第１の表示部における情報量よりも増やしたり、あるいは、第２の表示部の画像の誘目性を、第１の表示部の画像の誘目性よりも高くしたりして、表示に差を設ける。
【0124】
第１の表示部としてのＨＵＤ装置１２５は、車両１の運行に必要な重要な情報の提示に使用されるため、応答結果の画像が表示領域を占有したり、あるいは、運転者の目線を誘目して運転時の注意を逸らしたりすることは避ける必要がある。
【0125】
一方、第２の表示部であるＣＩＤ１２７は、情報を統括的に管理するのに適しており、近年は、大型化、高精細化、マルチディスプレイ化等が進展している。これらの点を考慮すると、応答結果の画像の情報量が多い場合、あるいは、応答結果の画像の誘目性が高い場合でも、特に問題はないと考えられる。
【0126】
よって、例えば、図４のＡ－４のように、第１の表示部１２５にはナビゲーション用の矢印ＮＡ１を表示し、第２の表示部であるＣＩＤ１２７には、地図ＭＰを表示して情報量に差を設けたり、第１の表示部１２５の画像については、輝度を低くする、あるいはサイズを縮小する等によって誘目性を低下させて表示したりしてもよい。これにより、運転者５、及び乗員６の双方に見易い画像を提示でき、各々が煩わしさを感じること等が抑制され、よって、利便性が向上する。
【0127】
【0128】
図５のＡ－１では、運転者５が、「明日の天気を教えて」という質問（要求又は指示）を発出している。この質問内容は、車両１の運転操作には関係しない。
【0129】
この場合、制御部１１３は、応答結果の画像を、第２の表示部であるＣＩＤ１２７に表示させる、又は、第１、第２の表示部の何れにも表示させず、その代わりに音声出力部１０５を制御して音声で報知させる。
【0130】
【0131】
これにより、運転に関係ない情報が、車両１を運転している運転者５の視界に入って、車両１の安全運行の妨げになることが抑制される。また、運転に関係のない情報がＨＵＤ装置１２５に表示される心配がなくなり、よって、運転者５の安心感が損なわれることも抑制される。
【0132】
【0133】
図６のＡ－１では、乗員６が、「自宅までの道案内をお願い」という要求を発出している。この要求に対する応答結果は運転操作に関連する情報を含み、運転者５の運転操作に影響を与える。
【0134】
この点を考慮して、発話者が乗員６であっても、第１の表示部であるＨＵＤ装置１２５によって応答結果の画像を表示する。応答結果の画像が運転中の運転者５に提示されることで、運転者５は適切な運転操作を迅速に行うことができる。言い換えれば、応答結果を示す画像の情報が、車両１の運行に迅速に反映され、応答結果を有効に利用することができる。
【0135】
【0136】
但し、例えば乗員６が運転者５のナビゲータとして、車両１の運転に間接的に参加している場合もあり得る。このような場合は、その応答結果は、乗員６も知りたいと思うのが通常である。よって、このような場合には、第２の表示部にも応答結果の画像を表示するのが好ましい。この点については、次の図７にて説明する。
【0137】
【0138】
図７のＡ－２～Ａ－３は、結果的に、先に説明した図４のＡ－２～Ａ－３と同じとなる。言い換えれば、図７のＡ－２～Ａ－４の例では、応答結果の画像を、第１の表示部であるＨＵＤ装置１２５のみならず、第２の表示部であるＣＩＤ１２７にも表示している。例えば乗員６が運転者５のナビゲータとして、車両１の運転に間接的に参加している場合もあり得る。このような場合は、運転者５が発した運転関連の要求や指示であっても、その応答結果は、乗員も知りたいと思うのが通常である。このような場合等も考慮して、図７のＡ－２～Ａ－４では、第２の表示部であるＣＩＤ１２７にも、画像の表示を行う。
【0139】
図７のＡ－３では、第１の表示部であるＨＵＤ装置１２５によって地図ＭＰが表示され、第２の表示部であるＣＩＤ１２７には、応答結果の画像が表示済みであることを乗員６に伝える「表示済み」の表示がなされている。これにより、乗員６は、必要な情報が運転者５に提示されたことを確認でき、安心感を得ることができる。上記の「表示済み」という表示も、広義には、応答結果を示す画像に含めてもよい。
【0140】
また、図７のＡ－３では、第１の表示部であるＨＵＤ装置１２５によって、右折を促す矢印の図形ＮＡ１が表示されており、第２の表示部であるＣＩＤ１２７にも、同じ図形ＮＡ１が表示されている。
【0141】
また、図７のＡ－４では、第１の表示部であるＨＵＤ装置１２５によって、右折を促す矢印の図形ＮＡ１が表示されており、第２の表示部であるＣＩＤ１２７には、より情報量が多い地図の画像ＭＰが表示されている。また、矢印の図形ＮＡ１については、輝度を低下させたり、サイズをより縮小したりして、誘目性を低下させてもよい。この点は、図４の場合と同様である。
【0142】
【0143】
図８のＡ－１では、乗員６が、「今日は何の日か教えて」という質問（要求又は指示）を発出している。この質問内容は、車両１の運転操作には関係しない。
【0144】
この場合、制御部１１３は、応答結果の画像を、第２の表示部であるＣＩＤ１２７に表示させる、又は、第１、第２の表示部の何れにも表示させず、その代わりに音声出力部１０５を制御して音声で報知させる。
【0145】
【0146】
これにより、運転に関係ない情報が、車両１を運転している運転者５の視界に入って、車両１の安全運行の妨げになることが抑制される。また、運転に関係のない情報がＨＵＤ装置１２５に表示される心配がなくなり、よって、運転者５の安心感が損なわれることも抑制される。
【0147】
【0148】
運転者５、又は乗員６が、応答結果（回答）をどこに表示してほしいかを発話時に指示した場合は、応答結果を示す画像は、その指示に従って表示する。これによって、運転者５、又は乗員６の想定や希望と異なる場所に応答結果（回答）が表示されることがなく、したがって、運転者の期待が損なわれない。
【0149】
また、図９のＡ－１のように、運転者５、又は乗員６が、音声による報知を指示した場合は、応答結果は、その指示に従って音声によって出力（提示）される。したがって、運転者の期待が損なわれない。
【0150】
図９のＡ－１では、運転者５、又は乗員６が、「週末の東京の天気を音声で教えて」という要求（指示）を発出している。これに応答して、図９のＡ－２では、「週末の東京の天気は晴れ、気温は２０℃です」という回答が音声によって出力される。
【0151】
次に、図１０、図１１を参照する。図１０は、ＨＵＤ装置（第１の表示部）における表示の可否判定機能を有する制御部の構成例を示す図である。なお、図１０において、図１と共通する箇所には同じ符号を付している。図１１は、ＨＵＤ装置（第１の表示部）における表示の可否判定の結果、表示不可と判定された場合の、応答結果の画像の表示例を示す図である。
【0152】
図１０、図１１の例では、制御部１１３は、車両１の走行環境、車両１の運転状態、及び、運転者５の状態の少なくとも１つに基づいて、第１の表示部であるＨＵＤ装置１２５における応答結果の画像の表示の適否を判定し、不適切と判定された場合には、第１の表示部であるＨＵＤ装置１２５における表示を不可とする。
【0153】
第１の表示部としてのＨＵＤ装置１２５は、応答結果の表示のみならず、車両１の運行に関係する種々の情報の表示に利用される点を考慮し、車両１の走行環境、運転状態、及び運転者５の状態の少なくとも１つに起因して第１の表示部（ＨＵＤ装置１２５）に応答結果を表示することが不適当と判定される場合は、第１の表示部（ＨＵＤ装置１２５）への応答結果の表示を不可とする。
【0154】
例えば、車両１が交通量の多い交差点にさしかかっている場合や、急ブレーキや急ハンドルが必要となる緊急事態が生じている場合、あるいは、運転者５が長時間の運転で疲労が蓄積している場合等においては、第１の表示部（ＨＵＤ装置１２５）に応答結果の画像を表示することは、運転者５に情報の読み取りを強制することにもなりかねず、かえって運転者５の負担が増し、安全性の低下等につながる場合も想定され得る。
【0155】
そこで、このような場合は、応答結果の画像は、第２の表示部（ＣＩＤ１２７）に表示するか、あるいは、音声による回答に切り替える。これにより、運転者５は、車両１の運転に集中することができる。
【0156】
また、車両１の運転モードも、完全自動運転、完全自動運転ではない自動運転、運転支援を受ける手動運転、完全手動運転、というように種々のモードがあるため、各運転モードにおける運転者５の負荷、心理的な負担等を考慮する必要がある。例えば、運転者の負担が重い運転モードのときは、第１の表示部（ＨＵＤ装置１２５）における情報の提示は最小限に抑え、第２の表示部（ＣＩＤ１２７）を利用し、あるいは、音声による応答を利用するのが好ましい。
【0157】
図１０において、制御部１１３は、車両の走行環境検出部１１６と、車両の運転状態検出部１１７と、運転者の状態検出部１１８と、ＨＵＤ装置（第１の表示部）における表示の可否判定部１１９と、を有する。
【0158】
なお、運転者の状態検出部１１８は、運転者の情報取得部１１１から供給される運転者５の顔や目の動き、あるいは顔の動き等に着目して、運転者の状態（例えば、負荷が重い状態、疲労が蓄積している状態等）を判定する。
【0159】
ＨＵＤ装置（第１の表示部）における表示の可否判定部１１９は、各検出部１１６、１１７、１１８の少なくとも１つの検出結果に基づいて、ＨＵＤ装置（第１の表示部）１２７による、虚像表示領域ＰＳ１での表示の可否を判定する。不可の場合は、ＨＵＤ装置１２７における表示を禁止し、その代わりに、応答結果の画像を第２の表示部としてのＣＩＤ１２５に表示したり、あるいは、音声により応答結果を出力したりする。
【0160】
【0161】
【0162】
一方、図１１の例では、ＨＵＤ装置１２５による表示が禁止されたことから、図１１のＡ－２では、地図ＭＰは、第２の表示部であるＣＩＤ１２７に表示され、また、右折を促す矢印の図形ＮＡ１も、第２の表示部であるＣＩＤ１２７に表示される。
【0163】
【0164】
図１２の例では、第２の表示部であるＣＩＤ１２７のみに応答結果が表示された後、さらに音声による要求又は指示がなされた場合を想定する。この場合には、運転中の運転者５の負担にならないように、運転者の意思に反して、応答結果の画像が第１の表示部であるＨＵＤ装置１２５に表示されることを防止するのが好ましい。
【0165】
図１２のＡ－１では、運転者５が、「週末の天気を教えて」という問い（要求又は指示）を発出する。この問いは、車両の運行には関係しないため、先に図５のＡ－２で説明したように、応答結果の画像は、第２の表示部であるＣＩＤ１２７に表示される。図１２のＡ－２では、ＣＩＤ１２７に、「曇り後雨」という文字による回答が表示される。
【0166】
図１２のＡ－３では、第２の表示部であるＣＩＤ１２７に表示された「曇り後雨」という回答に関連して、さらに、運転者５が、「雨が降り出すのは何時？」という問いを発出している。
【0167】
この場合は、図１２のＡ－３に示すように、運転者５の期待に応えて第１の表示部であるＨＵＤ装置１２５に応答結果の画像（「午後３時」という文字画像）を表示する。また、今回の発話の元になった画像（「曇り後雨」の文字画像）は第２の表示部であるＣＩＤ１２７に表示されたものであり、この画像は乗員６も見ている可能性が高いため、乗員６も、今回の応答結果についても知りたいと望む場合が多いと考えられる。よって、その期待に応えるべく、第２の表示部であるＣＩＤ１２７にも、今回の応答結果の画像（「午後３時」の文字画像）を表示する。
【0168】
図１２のＡ－４では、乗員６が、「雨が降り出すのは何時？」という問いを発出している。この場合は、今回の応答結果の画像（「午後３時」という文字画像）は、第１の表示部であるＨＵＤ装置１２５による表示は禁止され、第２の表示部であるＣＩＤ１２７に表示される。これによって、今回の応答結果の画像が、運転者５の意思に反して第１の表示部であるＨＵＤ装置１２５によって表示されることが防止される。
【0169】
次に、図１３を参照する。図１３は、ＨＵＤ装置（第１の表示部）に表示された応答結果の画像に関連して、さらに音声による質問（要求又は指示）が発出された場合の、応答結果の画像の表示例を示す図である。なお、図１３に示す処理は、図１３単独の処理として取り扱ってもよく、また、先に説明した図１２の処理と併せて１つの一連の処理として取り扱ってもよい。
【0170】
図１３の例では、第１の表示部であるＨＵＤ装置１２５によって表示された画像について、さらなる要求や指示があった場合を想定する。
【0171】
図１３のＡ－１では、乗員６が、音声にて「自宅までの道案内をお願い」という要求（又は指示）を発出し、図１３のＡ－２では、第１の表示部であるＨＵＤ装置１２５によって、右折を促す矢印の図形の画像ＮＡ１が表示されている。
【0172】
図１３のＡ－３では、その画像ＮＡ１を見た運転者５が、「別のルートをお願い」という要求（又は指示）を発出している。この結果、今回の要求に対する応答結果を示す画像（ここでは、例えば、複数のルートを色分けした地図ＭＰの画像）が、第１の表示部であるＨＵＤ装置１２５によって表示される。運転者５は、自身が欲する情報を運転者５に近い位置の表示部にて確認できる。また、運転者５の情報の取得が容易化され、また、運転者への迅速な情報の提示も可能となる。
【0173】
図１３のＡ－４では、その画像ＮＡ１を見た乗員６が、「別のルートをお願い」という要求（又は指示）を発出している。
【0174】
図１３のＡ－４では、第２の表示部であるＣＩＤ１２７によって、今回の要求に対する応答結果を示す画像（ここでは、例えば、複数のルートを色分けした地図ＭＰの画像）が表示される。言い換えれば、乗員６の近くに位置する第２の表示部であるＣＩＤ１２７に画像を表示することで、必要な情報を、乗員６に、見易く、かつ迅速に提示することができる。
【0175】
一方、今回の発話の元になった画像（図１３のＡ－２における画像ＮＡ１）は第１の表示部であるＨＵＤ装置１２５によって表示されたものであり、運転者５も見ていた画像であるため、運転者５も、今回の応答結果についても知りたいと望む場合が多いと考えられる。よって、図１３のＡ－４では、第１の表示部であるＨＵＤ装置１２５によっても、今回の応答結果の画像ＭＰが表示される。これにより、運転者５の、今回の応答結果を知りたいという期待に応えることができる。よって、本発明の表示システムの利便性が向上する。
【0176】
【0177】
ステップＳ１では、運転者の状態を検出し、ステップＳ２では、車両の走行環境、運転状態等が検出される。
【0178】
ステップＳ３では、ステップＳ１、Ｓ２の各判定結果に基づいて、第１の表示部（ＨＵＤ装置等）による表示の可否を判定する。ステップＳ３でＹ（言い換えれば、表示可）であるときは、ステップＳ４に移行し、Ｎのときは、ステップＳ８に移行して、第２の表示部（ＣＩＤ等）に応答結果の画像を表示する。
【0179】
ステップＳ４では、音声出力の指定、又は表示部の指定が無いかを判定する。Ｙ（言い換えれば、指定無し）のときは、ステップＳ９に移行する。Ｎ（言い換えれば、指定有り）の場合は、ステップＳ５に移行する。
【0180】
ステップＳ５では、発話者による指定の内容が判定される。音声による回答（音声出力）が指定された場合は、その指定に従ってステップＳ６にて、音声による応答結果の報知が実行される。また、第１の表示部（ＨＵＤ装置やＷＳＤ等）による表示が指定された場合は、その指示に従ってステップＳ７にて、第１の表示部に応答結果を示す画像が表示される。また、第２の表示部（ＣＩＤ、センターコンソールモニタ、パッセンジャーディスプレイ等）による表示が指定された場合は、その指示に従ってステップＳ８にて、第２の表示部に応答結果を示す画像が表示される。
【0181】
ステップＳ９では、発話者は運転者であるか、乗員であるかが判定される。運転者である場合は、ステップＳ１０に移行し、乗員である場合はステップＳ１２に移行する。
【0182】
ステップＳ１０では、発話による要求又は指示の内容（言い換えれば、応答結果の画像）に、運転操作に関連する情報が含まれるか否かが判定される。Ｙのときは、ステップＳ１１にて、第１の表示部に応答結果の画像を表示するか、あるいは、第１、第２の各表示部に応答結果の画像を表示する。Ｎのときは、ステップＳ１４にて、第２の表示部に応答結果の画像を表示する。
【0183】
ステップＳ１２では、発話による要求又は指示の内容（言い換えれば、応答結果の画像）に、運転操作に関連する情報が含まれるか否かが判定される。Ｙのときは、ステップＳ１３にて、第１の表示部に応答結果の画像を表示するか、あるいは、第１、第２の各表示部に応答結果の画像を表示する。Ｎのときは、ステップＳ１４にて、第２の表示部に応答結果の画像を表示する。
【0184】
次に、図１５を参照する。図１５は、図１２に対応する、表示済みの情報に関する要求、応答に対する回答（応答結果の画像）の表示処理の一例を示すフローチャートである。図１５は、先に説明した図１２の表示処理に対応する。
【0185】
ステップＳ２０では、第２の表示部による表示に関係する要求や指示であるかが判定される。Ｙのときは、ステップＳ２１に移行し、Ｎのときは終了する。
【0186】
ステップＳ２１では、発話者は運転者であるか、乗員であるかが判定される。運転者である場合は、ステップＳ２２に移行し、乗員である場合はステップＳ２３に移行する。
【0187】
ステップＳ２２では、第１の表示部に応答結果の画像を表示するか、あるいは、第１、第２の各表示部に応答結果の画像を表示する。ステップＳ２３では、第２の表示部に応答結果の画像を表示する。
【0188】
次に、図１６を参照する。図１６は、図１３に対応する、表示済みの情報に関する要求、応答に対する回答（応答結果の画像）の表示処理の一例を示すフローチャートである。図１６は、先に説明した図１３の表示処理に対応する。
【0189】
ステップＳ３０では、第１の表示部による表示に関係する要求や指示であるかが判定される。Ｙのときは、ステップＳ３１に移行し、Ｎのときは終了する。
【0190】
ステップＳ３１では、発話者は運転者であるか、乗員であるかが判定される。運転者である場合は、ステップＳ３２に移行し、乗員である場合はステップＳ３３に移行する。
【0191】
ステップＳ３２では、第１の表示部に応答結果の画像を表示する。ステップＳ３３では、第２の表示部に応答結果の画像を表示するか、あるいは、第１、第２の各表示部に応答結果の画像を表示する。
【0192】
以上説明したように、本発明の実施形態によれば、運転者又は乗員が音声による要求又は指示を発することで、必要な情報を、画像又は音声で容易に、かつ車両運行の安全性を低下させずに確認できるようになる。
【0193】
運転者や乗員の音声による要求や指示に対して、車両側が音声で応答する場合は、その応答結果の音声は、運転者及び乗員の双方が聞くことができ、双方が情報を得る機会が与えられる。
【0194】
これに対して、運転者や乗員の音声による要求や指示に対して、車両側が表示で応答する場合、例えば運転者用のＨＵＤ装置やＷＳＤによる表示は、運転者は見ることができるが、助手席に着座している乗員は見ることができない、といった特殊な事情が存在する。
【0195】
また、ＨＵＤ装置等は、車両運行に関係する種々の情報を常時、表示できるようにしておく必要があり、また、表示領域もあまり広くとることができない可能性もあり、制約が大きい。
【0196】
一方、ＣＩＤ等は、近年、大型化、高精細化、マルチディスプレイ化が進展しており、今後もこの傾向が続くと考えられるため、情報量が多少多くても、それらの情報を一括して表示できる可能性が高い。
【0197】
但し、ＣＩＤ等に表示される画像は、乗員には見易いが、運転者は、目線を外さないと見えない場合もある。運転者が車両の運行中に目線を外すことは、前方不注意となる可能性もあり、よって、車両の操作に必要な情報等の表示には適さない可能性もある。
【0198】
また、例えば、運転者又は乗員（発話者）が音声によって質問を発出した場合、その音声は、発話者以外の者にも聞こえるため、発話者以外の者にも、その質問に対する回答を知りたいという期待が生じる場合がある。その期待が裏切られた場合は、発話者以外の者は、気分を害したり、システムに対して不満を抱いたりする場合もあり得る。
【0199】
一方、運転者や乗員による要求や指示が極めて個人的なものであったり、あるいは、車両の運行に関係のないものであったりする場合は、発話者以外の者は、特に車両側からの回答を知る必要がないと判断する場合もある。
【0200】
このような場合にも、回答を発話者以外の者にも見えるように表示すると、発話者以外の者が煩わしく感じて、気分を害する場合もあり、また、車両の運行の安全性が阻害される場合もある。
【0201】
また、音声による要求や指示は、車両の運転状況や周囲の状況等に関係なく、いつでも発出可能である。応答結果の表示は車両の運行に影響を及ぼすため、単に車両側が質問に回答すればよい、というものではなく、常に、その内容や車両の状況等を考慮して、適切な箇所の表示部を選択し、場合によっては、音声での回答に切り替えるといった慎重さも求められる。
【0202】
このように、音声の要求や指示に対して、車両側が、表示（又は音声）によって回答するシステムを採用する場合、上記のような種々の事情を考慮して、適切に応答結果を表示しないと、実用価値の高いシステムは実現されない。
【0203】
言い換えれば、上記のような種々の事情を考慮した適切な対応がなされない場合は、運転者及び乗員の回答を知りたいという期待が裏切られたり、あるいは、知る必要のない回答の情報が自身の近くにある表示部に表示されて煩わしく感じたり、気分を害されたり、車両運行の安全性が低下したりする場合もあり、システムの実用的価値が乏しくなる。
【0204】
但し、車両側の回答（応答）は、要求や指示がなされてから、できるだけ早いタイミングで表示される必要があり、例えば、発話内容を詳細に分析して、情報を表示する表示部を、時間をかけて選択するといったことは、現実には困難である。
【0205】
このように、車両の状況、あるいは運転者や乗員の状況に応じて、適切な表示部が選択され、また迅速に回答が表示される、ということが要求される。従来のシステムでは、このような高度な要求には応えることができなかった。
【0206】
上記の本発明の実施形態によれば、要求又は指示の主体が、運転者であるか、乗員であるか、という情報と、応答結果の画像が、車両の運転操作に関連する情報を含むか否か、という点を考慮して、簡単な処理にて迅速に、応答結果の画像を表示すべき表示部を決定することができる。また、必要に応じて、表示ではなく音声を用いて回答したり、あるいは、表示する画像の情報量や誘目性（視認性）を、各表示部の特性等を考慮して、適宜、調整したりするといった応用も可能である。
【0207】
これによって、音声による要求や指示に応答可能な、実用価値の高い表示システムを実現することができる。
例えば、本発明の実施形態によれば、運転者がＣＩＤ等の操作をすることなく、運転に集中した状態を維持したまま、音声の指示によって必要な情報を、ＨＵＤ装置の表示画像により得ることができる。
また、例えば、ナビゲーション情報等の運転操作に関連する情報を、直接ＨＵＤ装置等に表示することで、余計な手間を取らずに迅速に、得られた情報を運転操作に反映することができる。
また、運転操作に関連しない情報は、ＨＵＤ装置には表示しないことで、運転に関係ない情報が運転視界に入って妨げになり、運転時の安心感が損なわれることが抑制される。
また、運転者や乗員（発話者）が、回答をどこに表示してほしいのか、あるいは、音声による出力を希望するのかを事前に指示し、運転支援システム（音声アシスタントを含めてもよい）がそれに従うことで、発話者の想定や希望と異なる場所に回答が表示されることの煩わしさを抑制することができる。
また、運転者以外の乗員による指示の場合でも、運転操作に関連する情報はＨＵＤ装置によって表示することで、運転者は、ＣＩＤ等の他の表示器を操作してＨＵＤ装置に画像を表示させるといった手間を省くことができる。よって、得られた情報を、迅速に運転操作に反映することができる。
また、運転者以外の乗員による指示の場合、運転操作に関連しない情報はＨＵＤ装置には表示せず、他のＣＩＤ等の表示デバイスに表示することで、運転者が欲しない情報がＨＵＤ装置に表示され、運転視界の妨げになることが抑制される。
一方、乗員にとって見やすい、近い表示デバイス（ＣＩＤ等）に回答が表示されることで、乗員は容易に情報を得ることができ、システムを快適に利用することができる。
このように、種々の効果をもつ、実用性のある音声応答機能をもつ表示システムを構築することができる。また、本発明の表示制御装置によれば、簡単な処理にて、上記のような種々の効果を得られるため、コストを押さえつつ、質問に対して迅速に、的確な応答を得ることが可能な利便性の高い表示システムを実現できる。
例えば、本発明の実施形態によれば、運転者がＣＩＤ等の操作をすることなく、運転に集中した状態を維持したまま、音声の指示によって必要な情報を、ＨＵＤ装置の表示画像により得ることができる。
また、例えば、ナビゲーション情報等の運転操作に関連する情報を、直接ＨＵＤ装置等に表示することで、余計な手間を取らずに迅速に、得られた情報を運転操作に反映することができる。
また、運転操作に関連しない情報は、ＨＵＤ装置には表示しないことで、運転に関係ない情報が運転視界に入って妨げになり、運転時の安心感が損なわれることが抑制される。
また、運転者や乗員（発話者）が、回答をどこに表示してほしいのか、あるいは、音声による出力を希望するのかを事前に指示し、運転支援システム（音声アシスタントを含めてもよい）がそれに従うことで、発話者の想定や希望と異なる場所に回答が表示されることの煩わしさを抑制することができる。
また、運転者以外の乗員による指示の場合でも、運転操作に関連する情報はＨＵＤ装置によって表示することで、運転者は、ＣＩＤ等の他の表示器を操作してＨＵＤ装置に画像を表示させるといった手間を省くことができる。よって、得られた情報を、迅速に運転操作に反映することができる。
また、運転者以外の乗員による指示の場合、運転操作に関連しない情報はＨＵＤ装置には表示せず、他のＣＩＤ等の表示デバイスに表示することで、運転者が欲しない情報がＨＵＤ装置に表示され、運転視界の妨げになることが抑制される。
一方、乗員にとって見やすい、近い表示デバイス（ＣＩＤ等）に回答が表示されることで、乗員は容易に情報を得ることができ、システムを快適に利用することができる。
このように、種々の効果をもつ、実用性のある音声応答機能をもつ表示システムを構築することができる。また、本発明の表示制御装置によれば、簡単な処理にて、上記のような種々の効果を得られるため、コストを押さえつつ、質問に対して迅速に、的確な応答を得ることが可能な利便性の高い表示システムを実現できる。
【0208】
本発明は種々変形、応用が可能である。例えば、運転者と乗員の過去の質問状況等を考慮して、乗員が、運転者のナビゲータとして運転に参加しているか否かをシステムが判定し、表示部の決定の際に、その情報を活用してもよい。
【0209】
また、要求や指示を、より多様な観点から、例えば多様なキーワード検索等によって、より詳細に分析し、その分析結果を、表示部の決定に利用してもよい。
【0210】
また、使用できる表示部は、上記のものに限定されるものではなく、表示部としては、種々の表示装置を利用可能である。例えば、車両の左右方向に長く延在するワイドモニターに、複数の画面を設けて、画面毎に画像を表示できるようにしてもよい。この場合は、画面毎に、１つの表示部があるものとみなすことができる。
【0211】
また、本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語についても、広義に解釈するものとする。また、ＨＵＤ装置、表示器装置、表示部、表示システム等には、シミュレータ（例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等）として使用されるものも含まれるものとする。
【0212】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【0213】
１・・・車両（自車両）、２・・・ウインドシールド（被投影部材）、４・・・ステアリングホイール、５・・・運転者（操縦者）、６・・・乗員（搭乗者）、１０・・・運転支援システム（自動運転システムであってもよい）、１２・・・情報収集部、１３・・・視線位置検出部、１４・・・ＡＩモジュール（運転支援制御部）、１５・・・音声認識エンジン、１６・・・各種データベース、１７・・・運転状態監視部、１８・・・無線通信部、１０２・・・表示制御装置（プロセッサ）、１０４・・・統括制御部、１０５・・・音声出力部、１０７・・・表示器制御部、１０８・・・ＨＵＤ及びＷＳＤ制御部、１０９・・・車内プロジェクタ制御部、１１０・・・画像解析部、１１１・・・運転者（及び乗員）の状態判定部、１１２・・・車内プロジェクタ、１１４・・・撮像カメラ、１１５・・・車両の走行環境検出部、１１７・・・車両の運転状態検出部、１１８・・・運転者の状態検出部、１１９・・・ＨＵＤ装置（第１の表示部）における表示の可否判定部、１２０・・・ダッシュボード、１２３・・・光学系を介さずにウインドシールド又はスクリーンに投影する直接投影ディスプレイ（ＷＳＤ）１２５・・・ＨＵＤ装置（第１の表示部）、１２７・・・センターインフォメーションディスプレイ（ＣＩＤ：第２の表示部）、１２８・・・パッセンジャーディスプレイ、１４０・・・音声アシスタント（車両アシスタント）、１４２、１４４・・・指向性マイク、１４６・・・スピーカ、ＰＳ・・・虚像表示面、Ｚ１、Ｚ２・・・虚像表示領域、Ｖ１、Ｖ２・・・虚像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】