IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -表示装置 図1
  • -表示装置 図2
  • -表示装置 図3
  • -表示装置 図4
  • -表示装置 図5
  • -表示装置 図6
  • -表示装置 図7
  • -表示装置 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】表示装置
(51)【国際特許分類】
   G06F 3/01 20060101AFI20231017BHJP
   G06F 3/04842 20220101ALI20231017BHJP
   G06F 3/04812 20220101ALI20231017BHJP
   G06F 3/0346 20130101ALI20231017BHJP
   B60K 35/00 20060101ALI20231017BHJP
   G09G 5/00 20060101ALI20231017BHJP
   G09G 5/08 20060101ALI20231017BHJP
【FI】
G06F3/01 510
G06F3/04842
G06F3/04812
G06F3/0346 423
B60K35/00 A
B60K35/00 Z
G09G5/00 510A
G09G5/00 510V
G09G5/00 510H
G09G5/00 550C
G09G5/00 550B
G09G5/08 J
G09G5/00 530M
G09G5/00 530D
【請求項の数】 5
(21)【出願番号】P 2020539433
(86)(22)【出願日】2019-08-26
(86)【国際出願番号】 JP2019033222
(87)【国際公開番号】W WO2020045328
(87)【国際公開日】2020-03-05
【審査請求日】2022-06-20
(31)【優先権主張番号】P 2018158416
(32)【優先日】2018-08-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100195648
【弁理士】
【氏名又は名称】小林 悠太
(74)【代理人】
【識別番号】100175019
【弁理士】
【氏名又は名称】白井 健朗
(74)【代理人】
【識別番号】100104329
【弁理士】
【氏名又は名称】原田 卓治
(72)【発明者】
【氏名】的場 成美
(72)【発明者】
【氏名】佐藤 匠
【審査官】木村 慎太郎
(56)【参考文献】
【文献】特開2013-143012(JP,A)
【文献】特開2013-120447(JP,A)
【文献】特開2016-157220(JP,A)
【文献】特開2015-043115(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/04842
G06F 3/04812
G06F 3/0346
B60K 35/00
G09G 5/00
G09G 5/08
(57)【特許請求の範囲】
【請求項1】
車両に搭載される表示装置であって、
画像を表示し、互いに異なる位置にある複数の表示部と、
前記複数の表示部の各々に関する操作を可能とする操作部と、
前記操作部に対してなされた前記操作を受け付けるとともに、前記複数の表示部の表示制御を行う制御部と、を備え、
前記複数の表示部は、前記車両の運転者から見て前記車両の前方に虚像として画像を表示する表示部を含み、
前記制御部は、前記複数の表示部のいずれかが一定期間以上前記運転者に視認されている視認状態であるか否かを特定可能であり、
前記複数の表示部のうち前記視認状態である表示部を特定すると、当該表示部に関する操作が可能であることを示すカーソル画像を当該表示部に表示し、
前記複数の表示部は、前記虚像として画像を表示する第1表示部と、第2表示部とを含み、
前記制御部は、前記車両から警告情報を取得した場合、前記第1表示部に前記警告情報を報知するための第1警告画像を表示するとともに、前記第2表示部に前記警告情報を報知するための第2警告画像を表示し、
前記第1警告画像又は前記第2警告画像を強調するための画像として、前記カーソル画像と同じ態様の強調画像を前記第1表示部と前記第2表示部との一方から他方へと移動するように表示する、
表示装置。
【請求項2】
前記制御部は、前記複数の表示部のうち前記カーソル画像が表示されている表示部が前記視認状態でないと特定すると、当該表示部から前記カーソル画像を消去する、
請求項1に記載の表示装置。
【請求項3】
前記制御部は、前記複数の表示部のうち前記視認状態である表示部を特定する際に、当該表示部が複数のコンテンツ画像を表示している場合には前記複数のコンテンツ画像のうちいずれのコンテンツ画像が前記視認状態であることを特定可能であり、
前記視認状態であることを特定したコンテンツ画像に応じた位置に、前記カーソル画像として、当該コンテンツ画像に関する操作が可能であることを示す画像を表示する、
請求項1又は2に記載の表示装置。
【請求項4】
前記制御部は、前記警告情報を取得した場合、前記第1表示部に前記第1警告画像を表示するかあるいは前記第2表示部に前記第2警告画像を表示し、
前記強調画像を前記第1警告画像又は前記第2警告画像に応じた位置に表示する、
請求項1乃至3のいずれか1項に記載の表示装置。
【請求項5】
前記制御部は、前記第1警告画像又は前記第2警告画像を表示すると、表示されている前記カーソル画像を消去し、前記強調画像を前記第1警告画像又は前記第2警告画像に応じた位置に表示する、
請求項4に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置に関する。
【背景技術】
【0002】
従来の表示装置として、特許文献1には、車両に搭載されたナビゲーションシステムが開示されている。また、特許文献1には、ナビゲーションシステムを含む複数の車載機器で共通のスイッチを備え、車両の乗員の視線が複数の車載機器のいずれかを指向している場合に、当該視線が指向する車載機器がスイッチで操作可能になったことをパイロットランプにて乗員に報知する装置が開示されている。この装置により、乗員は操作したい車載機器を手を使わずに視線で選択し、共通のスイッチにより操作することが可能となる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2011-957号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に係る装置では、車両の運転者が操作対象を視線で選択する際に、視線が運転中に注視すべき車両の前方風景から逸れやすい。
【0005】
本発明は、上記実情に鑑みてなされたものであり、運転中においても安全に操作対象を選択することができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る表示装置は、
車両に搭載される表示装置であって、
画像を表示し、互いに異なる位置にある複数の表示部と、
前記複数の表示部の各々に関する操作を可能とする操作部と、
前記操作部に対してなされた前記操作を受け付けるとともに、前記複数の表示部の表示制御を行う制御部と、を備え、
前記複数の表示部は、前記車両の運転者から見て前記車両の前方に虚像として画像を表示する表示部を含み、
前記制御部は、前記複数の表示部のいずれかが一定期間以上前記運転者に視認されている視認状態であるか否かを特定可能であり、
前記複数の表示部のうち前記視認状態である表示部を特定すると、当該表示部に関する操作が可能であることを示すカーソル画像を当該表示部に表示し、
前記複数の表示部は、前記虚像として画像を表示する第1表示部と、第2表示部とを含み、
前記制御部は、前記車両から警告情報を取得した場合、前記第1表示部に前記警告情報を報知するための第1警告画像を表示するとともに、前記第2表示部に前記警告情報を報知するための第2警告画像を表示し、
前記第1警告画像又は前記第2警告画像を強調するための画像として、前記カーソル画像と同じ態様の強調画像を前記第1表示部と前記第2表示部との一方から他方へと移動するように表示する。
【発明の効果】
【0007】
本発明によれば、運転中においても安全に操作対象を選択することができる。
【図面の簡単な説明】
【0008】
図1】本発明の一実施形態に係る表示装置の車両への搭載態様を説明するための図である。
図2】本発明の一実施形態に係る表示装置が備えるヘッドアップディスプレイの表示態様を説明するための図である。
図3】本発明の一実施形態に係る表示装置を主に示すブロック図である。
図4】本発明の一実施形態に係る選択制御処理のフローチャートである。
図5】(a)~(c)は、カーソル画像の表示例を説明するための図である。
図6】(a)及び(b)は、カーソル画像の表示例を説明するための図である。
図7】(a)~(c)は、警告処理実行時の動作例を説明するための図である。
図8】(a)~(d)は、変形例に係る警告処理実行時の動作例を説明するための図である。
【発明を実施するための形態】
【0009】
本発明の一実施形態に係る表示装置について図面を参照して説明する。
【0010】
本実施形態に係る表示装置100は、図1に示すように、車両1のダッシュボード2の内部及び周辺に設けられた第1表示部11及び第2表示部12(以下、纏めて「複数の表示部」とも言う。)を備え、車両1に関する情報(以下、「車両情報」とも言う。)だけでなく、車両情報以外の情報も統合的に運転者5(図2参照)に報知する。なお、車両情報は、車両1自体の情報だけでなく、車両1の運行に関連した車両1の外部の情報も含む。
【0011】
表示装置100は、図3に示すように、HUD(Head-Up Display)21と、メータ22と、制御装置30と、を備える。
【0012】
第1表示部11はHUD21により、第2表示部12はメータ22により実現される。第1表示部11と第2表示部12とは、図1に示すように、互いに異なる位置にあり、具体的には、運転者5から見ての上下方向において間隔を空けて隣り合っている。
【0013】
HUD21は、図2に示すように、ダッシュボード2の内部に設けられ、コンバイナ処理されたフロントガラス4に向けて表示光Lを射出する。フロントガラス4で反射した表示光Lは、運転者5側へと向かう。運転者5は、視点をアイボックスE内におくことで、フロントガラス4の前方に、表示光Lが表す画像を虚像Vとして視認することができる。つまり、HUD装置100は、フロントガラス4の前方位置に虚像Vを表示する。これにより、運転者5は、虚像Vを風景と重畳させて観察することができる。
【0014】
ここで、本明細書における第1表示部11は、図2に示すように、アイボックスEと虚像Vの表示位置との間における任意の部分を示すものとする。また、HUD21が虚像Vを表示することを「第1表示部11に画像を表示する」とも表現する。アイボックスE及び虚像Vの表示位置は、後述のLCD21aの表示面の大きさや、HUD内の各種の鏡とコンバイナ処理されたフロントガラス4によって構成される光学系に基づいて予め設定される。
【0015】
HUD21は、図3に示すように、LCD(Liquid Crystal Display)21aと、LCD21aを背後から照明する光源21b(バックライト)と、図示しない平面鏡及び凹面鏡からなる反射部とを有して構成される。例えば、LCD21aはTFT(Thin Film Transistor)型のものであり、光源21bはLED(Light Emitting Diode)から構成されている。
【0016】
HUD21は、制御装置30の制御の下で、光源21bに照明されたLCD21aが画像を表示することにより表示光Lを生成する。生成した表示光Lは、反射部で反射した後に、フロントガラス4に向けて射出される。これにより、前記のように、第1表示部11に車両情報を示す画像を表示することが可能となる。なお、HUD21が画像により報知する内容は、メータ22による報知内容の一部と重複していてもよい。
【0017】
メータ22は、図1に示すように、運転者5から見てステアリングホイール3の前方に位置し、車速、エンジン回転数、総走行距離、区間走行距離などの車両1に関する計測量を報知する。つまり、メータ22は、スピードメータ、タコメータ、オドメータ、トリップメータなどを示す画像を表示可能となっている。メータ22は、図3に示すように、LCD22aと、LCD22aを背後から照明する光源22b(バックライト)を含んで構成される。例えば、LCD22aはTFT型のものであり、光源22bはLEDから構成されている。メータ22は、制御装置30の制御の下で、前記計測量を示す画像を第2表示部12に表示する。つまり、LCD22aのうち、画像の表示可能領域が第2表示部12となる。
【0018】
制御装置30は、表示装置100の全体動作を制御するマイクロコンピュータからなり、図3に示すように、制御部31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33とを備える。また、制御装置30は、図示しない構成として、駆動回路や、車両1内の各種システムと通信を行うための入出力回路を備える。また、制御装置30は、内蔵のタイマにより適宜計時を行う。
【0019】
ROM32は、動作プログラムや各種の画像データを予め記憶する。RAM33は、各種の演算結果などを一時的に記憶する。制御部31は、ROM32に記憶された動作プログラムを実行するCPU(Central Processing Unit)31aと、CPUと協働して画像処理を実行するGDC(Graphics Display Controller)31bとを備える。GDC31bは、例えば、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等から構成されている。特に、ROM32には、後述する選択制御処理を実行するための動作プログラムが格納されている。また、制御装置30や制御部31の構成は、以下に説明する機能を充足する限りにおいては任意である。
【0020】
制御部31は、HUD21及びメータ22のそれぞれを駆動制御する。例えば、CPU31aは、HUD21の光源21b及びメータ22の光源22bのそれぞれを駆動制御する。また、GDC31bは、CPU31aと協働して、HUD21のLCD21a及びメータ22のLCD22aのそれぞれを駆動制御する。
【0021】
制御部31のCPU31aは、GDC31bと協働して、ROM32に記憶された各種の画像データに基づき、複数の表示部の各々の表示制御を行う。GDC31bは、CPU31aからの表示制御指令に基づき、複数の表示部の各々の表示動作の制御内容を決定する。GDC31bは、複数の表示部の各々に表示する1画面を構成するために必要な画像パーツデータをROM32から読み込み、RAM33へ転送する。また、GDC31bは、RAM33を使って、画像パーツデータや表示装置100の外部から通信により受け取った各種の画像データを元に、1画面分の絵データを作成する。そして、GDC31bは、RAM33で1画面分の絵データを完成させたところで、画像の更新タイミングに合わせて、複数の表示部の各々に転送する。これにより、複数の表示部の各々に応じた画像が表示される。また、制御部31は、後述するように、操作部70に対してなされた操作を受け付け、受け付けた操作に応じて表示動作を制御する。
【0022】
制御部31のCPU31aは、車両1に搭載された状況解析部40、ECU(Electronic Control Unit)50、視線検出部60、操作部70の各々と通信を行う。当該通信としては、例えば、CAN(Controller Area Network)、Ethernet、MOST、LVDS(Low Voltage Differential Signaling)などの通信方式が適用可能である。
【0023】
状況解析部40は、車両1(以下、自車1とも言う。)自体の状況や、自車1の周辺状況を示すデータを制御部31やECU50へ出力する。状況解析部40は、車両1とワイヤレスネットワークとの通信(V2N:Vehicle To cellular Network)、車両1と他車両との通信(V2V:Vehicle To Vehicle)、車両1と歩行者との通信(V2P:Vehicle To Pedestrian)、車両1と路側のインフラとの通信(V2I:Vehicle To roadside Infrastructure)を可能とする各種モジュールを備える。つまり、状況解析部40は、車両1と車両1の外部との間でV2X(Vehicle To Everything)による通信を可能とする。
【0024】
例えば、(i)状況解析部40は、WAN(Wide Area Network)に直接アクセスできる通信モジュール、WANにアクセス可能な外部装置(モバイルルータなど)や公衆無線LAN(Local Area Network)のアクセスポイント等と通信するための通信モジュールなどを備え、インターネット通信を行う。また、状況解析部40は、人工衛星などから受信したGPS(Global Positioning System)信号に基づいて車両1の位置を算出するGPSコントローラを備える。これらの構成により、V2Nによる通信を可能とする。(ii)また、状況解析部40は、所定の無線通信規格に準拠した無線通信モジュールを備え、V2VやV2Pによる通信を行う。(iii)また、状況解析部40は、路側のインフラと無線通信する通信装置を有し、例えば、安全運転支援システム(DSSS:Driving Safety Support Systems)の基地局から、インフラストラクチャーとして設置された路側無線装置を介して、交通情報を取得する。これによりV2Iによる通信が可能となる。
【0025】
また、状況解析部40は、車両1の外部を撮像するステレオカメラや、ソナー、超音波センサ、ミリ波レーダからなる物体検出手段を備え、車両1周囲の危険を検知し、検知した危険を警告情報としてCPU31aへ送信する。例えば、制御部31は、HUD21に対応した第1表示部11に、警告情報を報知するための画像を警告対象の物体(車両1の前方車両や歩行者など)に重畳させて表示する。なお、CPU31aへ送信される警告情報は、V2NやV2I通信により取得可能な交通情報や、V2V通信により取得可能な接近車両情報や、V2P通信により取得可能な歩行者情報などに基づくものであってもよい。
【0026】
ECU50は、状況解析部40、視線検出部60及び操作部70の各々からの情報に基づいて、車両1の各部を制御する。例えば、ECU50は、車両1の現在の車速を示す車速情報をCPU31aへ送信する。なお、CPU31aは、車速センサから車速情報を取得してもよい。また、ECU50は、エンジン回転数などの計測量や、車両1自体の警告情報(燃料低下、エンジン油圧異常、タイヤ空気圧異常など)や、その他の車両情報をCPU31aへ送信する。ECU50から取得した情報に基づいて、CPU31aは、GDC31bを介して、メータ22に車速、エンジン回転数、各種警告などの車両情報を表示させる。なお、CPU31aは、当該車両情報の少なくとも一部をHUD21に対応する第1表示部11に表示させてもよい。
【0027】
視線検出部60は、例えば、運転者5の顔を撮像し、撮像データを生成する撮像手段(例えばステレオカメラ)や、撮像データの画像処理を行う画像処理部からなり、運転者5の視線方向を検出する。例えば、視線検出部60は、パタンマッチング法などの公知の画像解析法により運転者5の視線方向を検出し、検出結果を示す検出データをCPU31aに送信する。CPU31aは、予めROM32内に格納された、視線方向と、複数の表示部(第1表示部11及び第2表示部12)の各々の位置や、所定表示部内に表示されている後述のコンテンツ画像の表示位置とが対応付けられたテーブルデータを参照し、現在、運転者5がどの対象を視認しているかを特定する。つまり、CPU31aは、所定の対象が運転者5に視認されている視認状態であるか、視認されていない非視認状態であるかを特定する。なお、視線方向は、例えば、運転者5の両目のいずれかに基づいて検出されてもよいし、両目の重心として検出されてもよい。CPU31aによって、運転者5がある対象を視認しているか否かを特定することができれば、検出データは任意である。また、視線検出部60は、運転者5の顔の向きを、公知の画像解析法により検出し、検出データとしてもよい。この場合、CPU31aは、予めROM32内に格納された、顔の向きと、複数の対象の各々の位置とが対応付けられたテーブルデータを参照し、現在、運転者5がある対象を視認しているか否かを特定すればよい。
【0028】
また、視線検出部60は、運転者5が頭部に装着したウェアラブルデバイスに搭載された撮像手段や、眼電位センサや、モーションセンサであってもよい。撮像手段による撮像データにより、前述と同様に視線方向や顔の向きを検出可能である。また、眼電位センサは、測定した眼電位に基づいて運転者5の視線方向を検出する。また、モーションセンサは、例えば、加速度センサ、ジャイロセンサ及び地磁気センサのうち1つ又は複数の組み合わせからなり、運転者5の顔の向きを検出する。
【0029】
なお、CPU31aが、撮像手段や各種センサからの信号に基づき、運転者5の視線方向や顔の向きを検出する構成としてもよい。CPU31aが、ある対象が運転者5に視認されている視認状態であるか、視認されていない非視認状態であるかを特定することができれば、運転者5の視線方向や顔の向きの検出手法及び検出構成は任意である。
【0030】
操作部70は、ステアリングホイール3に設けられたステアリングスイッチやタッチパネルからなり、操作部70に対してなされた運転者5による操作を検出し、当該検出結果をECU50や制御部31に出力する。後述する選択制御処理によって運転者5は自身の視線移動に応じて表示されるカーソル画像(報知画像)Cによって操作したい対象を選択し、選択された対象を操作部70によって操作することができる。操作部70は、複数の表示部の各々に対する操作を検出する。HUD21に対応する第1表示部11に対する操作としては、例えば、虚像Vとして表示される地図情報や経路案内情報の設定操作や選択操作などである。メータ22に対応する第2表示部12に対する操作としては、例えば、オドメータの確認操作、トリップメータの設定操作、メータ22の表示モードの設定操作などである。また、第1表示部11及び第2表示部12に対する操作は、後述のエンタメ情報を表示する際の再生操作や選択操作などを含んでいてもよい。なお、各表示部における表示内容や、各表示部に対する操作の種類は、これらの例に限定されるものではなく、任意である。
【0031】
また、車両1は、図示しない構成として、娯楽情報を表示装置100に表示するためのエンターテインメント(エンタメ)システムや、音声入出力部を有する。エンタメシステムは、映像・音楽再生部を有して構成される。エンタメシステムは、先に述べた状況解析部40の一部を利用して外部との通信を実行してもよい。例えば、エンタメシステムは、映像・音楽再生部として、内蔵メモリ、CD(Compact Disc)、DVD(Digital Video Disk)などの記録媒体に記録された映像や音楽を再生可能であるとともに、映像や音楽に係る情報(作品タイトルや作者名など)を、娯楽情報として制御部31に供給する。また、映像・音楽再生部は、音声入出力部のスピーカから再生した音声を出力する。音声入出力部は、マイク、スピーカ等からなる。音声入出力部は、CPU31aからの音声出力指令に応じてスピーカから所定の音声を出力する。また、音声入出力部は、マイクに入力された音声に応じた入力音声データをCPU31aへ送信する。例えば、CPU31aは、受信した入力音声データに応じた指示操作を受け付け、受け付けた指示操作に従って、複数の表示部の各々の表示画像を切り替える等の制御を行ってもよい。このように、音声入出力部のうちの音声入力部がステアリングスイッチなどの代わりに操作部70として機能してもよい。
【0032】
(選択制御処理)
続いて、制御部31が実行する選択制御処理について、図4を参照して説明する。選択制御処理は、例えば、表示装置100の起動中において継続して実行される。表示装置100は、例えば、車両1のイグニッションのオンに伴い起動する。
【0033】
まず、制御部31は、視線検出部60からの検出データに基づき、所定表示部(第1表示部11又は第2表示部12)が一定期間(例えば予めROM32に定められた、数秒といった期間)以上、運転者5によって視認されている視認状態であるか否かを判別する(ステップS1)。
【0034】
所定表示部が視認状態である場合(ステップS1;Yes)、制御部31は、当該所定表示部に、当該所定表示部に関する操作が可能であることを示すカーソル画像Cを表示する(ステップS2)。これにより、第2表示部12が視認状態である場合は、図1に示すように、第2表示部12に前記所定表示部に関する操作が可能であることを報知する報知画像であるカーソル画像Cが表示される。一方、第1表示部11が視認状態である場合は、図5(a)に示すようにカーソル画像Cが表示される。つまり、運転者5は、自身の視線移動に応じて表示されるカーソル画像Cによって、操作したい対象を選択することができる。
【0035】
制御部31は、第1表示部11にカーソル画像Cが表示されている際に、操作部70を介して運転者5の操作を受け付けると、当該操作に応じた制御(例えば、虚像Vとして表示される地図情報や経路案内情報の設定や選択など)を行う。また、制御部31は、第2表示部12にカーソル画像Cが表示されている際に、操作部70を介して運転者5の操作を受け付けると、当該操作に応じた制御(例えば、オドメータやトリップメータの表示切り替え、メータ22の表示モードの切り替えなど)を行う。
【0036】
ここで、カーソル画像Cは、所定表示部(第1表示部11又は第2表示部12)に表示された任意のコンテンツに関する操作が可能であることを運転者5に認識させることができれば、その態様は任意である。例えば、カーソル画像Cは、所定表示部内に表示されたコンテンツを示す画像(コンテンツ画像)を囲む枠状の画像であってもよいし、コンテンツ画像の表示領域の少なくとも一部の色、彩度、階調、輝度などを変更することで実現されてもよいし、現在選択されているコンテンツ画像の形状を変形させたものとして実現されてもよい。
【0037】
所定表示部が視認状態でない場合(ステップS1;No)、制御部31は、カーソル画像Cを消去する(ステップS3)。これにより、カーソル画像Cが表示されている所定表示部(第1表示部11又は第2表示部12)が視認状態から非視認状態になった場合は、当該所定表示部からカーソル画像Cが消去される。また、運転者5が第1表示部11も第2表示部12も視認していない場合には、双方の表示部にカーソル画像Cが表示されないことになる。また、カーソル画像Cが表示されている第1表示部11から運転者5が第2表示部12に視線を移した場合は、第1表示部11からカーソル画像Cが消去され(ステップS3)、第2表示部12にカーソル画像Cが表示される(ステップS2)ことになる。また、カーソル画像Cが表示されている第2表示部12から運転者5が第1表示部11に視線を移した場合は、第2表示部12からカーソル画像Cが消去され(ステップS3)、第1表示部11にカーソル画像Cが表示される(ステップS2)ことになる。
【0038】
ステップS2に続いて、制御部31は、視認状態の所定表示部に複数のコンテンツ画像が表示されているか否かを判別し(ステップS4)、複数のコンテンツ画像が表示されている場合(ステップS4;Yes)、運転者5が視認中のコンテンツ画像に応じた位置にカーソル画像Cを表示する(ステップS5)。この場合のカーソル画像Cは、当該コンテンツ画像に関する操作が可能であることを示す。
【0039】
ここで、複数のコンテンツ画像が表示されている場合の表示例を説明する。図5(b)、(c)等に示す画像Imは、複数の表示部のうち任意の表示部に表示される画像を示している。図5(b)、(c)に示す画像Imは、例えば、複数のコンテンツ画像(コンテンツA1~A3)を含んで構成されている。コンテンツA1は画像Imの中央部に位置し、コンテンツA2は運転者5から見てコンテンツA1の左側に、コンテンツA3は運転者5から見てコンテンツA1の右側に位置する。コンテンツA1~A3の種類は、各種の車両情報や娯楽情報であればよく、目的に応じて任意である。
【0040】
図5(b)は、コンテンツA2が運転者5に視認されている視認状態であり、操作部70を介してコンテンツA2に関する操作が可能であることを示している。図5(c)は、コンテンツA3が運転者5に視認されている視認状態であり、操作部70を介してコンテンツA3に関する操作が可能であることを示している。なお、このようにカーソル画像Cが表示される場合、その表示位置はコンテンツ画像に応じた位置であればよい。当該応じた位置とは、コンテンツ画像の少なくとも一部に重畳する位置に限られず、コンテンツ画像から離れているが当該コンテンツ画像が選択されていることが分かる位置であってもよい。例えば、コンテンツ画像の近傍に当該コンテンツ画像を指し示す矢印状のカーソル画像Cが表示されるといった態様であってもよい。
【0041】
また、複数のコンテンツ画像は、運転者5が操作部70に対して行った決定操作に応じて表示されるものであってもよい。当該表示例を図6(a)、(b)に示す。
例えば、図6(a)に示すコンテンツA1が前記のエンタメシステムからの娯楽情報に基づいて表示されるメディアプレイヤーであるとする。運転者5は、コンテンツA1に視線を一定期間以上合わせることで、図6(a)に示すように、カーソル画像Cを表示させ、メディアプレイヤーが選択された状態とする。当該状態において、操作部70に対して所定の決定操作を行うと、図6(b)に示すように、メディアプレイヤーを操作するための項目A11、A12、A13が表示される。例えば、項目A11はライブラリのジャンルリスト、項目A12はアルバムリスト、A13はプレイ画面とする。そして、運転者5は、項目A11、A12、A13のいずれかに視線を合わせることで、視線による選択操作を行う。図6(b)は、ジャンルリストとしての項目A11がカーソル画像Cによって選択された状態を示している。当該状態において運転者5が操作部70に対して所定の操作を行うことで、再生するジャンルの楽曲を決定することが可能となっていてもよい。このように、運転者5が自身の視線により選択可能なコンテンツ画像は、運転者5が一回又は複数回、操作部70に対して所定の操作を行った後に表示される、下位の階層の画像(例えば、前記の項目A11~A13)などであってもよい。なお、図6(b)に示すように、所定表示部に表示された下位の階層の画像をカーソル画像Cで選択した後に、運転者5が他の表示部に視線を逸らして当該カーソル画像Cが消去され、再び所定表示部を視認した場合、制御部31は、上位の階層の画像(例えば、コンテンツ画像A1)に戻って表示してもよいし、操作履歴をRAM33等に記憶させておき、直前の操作に応じた下位の階層の画像(例えば、項目A11~A13)を表示してもよい。このように、直前の操作に応じた表示を行えば、ユーザフレンドリである。
【0042】
図4に戻って、ステップS3やS5の実行後や、複数のコンテンツ画像が表示されていない場合(ステップS4;No)は、制御部31は、警告情報があるか否かを判別する(ステップS6)。例えば、制御部31は、ECU50から車両1自体の警告情報(燃料低下やエンジン油圧異常など)を取得した場合に警告情報ありと判別する。なお、制御部31は、状況解析部40から警告対象の物体(車両1の前方車両や歩行者など)が存在することを示す警告情報を取得した場合に警告情報ありと判別してもよい。
【0043】
制御部31は、警告情報がない場合(ステップS6;No)、ステップS1に処理を戻す一方で、警告情報がある場合(ステップS6;Yes)、警告処理を実行する(ステップS7)。
【0044】
ここで、警告処理実行時の動作例を図7(a)~(c)を参照して、説明する。
まず、制御部31は、図7(a)に示すように、所定表示部(第1表示部11又は第2表示部12)に表示されている画像Imの任意の領域に、警告情報を報知するための警告画像Dを表示する。図7(a)は、警告情報ありの場合に、制御部31がコンテンツ画像A1の表示されていた領域に、コンテンツ画像A1に代えて警告画像Dを表示している例を示している。また、図7(a)は、コンテンツ画像A3が枠状のカーソル画像Cによって選択されている状態を示している。
【0045】
警告処理は、一例として、図7(a)に示す状態から、カーソル画像Cを警告画像Dに応じた位置に移動させ、図7(b)に示す状態へと遷移する。この場合、制御部31は、コンテンツ画像A2に応じて表示されているカーソル画像Cを消去し、警告画像Dに応じた位置に強調画像としてのカーソル画像Cを表示する。なお、制御部31は、カーソル画像Cを警告画像Dに向かって徐々に移動させてもよいし、カーソル画像Cの移動に伴う残像を表した描画制御を実行してもよい。このようにすることで、運転者5の視線を警告画像Dへと誘導し、警告情報の存在を効果的に報知することができる。
【0046】
なお、カーソル画像Cが表示される位置としての「警告画像Dに応じた位置」における警告画像Dとカーソル画像Cとの関係は、前述の「コンテンツ画像に応じた位置」におけるコンテンツ画像とカーソル画像Cとの関係と同じである。また、図7(b)に示す状態では、カーソル画像Cは、操作可能な対象を示すものではなくなり、警告画像Dの存在を強調するための強調画像として機能する。
【0047】
また、警告処理の他の例として、図7(a)に示す状態から、カーソル画像Cを拡大変形し、図7(c)に示すように、警告画像Dを囲む態様としてもよい。この場合も、制御部31は、カーソル画像Cを警告画像Dに向かって徐々に拡大させてもよいし、カーソル画像Cの移動に伴う残像を表した描画制御を実行してもよい。図7(c)に示す状態では、カーソル画像Cはコンテンツ画像A3に関する操作を可能であることを示しつつも、警告画像Dの存在を強調するための強調画像として機能する。つまり、図7(c)に示す状態では、カーソル画像Cは、操作可能な対象を示すだけのものではなくなる。
【0048】
なお、警告画像Dを強調する強調画像は、カーソル画像Cと同じ態様であればよい。当該同じ態様とは、カーソル画像Cと完全に同じ態様だけでなく、図7(c)に示すように大きさを変形した態様や、少なくとも一部の色や形状を変更した態様などを含む。強調画像の態様は、運転者5にカーソル画像Cを用いて描画されたものであると認識させることが可能な態様であれば、任意である。また、カーソル画像Cが表示されていた領域に警告画像Dが表示される場合は、カーソル画像Cをそのまま移動せずに強調画像として用いればよい。その際に、カーソル画像Cの色を変えたり、カーソル画像Cを点滅させたりしてもよい。また、ステップS3からステップS6でYesと処理が遷移した場合、制御部31は、警告画像Dの表示に合わせて、強調画像として機能するカーソル画像Cを警告画像Dに応じた位置に表示すればよい。
【0049】
ステップS7に続いて、制御部31は、予め定められた終了条件が成立したか否かを判別する(ステップS8)。終了条件は、例えば、運転者5による所定操作(警告情報を確認した旨の操作)が操作部70になされた場合や、警告情報がなくなった場合などに成立する。制御部31は、終了条件が成立していない場合(ステップS8;No)、警告処理の実行を継続する(ステップS7)一方で、終了条件が成立した場合(ステップS8;Yes)、警告処理を終了する(ステップS9)。具体的には、制御部31は、警告画像Dを消去するとともに、強調画像として機能するカーソル画像Cの移動や変形を停止することで、警告処理を終了する。警告処理後は、ステップS1に処理を戻す。
【0050】
(変形例)
なお、選択制御処理のステップS7において、制御部31は、図8(a)~図8(d)に遷移例を示す、変形例に係る警告処理を実行してもよい。この変形例では、制御部31は、前述と同様に警告情報があった場合(ステップS6;Yes)、まず、図8(a)に示すように、第1表示部11に第1警告画像D1を表示するとともに、第2表示部12に第2警告画像D2を表示する。なお、図8(a)は、第1表示部11が運転者5に視認されている視認状態である例を示している。
【0051】
例えば、第1警告画像D1と第2警告画像D2は、互いに情報量が異なる画像である(なお、図8では簡略化して、双方の画像を同じく表している)。具体的に、一例として警告情報がエンジン油圧異常を示している場合を説明すると、第1警告画像D1は「重要な警告があります。」といった内容を表す画像であり、第2警告画像D2は、「エンジン油圧異常です。安全を確認した上で停車してください。」といった、第1警告画像D1よりも具体的で、情報量が多い画像である。
制御部31は、このような第1警告画像D1及び第2警告画像D2を表示するとともに、第1表示部11において第1警告画像D1に応じた位置に表示されていた枠状のカーソル画像Cを、図8(b)、(c)、(d)の順で示すように、第1表示部11から第2表示部12へと移動するように描画制御して表示する。これにより、第1警告画像D1からより詳細な情報を表示している第2警告画像D2へと運転者5の視線を誘導し、警告情報の存在だけでなく、その内容を効果的に報知することができる。この場合のカーソル画像Cは、操作可能な対象を示すものではなくなり、第1警告画像D1及び第2警告画像D2を報知するとともに、特に第2警告画像D2の存在を強調するための強調画像として機能する。なお、第1警告画像D1と第2警告画像D2の情報量の大小を逆の関係とし、カーソル画像Cを、第2表示部12から第1表示部11へと移動するように描画制御して表示するようにしてもよい。また、変形例に係る警告処理は、第1表示部11又は第2表示部12が視認状態であるか否かに関わらず実行されてもよい。
【0052】
なお、本発明は以上の実施形態、変形例、及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。
【0053】
表示光Lの投射対象は、フロントガラス4に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。
【0054】
以上では、HUD21及びメータ22のディスプレイをLCDとした例を示したが、OLED(Organic Light Emitting Diodes)を採用してもよい。また、HUD21は、DMD(Digital Micro mirror Device)やLCOS(Liquid Crystal On Silicon)などの反射型表示デバイスを用いたものであってもよい。
【0055】
また、以上では、車両1内に2つの第1表示部11及び第2表示部12を構成した例を示したが、表示部は、車両1の前方に虚像Vとして画像を表示する表示部を含んでいれば、3つ以上あってもよい。さらには、第1表示部11と第2表示部12とは、互いに離れた位置にあれば、双方ともHUDによって車両1の前方に虚像Vとして画像を表示するものであってもよい。
【0056】
(1)以上に説明した、車両1に搭載される表示装置100は、画像を表示し、互いに異なる位置にある複数の表示部(第1表示部11、第2表示部12)と、複数の表示部の各々に関する操作を可能とする操作部70と、操作部70に対してなされた操作を受け付けるとともに、複数の表示部の表示制御を行う制御部31と、を備える。複数の表示部は、運転者5から見て車両1の前方に虚像Vとして画像を表示する表示部(第1表示部11)を含む。制御部31は、複数の表示部のいずれかが一定期間以上運転者5に視認されている視認状態であるか否かを特定可能であり、複数の表示部のうち視認状態である表示部を特定すると、当該表示部に関する操作が可能であることを示すカーソル画像Cを当該表示部に表示する。
この構成により、運転者5は自身の視線移動に応じて表示されるカーソル画像Cによって、操作したい対象を選択し、選択された対象を1つの操作部70によって操作することができる。また、カーソル画像Cが表示可能な表示部はHUDによるものを含むため、視線による選択操作時に、運転者5が運転中に注視すべき前方風景から視線を逸らしてしまうことを抑制することができる。つまり、表示装置100によれば、運転中においても安全に操作対象を選択することができる。
【0057】
(2)具体的に、制御部31は、複数の表示部のうちカーソル画像Cが表示されている表示部が視認状態でないと特定すると、当該表示部からカーソル画像Cを消去する。
【0058】
(3)また、制御部31は、複数の表示部のうち視認状態である表示部を特定する際に、当該表示部が複数のコンテンツ画像を表示している場合には複数のコンテンツ画像のうちいずれのコンテンツ画像が視認状態であることを特定可能であり、視認状態であることを特定したコンテンツ画像に応じた位置に、カーソル画像Cとして、当該コンテンツ画像に関する操作が可能であることを示す画像を表示する。この構成により、表示部内におけるコンテンツ画像も視線で選択することができ、ユーザフレンドリである。
【0059】
(4)また、制御部31は、車両1(具体的には、ECU50や状況解析部40など)から警告情報を取得した場合、複数の表示部の少なくともいずれかに警告情報を報知するための警告画像Dを表示し、警告画像Dの存在を強調するための画像として、カーソル画像Cと同じ態様の強調画像を警告画像Dに応じた位置に表示する。(5)また、制御部31は、警告画像Dを表示すると、表示されているカーソル画像Cを消去し、強調画像を警告画像Dに応じた位置に表示してもよい。
(4)又は(5)に記載の構成により、運転者5の視線を警告画像Dへと誘導し、警告情報の存在を効果的に報知することができる。
【0060】
(6)また、変形例に係る制御部31は、車両1から警告情報を取得した場合、第1表示部11に警告情報を報知するための第1警告画像D1を表示するとともに、第2表示部12に警告情報を報知するための第2警告画像D2を表示し、第1警告画像D1又は第2警告画像D2を強調するための画像として、カーソル画像Cと同じ態様の強調画像を第1表示部11と第2表示部12との一方から他方へと移動するように表示してもよい。この構成により、第1警告画像D1と第2警告画像D2との一方から他方へと運転者5の視線を誘導し、警告情報の存在だけでなく、その内容を効果的に報知することができる。
【0061】
以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。
【符号の説明】
【0062】
100…表示装置
11…第1表示部、12…第2表示部
21…HUD(21a…LCD、21b…光源)
22…メータ(22a…LCD、22b…光源)
30…制御装置
31…制御部(31a…CPU、31b…GDC)
32…ROM、33…RAM
40…状況解析部
50…ECU
60…視線検出部
70…操作部
1…車両、2…ダッシュボード、3…ステアリングホイール、4…フロントガラス
5…運転者、E…アイボックス、L…表示光、V…虚像
C…カーソル画像、D…警告画像
図1
図2
図3
図4
図5
図6
図7
図8