特開2019-217910(P2019-217910A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本精機株式会社の特許一覧

<>
  • 特開2019217910-表示装置 図000003
  • 特開2019217910-表示装置 図000004
  • 特開2019217910-表示装置 図000005
  • 特開2019217910-表示装置 図000006
  • 特開2019217910-表示装置 図000007
  • 特開2019217910-表示装置 図000008
  • 特開2019217910-表示装置 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-217910(P2019-217910A)
(43)【公開日】2019年12月26日
(54)【発明の名称】表示装置
(51)【国際特許分類】
   B60K 35/00 20060101AFI20191129BHJP
   B60R 11/02 20060101ALI20191129BHJP
   B60R 1/04 20060101ALI20191129BHJP
【FI】
   B60K35/00 A
   B60R11/02 C
   B60R1/04 Z
【審査請求】未請求
【請求項の数】4
【出願形態】OL
【全頁数】14
(21)【出願番号】特願2018-116874(P2018-116874)
(22)【出願日】2018年6月20日
(71)【出願人】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100134599
【弁理士】
【氏名又は名称】杉本 和之
(74)【代理人】
【識別番号】100195648
【弁理士】
【氏名又は名称】小林 悠太
(74)【代理人】
【識別番号】100175019
【弁理士】
【氏名又は名称】白井 健朗
(74)【代理人】
【識別番号】100104329
【弁理士】
【氏名又は名称】原田 卓治
(72)【発明者】
【氏名】舛屋 勇希
(72)【発明者】
【氏名】渋谷 美彩
(72)【発明者】
【氏名】中村 崇
(72)【発明者】
【氏名】牧野 忠慈
(72)【発明者】
【氏名】菊地 裕太
(72)【発明者】
【氏名】猪坂 雄治
【テーマコード(参考)】
3D020
3D344
【Fターム(参考)】
3D020BA04
3D020BA20
3D020BB01
3D020BC02
3D020BD05
3D020BE03
3D344AA19
3D344AA27
3D344AB01
3D344AC25
(57)【要約】
【課題】車両の走行中にも娯楽動画を享受させることができる表示装置を提供する。
【解決手段】表示装置は、車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する。表示装置は、重畳画像として娯楽動画の表示制御を行う。表示装置は、娯楽動画が視認者に視認されている視認状態であるか視認者に視認されていない非視認状態であるかを推定する。表示装置は、視認状態である期間中は娯楽動画の再生を継続する。また、表示装置は、非視認状態である期間中(T1〜T2)は時点P1で娯楽動画を停止する、あるいは、非視認状態である期間中も娯楽動画の再生を継続するが非視認状態から視認状態に戻った際には非視認状態であった時間だけ戻した時点P1から娯楽動画を再生する。
【選択図】図5
【特許請求の範囲】
【請求項1】
車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
前記重畳画像として娯楽動画の表示制御を行う表示制御手段を備え、
前記表示制御手段は、前記娯楽動画が前記視認者に視認されている視認状態であるか前記視認者に視認されていない非視認状態であるかを推定し、
前記視認状態である期間中は前記娯楽動画の再生を継続する一方、前記非視認状態である期間中は前記娯楽動画を停止する、
表示装置。
【請求項2】
車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
前記重畳画像として娯楽動画の表示制御を行う表示制御手段を備え、
前記表示制御手段は、前記娯楽動画が前記視認者に視認されている視認状態であるか前記視認者に視認されていない非視認状態であるかを推定し、
前記視認状態である期間中は前記娯楽動画の再生を継続し、
前記非視認状態である期間中も前記娯楽動画の再生を継続するが、前記非視認状態から前記視認状態に戻った際には、前記非視認状態であった時間だけ戻した時点から前記娯楽動画を再生する、
表示装置。
【請求項3】
前記表示制御手段は、前記車両の速度を取得し、取得した前記速度に応じた遡及時間を決定可能であり、
前記遡及時間を決定した場合であって、前記非視認状態から前記視認状態に戻った際には、停止中であった前記娯楽動画を前記遡及時間だけ戻した時点から再生する、
請求項1に記載の表示装置。
【請求項4】
前記表示制御手段は、前記車両の速度を取得し、取得した前記速度に応じた遡及時間を決定可能であり、
前記遡及時間を決定した場合であって、前記非視認状態から前記視認状態に戻った際には、前記非視認状態であった時間と前記遡及時間とを加算した時間だけ戻した時点から前記娯楽動画を再生する、
請求項2に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置に関する。
【背景技術】
【0002】
従来の表示装置として、車両の前方風景と重なる虚像として視認者(主に車両の運転者)に視認される娯楽動画を表示するものが、特許文献1に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−81907号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、自動運転機能の技術進歩によって運転者の運転負荷が下がり、車両の走行中においても娯楽動画を提供することが可能となりつつある。しかしながら、車両の走行中には適宜周囲環境を確認する必要が生じるため、当該確認中に娯楽動画を見逃すことがある。
【0005】
本発明は、上記実情に鑑みてなされたものであり、車両の走行中にも娯楽動画を享受させることができる表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の第1の観点に係る表示装置は、
車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
前記重畳画像として娯楽動画の表示制御を行う表示制御手段を備え、
前記表示制御手段は、前記娯楽動画が前記視認者に視認されている視認状態であるか前記視認者に視認されていない非視認状態であるかを推定し、
前記視認状態である期間中は前記娯楽動画の再生を継続する一方、前記非視認状態である期間中は前記娯楽動画を停止する。
【0007】
上記目的を達成するため、本発明の第2の観点に係る表示装置は、
車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
前記重畳画像として娯楽動画の表示制御を行う表示制御手段を備え、
前記表示制御手段は、前記娯楽動画が前記視認者に視認されている視認状態であるか前記視認者に視認されていない非視認状態であるかを推定し、
前記視認状態である期間中は前記娯楽動画の再生を継続し、
前記非視認状態である期間中も前記娯楽動画の再生を継続するが、前記非視認状態から前記視認状態に戻った際には、前記非視認状態であった時間だけ戻した時点から前記娯楽動画を再生する。
【発明の効果】
【0008】
本発明によれば、車両の走行中にも娯楽動画を享受させることができる。
【図面の簡単な説明】
【0009】
図1】本発明の第1実施形態に係るヘッドアップディスプレイ(HUD)装置の車両への搭載態様を説明するための図である。
図2】車両用表示システムのブロック図である。
図3】虚像としての動画の表示位置などを説明するための模式図である。
図4】本発明の第1実施形態に係る動画制御処理の一例を示すフローチャートである。
図5】(a)は、本発明の第1実施形態に係る動画再生時間と実際の経過時間との関係を表すグラフの図であり、(b)は、本発明の第2実施形態に係る動画再生時間と実際の経過時間との関係を表すグラフの図である。
図6】本発明の第2実施形態に係る動画制御処理の一例を示すフローチャートである。
図7】判別領域を説明するための模式図である。
【発明を実施するための形態】
【0010】
本発明の一実施形態に係る表示装置について図面を参照して説明する。
【0011】
[第1実施形態]
本発明の第1実施形態に係る表示装置は、図2に示す車両用表示システム100に含まれるHUD(Head-Up Display)装置10である。HUD装置10は、図1に示すように、車両1のダッシュボード2の内部に設けられ、車両1に関する情報(以下、車両情報とも言う。)だけでなく、車両情報以外の情報も統合的に運転者Dに報知する。なお、車両情報は、車両1自体の情報だけでなく、車両1の運行に関連した車両1の外部の情報も含む。
【0012】
車両用表示システム100は、車両1内において構成されるシステムであり、HUD装置10と、周辺情報取得部40と、視線検出部60と、ECU(Electronic Control Unit)70と、エンターテインメント(エンタメ)システム80と、を備える。
【0013】
HUD装置10は、図1に示すように、ダッシュボード2の内部に設けられ、フロントガラス3に向けて表示光Lを射出する。フロントガラス3で反射した表示光Lは、運転者D側へと向かう。運転者Dは、視点をアイボックスE内におくことで、フロントガラス3の前方に、表示光Lが表す画像を虚像Viとして視認することができる。つまり、HUD装置10は、フロントガラス3の前方位置に虚像Viを表示する。これにより、運転者Dは、虚像Viを前方風景と重畳させて観察することができる。
【0014】
HUD装置10は、図2に示す表示部20及び制御装置30と、図示しない反射部とを備える。
【0015】
表示部20は、制御装置30の制御により、虚像Viとして運転者Dに視認される重畳画像を表示する。表示部20は、例えば、TFT(Thin Film Transistor)型のLCD(Liquid Crystal Display)や、LCDを背後から照明するバックライト等を有する。バックライトは、例えばLED(Light Emitting Diode)から構成されている。表示部20は、制御装置30の制御の下で、バックライトに照明されたLCDが画像を表示することにより表示光Lを生成する。生成した表示光Lは、反射部で反射した後に、フロントガラス3に向けて射出される。反射部は、例えば、折り返しミラーと凹面鏡の二枚の鏡から構成される。折り返しミラーは、表示部20からの射出された表示光Lを折り返し、凹面鏡へと向かわせる。凹面鏡は、折り返しミラーからの表示光Lを拡大しつつ、フロントガラス3に向けて反射させる。これにより、運転者Dに視認される虚像Viは、表示部20に表示されている画像が拡大されたものとなる。なお、反射部を構成する鏡の枚数は設計に応じて任意に変更可能である。
【0016】
なお、以下では、虚像Viとして運転者Dに視認される画像を表示部20が表示することを「重畳画像を表示する」とも言う。また、制御装置30が表示部20の表示制御を行うことを「重畳画像の表示制御を行う」とも言う。また、表示部20は、重畳画像を表示することができれば、LCDを用いたものに限られず、OLED(Organic Light Emitting Diodes)、DMD(Digital Micro mirror Device)、LCOS(Liquid Crystal On Silicon)などの表示デバイスを用いたものであってもよい。
【0017】
制御装置30は、HUD装置10の全体動作を制御するマイクロコンピュータからなり、制御部31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33とを備える。また、制御装置30は、図示しない構成として、駆動回路や、車両1内の各種システムと通信を行うための入出力回路を備える。
【0018】
ROM32は、動作プログラムや各種の画像データを予め記憶する。RAM33は、各種の演算結果などを一時的に記憶する。制御部31は、ROM32に記憶された動作プログラムを実行するCPU(Central Processing Unit)31aと、CPU31aと協働して画像処理を実行するGPU(Graphics Processing Unit)31bとを備える。特に、ROM32には、後述する動画制御処理を実行するための動作プログラムが格納されている。なお、制御部31の一部は、ASIC(Application Specific Integrated Circuit)によって構成されていてもよい。また、制御装置30や制御部31の構成は、以下に説明する機能を充足する限りにおいては任意である。
【0019】
制御部31は、表示部20を駆動制御する。例えば、制御部31は、CPU31aで表示部20のバックライトを駆動制御し、CPU31aと協働して動作するGPU31bで表示部20のLCDを駆動制御する。
【0020】
制御部31のCPU31aは、GPU31bと協働して、ROM32に記憶された各種の画像データに基づき、重畳画像の表示制御を行う。GPU31bは、CPU31aからの表示制御指令に基づき、表示部20の表示動作の制御内容を決定する。GPU31bは、表示部20に表示する1画面を構成するために必要な画像パーツデータをROM32から読み込み、RAM33へ転送する。また、GPU31bは、RAM33を使って、画像パーツデータやHUD装置10の外部から通信により受け取った各種の画像データを元に、1画面分の絵データを作成する。そして、GPU31bは、RAM33で1画面分の絵データを完成させたところで、画像の更新タイミングに合わせて、表示部20に転送する。これにより、表示部20に虚像Viとして運転者Dに視認される重畳画像が表示される。また、虚像Viとして視認される画像を構成する各画像には予めレイヤが割り当てられており、制御部31は、各画像の個別の表示制御が可能となっている。
【0021】
この実施形態では、重畳画像として、娯楽を運転者Dに提供するための動画である娯楽動画M(以下、単に「動画M」と略することもある。)が表示可能となっている。
図3に、車両1内の運転者Dから見た、娯楽動画Mの表示位置を模式的に示す。図3で虚像Viが示している枠は、虚像Viの表示可能領域を示し、動画Mは、当該表示可能領域内に虚像として視認される画像である。これは、虚像Viとして運転者Dに視認される重畳画像を表示する表示部20において、当該重畳画像の表示可能領域内に動画Mが表示されることと同義である。なお、符号4は車両1のステアリングホイールを、符号9はフロントガラス3を透かして運転者Dに視認される実景(前方道路)を示す。
制御部31(表示制御手段の一例)は、重畳画像の表示可能領域内において、動画Mの表示制御を行う。具体的には、制御部31は、図示しない操作部からユーザによって入力された指示に応じて、動画Mの再生や停止を制御する。また、制御部31は、後述の動画制御処理を実行することで、所定の場合に動画Mを停止させたり、停止状態であった動画Mを再生状態に復帰したりする制御を実行する。
【0022】
制御部31のCPU31aは、周辺情報取得部40、視線検出部60、ECU70、及びエンタメシステム80の各々と通信を行う。当該通信としては、例えば、CAN(Controller Area Network)、Ethernet、MOST(Media Oriented Systems Transport)、LVDS(Low Voltage Differential Signaling)などの通信方式が適用可能である。
【0023】
周辺情報取得部40は、車両1の周辺(外部)の情報を取得するものであり、車両1とワイヤレスネットワークとの通信(V2N:Vehicle To cellular Network)、車両1と他車両との通信(V2V:Vehicle To Vehicle)、車両1と歩行者との通信(V2P:Vehicle To Pedestrian)、車両1と路側のインフラとの通信(V2I:Vehicle To roadside Infrastructure)を可能とする各種モジュールから構成される。つまり、周辺情報取得部40は、車両1と車両1の外部との間でV2X(Vehicle To Everything)による通信を可能とする。
【0024】
例えば、(i)周辺情報取得部40は、WAN(Wide Area Network)に直接アクセスできる通信モジュール、WANにアクセス可能な外部装置(モバイルルータなど)や公衆無線LAN(Local Area Network)のアクセスポイント等と通信するための通信モジュールなどを備え、インターネット通信を行う。また、周辺情報取得部40は、人工衛星などから受信したGPS(Global Positioning System)信号に基づいて車両1の位置を算出するGPSコントローラを備える。これらの構成により、V2Nによる通信を可能とする。(ii)また、周辺情報取得部40は、所定の無線通信規格に準拠した無線通信モジュールを備え、V2VやV2Pによる通信を行う。(iii)また、周辺情報取得部40は、路側のインフラと無線通信する通信装置を有し、例えば、安全運転支援システム(DSSS:Driving Safety Support Systems)の基地局から、インフラストラクチャーとして設置された路側無線装置を介して、車両1の周辺道路の位置や形状を含む交通情報を取得する。これによりV2Iによる通信が可能となる。
【0025】
視線検出部60は、例えば、運転者Dの顔を撮像し、撮像データを生成する撮像手段(例えばステレオカメラ)や、撮像データの画像処理を行う画像処理部からなり、運転者Dの視線方向G(図3図7参照)を検出する。例えば、視線検出部60は、パタンマッチング法などの公知の画像解析法により運転者Dの視線方向Gを検出し、検出結果を示す検出データを制御部31に送信する。
【0026】
例えば、制御部31(CPU31a)は、図3図7に示すように、検出データが示す視線方向Gが予めROM32内に格納された判別領域R以内にある場合に、運転者Dが動画Mを視認している「視認状態」であると判別(推定)する。一方、制御部31は、視線方向Gが判別領域Rより外にある場合に、運転者Dが動画Mを視認していない「非視認状態」であると判別(推定)する。判別領域Rは、例えば、動画Mの表示領域と、想定される運転者Dの視点位置EPとに基づいて予め定められる。なお、制御部31は、上記パタンマッチング法などで特定した視点位置EPと、現在の動画Mの表示領域とに基づいて、適宜、判別領域Rを算出してもよい。
【0027】
その他、CPU31aは、予めROM32内に格納された、視線方向Gと、視認対象の位置(動画Mの表示領域)とが対応付けられたテーブルデータを参照し、現在、運転者Dが視認している対象を特定し、当該特定結果に基づいて、視認状態であるか非視認状態であるかを判別してもよい。なお、視線方向Gは、例えば、運転者Dの両目のいずれかに基づいて検出されてもよいし、両目の重心として検出されてもよい。なお、図3図7に示す視点位置EPは、当該両目の重心位置を模式的に示したものであり、視線検出方法を限定するものではない。CPU31aによって、運転者Dが視認している対象を特定することができれば、検出データは任意である。また、視線検出部60は、運転者Dの顔の向きを、公知の画像解析法により検出し、検出データとしてもよい。この場合、CPU31aは、予めROM32内に格納された、顔の向きと視認対象の位置とが対応付けられたテーブルデータを参照し、現在、運転者Dが視認している対象を特定すればよい。なお、テーブルデータを用いずに、視線方向Gから視認対象の位置を数式により求めてもよい。当該数式を示すデータは、予めROM32内に格納しておけばよい。
【0028】
また、視線検出部60は、運転者Dが頭部に装着したウェアラブルデバイスに搭載された撮像手段や、眼電位センサや、モーションセンサであってもよい。撮像手段による撮像データにより、前述と同様に視線方向Gや顔の向きを検出可能である。また、眼電位センサは、測定した眼電位に基づいて運転者Dの視線方向Gを検出する。また、モーションセンサは、例えば、加速度センサ、ジャイロセンサ及び地磁気センサのうち1つ又は複数の組み合わせからなり、運転者Dの顔の向きを検出する。
【0029】
なお、CPU31aが、撮像手段や各種センサからの信号に基づき、運転者Dの視線方向Gや顔の向きを検出する構成としてもよい。動画Mが視認状態であるか非視認状態であるかをCPU31aが判別することができれば、運転者Dの視線方向Gや顔の向きの検出手法及び検出構成は任意である。
【0030】
ECU70は、車両1の各部を制御するものであり、例えば、車両1の現在の車速V(車速Vを示す情報)をCPU31aへ送信する。なお、CPU31aは、車速センサから車速Vを取得してもよい。また、CPU31aは、周辺情報取得部40を介して取得したGPS信号が示す車両1の位置を時間微分することで、車速Vを取得してもよい。また、ECU70は、エンジン回転数などの計測量や、車両1自体の警告情報(燃料低下や、エンジン油圧異常など)や、その他の車両情報をCPU31aへ送信する。ECU70から取得した情報に基づいて、CPU31aは、GPU31bを介して、表示部20に車速、エンジン回転数、各種警告などを示す画像を表示させることが可能となっている。つまり、娯楽動画Mの他、虚像Viの表示可能領域内に各種車両情報を示す画像も表示可能となっている。
【0031】
また、ECU70は、所定条件の下で車両1の運転モードを切り替えることにより運転支援を行う。また、ECU70は、車両1が自動運転モード及び手動運転モードの何れの運転モードに設定されているかを示す運転モード情報をCPU31aに送信する。つまり、車両1は、ECU70の制御により、自動運転モードと手動運転モードの切り替えが可能なものである。例えば、手動運転モードに設定されているときの自動運転レベルはレベル0又はレベル1である。レベル0においては、運転者Dが全ての主制御系統(加速・操舵・制動)の操作を行う。レベル1においては、加速・操舵・制動のいずれか一つをシステムが支援的に行う。また、例えば、自動運転モードに設定されているときの自動運転レベルはレベル2以上である。レベル2においては、加速・操舵・制動のうちの二つをシステムが支援的に行う。レベル3においては、限定的な環境下若しくは交通状況のみ、システムが加速・操舵・制動の制御を行い、システムが要請したときは運転者Dが対応する。
【0032】
エンタメシステム80は、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、DVD(Digital Video Disk)などの記録媒体に記録された動画M(動画Mに付随する音声も含む)を再生する映像・音楽再生部を備えるとともに、重畳画像として娯楽動画Mを表示するための動画情報を制御部31に供給する。なお、エンタメシステム80は、先に述べた周辺情報取得部40の一部(インターネット通信を行う構成)として実現されてもよく、動画Mは、ストリーミングにより再生可能な動画であってもよいし、インターネットを介してダウンロードされた動画であってもよい。また、エンタメシステム80は、車両1に搭載されたものに限られず、制御部31との間で有線又は無線により通信を行う携帯端末(スマートフォン、タブレットPC(Personal Computer)など)により実現されてもよい。
【0033】
制御部31は、エンタメシステム80からの動画情報に基づき、虚像Viの表示領域内に娯楽動画Mが表示されるように表示部20を制御する。娯楽動画Mは、運転者Dや車両1の乗員に娯楽を提供するための動画であれば、その種類は任意である。
【0034】
(動画制御処理)
続いて、制御部31によって実行される動画制御処理について図4を参照して説明する。動画制御処理は、例えば、ECU70から送信された運転モード情報が自動運転モード(自動運転レベル2又は3)を示している状態において、ユーザによる動画Mの再生指示を受け付けたことを契機に実行される。したがって、動作制御処理の開始時には、動画Mは再生されている。
【0035】
まず、制御部31は、前述のように動画Mが視認状態であるか非視認状態であるかを判別する(ステップS101)。
【0036】
非視認状態であると判別した場合(ステップS101;No)、制御部31は、再生されていた動画Mを停止し(ステップS102)、特殊制御フラグをオン状態にセットし(ステップS103)、再びステップS101の処理から実行する。これにより、非視認状態である期間中は動画Mが停止される。
【0037】
なお、特殊制御フラグは、RAM33内のフラグ格納領域に記憶され、後述のように、再生時間Pを戻す制御を行う条件を判別するためのものである。特殊制御フラグは、動画制御処理の開始時にはデフォルトでオフ状態とされる。
【0038】
ステップS101で視認状態であると判別した場合(ステップS101;Yes)、制御部31は、特殊制御フラグがオン状態であるか否かを判別する(ステップS104)。ステップS102の停止制御が実行されていない場合には、特殊制御フラグはオフ状態であるため(ステップS104;No)、制御部31は、再生を継続し(ステップS105)、再びステップS101の処理から実行する。これにより、視認状態である期間中は動画Mの再生が継続される。
【0039】
ステップS104で特殊制御フラグがオン状態である場合(ステップS104;Yes)、制御部31は、前述のように車速Vを取得する(ステップS106)。続いて、制御部31は、車速Vに基づいて遡及時間Bを決定するか否かを判別する(ステップS107)。
ここで、車両1の高速走行時は、低速走行時に比べて、周辺環境(車両1の前方状況など)の重要性が高くなって、運転者Dによる動画Mへの注視度合が低下すると想定される。つまり、車速Vが大きければ大きいほど、動画Mの視聴に関する記憶があいまいになると考えられる。この特性を鑑みて、第1実施形態では、動画Mを停止状態から再生状態へ復帰させる際に、動画Mを停止時点よりも車速Vに応じた遡及時間Bだけ戻した時点から再生可能となっている。
例えば、(ア)制御部31は、車速Vが大きくなればなるほど遡及時間Bが大きくなる、車速Vと遡及時間Bとの関係を示す数式(例えば、一次関数)を用いて、車速Vに応じた遡及時間Bを決定する。(イ)また、制御部31は、車速Vが大きくなればなるほど遡及時間Bが大きくなるように構成され、車速Vの範囲と遡及時間Bとが対応付けられたテーブルを参照して、車速Vに応じた遡及時間Bを決定してもよい。(ウ)また、制御部31は、車速Vが閾速度Vthを超えた際に限り、(ア)又は(イ)の手法で車速Vに応じた遡及時間Bを決定してもよい。なお、数式、テーブル、閾速度Vthの各データは、予めROM32に記憶しておけばよい。
【0040】
上記に例示した手法で、遡及時間Bが「0」となった場合や、車速Vが閾速度Vth以下の場合には、制御部31は、遡及時間Bを決定せず(ステップS107;No)、特殊制御フラグをオフ状態にクリアして(ステップS109)、動画Mを停止状態から再生状態へ復帰させる(ステップS105)。この場合は、停止していた時点から動画Mが再生される。
【0041】
一方、遡及時間Bを決定した場合(ステップS107;Yes)、制御部31は、決定した遡及時間Bだけ動画Mの再生時間を戻し(ステップS108)、前記ステップS109の処理後に、動画Mを再生する(ステップS105)。これにより、動画Mが停止状態から再生状態に復帰する際には、停止時点よりも遡及時間Bだけ戻った時点から再生される。
以上の動画制御処理は、所定の終了契機まで継続して実行される。当該所定の終了契機とは、例えば、動画Mの再生時間が終了した場合や、ユーザによる動画Mの再生の終了指示を受け付けた場合や、HUD装置10がオフされた場合などである。
【0042】
続いて、動画制御処理を実行した場合の動画Mの再生時間Pの遷移例について図5(a)を参照して説明する。図5(a)は、動画Mの再生時間Pを縦軸に、実際の経過時間Tを横軸にとった場合のグラフを示す(後述の図5(b)も同様)。
実線L1に示すように、T=0で動画Mが再生されると、視認状態である期間中は動画Mの再生が継続される。T=T1の時点で非視認状態となると動画MはP1の時点で停止し、非視認状態である期間中(T1≦T<T2)は停止状態が継続される。
T=T2の時点で非視認状態から視認状態に復帰すると、ステップS107で遡及時間Bが決定されなかった場合には、P1の時点から動画Mがまた再生される。これにより、運転者Dが動画Mを見逃している際に動画Mの再生時間が進んでしまうことを防止することができ、車両1の走行中にも動画Mを享受させることができる。
一方、ステップS107で遡及時間Bが決定された場合は、点線L1bに示すように、P1の時点よりも遡及時間Bだけ戻した「P1−B」の時点から動画Mがまた再生される。これにより、車速Vの増加時に、動画Mの視聴において認識困難であったと想定される部分を補って提供することができる。
【0043】
[第2実施形態]
続いて、第1実施形態と動画制御処理が異なる本発明の第2実施形態に係る表示装置を説明する。表示装置などの構成については、第1実施形態と同じ符号を用いるとともに、以下では、第1実施形態と異なる点を主に説明する。
【0044】
(動画制御処理)
第2実施形態に係る動画制御処理について図6を参照して説明する。当該動画制御処理は、第1実施形態と同様の契機で実行される。動作制御処理の開始時には、動画Mは再生されている。
【0045】
まず、制御部31は、ステップS101と同様の判別処理を行う(ステップS201)。非視認状態である場合(ステップS201;No)、制御部31は、動画内時刻(動画Mの再生時間内における一時点)をRAM33に記憶させ(ステップS202)、特殊制御フラグをオン状態にセットし(ステップS203)、再びステップS201の処理から実行する。これにより、非視認状態である期間中も動画Mの再生が継続される。
【0046】
視認状態である場合(ステップS201;Yes)であって、ステップS202の処理が実行されていない場合には、特殊制御フラグはオフ状態であるため(ステップS204;No)、制御部31は、再生を継続し(ステップS205)、再びステップS201の処理から実行する。これにより、視認状態である期間中は動画Mの再生が継続される。
【0047】
ステップS204で特殊制御フラグがオン状態である場合(ステップS204;Yes)、制御部31は、ステップS205で再生する際の再生開始時点を、ステップ202で記憶した動画内時刻まで戻す(ステップS204A)。
【0048】
続くステップS206〜S209は、第1実施形態のステップS106〜S109と同様である。したがって、遡及時間Bを決定しなかった場合には(ステップS207;No)、ステップ202で記憶した動画内時刻から動画Mを再生する(ステップS205)。なお、当該再生後に動画内時刻はクリアされる。これにより、非視認状態から視認状態に戻った際には、非視認状態であった時間だけ戻した時点(記憶された動画内時刻)から動画Mが再生される。
【0049】
遡及時間Bを決定した場合(ステップS207;Yes)、制御部31は、ステップ202で記憶した動画内時刻から、さらに遡及時間Bだけ動画Mの再生時間を戻し(ステップS208)、ステップS209の処理後に、動画Mを再生する(ステップS205)。つまり、遡及時間Bを決定した場合であって、動画Mが非視認状態から視認状態に戻った際には、非視認状態であった時間と遡及時間Bとを加算した時間だけ戻した時点から動画Mが再生される。以上が第2実施形態に係る動画制御処理である。
【0050】
続いて、第2実施形態に係る動画制御処理を実行した場合の動画Mの再生時間Pの遷移例について図5(b)を参照して説明する。
実線L2に示すように、T=0で動画Mが再生されると、視認状態である期間中は動画Mの再生が継続される。T=T1の時点で非視認状態となると、制御部31は、動画Mの再生時間Pにおける時点P1(ステップS202の動画内時刻に相当)をRAM33に記憶させる。第2実施形態では、非視認状態である期間中(T1≦T<T2)も動画Mの再生を継続する。
T=T2の時点で非視認状態から視認状態に復帰すると、ステップS207で遡及時間Bが決定されなかった場合には、非視認状態であった時間だけ戻した時点P1から動画Mが再生される。これにより、運転者Dが動画Mを見逃した時点に戻って動画Mを再生することができ、視認状態に復帰した以後は第1実施形態と同様となるため、車両1の走行中にも動画Mを享受させることができる。
一方、ステップS207で遡及時間Bが決定された場合は、点線L2bに示すように、P1の時点よりも遡及時間Bだけ戻した「P1−B」の時点から動画Mがまた再生される。つまり、再生時間として、時点P2から、非視認状態であった時間(P2−P1)と遡及時間Bとを加算した時間(P2−P1+B)だけ戻した時点(P2−(P2−P1+B)=P1−B)から動画Mが再生される。これにより、第1実施形態と同様、車速Vの増加時に、動画Mの視聴において認識困難であったと想定される部分を補って提供することができる。
【0051】
なお、本発明は以上の実施形態、変形例、及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。
【0052】
以上では、車両1が自動運転モード時(自動運転レベル2又は3)に動画制御処理を実行する例を示したが、運転者Dや乗員の安全が担保できる場合は、手動運転モード時(自動運転レベル0又は1)に動画制御処理を実行してもよい。
【0053】
また、車両1の走行中にも娯楽動画Mを享受させるという目的を達成することができる限りにおいては、図4図6に示す動画制御処理の変更(一部処理の削除を含む)は任意である。例えば、図6のステップS202においては動画内時刻を記憶したが、これに代えて、制御部31が非視認状態中の期間をタイマで計時する構成としてもよい。当該構成を採用した場合は、ステップS204でYesとなった後に動画Mを再生する際に、当該計時した期間だけ戻した時点から娯楽動画Mを再生すればよい。いずれにせよ、非視認状態から視認状態に戻った際には、非視認状態であった時間(期間)だけ戻した時点から娯楽動画Mを再生することには変わりがない。
【0054】
また、視認状態から非視認状態になったことを判別する基準と、非視認状態から視認状態に復帰したことを判別する基準とを異ならせてもよい。例えば、図7に示すように、制御部31は、判別領域R以内にあった視線方向Gが判別領域R外へ向いた際に、視認状態から非視認状態になったと判別する一方で、判別領域Rb(判別領域Rよりも狭い領域)外にあった視線方向Gが判別領域Rb内へ向いた際に、非視認状態から視認状態に復帰したと判別するようにしてもよい。こうすれば、運転者Dが動画Mの表示領域のうち中心領域を視認したと推定される場合に、動画Mを再生状態に復帰させる(第1実施形態に相当)、又は、動画Mを見逃したと推定される部分の先頭から再生する(第2実施形態に相当)ことができるため、運転者Dに動画Mをより良好に享受させることができる。
なお、図7は、動画Mの表示領域と運転者Dの視点位置EPとの関係を、模式的且つ二次元的に示したものである。図7図3は、運転者Dにとっての左右方向に視線が移動することを想起させる態様で示されているが、運転者Dの視線が動画Mの表示面に対して上下方向や斜め方向にずれた場合においても、制御部31は、上記と同様な手法で視認状態か非視認状態かの判別を行うことは言うまでもない。
【0055】
また、視認状態であるか非視認状態であるかの判別手法(推定手法)は、前述のように、視線方向Gや顔の向きを利用したものに限られない。
例えば、制御部31は、車両1に搭載された操舵角センサからの操舵角情報に基づき、操舵角が予めROM32内に定めた閾角度を超えた場合に非視認状態であると判別し、当該閾角度以内である場合に視認状態であると判別してもよい。急カーブや右折・左折などで操舵角が大きくなると、運転者Dが正面方向(つまり、動画Mの表示領域)を向いていないと想定できるためである。また、制御部31は、周辺情報取得部40を介してV2Iで取得可能な交通情報に基づき、車両1の前方道路が、急カーブ、急勾配、分岐路などであると特定した場合に、非視認状態であると判別してもよい。この場合も同様に、運転者Dが正面方向を向いていないと想定できるためである。
【0056】
表示光Lの投射対象は、フロントガラス3に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。また、以上の動画制御処理を実行する表示装置としては、HUD装置10に限られない。表示装置は、車両1の運転者Dの頭部に装着されるヘッドマウントディスプレイ(HMD:Head Mounted Display)として構成されてもよい。そして、HMDが虚像として表示する画像において、動画Mの表示制御を、前述と同様な手法で実行してもよい。つまり、表示装置は、車両1に搭載されているものに限られず、車両1で使用されるものであればよい。
【0057】
以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。
【符号の説明】
【0058】
100…車両用表示システム
10…HUD装置
20…表示部
30…制御装置
31…制御部(31a…CPU、31b…GPU)
32…ROM、33…RAM
40…周辺情報取得部
60…視線検出部
70…ECU
80…エンターテインメント(エンタメ)システム
1…車両、2…ダッシュボード、3…フロントガラス
4…ステアリングホイール、9…実景
D…運転者、E…アイボックス、EP…視点位置、L…表示光
Vi…虚像
M…娯楽動画(動画)
G…視線方向
R、Rb…判別領域
図1
図2
図3
図4
図5
図6
図7