特許 6758788 情報表示方法及び表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6758788

(24)【登録日】2020年9月4日

(45)【発行日】2020年9月23日

(54)【発明の名称】情報表示方法及び表示制御装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20200910BHJP

   G06F 3/0346 20130101ALI20200910BHJP

   G06F 3/0481 20130101ALI20200910BHJP

   B60R 11/02 20060101ALI20200910BHJP

   B60R 11/04 20060101ALI20200910BHJP

【ＦＩ】

   G06F3/01 510

   G06F3/0346 423

   G06F3/0481

   B60R11/02 C

   B60R11/04

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2018-512701(P2018-512701)

(86)(22)【出願日】2016年4月20日

(86)【国際出願番号】JP2016062491

(87)【国際公開番号】WO2017183129

(87)【国際公開日】20171026

【審査請求日】2018年10月12日

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】辻 正文

【審査官】 木村 慎太郎

(56)【参考文献】

【文献】 特開２００２−１６６７８７（ＪＰ，Ａ）

【文献】 特開２０１１−０７９４２８（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１１１３８８（ＷＯ，Ａ１）

【文献】 特開２００２−２２５５９２（ＪＰ，Ａ）

【文献】 特開平１０−１０４００３（ＪＰ，Ａ）

【文献】 特開２００４−０７７８６２（ＪＰ，Ａ）

【文献】 特開２００９−２８２９３７（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０５５６９９（ＷＯ，Ａ１）

【文献】 特開２０１７−１７０９４９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１９４１１０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｂ６０Ｒ １１／０２

Ｂ６０Ｒ １１／０４

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

表示部を備える表示装置に情報を表示させる表示制御装置を用いて、前記表示部に情報を表示させる方法であって、
前記表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置により、前記表示装置の使用者を撮影し、
前記撮像装置により撮影された画像から、前記使用者の視線を検出し、
検出した前記使用者の視線を中心とする中心視野領域と、前記中心視野領域の外側の周辺視野領域との何れに、前記表示部が存在するかを判定し、
前記表示部が前記中心視野領域に存在する場合、通知情報を、第１の表示形態で前記表示部に表示させ、
前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第１の表示形態と比較して抽象度の高い第２の表示形態で前記表示部に表示させる情報表示方法。

【請求項2】

前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第２の表示形態で前記表示部に表示させてから所定時間が経過した後に、前記第１の表示形態に切換えて前記表示部に表示させる請求項１に記載の情報表示方法。

【請求項3】

前記撮像装置は、前記表示装置の前記表示部が設けられた面の側に備えられ、
前記撮像装置により前記使用者の顔を撮影し、
前記撮像装置により撮影された前記使用者の顔の向きに基づいて、前記表示部の位置を推定し、
推定した前記表示部の位置が、前記周辺視野領域に存在する場合、前記通知情報を、前記第２の表示形態で前記表示部に表示させてから所定時間が経過した後に、前記第１の表示形態に切換えて前記表示部に表示させる請求項２に記載の情報表示方法。

【請求項4】

前記第１の表示形態は、テキストを含み、
前記第２の表示形態は、アイコンを含む請求項１〜３の何れか１項に記載の情報表示方法。

【請求項5】

前記表示装置は、車両内の運転席の前方に配置され、
前記通知情報は、前記車両の運転者に対して通知する情報である請求項１〜４の何れか１項に記載の情報表示方法。

【請求項6】

情報を表示する表示部を備える表示装置に通知情報を表示させるプロセッサを備える表示制御装置であって、
前記プロセッサは、
前記表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置に、前記表示装置の使用者を撮影させ、
前記撮像装置により撮影された画像から、前記使用者の視線を検出し、
検出した前記使用者の視線を中心とする中心視野領域と、前記中心視野領域の外側の周辺視野領域との何れに、前記表示装置の表示部が存在するかを判定し、
前記表示部が前記中心視野領域に存在する場合、通知情報を、第１の表示形態で前記表示部に表示させ、
前記表示部が前記周辺視野領域に存在する場合、前記通知情報を、前記第１の表示形態と比較して抽象度の高い第２の表示形態で前記表示部に表示させる表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報表示方法及び表示制御装置に関するものである。

【背景技術】

【0002】

車両内の所定位置に配置された携帯端末の表示部にコンテンツを表示させる車両表示装置が知られている（例えば、特許文献１参照）。特許文献１に記載の車両表示装置では、携帯端末の撮像部により、車両内の基準位置と運転者の目の位置とが認識され、基準位置に対する運転者の目の位置に応じて、コンテンツの表示サイズ及び表示位置の少なくとも一方が変更される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−９４６４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の車両表示装置では、表示部に表示される情報の表示形態は、運転者の視線との関係で変化することはない。そのため、運転者の周辺視野領域に存在する表示装置に具現化された情報が表示されたり、運転者の中心視野領域に存在する表示装置に抽象化された情報しか表示されなかったりする場合がある。

【0005】

本発明が解決しようとする課題は、表示装置に表示させる情報を、表示装置の使用者の視線との関係で適切に設定できる情報表示方法及び表示制御装置を提供することである。

【課題を解決するための手段】

【0006】

本発明は、表示装置と一体の又は前記表示装置の周囲に設けられた撮像装置により、表示装置の使用者を撮影し、撮影された画像から使用者の視線を検出し、表示部が中心視野領域に存在する場合、通知情報を、第１の表示形態で表示部に表示させ、表示部が周辺視野に存在する場合、通知情報を、第１の表示形態と比較して抽象度の高い第２の表示形態で表示部に表示させることにより、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、表示装置が使用者の中心視野領域及び周辺視野領域の何れに含まれるかによって、通知情報の表示形態の抽象度を異ならせることにより、表示装置に表示させる情報を、表示装置の使用者の視線との関係で適切に設定できるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る車両用情報表示システムの概略を示す図である。

【図2】図１の表示装置の前面を示す図である。

【図3】図１の車両用情報表示システムを示すブロック図である。

【図4】図３のプロセッサの視線検出処理、推定処理、及び設置位置判定処理を説明するための図である。

【図5】図３のプロセッサの表示情報生成処理、及び表示制御処理を説明するための図である。

【図6】図３のプロセッサの表示情報生成処理、及び表示制御処理を説明するための図である。

【図7】本発明の一実施形態に係る車両用情報表示システムが実行する画像表示処理の制御手順を示すフローチャートである。

【図8】本発明の他の実施形態に係る車両用情報表示システムの概略構成を示すブロック図である。

【図9】図８のプロセッサの設置位置推定処理を説明するための図である。

【図10】本発明の他の実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。

【図11】本発明の他の実施形態に係る車両用情報表示システムが実行する情報表示処理の制御手順を示すフローチャートである。

【図12】本発明の他の実施形態のDisp＝１に対応する表示画像を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る車両用情報表示システム１０の概略を示す図である。この図に示す車両用情報表示システム１０は、車両１内の運転席の前方における任意の位置に設置された表示装置１００の表示部１０１（図２参照）に、その設置位置と運転者の視野との関係に応じて情報を表示させるシステムである。この車両用情報表示システム１０は、表示装置１００と、通信ユニット２０と、サーバー３０とを備える。表示装置１００は、固定装置４により、車両のダッシュボード２の上やメーターパネル３の前等に固定することができる。

【0010】

図２は、表示装置１００の前面を示す図である。この図に示すように、表示装置１００は、表示部１０１と、撮像装置１０２とを備える移動可能な端末装置である。この表示装置１００としては、スマートフォンやタブレット端末やＰＤＡ等の携帯端末を例示することができる。本実施形態の表示装置１００はスマートフォンであり、表示部１０１は、液晶や有機ＥＬ等のディスプレイであり、撮像装置１０２は、インカメラである。また、表示装置１００には、運転者の視野と表示装置１００の設置位置との関係に応じた情報を表示部１０１に表示させる処理を実行するためのアプリケーションソフトウェアがインストールされている。運転者の視野と設置位置との関係に応じて表示部１０１に表示させる画像については後述する。

【0011】

通信ユニット２０は、ＣＡＮ（Controller Area Network）等の車載ネットワークに接続されており、ＥＣＵ（Engine Control Unit又はElectronic Control Unit）等の車載機器から車両情報を受信する。この車両情報としては、速度、エンジンの回転数、ブレーキの状態、ステアリングの状態、車載カメラの撮影画像、ウィンカーの状態、前照灯スイッチや車幅灯スイッチのＯＮ／ＯＦＦ、イグニッションスイッチのＯＮ／ＯＦＦ等を例示することができる。また、通信ユニット２０は、Bluetooth（登録商標）等の無線通信又は有線ＬＡＮ等の有線通信を介して表示装置１００に接続されており、車両識別番号等の車両識別情報や車載機器から受信した車両情報等を表示装置１００に送信する。

【0012】

サーバー３０は、無線通信網に接続されており、表示装置１００との間で情報を送受信する。この無線通信網としては、ＬＴＥ（Long Term Evolution）や３Ｇ等の携帯電話用通信回線網、ＷｉＭＡＸ（登録商標）等の無線通信網、及び、ビーコン等の高度道路交通システム用の無線通信網等を例示することができる。本実施形態では、サーバー３０は、表示装置１００から車両識別情報や車両情報や表示装置１００の情報を取得し、情報表示処理に必要な情報（以下、表示処理情報という）を、表示装置１００に送信する。なお、サーバー３０と表示装置１００との間での処理や機能の割り振りは適宜設定すればよい。例えば、サーバー３０が、表示装置１００から取得した情報に基づいて、表示装置１００の表示部１０１に表示させる情報を生成して表示装置１００に送信するように、サーバー３０と表示装置１００との連携を構築してもよい。

【0013】

図３は、車両用情報表示システム１０の概略構成を示すブロック図である。この図に示すように、表示装置１００は、上述の表示部１０１、及び撮像装置１０２に加えて、通信部１０４と、プロセッサ１１０とを備える。通信部１０４は、通信ユニット２０から上述の車両識別情報や車両情報等を受信し、サーバー３０との間で、車両識別情報や車両情報等の送信、及び、表示処理情報等の受信を行う。

【0014】

プロセッサ１１０は、表示制御プログラムが格納されたＲＯＭ１１２と、ＲＯＭ１１２に格納された表示制御プログラムを実行する動作回路としてのＣＰＵ１１１と、アクセス可能な記憶装置として機能するＲＡＭ１１３とを備えるコンピュータである。プロセッサ１１０は、情報取得処理、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理を実行する機能を備え、各処理を実現するためのソフトウェアと上述のハードウェアとの協働により、各処理を実行する。

【0015】

プロセッサ１１０は、情報取得処理において、通信ユニット２０から車両情報及び車両識別情報を取得し、サーバー３０から表示処理情報を取得し、撮像装置１０２から撮影画像情報を取得する。なお、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理については後述する。

【0016】

サーバー３０は、通信部３０１と、データベース３０２と、プロセッサ３１０とを備える。通信部３０１は、表示装置１００の通信部１０４との間で、車両識別情報や車両情報等の受信、及び、表示処理情報等の送信を行う。データベース３０２は、表示処理情報を格納している。

【0017】

プロセッサ３１０は、表示制御プログラムが格納されたＲＯＭ３１２と、ＲＯＭ３１２に格納された表示制御プログラムを実行する動作回路としてのＣＰＵ３１１と、アクセス可能な記憶装置として機能するＲＡＭ３１３とを備えるコンピュータである。プロセッサ３１０は、情報取得処理、及び表示処理情報抽出処理を実行する機能を備え、各処理を実現するためのソフトウェアと上述のハードウェアとの協働により、各処理を実行する。

【0018】

図４は、プロセッサ１１０の視線検出処理、及び視野領域設定処理を説明するための図である。図４に示すように、表示装置１００が、運転者の前方のダッシュボード２の上に設置された場合には、インカメラである撮像装置１０２の画角に運転者の顔が入ることになる。特に、ダッシュボード２上における運転者の正面に設置された表示装置１００は、運転者の中心視野領域Ｃに存在することになる。また、表示装置１００が、ダッシュボード２上における運転者から見て右端や、ダッシュボード２上における中央寄り（運転者から見て左側）に設置された場合には、当該表示装置１００は、運転者の周辺視野領域Ｐに存在することになる。

【0019】

プロセッサ１１０は、視線検出処理において、撮像装置１０２により撮影された画像に含まれる顔画像を解析することによって、運転者の視線を検出する。以下、運転者の視線を検出する方法の一実施例について説明する。

【0020】

一実施例に係る視線検出方法では、撮像装置１０２により取得された顔画像に対して画像処理を行って顔の特徴点を抽出し、顔の各部位と眼球との位置関係から視線を抽出する。まず、撮像装置１０２の入力画像の輝度情報及び彩度情報に基づいて、入力画像から肌色の領域を抽出する。

【0021】

次に、入力画像の輝度情報及び色相情報に基づいて、左右の目頭及び目尻と鼻孔とを抽出する。次に、分離度フィルタを使用して瞳孔を抽出する。そして、抽出した目尻２点と鼻孔２点の中間点との３点を用いて顔面に相当する平面を作成し、この平面のカメラ座標系における３次元の位置と向きとを検出する。

【0022】

最後に、視線を抽出するところ、まず、顔に付随したローカル座標系を設置する。このローカル座標系では、抽出した目頭と目尻とを通る直線をＸ軸とし、Ｘ軸に直交し目頭を通る直線をＹ軸とする。抽出した瞳孔の中心位置（Ｘ_i，Ｙ_i）と、正面視時の瞳孔の中心位置（Ｘ₀，Ｙ₀）との差（瞳孔移動量）（Ｘ₀−Ｘ_ｉ，Ｙ₀−Ｙ_ｉ）を算出し、瞳孔移動量と眼球半径（既定値）とに基づいて視線を算出する。

【0023】

プロセッサ１１０は、視野領域設定処理において、中心視野領域Ｃ及び周辺視野領域Ｐを設定する。ここで、中心視野領域Ｃは、視線検出処理において検出した視線を中心として上下左右に所定角度（例えば、有効視野あるいは文字の認識限界とされる４〜２０°）の領域に設定する。また、周辺視野領域Ｐは、例えば、視線検出処理において検出した視線を中心として左右に所定角度（例えば、最大視野角に相当する１００°）、視線から上に所定角度（例えば、最大視野角に相当する５０°）、視線から下に所定角度（例えば、最大視野角に相当する７５°）の領域（ただし、中心視野領域Ｃを除く）に設定する。

【0024】

プロセッサ１１０は、設置位置判定処理において、表示装置１００が、中心視野領域Ｃに存在するか否かを判定する。この設置位置判定処理では、視線検出処理で抽出した瞳孔と撮像装置１０２とを通過する直線が、視野領域設定処理で設定した中心視野領域Ｃを通過するか否かを判定する。

【0025】

図５及び図６は、プロセッサ１１０の表示情報生成処理、及び表示制御処理を説明するための図である。表示装置１００が中心視野領域Ｃの外側に存在する場合には、プロセッサ１１０は、表示情報生成処理において、図５に示すように、アイコン等の抽象化した表示情報（以下、抽象化情報という）を生成し、表示制御処理において、生成した抽象化情報を表示部１０１に表示させる。一方、表示装置１００が中心視野領域Ｃの内側に存在する場合には、プロセッサ１１０は、図６に示すように、表示情報生成処理において、テキスト等の具現化した表示情報（以下、具現化情報という）を生成し、表示制御処理において、生成した具現化情報を表示部１０１に表示させる。

【0026】

抽象化又は具現化した表示情報としては、速度オーバーや急ブレーキ等の警告表示、及びエアコンやオーディオ等の車載機器についての情報の表示等を例示することができる。例えば、図５及び図６に示すように、速度オーバーの警告表示を表示部１０１に表示させる場合、抽象化情報としては、シンボルの認識限界とされる視野でも認識可能な情報であるアイコンを表示させ、具現化情報としては、文字の認識限界とされる視野で認識可能な情報であるテキストを表示させる。

【0027】

図７は、本実施形態に係る車両用情報表示システム１０が実行する画像表示処理の制御手順を示すフローチャートである。この図のフローチャートに示す処理ルーチンは、表示装置１００にインストールされたアプリケーションソフトウェアが起動されると開始される。本処理ルーチンの実行中、プロセッサ１１０は、通信ユニット２０から車両情報及び車両識別情報を取得し、撮像装置１０２から撮影画像情報を取得する。

【0028】

まず、プロセッサ１１０は、撮像装置１０２の撮影画像に基づいて、運転者の視線を検出する（ステップＳ１０１）。次に、プロセッサ１１０は、ステップＳ１０１において検出した視線を中心とする中心視野領域Ｃを設定し、ステップＳ１０１において抽出した運転者の瞳孔と撮像装置１０２とを通過する直線が、中心視野領域Ｃを通過するか否かを判定する（ステップＳ１０２）。ステップＳ１０２において肯定判定がされた場合には、ステップＳ１０３に移行し、ステップＳ１０２において否定判定がされた場合には、ステップＳ１０４に移行する。

【0029】

ステップＳ１０３において、プロセッサ１１０は、表示部１０１に表示させる情報の設定を、Disp＝１に設定する。一方、ステップＳ１０４において、プロセッサ１１０は、表示部１０１に表示させる情報の設定を、Disp＝２に設定する。

【0030】

ステップＳ１０３、Ｓ１０４の次に、プロセッサ１１０は、通信ユニット２０から取得している車両情報に基づいて、表示部１０１にアイコンやテキスト等を表示させて通知する事象が発生したか否かを判定する（ステップＳ１０５）。ステップＳ１０５において肯定判定がされた場合には、ステップＳ１０６に移行し、ステップＳ１０５において否定判定がされた場合には、ステップＳ１０９に移行する。

【0031】

ステップＳ１０６において、プロセッサ１１０は、表示部１０１に表示させる情報の設定が、Disp＝１であるか否かを判定する。ステップＳ１０６において肯定判定がされた場合には、ステップＳ１０７に移行し、ステップＳ１０６において否定判定がされた場合には、ステップＳ１０８に移行する。

【0032】

ステップＳ１０７において、プロセッサ１１０は、具現化情報としてのテキスト情報を生成してテキストを表示部１０１に表示させる。一方、ステップＳ１０８において、プロセッサ１１０は、抽象化情報としてのアイコンの画像情報を生成してアイコンを表示部１０１に表示させる。

【0033】

ステップＳ１０７、Ｓ１０８の次に、プロセッサ１１０は、イグニッションスイッチがＯＦＦであるか否かを判定する（ステップＳ１０９）。ステップＳ１０９において肯定判定がされた場合には、プロセッサ１１０は、アプリケーションソフトウェアを終了して処理を終了する。一方、ステップＳ１０９において否定判定がされた場合には、ステップＳ１０１に戻り、ステップＳ１０１〜Ｓ１１０の処理を繰り返す。

【0034】

以上説明したように、本実施形態に係る車両用情報表示システム１０では、表示装置１００と一体の撮像装置１０２に、表示装置１００の使用者たる運転者を撮影させ、撮影画像から、運転者の視線を検出する。そして、検出した運転者の視線を中心とする中心視野領域Ｃと、その外側の周辺視野領域Ｐとの何れに、表示装置１００の表示部１０１が存在するかを判定する。表示部１０１が中心野領域Ｃに存在する場合、警告情報等の通知情報を、第１の表示形態で表示部１０１に表示させる。一方、表示部１０１が周辺視野領域Ｐに存在する場合、警告情報等の通知情報を、第１の表示形態と比較して抽象度の高い第２の表示形態で表示部１０１に表示させる。これにより、周辺視野領域Ｐに存在する表示装置１００に表示された通知情報についての運転者の認識時間の長大化を抑制できる。一方、中心視野領域Ｃに存在する表示装置１００に表示された通知情報についての運転者の情報要求量の不足を抑制できる。従って、表示装置１００に表示させる通知情報を、運転者の視線との関係で適切に設定できるという効果を奏する。

【0035】

また、本実施形態に係る車両用情報表示システム１０では、表示部１０１に表示させる通知情報の第１の表示形態がテキストを含むので、中心視野で認識する通知情報に対して運転者が要求する情報量を充足することができる。一方、表示部１０１に表示させる通知情報の第２の表示形態がアイコンを含むので、周辺視野領域Ｐに存在する表示装置１００に表示された通知情報についての運転者の認識時間を短縮できる。

【0036】

また、本実施形態に係る車両用情報表示システム１０では、表示装置１００は、車両内の運転席の前方に配置され、表示部１０１に表示させる通知情報は、運転者に対して通知する情報である。これにより、正面を向いて運転する運転者の中心視野で認識される通知情報は、テキスト等の具現化情報となって運転者の情報要求量を満足させるものとなる。一方、正面を向いて運転する運転者の周辺視野で認識される通知情報は、アイコン等の抽象化情報となって運転者による短時間での認識を可能とするものとなる。

【0037】

図８は、他の実施形態に係る車両用情報表示システム１１の概略構成を示すブロック図である。なお、上述の実施形態に係る車両用情報表示システム１０と同様の構成については説明を省略して上述の説明を援用する。

【0038】

図８に示すように、表示装置１００は、上述の表示部１０１、撮像装置１０２、通信部１０４、及びプロセッサ１１０に加えて、加速度センサ１０５を備える。加速度センサ１０５は、ＭＥＭＳ（Micro Electro Mechanical Systems）３軸加速度センサ等であり、Ｘ軸、Ｙ軸、Ｚ軸の３方向の加速度の加速度を計測でき、重力（静的加速度）の計測にも対応できる。また、本実施形態の通信部１０４は、通信ユニット２０から上述の車両識別情報や車両情報等を受信し、サーバー３０との間で、車両識別情報や車両情報等の送信、及び、表示処理情報等の受信を行う。また、本実施形態のプロセッサ１１０は、上述の情報取得処理、視線検出処理、視野領域設定処理、表示情報生成処理、及び表示制御処理に加えて、設置位置推定処理を実行する機能を備える。

【0039】

図４及び図９は、プロセッサ１１０の設置位置推定処理を説明するための図である。図４に示すように、表示装置１００が、運転者の前方のダッシュボード２の上に設置された場合には、インカメラである撮像装置１０２の画角に運転者の顔が入り、撮影画像に運転者の顔が含まれることになる。

【0040】

以下の説明では、右ハンドル車におけるダッシュボード２上の中央寄り（運転者から見て左側）の設置位置を設置位置（１）、ダッシュボード２上の運転者の正面の設置位置を設置位置（２）、ダッシュボード２上の運転者から見て右側の設置位置を設置位置（３）と称する。設置位置（１）、及び設置位置（３）に設置された表示装置１００は、正面を向いた運転者の周辺視野領域Ｐに存在する。一方、設置位置（２）に設置された表示装置１００は、正面を向いた運転者の中心視野領域Ｃに存在する。なお、矩形状の表示装置１００は、横向きにして設置されているものとする。また、撮像装置１０２は、表示部１０１の左側又は右側に位置するものとする。

【0041】

図９は、設置位置（１）〜（３）に設置された表示装置１００の表示部１０１に撮像装置１０２の撮影画像を表示させた場合に、運転者の顔が表示される位置及び運転者の顔の向きを示す図である。この図に示すように、インカメラである撮像装置１０２の撮影画像は、鏡像となって表示部１０１に表示される。

【0042】

運転者から見て右上の設置位置（３）に表示装置１００が設置されている場合と、運転者から見て左上の設置位置（１）に表示装置１００が設置されている場合とでは、表示部１０１での運転者の顔の表示位置が左右反転する。なお、設置位置（１）に表示装置１００が設置されている場合には、運転者の顔は表示部１０１の真ん中よりやや右側に表示される。

【0043】

運転者から見て左側の設置位置（１）に表示装置１００が設置されている場合には、運転者の顔が、左顔が前に出る向き（右向き）で表示部１０１に表示されるのに対して、運転者から見て右上の設置位置（３）に表示装置１００が設置されている場合には、運転者の顔が、右顔が前に出る向き（左向き）で表示部１０１に表示される。また、運転者から見て正面の設置位置（２）に表示装置１００が設置されている場合には、運転者の顔が、正面向きで表示部１０１に表示される。

【0044】

以上説明したように、表示装置１００の設置位置と、撮像装置１０２の撮影画像における運転者の顔の位置及び向きとの間には相関関係がある。なお、表示装置１００を設置位置（１）〜（３）に設置する場合には、運転者から表示部１０１が見え易いように、運転者が表示装置１００の向きを調整していることが想定される。そのため、表示装置１００が設置位置（１）〜（３）に設置されている場合には、撮像装置１０２の撮影画像における運転者の顔の位置には識別可能な差が生じない可能性がある。そこで、プロセッサ１１０は、情報取得処理において、撮像装置１０２の撮影情報（ＡＦ制御時の測距情報、及び撮影画像）を取得し、設置位置推定処理において、撮像装置１０２の撮影画像における運転者の顔の向きを判別し、その判別結果に基づいて、表示装置１００の設置位置を推定する。

【0045】

図１０及び図１１は、他の実施形態に係る車両用情報表示システム１１が実行する画像表示処理の制御手順を示すフローチャートである。これらの図のフローチャートに示す処理ルーチンは、表示装置１００にインストールされたアプリケーションソフトウェアが起動されると開始される。なお、上述の実施形態に係る車両用情報表示システム１０と同様の手順については説明を省略して上述の説明を援用する。

【0046】

本実施形態に係る画像表示処理では、まず、表示装置１００の設置位置を推定する処理を実行する（ステップＳ２０１〜Ｓ２０９）。ステップＳ２０１において、プロセッサ１１０は、表示装置１００に搭載されたセンサの検出情報を取得する。本ステップにおいて取得するセンサの検出情報には、加速度センサ１０５により検出された加速度情報が含まれる。

【0047】

次に、プロセッサ１１０は、ステップＳ２０１において取得した加速度情報に基づいて、表示装置１００が固定状態であるか否かを判定する（ステップＳ２０２）。本ステップにおいて、プロセッサ１１０は、加速度センサ１０５により検出された重力方向（Ｚ軸方向）の加速度が、所定の閾値以下であるか否かを判定する。本ステップにおいて否定判定がされた場合には、ステップＳ２０１に戻り、本ステップにおいて肯定判定がされた場合には、ステップＳ２０３に進む。

【0048】

ステップＳ２０３において、プロセッサ１１０は、車速と操舵角とに基づいて、車両１が直線走行中であるか否かを判定する。本ステップにおいて肯定判定がされた場合にはステップＳ２０４に移行し、否定判定がされた場合にはステップＳ２０３が繰り返し実行される。ステップＳ２０３において、プロセッサ１１０は、車速が所定の閾値以上であり、且つ、操舵角が所定の閾値以下であるか否かを判定する。ここで、車速の閾値は、例えば１０ｋｍ／ｈ等の車両１が走行中であると判定できる値に設定されている。また、操舵角の閾値は、例えば１０°等の車両１が直進中であると判定できる値に設定されている。

【0049】

ステップＳ２０４において、プロセッサ１１０は、撮像装置１０２の撮影画像を解析することにより、撮影装置１０２の撮影画像における運転者の顔の向きを判別する。次に、プロセッサ１１０は、ステップＳ２０４において判別した運転者の顔の向きが正面向きであるか否かを判定する（ステップＳ２０５）。本ステップにおいて肯定判定がされた場合には、ステップＳ２０６に移行し、本ステップにおいて否定判定がされた場合には、ステップＳ２０７に移行する。

【0050】

ステップＳ２０７において、プロセッサ１１０は、ステップＳ２０４において判別した運転者の顔の向きが右向き（左顔が前に出る向き）であるか否かを判定する。本ステップにおいて肯定判定がされた場合には、ステップＳ２０８に移行し、本ステップにおいて否定判定がされた場合には、ステップＳ２０９に移行する。

【0051】

ステップＳ２０６において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（２）と推定する。一方、ステップＳ２０８において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（１）と推定する。さらに、ステップＳ２０９において、プロセッサ１１０は、表示装置１００の設置位置を設置位置（３）と推定する。そして、ステップＳ２０６、Ｓ２０８、Ｓ２０９から図１１のステップＳ１０１に移行する。

【0052】

即ち、撮像装置１０２の撮影画像における運転者の顔の向きが、右向きである場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（１）と推定する。一方、撮像装置１０２の撮影画像における運転者の顔の向きが、右顔が左向きである場合には、プロセッサ１１０は、表示装置１００の設置位置を設置位置（３）と推定する。さらに、プロセッサ１１０は、撮像装置１０２の撮影画像における運転者の顔の向きが、正面向きである場合には、表示装置１００の設置位置を設置位置（２）と推定する。

【0053】

ステップＳ２０６、Ｓ２０８、Ｓ２０９の次に、上述したステップＳ１０１〜Ｓ１０４が実行される。ここで、図１２は、本実施形態のDisp＝１に対応する表示画像を示す図であり、図５は、本実施形態のDisp＝２に対応する表示画像を示す図であり、図６は、後述のDisp＝３に対応する表示画像を示す図である。

【0054】

図１２に示すように、本実施形態のDisp＝１に対応する表示画像は、アイコン等の抽象化情報とテキスト等の具現化情報とを含む。一方、図５に示すように、本実施形態のDisp＝２に対応する表示画像は、アイコン等の抽象化情報のみである。さらに、図６に示すように、本実施形態のDisp＝３に対応する表示画像は、テキスト等の具現化情報のみである。ここで、抽象化情報は、スピード違反等の事象が発生したことを通知する事象発生通知情報である。一方、具現化情報は、発生した事象の内容を通知する発生事象内容通知情報である。

【0055】

図１１のフローチャートに戻り、ステップＳ１０５において、プロセッサ１１０は、通信ユニット２０から取得している車両情報に基づいて、表示部１０１に表示させて通知する事象が発生したか否かを判定する。ステップＳ１０５において肯定判定がされた場合には、ステップＳ１０６に移行し、ステップＳ１０５において否定判定がされた場合には、ステップＳ１０９に移行する。

【0056】

ステップＳ１０６において、プロセッサ１１０は、表示部１０１に表示させる情報の設定が、Disp＝１であるか否かを判定する。ステップＳ１０６において肯定判定がされた場合には、ステップＳ３０１に移行し、ステップＳ１０６において否定判定がされた場合には、ステップＳ３０２に移行する。

【0057】

ステップＳ３０１において、プロセッサ１１０は、図１２に示すDisp＝１に対応する画像を生成して表示部１０１に表示させる。一方、ステップＳ３０２において、プロセッサ１１０は、表示装置１００の設置位置が設置位置（１）、（３）の何れか一方であるか否かを判定する。ステップＳ３０２において肯定判定がされた場合にはステップＳ３０３に移行し、ステップＳ３０２において否定判定がされた場合にはステップＳ３０６に移行する。

【0058】

ステップＳ３０３において、プロセッサ１１０は、図５に示すDisp＝２に対応する画像を生成して表示部１０１に表示させる。同様に、ステップＳ３０６において、プロセッサ１１０は、Disp＝２に対応する画像を生成して表示部１０１に表示させる。即ち、表示装置１００が周辺視野領域Ｐに存在する場合と周辺視野領域Ｐに存在しない場合との双方で、表示部１０１に抽象化情報（事象発生通知情報）を表示させる。

【0059】

ステップＳ３０３の実行後に、プロセッサ１１０は、所定時間（例えば、０．５ｓｅｃ等の１ｓｅｃ以下の時間）が経過したか否かを判定する（ステップＳ３０４）。ステップＳ３０４は、肯定判定がされるまで繰り返され、ステップＳ３０４において肯定判定がされた場合にはステップＳ３０５に移行する。

【0060】

ステップＳ３０５において、プロセッサ１１０は、図６に示すDisp＝３に対応する画像を生成して表示部１０１に表示させる。即ち、表示装置１００が運転者の周辺視野領域Ｐに存在する場合には、抽象化情報が表示部１０１に所定時間（１ｓｅｃ以下の時間）表示されてから、表示部１０１の表示情報が抽象化情報から具現化情報に切換えられる。一方、表示装置１００が運転者の中心視野領域Ｃのみならず周辺視野領域Ｐにも存在しない場合には、抽象化情報が表示部１０１に上記所定時間経過後も継続して表示される（ステップＳ３０６）。

【0061】

ステップＳ３０１、Ｓ３０５、Ｓ３０６の実行後に、プロセッサ１１０は、イグニッションスイッチがＯＦＦであるか否かを判定する（ステップＳ１０９）。ステップＳ１０９において肯定判定がされた場合には、プロセッサ１１０は、アプリケーションソフトウェアを終了して処理を終了する。一方、ステップＳ１０９において否定判定がされた場合には、図１０のステップＳ２０１に戻り、処理を繰り返す。

【0062】

なお、本実施形態では、表示部１０１が周辺視野領域Ｐに存在しない場合にも、通知情報を抽象度の高い第２の表示形態で表示部１０１に表示させたが、これは必須ではなく、表示部１０１が中心視野領域Ｃにも周辺視野領域Ｐにも存在しない場合には、通知情報を表示部１０１に表示させないようにしてもよい。

【0063】

以上説明したように、本実施形態に係る車両用情報表示システム１１では、表示装置１００の表示部１０１が周辺視野領域Ｐに含まれる場合、通知情報を、アイコン等の抽象度の高い第２の表示形態で表示部１０１に表示させてから所定時間が経過した後に、テキスト等の具体度の高い第１の表示形態に切換えて表示部１０１に表示させる。これにより、運転者は、周辺視野で抽象度の高い事象発生通知情報を認識した状態で、具体度の高い発生事象内容通0知情報に視線を向けることができるので、具体度の高い発生事象内容通知情報の認識時間を短縮できる。

【0064】

また、本実施形態に係る車両用情報表示システム１１では、表示装置１００の表示部１０１が設けられた面の側に備えられた撮像装置１０２により運転者の顔を撮影し、撮影された運転者の顔の向きに基づいて、表示部１０１の位置を推定する。そして、推定した表示部１０１の位置が、周辺視野領域Ｐに含まれる場合、通知情報を、アイコン等の抽象度の高い第２の表示形態で表示部１０１に表示させてから所定時間が経過した後に、テキスト等の具体度の高い第１の表示形態に切換えて表示部１０１に表示させる。これにより、表示部１０１が周辺視野領域Ｐに含まれない場合に、不必要に、通知情報の表示形態の切換が実行されることを防止できる。

【0065】

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態において開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0066】

例えば、上述の実施形態では、撮像装置１０２を表示装置１００と一体としたが、これは必須ではなく、例えば、撮像装置１０２は、表示装置１００を固定するための固定装置４に設ける等、表示装置１００と別体として表示装置１００の周囲に設けてもよい。この場合、撮像装置１０２を表示装置１００に近接させることが好ましい。ここで、撮像装置１０２を表示装置１００とは別体にして「周囲」に設け又は「近接」させる場合には、表示装置１００と使用者の視野との関係が、撮像装置１０２を表示装置１００と一体とする場合と同じになるように、撮像装置１０２と表示装置１００との距離を設定すればよい。なお、「表示装置１００と使用者の視野との関係が同じ」とは、撮像装置１０２を表示装置１００と一体にする場合と別体にする場合との双方で、表示装置１００が使用者の中心視野Ｃに存在するか、あるいは、撮像装置１０２を表示装置１００と一体にする場合と別体にする場合との双方で、表示装置１００が使用者の周辺視野Ｐに存在する状況を指す。また、「周囲」とは、例えば、使用者の表示装置１００に対する中心視野及び周辺視野を把握可能な位置に、撮像装置１０２を表示装置とは離間して配置することを言う。さらに、「近接」とは、例えば、表示装置１００の隣に撮像装置１０２を接して配置することを言う。

【0067】

また、表示部１０１は、警告情報等の１つの通知情報を専用で表示するものには限られず、ナビゲーション情報等を基本情報として表示し、一時的に警告情報等の通知情報を表示するものとしてもよい。

【0068】

また、上述の実施形態では、通知事象の発生時に、表示部１０１が中心視野領域Ｃと周辺視野領域Ｃとの何れに存在するかを判定して通知情報の表示形態を決定したが、これは必須ではなく、通知事象の発生時には、通知情報を予め決められた表示形態で表示部１０１に表示させ、通知事象の発生後に、表示部１０１が中心視野領域Ｃと周辺視野領域Ｐとの何れに存在するかを判定し、判定結果に応じて、通知情報の表示形態を切換えるようにしてもよい。

【0069】

さらに、上述の実施形態では、表示装置１００が車両内の運転者の前方に配置される状況を例に挙げて本発明を説明したが、船舶や航空機や建設機械等の車両以外の他の機械や、オフィスで使用される状況にも本発明を適用できる。

【符号の説明】

【0070】

３０ サーバー
３１０ プロセッサ
１００ 表示装置
１０１ 表示部
１０２ 撮像装置
１１０ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】