特許 6767738 ディスプレイ装置、車両及びディスプレイ方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6767738

(24)【登録日】2020年9月24日

(45)【発行日】2020年10月14日

(54)【発明の名称】ディスプレイ装置、車両及びディスプレイ方法

(51)【国際特許分類】

   A61B 5/0476 20060101AFI20201005BHJP

   A61B 5/0484 20060101ALI20201005BHJP

   G06F 3/01 20060101ALI20201005BHJP

   B60K 28/06 20060101ALI20201005BHJP

【ＦＩ】

   A61B5/04 322

   A61B5/04 320M

   G06F3/01 515

   B60K28/06 Z

【請求項の数】26

【全頁数】36

(21)【出願番号】特願2015-166952(P2015-166952)

(22)【出願日】2015年8月26日

(65)【公開番号】特開2016-179164(P2016-179164A)

(43)【公開日】2016年10月13日

【審査請求日】2018年8月27日

(31)【優先権主張番号】10-2015-0040322

(32)【優先日】2015年3月23日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】591251636

【氏名又は名称】現代自動車株式会社

【氏名又は名称原語表記】ＨＹＵＮＤＡＩ ＭＯＴＯＲ ＣＯＭＰＡＮＹ

(74)【代理人】

【識別番号】110000051

【氏名又は名称】特許業務法人共生国際特許事務所

(72)【発明者】

【氏名】洪 起 範

(72)【発明者】

【氏名】閔 柾 サン

【審査官】 佐藤 高之

(56)【参考文献】

【文献】 特開２００４−１６６２１９（ＪＰ，Ａ）

【文献】 特開２０１３−００４００６（ＪＰ，Ａ）

【文献】 韓国公開特許第１０−２０１４−０１２９８２０（ＫＲ，Ａ）

【文献】 特開２０１１−０８６１２５（ＪＰ，Ａ）

【文献】 特開平０６−１５０１９９（ＪＰ，Ａ）

【文献】 特開２０１４−１０２８４６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０４−５／０５３

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ９／００−９／５４

Ｇ０９Ｇ １／００−５／００

(57)【特許請求の範囲】

【請求項1】

脳波信号を発生させる視覚刺激信号及び前記視覚刺激信号を含まない基本視覚情報フレームを表示するディスプレイ部と、
直ぐ隣接する２つの基本視覚情報フレームの間に前記視覚刺激信号を予め設定された周波数に応じて挿入する制御部と、
発生した前記脳波信号が有する周波数を判断する脳波分析部と、
を含むことを特徴とするディスプレイ装置。

【請求項2】

前記視覚刺激信号により発生する脳波信号は、
定常状態視覚誘発電位（Ｓｔｅａｄｙ−ｓｔａｔｅ Ｖｉｓｕａｌ Ｅｖｏｋｅｄ Ｐｏｔｅｎｔｉａｌ）を含むことを特徴とする請求項１に記載のディスプレイ装置。

【請求項3】

前記ディスプレイ部は、
前記基本視覚情報フレームを動画状態又は静止画状態で表示することを特徴とする請求項１に記載のディスプレイ装置。

【請求項4】

ユーザの脳波信号を検出する脳波検出器から発生した前記脳波信号を受信する通信部を更に含むことを特徴とする請求項１に記載のディスプレイ装置。

【請求項5】

前記制御部は、
発生した前記脳波信号が有する周波数に対応する機能を実行するように制御信号を生成することを特徴とする請求項１に記載のディスプレイ装置。

【請求項6】

前記制御部は、
前記ディスプレイ部の画面を複数領域に分割し、前記分割された複数領域に表示される基本視覚情報フレームに、それぞれ異なる周波数を有する視覚刺激信号を挿入することを特徴とする請求項１に記載のディスプレイ装置。

【請求項7】

前記脳波分析部は、
前記発生した脳波信号が有する周波数に基づいて前記ユーザの視線を認識することを特徴とする請求項４に記載のディスプレイ装置。

【請求項8】

脳波信号を発生させる視覚刺激信号及び前記視覚刺激信号を含まない基本視覚情報フレームを表示するディスプレイ部と、
直ぐ隣接する２つの基本視覚情報フレームの間に前記視覚刺激信号を予め設定された周波数に応じて挿入する制御部と、
ユーザの脳波信号を検出する脳波検出器から脳波信号を受信する通信部と、
前記ユーザの脳波信号が有する周波数を把握し、把握された前記周波数に基づいて前記ユーザが凝視した領域を判断する脳波分析部と、
を含むことを特徴とする車両。

【請求項9】

前記視覚刺激信号により発生する脳波は、定常状態視覚誘発電位を含むことを特徴とする請求項８に記載の車両。

【請求項10】

前記ディスプレイ部は、
複数のディスプレイを含むことを特徴とする請求項８に記載の車両。

【請求項11】

前記ディスプレイ部は、
ＡＶＮディスプレイ、クラスタディスプレイ、及びヘッドアップディスプレイのうちの少なくとも１つを含むことを特徴とする請求項８に記載の車両。

【請求項12】

前記制御部は、
前記複数のディスプレイにそれぞれ表示される基本視覚情報フレームに、互いに異なる周波数を有する視覚刺激信号を挿入することを特徴とする請求項１０に記載の車両。

【請求項13】

前記制御部は、
前記複数のディスプレイのうちの前記ユーザが凝視したディスプレイに関連する機能を制御することを特徴とする請求項１２に記載の車両。

【請求項14】

前記ユーザの制御命令が入力される入力部を更に含み、
前記制御部は、
前記入力部を介して入力された前記ユーザの制御命令により、前記ユーザが凝視したディスプレイに関連する機能を制御することを特徴とする請求項１３に記載の車両。

【請求項15】

前記制御部は、
前記ディスプレイ部の一部領域に表示される基本視覚情報フレームに、前記視覚刺激信号を挿入することを特徴とする請求項８に記載の車両。

【請求項16】

前記制御部は、
前記ユーザが前記ディスプレイ部の一部領域を凝視したものと判断した場合、前記一部領域に対応する機能を直ちに実行することを特徴とする請求項１５に記載の車両。

【請求項17】

音響を出力するスピーカを更に含むことを特徴とする請求項８に記載の車両。

【請求項18】

前記制御部は、
前記ユーザが前記ディスプレイ部を予め設定された基準時間以上凝視したものと判断した場合、前記ディスプレイ部及び前記スピーカのうちの少なくとも１つを介して警告を出力することを特徴とする請求項１７に記載の車両。

【請求項19】

前記制御部は、
前記ユーザが信号機を凝視しないものと判断した場合、前記ディスプレイ部及び前記スピーカのうちの少なくとも１つを介して警告を出力することを特徴とする請求項１７に記載の車両。

【請求項20】

前記制御部は、
前記ユーザが信号機の赤信号を凝視したものと判断した場合に、車両が停止しなければ、前記ディスプレイ部及び前記スピーカのうちの少なくとも１つを介して警告を出力することを特徴とする請求項１７に記載の車両。

【請求項21】

前記ディスプレイ部は、
前記ユーザがよく使用する機能に対応する領域、又は前記ユーザがよく凝視する領域の面積を大きく表示することを特徴とする請求項８に記載の車両。

【請求項22】

前記制御部は、
前記ユーザがよく使用する機能、又は前記ユーザがよく凝視する領域に対応する機能を、直ちに実行する機能として設定することを特徴とする請求項１６に記載の車両。

【請求項23】

脳波信号を発生させる視覚刺激信号及び前記視覚刺激信号を含まない基本視覚情報フレームを表示するディスプレイ部と、
直ぐ隣接する２つの基本視覚情報フレームの間に前記視覚刺激信号を、前記基本視覚情報フレームを表示するフレームレートとは異なる予め設定された周波数に応じて挿入する制御部と、を含み、
前記視覚刺激信号は、予め設定された視覚刺激パターンからなることを特徴とするディスプレイ装置。

【請求項24】

直ぐ隣接する２つの基本視覚情報フレームの間に、予め設定された周波数に応じて視覚刺激信号を挿入して表示し、
ユーザの脳波信号を受信し、
受信した前記脳波信号を分析して前記ユーザが凝視した領域を判断し、
前記ユーザが凝視した領域に対応する制御を行うことを含むことを特徴とするディスプレイ方法。

【請求項25】

前記ユーザが凝視した領域を判断することは、
前記受信した脳波信号が有する周波数を把握し、
把握された前記周波数が前記視覚刺激信号の周波数と同一であるか否かを判断することを含むことを特徴とする請求項２４に記載のディスプレイ方法。

【請求項26】

前記視覚刺激信号が表示される領域とそれに対応する制御をマッピングさせて保存することを更に含むことを特徴とする請求項２４に記載のディスプレイ方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディスプレイ装置、車両及びディスプレイ方法に係り、より詳しくは、ユーザの視線を認識し、これに対するフィードバックを提供してユーザの意図を把握し、これを機器の制御に用いるディスプレイ装置、前記ディスプレイ装置を備える車両、及び前記ディスプレイ装置のディスプレイ方法に関する。

【背景技術】

【0002】

ユーザが機器を制御したり、必要な情報を取得したりするためには、直接入力部を操作するのが一般的である。しかし、ユーザが運転中であったり、手を自由に動かせない場合であったりする場合には、入力部の操作が負担となり、運転のような他の作業の阻害となり得る。
そのため、入力部の操作を最小化しながら、ユーザの意図を把握して機器を制御したり、必要な情報を提供したりすることができる技術の開発が要求されている。

【0003】

近年は、ユーザの視線を認識してユーザの意図を把握する技術に関する研究が行われているが（例えば特許文献１を参照）、ユーザの意図を把握し、これを機器の制御に適用することができれば、ユーザが直接入力部の操作をすることなしに、特定領域に視線を向けるだけで入力部操作の全部又は一部を代行して機器を制御したり、所望する情報を取得したりすることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２７４３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の一態様は、ユーザの視線認識を介してユーザの意図を把握し、これを機器の制御に用いることで、入力部の操作の便宜性を向上させることができるディスプレイ装置、車両、及びディスプレイ方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係るディスプレイ装置は、脳波信号を発生させる視覚刺激信号及び前記視覚刺激信号を含まない基本視覚情報フレームを表示するディスプレイ部と、直ぐ隣接する２つの基本視覚情報フレームの間に前記視覚刺激信号を予め設定された周波数に応じて挿入する制御部と、発生した前記脳波信号が有する周波数を判断する脳波分析部と、を含む。

【0007】

前記視覚刺激信号により発生する脳波信号は、定常状態視覚誘発電位（Ｓｔｅａｄｙ−ｓｔａｔｅ Ｖｉｓｕａｌ Ｅｖｏｋｅｄ Ｐｏｔｅｎｔｉａｌ）を含むことができる。

【0008】

前記ディスプレイ部は、前記基本視覚情報フレームを動画状態又は静止画状態で表示することができる。

【0009】

前記制御部は、前記基本視覚情報が動画状態で表示される場合に、前記動画を構成するフレームが表示されない時点に前記視覚刺激信号を挿入することができる。

【0010】

ユーザの脳波信号を検出する脳波検出器から前記発生した脳波信号を受信する通信部を更に含むことができる。

【0011】

前記制御部は、前記発生した脳波信号が有する周波数に対応する機能を実行するように制御信号を生成することができる。

【0012】

前記制御部は、前記ディスプレイ部の画面を複数領域に分割し、前記分割された複数領域に表示される基本視覚情報フレームに、それぞれ異なる周波数を有する視覚刺激信号を挿入することができる。

【0013】

前記脳波分析部は、前記発生した脳波信号が有する周波数に基づいて前記ユーザの視線を認識することができる。

【0014】

本発明の一実施形態に係る車両は、脳波信号を発生する視覚刺激信号及び前記視覚刺激信号を含まない基本視覚情報フレームを表示するディスプレイ部と、直ぐ隣接する２つの基本視覚情報フレームの間に前記視覚刺激信号を予め設定された周波数に応じて挿入する制御部と、ユーザの脳波信号を検出する脳波検出器から脳波信号を受信する通信部と、前記ユーザの脳波信号が有する周波数を把握し、前記把握された前記周波数に基づいて前記ユーザが凝視した領域を判断する脳波分析部と、を含むことができる。

【0015】

前記視覚刺激信号により発生する脳波は、定常状態視覚誘発電位を含むことができる。

【0016】

前記ディスプレイ部は、複数のディスプレイを含むことができる。

【0017】

前記ディスプレイ部は、ＡＶＮディスプレイ、クラスタディスプレイ、及びヘッドアップディスプレイのうちの少なくとも１つを含むことができる。

【0018】

前記車両は、前記制御部が、前記複数のディスプレイにそれぞれ表示される基本視覚情報フレームに、互いに異なる周波数を有する視覚刺激信号を挿入することができる。

【0019】

前記車両は、前記制御部が、前記複数のディスプレイのうちの前記ユーザが凝視したディスプレイに関連する機能を制御することができる。

【0020】

前記車両は、前記ユーザの制御命令が入力される入力部を更に含み、前記制御部は、前記入力部を介して入力されたユーザの制御命令により、前記ユーザが凝視したディスプレイに関連する機能を制御することができる。

【0021】

前記車両は、前記制御部が、前記ディスプレイ部の一部領域に表示される基本視覚情報フレームに、前記視覚刺激信号を挿入することができる。

【0022】

前記制御部は、前記ユーザが前記ディスプレイ部の一部領域を凝視したものと判断した場合、前記一部領域に対応する機能を直ちに実行することができる。

【0023】

前記車両は、音響を出力するスピーカを更に含むことができる。

【0024】

前記車両は、前記制御部が、前記ユーザが前記ディスプレイ部を予め設定された基準時間以上凝視した場合、前記ディスプレイ部及び前記スピーカのうちの少なくとも１つを介して警告を出力することができる。

【0025】

前記制御部は、前記ユーザが信号機を凝視しないものと判断した場合、前記ディスプレイ部及び前記スピーカのうちの少なくとも１つを介して警告を出力することができる。

【0026】

前記制御部は、前記ユーザが信号機の赤信号を凝視したものと判断した場合、前記車両が停止しなければ前記ディスプレイ部及び前記スピーカのうちの少なくとも１つを介して警告を出力することができる。

【0027】

前記ディスプレイ部は、前記ユーザがよく使用する機能に対応する領域又は前記ユーザがよく凝視する領域の面積を大きく表示することができる。

【0028】

前記制御部は、前記ユーザがよく使用する機能又は前記ユーザがよく凝視する領域に対応する機能を、前記直ちに実行する機能として設定することができる。

【0029】

一実施形態に係るディスプレイ装置は、脳波信号を発生させる視覚刺激信号及び前記視覚刺激信号を含まない基本視覚情報フレームを表示するディスプレイ部と、直ぐ隣接する２つの基本視覚情報フレームの間に前記視覚刺激信号を、前記基本視覚情報フレームを表示するフレームレートとは異なる予め設定された周波数に応じて挿入する制御部と、を含み、前記視覚刺激信号は、予め設定された視覚刺激パターンからなることができる。

【0030】

本発明の一実施形態に係る車両は、前記視覚刺激信号及び前記基本視覚情報に、予め設定された周波数に応じて挿入された視覚刺激信号を表示する広告表示装置を凝視したユーザの脳波を受信する車両において、前記ユーザの脳波信号が有する周波数を把握し、前記把握された周波数に基づいて前記ユーザが凝視した領域を判断する脳波分析部と、前記ユーザの凝視した領域が前記広告表示装置である場合、前記広告表示装置に関連する情報をディスプレイ部または出力部を介して提供する制御部と、を含むことができる。

【0031】

前記車両は、前記ディスプレイ部が、ＡＶＮディスプレイ、クラスタディスプレイ及びヘッドアップディスプレイのうちの少なくとも１つを含むことができる。

【0032】

前記車両は、前記ヘッドアップディスプレイが、前記広告表示装置に関連する情報を、拡張現実技法を使用して表示することができる。

【0033】

本発明の一実施形態に係るディスプレイ方法は、直ぐ隣接する２つの基本視覚情報フレームの間に、予め設定された周波数に応じて視覚刺激信号を挿入して表示し、ユーザの脳波信号を受信し、受信した脳波信号を分析して前記ユーザが凝視した領域を判断し、前記ユーザが凝視した領域に対応する制御を行うことを含む。

【0034】

前記ディスプレイ方法は、前記ユーザが凝視した領域を判断することは、前記受信した脳波信号が有する周波数を把握し、把握された周波数が前記視覚刺激信号の周波数と同一であるか否かを判断することを含むことができる。

【0035】

前記ディスプレイ方法は、前記視覚刺激信号が表示される領域とそれに対応する制御をマッピングして保存することを更に含むことができる。

【発明の効果】

【0036】

本発明の一態様に係るディスプレイ装置、車両及びディスプレイ方法によれば、ユーザの視線認識を介してユーザの意図を把握し、これを機器の制御に用いることで、入力部の操作の便宜性を向上させることができる。

【図面の簡単な説明】

【0037】

【図1】本発明の一実施形態に係るディスプレイ装置の制御ブロック図である。

【図2】ディスプレイに表示される視覚刺激信号の例を示す図である。

【図3】ディスプレイに表示される視覚刺激信号の例を示す図である。

【図4】特定周波数を有する視覚刺激信号が基本視覚情報フレーム間に挿入された形態を示す図である。

【図5】特定周波数を有する視覚刺激信号が基本視覚情報フレーム間に挿入された形態を示す図である。

【図6】特定周波数を有する視覚刺激信号が基本視覚情報フレーム間に挿入された形態を示す図である。

【図7】ディスプレイ部の領域ごとに周波数が異なるように設定して視覚刺激信号を表示する例を示す図である。

【図8】脳波検出器の一例による外観図である。

【図9】脳波検出器の一例による制御ブロック図である。

【図10】ディスプレイ装置の脳波分析部の構成が具体化された制御ブロック図である。

【図11】保存部を更に含むディスプレイ装置の制御ブロック図である。

【図12】車両に含まれるディスプレイ装置の制御ブロック図である。

【図13】本発明の一実施形態に係る車両内部の構成を示す図である。

【図14】ヘッドアップディスプレイとその構成を示す図である。

【図15】ユーザの凝視領域による制御動作の一例を示す図である。

【図16】１つのディスプレイを複数領域に分割して互いに異なる周波数を割り当てる場合の例を示す図である。

【図17】分割された領域に互いに異なる周波数を有する視覚刺激信号を表示する方法の例を示す図である。

【図18】ユーザの凝視領域による制御動作の他の例を示す図である。

【図19】ユーザの凝視領域による制御動作の他の例を示す図である。

【図20】ディスプレイ部の画面が複数の領域に分割される場合に各領域の面積が調節される例を示す図である。

【図21】ユーザの使用履歴情報が活用される分野を示す図である。

【図22】ユーザの凝視領域による制御動作のまた他の例を示す図である。

【図23】ユーザが赤色信号機を凝視している場合の制御動作に関する例を示す図である。

【図24】ユーザが信号機を凝視しない場合の制御動作に関する例を示す図である。

【図25】ユーザが車両外部の看板を凝視している場合の制御動作に関する例を示す図である。

【図26】ユーザが車両外部の看板を凝視している場合の制御動作に関する例を示す図である。

【図27】ユーザが車両外部の看板を凝視している場合の制御動作に関する例を示す図である。

【図28】ユーザの視線を認識して空調装置又は自動座席装置を制御する車両の制御ブロック図である。

【図29】ユーザの視線を認識して空調装置又は自動座席装置を制御する場合にディスプレイに表示される画面の例を示す図である。

【図30】本発明の一実施形態に係るディスプレイ方法に関するフローチャートである。

【図31】本発明の一実施形態に係るディスプレイ方法において、ユーザ凝視領域に基づいて入力部による制御対象を決定する例を示すフローチャートである。

【図32】本発明の一実施形態に係るディスプレイ方法において、ユーザが凝視した領域に対応する機能を直ちに実行する例を示すフローチャートである。

【図33】本発明の一実施形態に係るディスプレイ方法において、ユーザの使用履歴によってディスプレイ画面の構成を制御する例を示すフローチャートである。

【図34】本発明の一実施形態に係るディスプレイ方法において、ユーザが外部の視覚刺激信号を凝視している場合の例を示すフローチャートである。

【図35】本発明の一実施形態に係るディスプレイ方法において、ユーザの使用履歴によってディスプレイ画面の構成を制御する他の例を示すフローチャートである。

【発明を実施するための形態】

【0038】

以下に、添付図面を参照しながら本発明の一態様に係るディスプレイ装置、車両及びディスプレイ制御方法に関する実施形態を詳細に説明する。

【0039】

図１は、本発明の一実施形態に係るディスプレイ装置の制御ブロック図である。

【0040】

図１に示すように、本発明の一実施形態に係るディスプレイ装置１００は、ユーザに視覚情報を提供するディスプレイ部１４０、ディスプレイ部１４０を制御する制御部１３０、視覚情報を受け入れたユーザの脳波を検出した脳波検出器２００から脳波信号を受信する通信部１１０、及び受信した脳波信号を分析してユーザの意図を把握する脳波分析部１２０を含む。

【0041】

本発明の一実施形態に係るディスプレイ装置１００は、ユーザと機器との間にあって、インタフェース装置の役割をする入力部に対する物理的な操作を最小化しつつ、機器を制御することができるように、ユーザの視線認識を介してユーザの意図を把握することができる。

【0042】

正確な視線認識のために、本発明の一実施形態に係るディスプレイ装置１００は、ユーザの脳波（ＥＥＧ：Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）を測定して分析することができる。脳波は、脳神経から発生した電気的な信号が合成されて表示される微細な脳表面の信号を、電極を用いて測定した電位である。具体的には、ＳＳＶＥＰ（Ｓｔｅａｄｙ−ｓｔａｔｅ Ｖｉｓｕａｌ Ｅｖｏｋｅｄ Ｐｏｔｅｎｔｉａｌ：定常状態視覚誘発電位）が用いられるが、ＳＳＶＥＰは、所定の周波数で提供される視覚刺激信号を凝視する際に、脳の視覚領域を担当する後頭葉付近で誘導される脳波信号である。ＳＳＶＥＰには、視覚刺激信号の周波数と同一の周波数成分が含まれるので、ユーザに提供される視覚刺激信号の周波数とユーザの脳波信号の周波数とを比較して、ユーザが当該視覚刺激信号を凝視しているか否かを判断することができる。

【0043】

ＳＳＶＥＰを用いてユーザの視線を認識するために、制御部１３０は、ディスプレイ部１４０が、予め設定された周波数を有する視覚刺激信号を含む視覚情報を表示するように制御する。ここで、予め設定された周波数は、ディスプレイ装置１００にその情報を予め保存すればよく、その大きさに制限はない。

【0044】

脳波検出器２００が、ユーザの脳波を検出してディスプレイ装置１００に伝送すると、通信部１１０が、これを受信して脳波分析部１２０に伝達する。当該実施形態では、脳波検出器２００をディスプレイ装置１００と別途に備える構成としたが、これに限定されず、脳波検出器２００がディスプレイ装置１００に含まれてもよい。

【0045】

脳波分析部１２０は、脳波検出器２００が検出したユーザの脳波信号が特定周波数を有するか否かを判断する。このために、多様な方式の分析技法が使用できるが、例えば、パワースペクトル密度分析（Ｐｏｗｅｒ ｓｐｅｃｔｒａｌ ｄｅｎｓｉｔｙ ａｎａｌｙｓｉｓ）又は正準相関分析（Ｃａｎｏｎｉｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ）などの分析技法が用いられる。また、脳波信号を分析する前に増幅やフィルタリングなどの前処理過程を経ることができるが、これに関する具体的な説明は後述する。

【0046】

制御部１３０は、脳波信号の分析結果に対応する制御を行う。例えば、ユーザの視線がディスプレイ部１４０の制御に対応する場合には、ディスプレイ部１４０が、ユーザが所望する画面を表示するように制御し、その他の機器の制御に対応する場合には、当該機器に制御信号を伝送する。脳波信号の分析結果による具体的な制御動作については後述する。

【0047】

図２及び図３は、ディスプレイ部に表示される視覚刺激信号の例を示す図である。

【0048】

上記したように、制御部１３０は、ディスプレイ部１４０に特定周波数を有する視覚刺激信号を含む視覚情報が表示されるように制御する。ＳＳＶＥＰは、脳の光駆動反応（ｐｈｏｔｉｃ ｄｒｉｖｉｎｇ ｒｅｓｐｏｎｓｅ）現象により発生する。脳の光駆動反応は、特定周波数で点滅する閃光やパターンをユーザが集中して凝視した際に、同一周波数が後頭葉視覚皮質から測定される現象である。

【0049】

特定周波数を有する視覚刺激信号を生成するために使用される視覚刺激パターンの例において、図２に示すように、四角形が表示されたパターンＰ_１及び表示されないパターンＰ_２を交差させたり、図３に示すように、互いに異なる格子縞状のパターンＰ_３、Ｐ_４を交差させて周波数を生成することができる。ただし、図２及び図３に示す視覚刺激パターンは、ディスプレイ装置１００で特定周波数を有する視覚刺激信号を生成するために使用する例に過ぎず、ディスプレイ装置１００の実施形態がこれに限定されるものではない。

【0050】

図４ないし図６は、特定周波数を有する視覚刺激信号が、基本視覚情報フレーム間に挿入される形態を示す図である。

【0051】

ディスプレイ部１４０に表示される視覚情報は、脳波信号を発生させるための視覚刺激信号と基本視覚情報とを含む。制御部１３０は、ディスプレイ部１４０に表示される基本視覚情報に、脳波信号を発生させるための視覚刺激信号を挿入することができる。基本視覚情報は、ユーザに情報やコンテンツを提供するためにディスプレイ部１４０に表示されるもので、特定周波数を有する脳波を発生させて、ユーザの意図把握に用いる視覚刺激信号とは区別される。例えば、基本視覚情報としては、ナビゲーション画面情報、オーディオ画面情報、及びビデオ画面情報などが挙げられる。

【0052】

また、基本視覚情報は、動画状態とすることもでき、静止画状態とすることもできる。基本視覚情報が動画状態である場合には、動画を構成するフレーム間に、言い換えれば、フレームが表示されない時点又はフレームが表示されない区間に視覚刺激信号が挿入され、静止画状態である場合には、静止画を連続的に表示する中間に視覚刺激信号が挿入されるか又は、静止画を動画のように、所定フレームレートに応じて表示し、静止画フレーム間に視覚刺激信号を挿入することもできる。

【0053】

図４に示すように、ディスプレイ部１４０に１秒当たりｎ個のフレームを表示するフレームレート（ｆｒａｍｅ ｒａｔｅ）、即ち、ｎＦＰＳの速度で動画が表示される場合には、制御部１３０は、それぞれのフレームＦ_１、Ｆ_２、Ｆ_３、…、Ｆ_ｎの間に脳波信号を発生させるための視覚刺激信号を挿入することができる。

【0054】

具体的には、１番目のフレームＦ_１が表示される時点ｔ_１と、２番目のフレームＦ_２が表示される時点ｔ_２と、の間にｍ_１個の視覚刺激信号を挿入することができ、２番目のフレームＦ_２が表示される時点ｔ_２と、３番目のフレームＦ_３が表示される時点ｔ_３と、の間にｍ_２個の視覚刺激信号を挿入することができ、同じ方式で残りの時点間にも視覚刺激信号を挿入し、ｎ−１番目のフレームが表示される時点と、ｎ番目のフレームが表示される時点ｔ_ｎと、の間には、ｍ_ｎ−１個の視覚刺激信号を挿入することができる。ここで、ｍ_１からｍ_ｎ−１までは０以上の整数であり、これらは互いに異なる値を有することができ、又は同一の値を有することができる。

【0055】

制御部１３０は、それぞれのフレーム間に挿入される視覚刺激信号の個数ｍ_１からｍ_ｎ−１を調節して所望する周波数を生成することができる。

【0056】

一例として、図５に示すように、ｍ_１からｍ_ｎ−１まで全て１と設定することができる。即ち、全てのフレーム間に１つの視覚刺激信号を挿入すると、１秒にｎ−１個の視覚刺激信号ＶＳ_１、ＶＳ_２、…ＶＳ_ｎ−１を表示することができる。この場合、ディスプレイ部１４０に表示される視覚刺激信号の周波数は（ｎ−１）Ｈｚとなる。

【0057】

他の例として、図６に示すように、１番目のフレームＦ_１が表示される時点ｔ_１と２番目のフレームＦ_２が表示される時点ｔ_２との間に１個の視覚刺激信号を挿入し、２番目のフレームＦ_２が表示される時点ｔ_２と３番目のフレームＦ_３が表示される時点ｔ_３との間に０個の視覚刺激信号を挿入する方式で、相互に視覚刺激信号を挿入することができる。この場合、１秒に（ｎ−１）／２（ｎが奇数である場合）個の視覚刺激信号ＶＳ_１、ＶＳ_２、…、ＶＳ_{（ｎ−１）／２}を表示することができ、ディスプレイ部１４０に表示される視覚刺激信号の周波数は（ｎ−１）／２Ｈｚとなる。

【0058】

上記のように、制御部１３０は、基本視覚情報、即ちユーザが視聴しようとしたＴＶ番組や、映画、ナビゲーション画面などをそのまま表示しながらユーザが認知していない間に視覚刺激信号を挿入することで、ユーザの目の疲れや不便を感じさせず、ディスプレイを効率的に使用しながらユーザの視線を認識することができる。

【0059】

図７は、ディスプレイ部の領域ごとに周波数が異なるように設定して視覚刺激信号を表示する例を示す図である。

【0060】

制御部１３０は、ディスプレイ部１４０の画面を複数領域に分割し、それぞれの領域ごとに互いに異なる周波数を有する視覚刺激信号を表示することができる。例えば、図７に示すように、ディスプレイ部１４０の画面を４つの領域Ｒ_１、Ｒ_２、Ｒ_３、Ｒ_４に分割し、１番目の領域Ｒ_１にはＸＨｚの周波数を有する視覚刺激信号、２番目の領域Ｒ_２にはＹＨｚの周波数を有する視覚刺激信号、３番目の領域Ｒ_３にはＺＨｚの周波数を有する視覚刺激信号及び４番目の領域Ｒ_４にはＷＨｚの周波数を有する視覚刺激信号を表示することができる。ここで、Ｘ、Ｙ、Ｚ、Ｗは互いに異なる周波数の値とすることができる。

【0061】

図７に示すように、１つの画面を構成する複数の領域が互いに異なる周波数を有する視覚刺激信号を表示すると、１つの画面を用いて複数種類のユーザの意図を把握することができる。

【0062】

ディスプレイ部１４０を介して表示される視覚刺激信号をユーザが凝視すると、視覚刺激信号の周波数に同期した脳波信号が発生し、発生した脳波信号は、脳波検出器２００により検出される。

【0063】

図８は、脳波検出器の一例による外観図であり、図９は、脳波検出器の一例による制御ブロック図である。

【0064】

図８に示すように、脳波検出器２００は、ウェアラブル（ｗｅａｒａｂｌｅ）に形成されてユーザが着用することができ、ユーザが着用した状態でディスプレイ装置１００と有線又は無線によって接続することができる。

【0065】

図９に示すように、脳波検出器２００は、脳波信号を検出する電極部２１０及び電極部２１０が検出した信号をディスプレイ装置１００に送信する送信部２２０を含むことができる。

【0066】

電極部２１０は、頭皮に付着可能な複数の脳波計測用電極を含むことができ、複数の脳波計測用電極は信号電極と基準電極とに区分される。複数の脳波計測用電極が後頭葉に付着されると、神経系において脳神経の間に信号が伝達される際に発生する電気の流れを脳波計測用電極で測定することができる。

【0067】

送信部２２０は、有線又は無線で接続されたディスプレイ装置１００に、電極部２１０が検出した脳波信号を送信する。このとき、送信される脳波信号はアナログ信号であってもよく、デジタル信号であってもよい。デジタルに変換された脳波信号を送信する場合には、送信部２２０にアナログ−デジタルコンバータＡＤＣが含まれる。

【0068】

脳波検出器２００とディスプレイ装置１００とが有線で接続されている場合には、送信部２２０は脳波検出器２００とディスプレイ装置１００とを接続するケーブルを含むことができる。この場合、ディスプレイ装置１００の通信部１１０は、ケーブルが接続される端子を含むことができる。

【0069】

脳波検出器２００とディスプレイ装置１００とが無線で接続される場合には、送信部２２０及び通信部１１０がそれぞれブルートゥース（ｂｌｕｅｔｏｏｔｈ）通信モジュール、ブルートゥース低電力（ＢＬＥ）通信モジュール、赤外線通信モジュール、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）モジュール、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）モジュール、及び近距離無線通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）モジュールを含むグループから選択される少なくとも１つの通信モジュールを含むことができる。

【0070】

しかし、脳波検出器２００とディスプレイ装置１００とが信号をやり取りする通信方式は、上記の例に限定されず、上記の例の外に他の通信方式で信号をやり取りすることができる。

【0071】

一方、脳波検出器２００は、電極部２１０が検出した脳波信号をロー（ｒａｗ）信号形態でディスプレイ装置１００に送信することができ、またロー信号に対する増幅、フィルタリングなどの前処理（ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ）を行った後に送信することもできる。前者の場合には、脳波信号を受信したディスプレイ装置１００で前処理を行うことになる。ディスプレイ装置１００の実施形態は、前者の場合と後者の場合とを全部含むが、後述する実施形態においては、前者の場合、即ちディスプレイ装置１００で前処理を行う場合を例として説明する。

【0072】

図１０はディスプレイ装置の脳波分析部の構成が具体化された制御ブロック図であり、図１１は保存部を更に含むディスプレイ装置の制御ブロック図である。

【0073】

通信部１１０が脳波検出器２００からユーザの脳波信号を受信すると、脳波分析部１２０は、受信したユーザの脳波信号を分析してユーザの視線を認識することができる。その一例として、図１０に示すように、脳波分析部１２０は脳波信号に対して前処理を行う前処理部１２１及び脳波信号の周波数成分を分析する周波数分析部１２２を含むことができる。

【0074】

一方、図示しないが、脳波検出器２００から受信する脳波信号がアナログ信号である場合には、通信部１１０又は脳波分析部１２０にアナログ−デジタルコンバータが含まれ、脳波分析部１２０はデジタルに変換された脳波信号に対して分析を行うことができる。

【0075】

ユーザの脳波信号には、頭皮から発生する信号情報の拡散現象と、目の瞬き、顔面筋肉の動き、周辺環境、ディスプレイ部１４０に表示される基本視覚情報などにより発生するノイズと、が含まれる。よって、前処理部１２１は、ユーザの脳波信号を増幅したり、ノイズを除去したりするためにフィルタリングを行うことができる。

【0076】

具体的には、高帯域フィルタ（Ｈｉｇｈ ｐａｓｓ ｆｉｌｔｅｒ）のような周波数帯域フィルタを用いて特定領域の周波数だけを通過させたり、空間フィルタを用いて空間周波数帯域を除去又は強調したりすることができる。例えば、高帯域フィルタを用いて０．１Ｈｚ未満の周波数信号を遮断したり、空間フィルタを用いて運動皮質の周辺部信号は加重値を弱く与え、測定しようとする運動皮質の脳波を増幅させたりすることができる。

【0077】

空間フィルタとしては、ＣＡＲ（Ｃｏｍｍｏｎ ａｖｅｒａｇｅ ｒｅｆｅｒｅｎｃｅ）、Ｌａｒｇｅ ＳＬ（Ｌａｒｇｅ ｓｕｒｆａｃｅ ｌａｐｌａｃｉａｎ）、Ｓｍａｌｌ ＳＬ（Ｓｍａｌｌ ｓｕｒｆａｃｅ ｌａｐｌａｃｉａｎ）、ＣＳＰ（Ｃｏｍｍｏｎ ｓｐａｔｉａｌ ｐａｔｔｅｒｎ）などのフィルタが用いられる。

【0078】

また、ＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）、ＬＤＡ（Ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ）、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）、ＣＣＡ（Ｃａｎｏｎｉｃａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｎａｌｙｓｉｓ）などのノイズ除去アルゴリズムを用いて脳波信号のノイズを除去することができる。

【0079】

周波数分析部１２２は、脳波信号が有する周波数成分を分析することができる。例えば、フーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を介して周波数系列パワースペクトルを求め、パワースペクトル値の大きさを比較することで、特定周波数成分を求めることができる。

【0080】

一方、視覚刺激信号を凝視して発生した脳波信号には、視覚刺激信号の周波数である基本周波数（ｆｕｎｄａｍｅｎｔａｌ ｆｒｅｑｕｅｎｃｙ）とともに、その倍数の調和周波数（ｈａｒｍｏｎｉｃ ｆｒｅｑｕｅｎｃｙ）が含まれる。よって、周波数分析部１２２は、ケプストラム（Ｃｅｐｓｔｒｕｍ）分析を介して脳波信号の周波数成分を把握することができる。

【0081】

一方、脳波分析部１２０は、特定周波数成分が基準時間以上発生するか否かを更に判断することができる。例えば、基準時間を５秒に設定した場合には、特定周波数成分が５秒以上発生する場合にユーザが当該領域を凝視したものと判断するか、又は、ユーザが当該領域の凝視に対応する機能の実行を意図したものと判断することができる。これにより、ユーザが何の意図もなく、しばらく特定領域を見ただけで、特定機能が実行されることを防止することができる。

【0082】

上記の脳波分析部１２０の構成や具体的な動作は、脳波信号を分析するための例に過ぎず、ディスプレイ装置１００の実施形態がこれに限定されるものではない。よって、脳波検出器２００が検出した脳波信号の周波数の判別さえできれば、前記例の外に他の方法や他の構成を適用してもよい。

【0083】

図１１に示すように、ディスプレイ装置１００は保存部１６０を更に含むことができ、保存部１６０には視覚刺激信号の周波数データベース１６１が保存され得る。周波数データベースには、特定周波数と、それに対応する機能又はそれに対応する領域と、がマッピングされて保存され得る。

【0084】

保存部１６０は、ラム（ＲＡＭ：Ｒｅａｄ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、磁気ディスク（ｍａｇｎｅｔｉｃ ｄｉｓｋ）、光ディスク（ｏｐｔｉｃａｌ ｄｉｓｋ）、又は半導体ディスク（ｓｏｌｉｄ ｓｔａｔｉｃ ｄｉｓｋ）などの保存媒体を含むことができる。

【0085】

例えば、８Ｈｚの周波数にはラジオ選択、１０Ｈｚの周波数にはブルートゥース、１５Ｈｚの周波数にはナビゲーション、及び１２Ｈｚの周波数には電話をマッピングして保存することができる。この場合、脳波分析部１２０は脳波検出器２００により検出されたユーザの脳波信号が１５Ｈｚの周波数成分を含むものと把握すると、ユーザの意図がナビゲーション機能を選択したものと判断することができる。

【0086】

そして、制御部１３０は、脳波分析部１２０の判断結果に応じて、機器を制御するための制御信号を発生する。このとき、制御対象の機器が外部機器である場合には、外部に制御信号を伝送し、ディスプレイ部１４０が制御対象である場合には、更にディスプレイ部１４０に制御信号を伝送することができる。

【0087】

脳波分析部１２０は、上記の各構成要素の動作を行うためのプログラム及びデータを保存するメモリと、メモリに保存されたプログラムを実行してデータを処理するマイクロプロセッサと、を含むことができる。また、脳波分析部１２０に含まれるそれぞれの構成要素は、別途のマイクロプロセッサにより実現され、２つ以上の構成要素がマイクロプロセッサを共有することができる。

【0088】

また、制御部１３０は、制御信号の発生のためのプログラム及びデータを保存するメモリと、メモリに保存されたプログラムを実行してデータを処理するマイクロプロセッサと、を含むことができる。このとき、脳波分析部１２０とメモリ又はマイクロプロセッサを共有することもでき、脳波分析部１２０だけでなく、ディスプレイ装置１００の他の構成要素とメモリ又はマイクロプロセッサを共有することもできる。

【0089】

また、制御部１３０と脳波分析部１２０のプログラムとデータを保存するメモリは、保存部１６０に含むこともできる。

【0090】

上記の実施形態に係るディスプレイ装置１００を車両に含むことができる。以下、ディスプレイ装置１００を含む車両の実施形態を詳細に説明する。

【0091】

図１２は車両に含まれるディスプレイ装置の制御ブロック図であり、図１３は本発明の一実施形態に係る車両内部の構成を示す図であり、図１４はヘッドアップディスプレイとその構成を示す図である。

【0092】

ディスプレイ装置１００が車両に含まれる場合には、視覚刺激信号を表示するディスプレイ部１４０が車両に設けられる、ＡＶＮ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｎａｖｉｇａｔｉｏｎ）ディスプレイ１４１、クラスタ（ｃｌｕｓｔｅｒ）ディスプレイ１４２及びヘッドアップ（Ｈｅａｄ−ｕｐ）ディスプレイ１４３を含むことができる。図１２の制御ブロック図においては、ディスプレイ部１４０がＡＶＮディスプレイ１４１、クラスタディスプレイ１４２、及びヘッドアップディスプレイ１４３を全て含むものとして示したが、これらのうちの一部を選択的に含むこともできる。

【0093】

図１２の例によれば、ユーザは、ＡＶＮディスプレイ１４１、クラスタディスプレイ１４２及びヘッドアップディスプレイ１４３のうちの少なくとも１つに表示される視覚情報を凝視することができ、視覚情報を凝視しながらユーザが認知せずとも視覚刺激信号を一緒に凝視することになる。脳波検出器２００がユーザの脳波信号を検出してディスプレイ装置１００に送信すると、脳波分析部１２０が脳波信号を分析してユーザの意図を把握し、制御部１３０はユーザの意図に対応する制御信号を生成することができる。

【0094】

図１３に示す車両１の内部構成を参照すると、ＡＶＮディスプレイ１４１は、ユーザ、特に運転者が走行中に表示された映像を見たり操作したりすることができるように、車両前方のダッシュボード（ｄａｓｈｂｏａｒｄ）１０のセンターフェイシア（ｃｅｎｔｅｒ ｆａｓｃｉａ）１１に設けられる。センターフェイシア１１は、運転席１９１ＦＬと助手席１９２ＦＲとの間で制御パネルボードが位置するダッシュボード１０の中央領域を意味する。

【0095】

ＡＶＮディスプレイ１４１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などで実現され得る。

【0096】

センターフェイシア１１には、ＡＶＮディスプレイ１４１の外に、空調装置１８０（図２８参照）から加熱した温風又は冷却した冷風が排出される通風口１８１が更に設けられる。

【0097】

車両には、運転席１９１ＦＬと助手席１９１ＦＲとの間に位置して、物品を保管する収納空間であるトレー４２と、ギアレバー４１が形成されたセンターコンソール４０と、が設けられる。このセンターコンソール４０には、ＡＶＮ入力部１７１が形成されるが、例えば、ＡＶＮ入力部１７１は、ジョグシャトル（ｊｏｇｓｈｕｔｔｌｅ）又はジョイスティック（ｊｏｙｓｔｉｃｋ）形態で実現される。ＡＶＮ入力部１７１がジョグシャトルで実現される場合、ユーザは、ジョグシャトルを前方／後方及び左方／右方に押したり、上方から下方に加圧したり、回転したりするなどの操作を介してＡＶＮ機能を制御することができる。しかし、図１３に示すジョグシャトルは、車両１の実施形態に適用される例に過ぎず、ＡＶＮ入力部１７１をジョグシャトルやジョイスティックでないハードキー形態で実現することもできる。

【0098】

一方、ＡＶＮディスプレイ１４１と隣接した領域には、ハードキー形態の補助入力部１７３が設けられるか、又は、ＡＶＮディスプレイ１４１がタッチスクリーン形態で実現される場合には、ＡＶＮディスプレイ１４１の一領域にソフトキー（ｓｏｆｔ ｋｅｙ）形態で設けられることもできる。

【0099】

クラスタ１１２は、運転者が走行中に計器盤を確認することができるようにダッシュボード１０の領域中のステアリングホイール１２と対面する領域に設けられる。クラスタディスプレイ１４２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などで実現することができる。

【0100】

クラスタ１１２は、クラスタディスプレイ１４２だけでなく、車両速度を表示する速度ケージ１４４ａ及び車両のＲＰＭを表示するＲＰＭケージ１４４ｂを更に含むことができる。例えば、クラスタディスプレイ１４２は、図１３に示すように、速度ケージ１４４ａとＲＰＭケージ１４４ｂとの間に位置することができるが、これは一例に過ぎず、本実施形態がクラスタディスプレイ１４２の具体的な位置を制限するものではない。

【0101】

クラスタ入力部１７２は、ステアリングホイール１２の一領域にハードキー形態で設けられ、運転者がステアリングホイール１２を握った状態で操作することができる。更に、ステアリングホイール１２の裏側にレバー状に設けられて、ユーザがレバーを前方に押したり、後方に引いたり、上方に上げたり、下方に下げたりするなどの操作を介して、クラスタ１１２を制御できるようにすることも可能である。

【0102】

ヘッドアップディスプレイ１４３は、ユーザに直接視覚情報を提供するのではなく、視覚情報を反射させて車両１のフロントガラス３０に表示する装置である。図１３、１４を共に参照すると、ヘッドアップディスプレイ１４３から出力される映像は、フロントガラス３０の一領域３０ａを介して表示されており、以下、図１３、１４を共に参照してヘッドアップディスプレイ及びその構成を具体的に説明する。

【0103】

図１４を参照すると、ヘッドアップディスプレイ１４３は、車両１の前方に設けられ、ヘッドアップディスプレイ１４３の前方に反射板１４３ａが設けられる。ヘッドアップディスプレイ１４３が前方の反射板に映像を出力すると、出力された映像は反射板１４３ａにより反射してフロントガラス３０に投射される。このとき、フロントガラス３０はコンバイナ（ｃｏｍｂｉｎｅｒ）の役割をする。

【0104】

投射された映像はフロントガラス３０によって反射されてユーザ５の視線に入るが、図１５に示すように、ユーザ５はフロントガラス３０のヘッドアップディスレイ領域３０ａを介して映像を見ることができる。ユーザ５の視線に入った映像は、実際的はフロントガラス３０の外部に形成された虚像３１ａとなる。

【0105】

図１４に示すヘッドアップディスプレイ１４３及びその構成は、本発明の一実施形態に過ぎず、反射板１４３ａを複数個備えても備えなくてもよく、又は回折素子を備えてもよい。

【0106】

ヘッドアップディスプレイ１４３を操作するための入力部が別途に備えられてもよく、ステアリングホイール１２に設けられたクラスタ入力部１７２が、ヘッドアップディスプレイ１４３を操作するための入力部の機能を共に備えることもできる。

【0107】

また、ステアリングホイール１２の左側と右側とにそれぞれ設けられたクラスタ入力部１７２のうちの１方が、クラスタディスプレイ１４２を操作するための入力部の役割を行い、他の１方がヘッドアップディスプレイ１４３を操作するための入力部の役割を行うこともできる。

【0108】

また、ステアリングホイール１２の裏側にレバー状に設けられて、ユーザがレバーを前方に押したり、後方に引いたり、上方に上げたり、下方に下げたりするなどの操作を介してヘッドアップディスプレイ１４３を制御することもできる。

【0109】

一方、図１３の実施形態においては、ＡＶＮディスプレイ１４１を制御するために用いられる入力部、クラスタディスプレイを制御するために用いられる入力部、及びヘッドアップディスプレイを制御するために用いられる入力部がそれぞれ別途に設けられるものとして説明したが、これら入力部のうちの一部だけが設けられて、１つの入力部が複数ディスプレイを制御するための命令を受けるようにすることもできる。例えば、ＡＶＮ入力部１７１がＡＶＮディスプレイを制御するための命令だけでなく、クラスタディスプレイ１４２又はヘッドアップディスプレイ１４３を制御するための命令を一緒に受けることもできる。

【0110】

図１５は、ユーザの凝視領域に係る制御動作の一例を示す図である。

【0111】

上記のように、ディスプレイ装置１００は、ユーザの脳波信号を分析してユーザが凝視した領域を判断し、ユーザが凝視した領域に対応する機器の制御を行う。一例として、ユーザ５がＡＶＮディスプレイ１４１、クラスタディスプレイ１４２及びヘッドアップディスプレイ１４３のうちの何れか１つを凝視すると、車両１に設けられた入力部を操作してユーザが凝視したディスプレイを制御することができる。このために、ＡＶＮディスプレイ１４１、クラスタディスプレイ１４２及びヘッドアップディスプレイ１４３に表示される視覚情報に、それぞれ異なる周波数を有する視覚刺激信号を挿入することができる。

【0112】

図１５は、ユーザ５がＡＶＮディスプレイ１４１を凝視する場合の例である。図１５に示すように、ユーザがＡＶＮディスプレイ１４１を凝視すると、ユーザ５の後頭葉にはＡＶＮディスプレイに表示された視覚刺激信号の周波数を有する脳波信号が発生する。脳波検出器２００がユーザ５の脳波信号を検出すると、脳波分析部１２０は、検出された脳波信号を分析して周波数を把握することができる。把握した脳波信号の周波数がＡＶＮディスプレイ１４１に対応する周波数、即ちＡＶＮディスプレイ１４１に表示される視覚刺激信号の周波数である場合は、ユーザがＡＶＮディスプレイ１４１を凝視していると判断することができる。このとき、特定周波数と、当該周波数の視覚刺激信号が表示された領域に関する情報と、がマッピングされて保存された周波数データベースを利用することができる。

【0113】

ユーザ５がＡＶＮディスプレイ１４１を凝視しているということは、入力部を操作してＡＶＮ機能を制御しようとする意図として把握され得る。よって、制御部１３０はユーザ５がどの入力部を操作しても、その操作に応じてＡＶＮ機能を制御することができ、当該機能に対応するコンテンツを出力するためにディスプレイ部１４０又はスピーカ１５０を制御することができる。図１５の例においては、ユーザ５がＡＶＮ入力部１７１を操作することを示したが、クラスタ入力部１７２の操作によりＡＶＮ機能を制御することもでき、ユーザ５がクラスタディスプレイ１４２やヘッドアップディスプレイ領域３０ａを凝視してもＡＶＮ入力部１７１の操作によりクラスタディスプレイ１４２やヘッドアップディスプレイ１４３を制御することもできる。

【0114】

一方、上記の図７においては、１つの画面を複数領域に分割してそれぞれの分割した領域に異なる周波数を割り当てることができるという内容を説明した。よって、ＡＶＮディスプレイ１４１、クラスタディスプレイ１４２又はヘッドアップディスプレイ１４３を複数領域に分割し、ユーザが分割された領域のうちの何れの領域を凝視するかによって異なる制御を行うことができる。以下、図１６及び図１７を参照して具体的に説明する。

【0115】

図１６は、１つのディスプレイを複数領域に分割して互いに異なる周波数を割り当てる場合の例を示す図であり、図１７は分割された領域に互いに異なる周波数を有する視覚刺激信号を表示する方法の例を示す図である。

【0116】

図１６に示すように、ＡＶＮディスプレイ１４１を４つの領域Ｒ_１、Ｒ_２、Ｒ_３、Ｒ_４に分割し、１番目の領域Ｒ_１にはラジオ機能を、２番目の領域Ｒ_２にはブルートゥース機能を、３番目の領域Ｒ_３にはナビゲーション機能を、４番目の領域Ｒ_４には電話機能を割り当てることができる。

【0117】

ユーザ５が４つの領域のうちのどの領域を凝視するかを判別するために、４つの領域に互いに異なる周波数を有する視覚刺激信号を表示することができる。図１７に示すように、ラジオ領域Ｒ_１には、この領域を凝視すると、ラジオ機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。連続する２つのフレーム間に２つの視覚刺激信号を挿入して周波数を生成することができる。

【0118】

ブルートゥース領域Ｒ_２には、この領域を凝視すると、ブルートゥース機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。連続する２つのフレーム間に１つの視覚刺激信号を挿入してラジオ領域Ｒ１に表示される視覚刺激信号の周波数と異なる周波数を生成することができる。

【0119】

ナビゲーション領域Ｒ_３には、この領域を凝視すると、ナビゲーション機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。連続する２つのフレーム間に相互に１つの視覚刺激信号を挿入してラジオ領域Ｒ_１及びブルートゥース領域Ｒ_２に表示される視覚刺激信号の周波数と異なる周波数を生成することができる。

【0120】

電話領域Ｒ_４には、この領域を凝視すると、電話機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。連続する２つのフレーム間に３つの視覚刺激信号を挿入してラジオ領域Ｒ_１、ブルートゥース領域Ｒ_２及びナビゲーション領域Ｒ_３に表示される視覚刺激信号の周波数と異なる周波数を生成することができる。

【0121】

また、図１６を参照すると、ユーザ５がブルートゥース領域Ｒ_２を凝視すると、ユーザ５の後頭葉からブルートゥース領域Ｒ_２に割り当てられた周波数を有する脳波信号が発生し、脳波検出器２００がこれを検出する。脳波分析部１２０は検出された脳波信号を分析してユーザ５がブルートゥース領域を凝視しているものと判断することができる。

【0122】

ユーザ５が、ブルートゥース領域を凝視しているということは、入力部を操作してブルートゥース機能を制御しょうとする意図を有すると把握することができる。よって、制御部１３０は、ユーザ５がどの入力部を操作しても、その操作によりブルートゥース機能を制御することができ、ブルートゥース機能に対応するコンテンツを出力するためにディスプレイ部１４０又はスピーカ１５０を制御することができる。

【0123】

図１６の例では、ユーザ５がＡＶＮ入力部１７１を操作することを示したが、クラスタ入力部１７２の操作によりブルートゥース機能を制御することもできる。

【0124】

一方、ディスプレイ部１４０の画面のうちの一部領域だけをユーザの視線認識に使用することもできる。また、上記の例においては、ユーザが特定領域を凝視すると、入力部を操作して当該領域に対応する機能を制御することができるようにしたが、ユーザが特定領域を凝視すること自体を制御命令の入力と判断することもできる。以下、図１８及び図１９を参照して説明する。

【0125】

図１８及び図１９は、ユーザの凝視領域に係る制御動作の他の例を示す図である。

【0126】

図１８の例に示すように、ディスプレイ部１４０には、現在実行中の機能に関連するメイン画面１４０ａが表示されるが、一例として、メイン画面１４０ａをナビゲーション画面とすることができる。そして、ディスプレイ部１４０の一領域には終了ボタン領域１４０ｅが表示され、終了ボタン領域１４０ｅにはこの領域を凝視すると、現在実行中の機能を終了することができることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に特定周波数を有する視覚刺激信号を挿入することができる。特定周波数に関する情報は保存部１６０に保存される。

【0127】

ユーザ５が終了ボタン領域１４０ｅを凝視すると、ユーザ５の後頭葉から終了ボタン領域１４０ｅに表示された視覚刺激信号の周波数を有する脳波信号が発生し、脳波検出器２００がこれを検出する。脳波分析部１２０は検出した脳波信号を分析してユーザ５が終了ボタン領域１４０ｅを凝視しているものと判断することができる。

【0128】

ユーザ５が終了ボタン領域１４０ｅを凝視しているということは、ナビゲーションを終了しようとする意図と把握することができる。よって、制御部１３０は直ちにナビゲーションを終了することができ、ディスプレイ部１４０にはナビゲーション画面１４０ａの代わりに初期メニュー画面１４０ｆが表示される。

【0129】

また、図１９の例のように、ユーザの視線認識によって当該機能を直ちに実行することができるショートカット領域を機能別に複数個表示することができる。ここで、ショートカットは、別途の追加的な操作なしに当該機能を直ちに実行させることを意味する。図１９に示すように、ディスプレイ部１４０の一部には、現在実行中の機能に関連するメイン画面１４０ａが表示され、他の一部には、ビデオショートカット領域１４０ｂと、ナビゲーションショートカット領域１４０ｃと、が表示される。

【0130】

制御部１３０は、ビデオショートカット領域１４０ｂとナビゲーションショートカット領域１４０ｃに互いに異なる周波数の視覚刺激信号を表示することができる。このとき、メイン画面１４０ａには、現在実行中の機能に関連する基本視覚情報が表示され、視線認識のための視覚刺激信号は表示されない。

【0131】

ビデオショートカット領域１４０ｂは、この領域を凝視すると、ビデオショートカットが実行できることを知らせる基本視覚情報を表示し、基本視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。ナビゲーションショートカット領域１４０ｃは、この領域を凝視すると、ナビゲーションショートカットが実行できることを知らせる基本視覚情報を表示し、基本視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。

【0132】

ユーザ５がビデオショートカット領域１４０ｂを凝視すると、ユーザ５の後頭葉からビデオショートカット領域１４０ｂに表示された視覚刺激信号の周波数を有する脳波信号が発生し、脳波検出器２００がこれを検出する。脳波分析部１２０は、検出された脳波信号を分析してユーザ５がビデオショートカット領域１４０ｂを凝視しているものと判断することができる。

【0133】

ユーザ５がビデオショートカット領域１４０ｂを凝視しているということは、ナビゲーションを実行しようとする意図と把握することができる。よって、制御部１３０はビデオ機能を直ちに実行させることができる。それと共に、ディスプレイ部１４０のメイン画面１４０ａはビデオ画面に切り替えられ、ビデオショートカット領域の代りにオーディオショートカット領域１４０ｄが表示される。

【0134】

図１９の例では、ビデオショートカット機能とナビゲーションショートカット機能を例として説明したが、これは一例に過ぎず、ショートカット機能の個数と種類に制限はない。また、ショートカット機能の個数と種類はユーザの使用履歴に適応して設定され得る。例えば、保存部１６０は、ユーザがどのような機能をよく選択するか、又はよく使用するかについての情報を保存することができる。そして、ユーザがよく選択したり、よく使用したりする機能をショートカット機能として設定することができるが、ショートカット機能は累積した使用履歴情報によって周期的にアップデートされる。使用履歴情報は、入力部の操作により入力された制御命令情報又は脳波信号の分析結果に基づいて獲得される。

【0135】

また、前記図１６に示すように、１つの画面が複数の領域に分割される場合でも、ユーザの使用履歴情報に適応して各領域の面積を調節することができる。以下、図２０を参照して説明する。

【0136】

図２０は、ディスプレイ部の画面が複数の領域に分割された場合に各領域の面積が調節される例を示す図である。

【0137】

ディスプレイ部１４０の１つの画面を複数領域に分割してそれぞれの領域に互いに異なる周波数の視覚刺激信号を表示する場合において、ユーザがよく選択する機能に対応する領域の面積を更に大きく表示することができる。

【0138】

例えば、ユーザがラジオ機能をよく選択する場合には、図２０に示すように、ラジオ領域Ｒ_１の面積を最も大きく表示することができる。そして、その他の領域もユーザが選択した頻度順に面積が調節される。

【0139】

また、ユーザが選択する頻度順に各領域の位置が調節される。例えば、よく選択する機能の領域を画面の上側に配置したり、中央に配置したりすることができる。

【0140】

図２１は、ユーザの使用履歴情報が活用される分野を示す図である。

【0141】

上記のユーザの使用履歴情報は、保存部１６０にデータベース形態で保存することができるので、このデータベースを使用データベース１６２と称することもできる。使用データベース１６２には、ユーザの視線認識に基づいて判断された使用履歴だけを保存することができ、更に入力部の操作に基づいて判断された使用履歴も一緒に保存することができ、各機能の実行履歴に基づいて判断された使用履歴を保存することもできる。

【0142】

１つの車両１においては、使用履歴情報が上記のようなユーザ適応型画面の表示として使用され、複数のユーザが使用する複数の車両から使用履歴情報が収集されると、顧客研究又はマーケティングに活用されるビックデータとなり得る。

【0143】

ビックデータに基づく顧客研究を介してユーザが車両のどのような機能を好むかを把握することができ、これに基づいて新しい車両を開発することができる。例えば、複数のユーザが特定機能を実行する際に、入力部の操作でない視線認識を介して制御命令を多く入力したことが把握されると、車両に設けられるユーザインタフェースを、このような選好度を反映してカスタマイズ（ｃｕｓｔｏｍｉｚｅ）することができる。

【0144】

また、ユーザの好む機能を中心に車両販売のためのマーケティングを実行することもできる。

【0145】

図２２は、ユーザの凝視領域による制御動作のまた他の例を示す図である。

【0146】

上記の例は、ユーザの特定領域の凝視が、その領域に対応する特定機能を実行しようとする意図と把握されるものとしたが、ユーザが運転者であった場合には、ユーザがディスプレイ部１４０を長時間凝視すると、安全運転に対する阻害要因として作用し得る。

【0147】

図２２に示すように、ユーザ５がディスプレイ部１４０を凝視すると、後頭葉からディスプレイ部１４０に表示される視覚刺激信号の周波数を有する脳波信号が発生する。脳波検出器２００がユーザ５の脳波信号を検出すると、脳波分析部１２０が検出した脳波信号を分析し、検出された脳波信号が視覚刺激信号の周波数を有するか否かと、当該周波数を有する脳波信号が予め設定された基準時間以上発生するか否かを判断することができる。当該例では、予め設定された基準時間を２秒とするものとする。

【0148】

分析の結果、ユーザ５がＡＶＮディスプレイ１４１を２秒以上凝視したものと判断されると、制御部１３０はＡＶＮディスプレイ１４１又はスピーカ１５０を介して運転者に警告を出力することができる。例えば、「運転に集中してください」との警告メッセージをＡＶＮディスプレイ１４１にテキスト形態で表示することができ、これと一緒に、又は別個にスピーカ１５０を介して音声で出力することもできる。

【0149】

図２２の例では、ユーザがＡＶＮディスプレイ１４１を凝視している場合を例にしたが、クラスタディスプレイ１４２又はヘッドアップディスプレイ領域３０ａを、予め設定された基準時間以上凝視している場合でも、警告を出力することができる。このとき、ユーザがクラスタディスプレイ１４２を凝視している場合には、警告メッセージもクラスタディスプレイ１４２を介して出力することができ、ヘッドアップディスプレイ１４３を凝視している場合には、警告メッセージもヘッドアップディスプレイ１４３を介して出力することができる。

【0150】

基準時間は、実験、統計又はシミュレーションを介して設定されるが、車両１に設けられた複数のディスプレイ１４１、１４２、１４３は、その位置が異なるため、これを凝視する際に運転に影響を及ぼす程度も異なるので、それぞれのディスプレイごとに基準時間が異なるように設定することができる。例えば、運転中であるユーザの視野から最も遠いＡＶＮディスプレイ１４１に対しては基準時間を最も短く設定し、フロントガラス３０に表示されるヘッドアップディスプレイ１４３に対しては基準時間を最も長く設定することができる。

【0151】

一方、車両１は、ユーザが車両内部に設けられたディスプレイを凝視する場合だけでなく、車両外部のディスプレイを凝視する場合にもユーザの視線を認識し、それに対応する制御を行うことができる。以下、図２３ないし図２７を参照して詳細に説明する。

【0152】

図２３はユーザが信号機の赤信号を凝視している場合の制御動作に関する例を示す図であり、図２４はユーザが信号機を凝視しない場合の制御動作に関する例を示す図である。ここで、ユーザは運転者としてもよい。

【0153】

図２３に示すように、道路に位置する信号機３１０が赤信号３１１Ｒ、黄信号３１１Ｏ及び青信号３１１Ｇを表示する際、ディスプレイ部１４０が視覚情報の間に視覚刺激信号を挿入する方式で特定周波数を有する視覚刺激信号を挿入するようにすることができる。例えば、赤信号３１１Ｒには１５Ｈｚの視覚刺激信号を挿入し、黄信号３１１Ｏには２７Ｈｚの視覚刺激信号を挿入し、青信号３１１Ｇには３２Ｈｚの視覚刺激信号を挿入することができる。このような周波数情報は、保存部１６０に保存することができる。道路に位置する全ての信号機が同一周波数情報を有することもでき、位置ごとに異なる周波数情報を有することもできる。位置ごとに異なる周波数情報を有する場合には、地図データと車両の位置情報とを利用して、現在位置での信号機に対応する周波数情報を獲得することができる。

【0154】

図２３に示すように、ユーザ５が赤信号３１１Ｒを凝視すると、後頭葉から赤信号３１１Ｒに表示される視覚刺激信号の周波数を有する脳波信号が発生する。脳波検出器２００がユーザ５の脳波信号を検出すると、脳波分析部１２０が検出された脳波信号を分析して周波数を把握し、把握された周波数に基づいてユーザ５が赤信号を凝視しているものと判断することができる。

【0155】

制御部１３０は、車両１の停車可否を判断することができる。判断結果、ユーザ５が赤信号３１１Ｒを凝視したにもかかわらず車両１が停車しない場合、制御部１３０は、ディスプレイ部１４０及びスピーカ１５０のうちの少なくとも１つを介してユーザ５に警告を出力することができる。例えば、赤信号であるので、停車するようにとの警告メッセージをディスプレイ部１４０にテキスト形態で表示することができ、これと一緒に、又は別途にスピーカ１５０を介して音声で出力することができる。

【0156】

また、車両１に自動ブレーキシステムが設けられた場合には、自動的に車両１を停車させることができる。

【0157】

一方、信号機３１０があるにもかかわらずユーザ５がこれを凝視しない場合は事故の危険があり得る。図２４に示すように、信号機３１０が存在する位置でユーザ５が信号機３１０を凝視しない場合、後頭葉から赤信号３１１Ｒ、黄信号３１１Ｏ又は青信号３１１Ｇとして表示される視覚刺激信号の周波数を有する脳波信号が発生しない。

【0158】

脳波検出器２００がユーザ５の脳波信号を検出すると、脳波分析部１２０が検出された脳波信号を分析して周波数を判別し、判別された周波数に基づいてユーザが信号機を凝視していないものと判断することができる。このとき、現在の位置が、信号機が存在する位置であるか否かはＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から受信した車両１の位置情報と保存部１６０に保存されている地図データとを利用して判断することができる。地図データには信号機の位置情報が含まれる。

【0159】

信号機の位置で、ユーザ５が信号機を凝視していないものと判断された場合、制御部１３０は、ディスプレイ部１４０及びスピーカ１５０のうちの少なくとも１つを介して警告を出力することができる。例えば、信号機を見るようにとの警告メッセージをディスプレイ部１４０にテキスト形態で表示することができ、これと一緒に、又は別途にスピーカ１５０を介して音声で出力することができる。

【0160】

図２５ないし図２７は、ユーザが車両外部の看板を凝視している場合の制御動作に関する例を示す図である。

【0161】

ユーザは、車両走行中にフロントガラス３０又は車両１に形成された他のガラスを介して周辺環境を見ることになる。走行時に必要な信号機を凝視するだけでなく、周辺に位置する多様な看板のような広告表示装置３２０も見ることができる。

【0162】

広告表示装置３２０に表示される基本視覚情報に特定周波数を有する視覚刺激信号を挿入することができる。この場合、視覚刺激信号の表示が車両１でない広告表示装置３２０でなされるために、広告表示装置３２０は上記の実施形態に係るディスプレイ装置１００の一例とすることができる。また、この場合、車両１の制御部１３０は、基本視覚情報に視覚刺激信号を挿入する動作をしないこともあり得る。ただし、保存部１６０には、広告表示装置３２０に表示される視覚刺激信号の周波数が予め保存され得る。

【0163】

ユーザ５が広告表示装置３２０を凝視すると、後頭葉から広告表示装置３２０に表示される視覚刺激信号の周波数を有する脳波信号が発生する。脳波検出器２００がユーザ５の脳波信号を検出すると、脳波分析部１２０が検出された脳波信号を分析して周波数を把握し、把握された周波数に基づいてユーザ５が広告表示装置３２０を凝視しているものと判断することができる。

【0164】

保存部１６０には、広告表示装置別にそれに対応する関連情報が保存される。保存される関連情報は広告表示装置３２０を扱う企業から提供され得る。制御部１３０はユーザ５が凝視した広告表示装置３２０に対応する関連情報を検索し、ディスプレイ部１４０及びスピーカ１５０のうちの少なくとも１つを介して関連情報を提供することができる。

【0165】

図２５の例のように、ユーザ５が車両販売企業の広告表示装置３２０を凝視している場合には、当該車両販売企業のプロモーションに関連する情報を提供することができる。例えば、図２６に示すように、ヘッドアップディスプレイ領域３０ａに新車試乗キャンペーンに関する情報をテキスト形態で表示することができる。また、図２７に示すように、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）技術を用いて関連情報を広告表示装置３２０にオーバーラップ（ｏｖｅｒ ｌａｐ）させて表示することもできる。更に、図示しないが、ホログラム形態で関連情報を提供することもできる。即ち、ユーザが凝視した広告表示装置の関連情報を提供する方式に対しては、特に制限がない。

【0166】

一方、ユーザの視線認識によってディスプレイ部１４０やスピーカ１５０を介して警告、情報又はコンテンツを出力するだけでなく、その他に車両の他の機能を制御することもできる。以下、図２８及び図２９を参照して説明する。

【0167】

図２８はユーザの視線を認識して空調装置又は自動座席装置を制御する車両の制御ブロック図であり、図２９はユーザの視線を認識して空調装置又は自動座席装置を制御する場合に、ディスプレイに表示される画面の例を示す図である。

【0168】

図２８に示すように、本発明の一実施形態に係る車両１は、内部空気の温度を調節する空調装置１８０及び全自動で座席の位置が調節される全自動座席装置１９０を更に含むことができ、制御部１３０はユーザの視線認識結果に応じて空調装置１８０及び全自動座席装置１９０を制御することができる。

【0169】

図２９に示すように、ＡＶＮディスプレイ１４１を４つの領域Ｒ_１、Ｒ_２、Ｒ_３、Ｒ_４に分割し、１番目の領域Ｒ_１にはラジオ機能を、２番目の領域Ｒ_２には空調機能を、３番目の領域Ｒ_３にはナビゲーション機能を、４番目の領域Ｒ_４には座席制御機能を割り当てることができる。

【0170】

ユーザ５が４つの領域のうちの何れかの領域を凝視するかを区別するために、４つの領域に互いに異なる周波数を有する視覚刺激信号を表示することができる。また、ラジオ領域Ｒ_１には、この領域を凝視すると、ラジオ機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。空調領域Ｒ_２には、この領域を凝視すると、空調制御機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。ナビゲーション領域Ｒ_３には、この領域を凝視すると、ナビゲーション機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。座席制御領域Ｒ_４には、この領域を凝視すると、座席制御機能が選択できることを知らせる視覚情報を表示し、視覚情報を構成するフレーム間に視覚刺激信号を挿入することができる。

【0171】

ユーザ５が座席制御領域Ｒ_４を凝視すると、座席制御領域Ｒ_４に表示された視覚刺激信号の周波数を有する脳波信号が発生し、脳波検出器２００がユーザ５の脳波信号を検出すると、脳波分析部１２０が検出された脳波信号を分析してユーザ５が座席制御領域Ｒ_４を凝視しているものと判断することができる。

【0172】

また、図２９に示すように、座席制御領域Ｒ_４に陰影を与えたり、濃く表示するなどの視覚的な方式により座席制御領域Ｒ_４の凝視に対するフィードバックを提供することもできる。

【0173】

全自動座席装置１９０には、座席の位置に関するセッティング値が予め保存され得る。例えば、１番目のセッティング、２番目のセッティング、３番目のセッティング及び４番目のセッティングの４つのセッティング値が予め保存されている場合、ＡＶＮディスプレイ１４１に４つのセッティング値のうちの１つを選択することができる画面が表示される。１つの画面を４つの領域に分割し、それぞれの領域Ｒ_４１、Ｒ_４２、Ｒ_４３、Ｒ_４４を１番目のセッティング、２番目のセッティング、３番目のセッティング及び４番目のセッティングに割り当てることができる。割り当てられたそれぞれの領域に互いに異なる周波数を有する視覚刺激信号を表示することができ、この場合にも基本視覚情報を構成するフレーム間に視覚刺激信号を挿入する方式が用いられる。

【0174】

例えば、ユーザ５が４番目のセッティング領域Ｒ_４４を凝視すると、４番目のセッティング領域Ｒ_４４に対応する周波数、即ち４番目のセッティング領域Ｒ_４４に表示された視覚刺激信号の周波数を有する脳波信号が発生し、脳波検出器２００がこれを検出すると、脳波分析部１２０が検出された脳波信号を分析して周波数を把握する。把握された周波数に基づいてユーザ５が４番目のセッティング領域Ｒ_４４を凝視したものと判断すると、制御部１３０が全自動座席装置１９０に制御信号を伝送してユーザ５の座席位置を４番目のセッティング値に応じて調節することができる。このとき、調節される座席は運転席１９１ＦＬとすることができ、又は助手席１９１ＦＲとすることができ、セッティング値の選択前に、どの座席を制御するかについての選択を入力することもできる。

【0175】

図示しないが、ディスプレイ部１４０に温度制御機能を選択することができる領域を表示し、当該領域に表示される視覚情報に特定周波数を有する視覚刺激信号を挿入することができる。ユーザ５が当該領域を凝視して特定周波数を有する脳波信号が発生すると、制御部１３０は空調装置１８０を制御して車両内部空気の温度を調節することができる。このとき、上記の図１５の例のように、ユーザが当該領域を凝視したと判断すると、ユーザの入力部操作により空調装置１８０を制御することもでき、且つ当該領域を、温度を選択するボタンで構成してユーザの視線認識を温度の選択にマッピングさせることもできる。後者の場合、別途の入力部操作なしに、ユーザが所望する温度に直ちに制御することが可能である。

【0176】

上記において、ディスプレイに表示される基本視覚情報に特定周波数を有する視覚刺激信号を挿入し、ユーザがディスプレイを凝視することで、発生する特定周波数を有する脳波を測定して、ユーザの意図を判断するディスプレイ装置１００と、これを含む車両１の実施形態を説明した。上記の実施形態に用いられる特定機能及びディスプレイ画面の構成などは、発明の動作を説明するための例に過ぎず、ディスプレイ装置１００や車両１の実施形態は、これらの例に限定されない。よって、ディスプレイに表示される基本視覚情報に特定周波数を有する視覚刺激信号を挿入したり、それと共にユーザがディスプレイを凝視したりすることによって発生する特定周波数を有する脳波を測定してユーザの意図を把握することだけで、ユーザの視線認識により実行される機能の種類やディスプレイ画面の構成とは関係なしに、ディスプレイ装置１００又は車両１の実施形態とすることができる。

【0177】

以下にディスプレイ方法の実施形態を説明する。
本発明の一実施形態に係るディスプレイ方法を実行するために、上記の実施形態に係るディスプレイ装置１００又は車両１が用いられる。よって、ディスプレイ装置１００又は車両１に対する上記の説明は、ディスプレイ方法の実施形態にも適用することができる。後述する実施形態においては、車両１を利用してディスプレイ方法を実行する場合を例として説明する。

【0178】

図３０は、本発明の一実施形態に係るディスプレイ方法に関するフローチャートである。

【0179】

図３０に示すように、先ず基本視覚情報の間に視覚刺激信号を挿入して表示する（５１０）。基本視覚情報はユーザに情報やコンテンツを提供するためにディスプレイ部１４０に表示されるものであって、特定周波数の脳波を発生させてユーザの意図把握に用いられる視覚刺激信号とは区別されるものである。また、基本視覚情報は動画状態とすることができ、又は静止画状態とすることができる。基本視覚情報が動画状態である場合には、動画を構成するフレーム間に視覚刺激信号が挿入され、静止画状態である場合には、静止画を表示する中間に視覚刺激信号が挿入される。また、静止画を動画のように所定フレームレートに従って表示し、静止画のフレーム間に視覚刺激信号を挿入することもできる。

【0180】

脳波検出器２００を用いてユーザの脳波信号を検出する（５１１）。ユーザが特定周波数を有する視覚刺激信号を凝視すると、特定周波数と同一の周波数を有する脳波信号が発生する。よって、視覚刺激信号を凝視したユーザから検出された脳波信号には特定周波数成分が含まれる。

【0181】

脳波分析部１２０が検出された脳波信号を分析して（５１２）、ユーザの凝視領域を判断する（５１３）。より具体的には、脳波分析部１２０は周波数分析を介して脳波信号の周波数成分を判別することができ、保存部１６０に予め保存された特定周波数とこれにマッピングされた領域に関する情報を用いて、ユーザの凝視領域を判断することができる。

【0182】

ユーザの凝視領域が判断されると、判断された凝視領域に基づいて機器を制御する（５１４）。保存部１６０には、凝視領域とこれに対応する機器の制御動作がマッピングされて保存される。例えば、ユーザが特定領域を凝視する場合、どの機器をどのように制御するかに関する情報が保存され、ユーザが特定領域を凝視すると、保存部１６０に保存された情報に従って制御信号を発生させて当該機器に伝送することができる。

【0183】

例えば、ユーザの凝視領域に基づいて入力部による制御対象を決定したり、ユーザが凝視した領域に対応する機能を直ちに実行したり、ユーザの使用履歴に従ってディスプレイ画面の構成を制御することができる。また、信号機の位置でユーザ５が信号機を凝視していなかったり、赤信号であるのに停車しないと判断した場合は、ディスプレイ部１４０及びスピーカ１５０のうちの少なくとも１つを介して警告を出力することができる。また、ユーザがディスプレイ部１４０を予め設定された基準時間以上凝視している場合は、安全運転が阻害されるので、これに関する警告をユーザに出力することができる。

【0184】

一方、説明の便宜上、脳波信号の検出をディスプレイ方法に含めて説明したが、ディスプレイ方法の実施形態が脳波信号の検出を必ずしも含まなくてもよく、後述の実施形態においても同様である。

【0185】

以下、機器の制御に関する具体的な実施形態を説明する。

【0186】

図３１は、本発明の一実施形態に係るディスプレイ方法において、ユーザ凝視領域に基づいて入力部による制御対象を決定する例を示すフローチャートである。

【0187】

図３１に示すように、基本視覚情報の間に視覚刺激信号を挿入して表示する（５２０）。例えば、視覚刺激信号は、ＡＶＮディスプレイ１４１、クラスタディスプレイ１４２、及びヘッドアップディスプレイ１４３のうちの少なくとも１つに表示することができ、各ディスプレイに表示される視覚刺激信号は互いに異なる周波数を有する。また、上記の図１６の例のように、１つのディスプレイ画面を複数領域に分割し、各領域に互いに異なる周波数を有する視覚刺激信号を表示することができる。

【0188】

脳波検出器２００を用いてユーザの脳波信号を検出する（５２１）。視覚刺激信号を凝視したユーザから検出された脳波信号には特定周波数成分が含まれる。特定周波数成分に関する情報は保存部１６０に予め保存することができる。

【0189】

脳波分析部１２０が検出された脳波信号を分析して（５２２）、ユーザ凝視領域を判断する（５２３）。具体的に、脳波分析部１２０は周波数分析を介して脳波信号の周波数成分を判別することができ、保存部１６０に予め保存された特定周波数とこれにマッピングされた領域に関する情報を用いてユーザの凝視領域を判断することができる。

【0190】

判断された凝視領域に基づいて入力部により操作される対象を設定し（５２４）、入力部の操作により設定された対象の動作を制御する（５２５）。例えば、ユーザが車両１の搭乗者であって、ユーザの凝視した領域がＡＶＮディスプレイ１４１の場合には、ユーザが入力部を介して入力した制御命令によりＡＶＮディスプレイ１４１又はＡＶＮ端末が制御される。即ち、ユーザが入力部を操作すると、ユーザが凝視した領域に対応する機能又は機器を制御することができる。このとき、操作される入力部は任意の入力部とすることができる。この場合、ユーザがＡＶＮディスプレイ１４１を凝視している場合には、クラスタ入力部１７２を操作することで、ＡＶＮディスプレイ１４１又はＡＶＮ端末を制御することができる。これにより、入力部の統合使用が可能となり、車両１に設けられた複数の入力部を特定機能の制御だけに使用するのではなく、状況に応じて必要な入力部を必要な機能の制御に使用することができる。

【0191】

図３２は、本発明の一実施形態に係るディスプレイ方法において、ユーザが凝視した領域に対応する機能を直ちに実行する例を示すフローチャートである。

【0192】

図３２を参照すると、基本視覚情報の間に視覚刺激信号を挿入して表示する（５３０）。視覚刺激信号は、上記の図１８又は図１９に示すように、ディスプレイ画面の一部領域に表示することができ、複数の一部領域に、互いに異なるショートカット機能それぞれに対応する互いに異なる周波数を有する視覚刺激信号を表示することができる。

【0193】

脳波検出器２００を用いてユーザの脳波信号を検出する（５３１）。視覚刺激信号を凝視したユーザから検出された脳波信号には、ユーザが凝視した領域の視覚刺激信号の周波数と同一の周波数成分が含まれる。

【0194】

脳波分析部１２０が検出された脳波信号を分析して（５３２）、ユーザ凝視領域を判断する（５３３）。具体的に、脳波分析部１２０は、周波数分析を介して脳波信号の周波数成分を判別することができ、保存部１６０に予め保存された特定周波数とこれにマッピングされた領域に関する情報を用いてユーザの凝視領域を判断することができる。

【0195】

そして、ユーザが凝視した領域に対応する機能を直ちに実行する（５３４）。上記の例では、ユーザが特定領域を凝視すると、入力部を操作して当該領域に対応する機能を制御することができるものとしたが、ユーザが特定領域を凝視すること自体を制御命令の入力とすることもできる。当該例では、ユーザが特定領域を凝視すると、別途の入力部操作がなくても特定領域に対応する終了機能、ナビゲーション機能、ラジオ機能、ブルートゥース機能又はビデオ機能を直ちに実行することができる。

【0196】

図３３は、本発明の一実施形態に係るディスプレイ方法において、ユーザの使用履歴によりディスプレイ画面の構成を制御する例を示すフローチャートである。

【0197】

図３３に示すように、先ず、基本視覚情報の間に視覚刺激信号を挿入して表示する（５４０）。

【0198】

脳波検出器２００を用いてユーザの脳波信号を検出する（５４１）。ユーザが特定周波数を有する視覚刺激信号を凝視すると、特定周波数と同一の周波数を有する脳波信号が発生する。よって、視覚刺激信号を凝視したユーザから検出された脳波信号には特定周波数成分が含まれる。

【0199】

脳波分析部１２０が検出された脳波信号を分析して（５４２）、ユーザ凝視領域を判断する（５４３）。具体的に、脳波分析部１２０は、周波数分析を介して脳波信号の周波数成分を判別することができ、保存部１６０に予め保存された特定周波数とこれにマッピングされた領域に関する情報を用いてユーザの凝視領域を判断することができる。

【0200】

ユーザの凝視領域を保存部１６０に保存する（５４４）。これはユーザの使用履歴に関するデータベースを生成するためのものである。

【0201】

上記の５４０段階ないし５４４段階の動作は繰返し実行することができ、ユーザ凝視領域の保存が累積されると、使用履歴に関するデータベースが生成される。上記の図１６の例のように、１つのディスプレイ画面を複数領域に分割し、各領域に互いに異なる機能をマッピングさせた場合において、ユーザの凝視頻度数に応じて各領域の大きさを調節することができる（５４５）。例えば、上記の図２０の例のように、ユーザがよく凝視する領域の面積を更に大きく表示することができる。例えば、ユーザがラジオ機能をよく選択する場合にはラジオ領域Ｒ_１の面積を最も大きく表示することができ、他の領域もユーザによって選択された頻度に対応して面積を調節することができる。

【0202】

図３４は、本発明の一実施形態に係るディスプレイ方法において、ユーザが外部の視覚刺激信号を凝視している場合の例を示すフローチャートである。

【0203】

基本視覚情報の間に視覚刺激信号を挿入して表示する（５５０）。このとき、基本視覚情報と視覚刺激信号が表示されるディスプレイは、車両内部に設けられたディスプレイではなく、周辺に位置する多様な看板のような広告表示装置３２０とすることができる。保存部１６０には、広告表示装置３２０に表示される視覚刺激信号の周波数を予め保存することができる。

【0204】

ユーザの脳波信号を検出し（５５１）、検出された脳波信号を分析して（５５２）、ユーザの凝視領域を判断する（５５３）。

【0205】

保存部１６０には、広告表示装置ごとに、それに対応する関連情報が保存される。保存される関連情報は広告表示装置３２０を使用する企業から提供され得る。制御部１３０は、ユーザ５が凝視した広告表示装置３２０に対応する関連情報を検索し、ディスプレイ部１４０及びスピーカ１５０のうちの少なくとも１つを介して関連情報を提供することができる（５５４）。ディスプレイ部１４０を介して関連情報を提供する場合、関連情報をテキスト形態で表示したり、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）技術を用いて関連情報を広告表示装置３２０にオーバーラップ（ｏｖｅｒ ｌａｐ）させて表示することができる。

【0206】

図３５は、本発明の一実施形態に係るディスプレイ方法において、ユーザの使用履歴によりディスプレイ画面の構成を制御する他の例を示すフローチャートである。

【0207】

図３５に示すように、先ず、基本視覚情報の間に視覚刺激信号を挿入して表示し（５６０）、脳波検出器２００を用いてユーザの脳波信号を検出する（５６１）。脳波分析部１２０が検出された脳波信号を分析して（５６２）、ユーザ凝視領域を判断する（５６３）。そして、ユーザの凝視領域を保存部１６０に保存する（５６４）。

【0208】

上記の５６０段階ないし５６４段階の動作は繰返し実行することができ、ユーザ凝視領域の保存が累積されると使用履歴に関するデータベースが生成される

【0209】

上記の図１８、図１９及び図３２においてユーザが特定領域を凝視すると、特定領域に対応する機能を直ちに実行する例を説明した。ユーザの凝視によって直ちに実行される機能を使用履歴に関するデータベースに基づいて登録することができる。例えば、頻度数の高い凝視領域に対応する機能をショートカット機能として登録することができる（５６５）。

【0210】

一方、使用履歴に関するデータベースには、特定領域の凝視に基づいて判断された使用履歴だけでなく、入力部の操作により入力された制御命令に基づいて判断された使用履歴も含むことができる。

【0211】

また、１つの車両１内においては、使用履歴情報を上記のようなユーザ適応型画面の表示に使用することができ、複数のユーザが使用する複数の車両から使用履歴情報が収集されると、顧客研究又はマーケティングに活用されるビックデータとなり得る。

【0212】

本発明の一実施形態に係るディスプレイ装置、車両及びディスプレイ方法によれば、ユーザの視線を認識するために基本視覚情報に特定周波数を有する視覚刺激信号を挿入することで、ユーザの目の疲れを減少させ、ディスプレイを効率的に活用することができる。

【0213】

また、ユーザの視線認識を介してユーザの意図を把握し、これを機器の制御に用いることで、入力操作の便宜性を向上させると同時に走行の安定性を確保することができる。

【符号の説明】

【0214】

１ 車両
１００ ディスプレイ装置
１１０ 通信部
１２０ 脳波分析部
１３０ 制御部
２００ 脳波検出器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】