特開2023-178350脳波インタフェース装置、表示装置、ヘッドアップディスプレイシステム、及びプロジェクタシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023178350
(43)【公開日】2023-12-14
(54)【発明の名称】脳波インタフェース装置、表示装置、ヘッドアップディスプレイシステム、及びプロジェクタシステム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231207BHJP
【ＦＩ】
G06F3/01 515
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023175951
(22)【出願日】2023-10-11
(62)【分割の表示】P 2022108320の分割
【原出願日】2017-10-13
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】平塚 幸恵
(72)【発明者】
【氏名】川村 友人
(72)【発明者】
【氏名】大野 千代
(72)【発明者】
【氏名】松田 孝弘
(72)【発明者】
【氏名】村田 誠治
(57)【要約】
【課題】入力操作インタフェースとして、ＢＣＩを備え、拡張現実および／または仮想現
実表示を行う。
【解決手段】ＢＣＩには、周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置であって、脳波信号を検出する脳波検出部と、脳波検出部により検出した脳波信号から特定周波数を抽出する脳波分析部と、特定周波数に、制御指示を対応づけて保持する対応データベースと、特定周波数に対応する制御指示を前記対応データベースから取得し、当該制御指示に従って制御を行う制御部と、を備え、対応データベースでは、特定周波数の中で、臨界融合周波数以上の周波数が割当周波数として前記制御指示に優先的に割り当てられ、当該割当周波数の中では、小さい周波数から優先的に使用頻度の高い機能の前記制御指示に割り当てられることを特徴とする脳波インタフェース装置を用いる。
【選択図】図１
実表示を行う。
【解決手段】ＢＣＩには、周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置であって、脳波信号を検出する脳波検出部と、脳波検出部により検出した脳波信号から特定周波数を抽出する脳波分析部と、特定周波数に、制御指示を対応づけて保持する対応データベースと、特定周波数に対応する制御指示を前記対応データベースから取得し、当該制御指示に従って制御を行う制御部と、を備え、対応データベースでは、特定周波数の中で、臨界融合周波数以上の周波数が割当周波数として前記制御指示に優先的に割り当てられ、当該割当周波数の中では、小さい周波数から優先的に使用頻度の高い機能の前記制御指示に割り当てられることを特徴とする脳波インタフェース装置を用いる。
【選択図】図１
【特許請求の範囲】
【請求項1】
周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置であって、
脳波信号を検出する脳波検出部と、
前記脳波検出部により検出した脳波信号から特定周波数を抽出する脳波分析部と、
前記特定周波数に、制御指示を対応づけて保持する対応データベースと、
前記特定周波数に対応する前記制御指示を前記対応データベースから取得し、当該制御指示に従って制御を行う制御部と、を備え、
前記対応データベースでは、前記特定周波数の中で、臨界融合周波数以上の周波数が割当周波数として前記制御指示に優先的に割り当てられ、当該割当周波数の中では、小さい周波数から優先的に使用頻度の高い機能の前記制御指示に割り当てられること
を特徴とする脳波インタフェース装置。
脳波信号を検出する脳波検出部と、
前記脳波検出部により検出した脳波信号から特定周波数を抽出する脳波分析部と、
前記特定周波数に、制御指示を対応づけて保持する対応データベースと、
前記特定周波数に対応する前記制御指示を前記対応データベースから取得し、当該制御指示に従って制御を行う制御部と、を備え、
前記対応データベースでは、前記特定周波数の中で、臨界融合周波数以上の周波数が割当周波数として前記制御指示に優先的に割り当てられ、当該割当周波数の中では、小さい周波数から優先的に使用頻度の高い機能の前記制御指示に割り当てられること
を特徴とする脳波インタフェース装置。
【請求項2】
請求項１記載の脳波インタフェース装置であって、
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、をさらに備え、
前記所定手法では、
前記映像フレームの前記操作領域に対応する領域の前記色情報の値として、元色情報値と、前記元色情報値に予め定めた変化量を加えた値とを、前記特定周波数に２を乗じた周波数の逆数である周期で交互に設定し、
当該周期の間の前記映像フレームについては、
前記操作領域に対応する領域の前記色情報の値として、前記元色情報値に前記変化量未満の値を加えた値を設定すること
を特徴とする脳波インタフェース装置。
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、をさらに備え、
前記所定手法では、
前記映像フレームの前記操作領域に対応する領域の前記色情報の値として、元色情報値と、前記元色情報値に予め定めた変化量を加えた値とを、前記特定周波数に２を乗じた周波数の逆数である周期で交互に設定し、
当該周期の間の前記映像フレームについては、
前記操作領域に対応する領域の前記色情報の値として、前記元色情報値に前記変化量未満の値を加えた値を設定すること
を特徴とする脳波インタフェース装置。
【請求項3】
請求項１記載の脳波インタフェース装置であって、
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、をさらに備え、
前記演算部は、前記映像フレームにおける前記操作領域に前記視覚刺激信号を出力すること
を特徴とする脳波インタフェース装置。
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、をさらに備え、
前記演算部は、前記映像フレームにおける前記操作領域に前記視覚刺激信号を出力すること
を特徴とする脳波インタフェース装置。
【請求項4】
請求項１記載の脳波インタフェース装置であって、
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、をさらに備え、
前記演算部は、前記表示デバイス上の、前記映像フレームの前記操作領域に対応する領域に前記視覚刺激信号を出力すること
を特徴とする脳波インタフェース装置。
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、をさらに備え、
前記演算部は、前記表示デバイス上の、前記映像フレームの前記操作領域に対応する領域に前記視覚刺激信号を出力すること
を特徴とする脳波インタフェース装置。
【請求項5】
請求項１記載の脳波インタフェース装置であって、
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、をさらに備え、
前記色情報は輝度値であり、
前記操作インタフェース作成部は、ＲＧＢ値を変化させることにより、前記操作領域に対応する領域の前記輝度値を変化させること
を特徴とする脳波インタフェース装置。
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、をさらに備え、
前記色情報は輝度値であり、
前記操作インタフェース作成部は、ＲＧＢ値を変化させることにより、前記操作領域に対応する領域の前記輝度値を変化させること
を特徴とする脳波インタフェース装置。
【請求項6】
請求項１記載の脳波インタフェース装置であって、
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、をさらに備え、
前記色情報は輝度値であり、
前記操作インタフェース作成部は、ＲＧＢ値は維持し、新たな輝度用色を変化させることにより、前記操作領域に対応する領域の前記輝度値を変化させること
を特徴とする脳波インタフェース装置。
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、をさらに備え、
前記色情報は輝度値であり、
前記操作インタフェース作成部は、ＲＧＢ値は維持し、新たな輝度用色を変化させることにより、前記操作領域に対応する領域の前記輝度値を変化させること
を特徴とする脳波インタフェース装置。
【請求項7】
請求項１記載の脳波インタフェース装置であって、
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、
前記表示デバイスとは異なる第二の表示デバイスと、をさらに備え、
前記操作インタフェース作成部は、前記第二の表示デバイスの前記操作領域に対応する領域の前記色情報を変化させること
を特徴とする脳波インタフェース装置。
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記特定周波数を有する前記視覚刺激信号または前記特定周波数を有する前記視覚刺激信号を含む映像データを表示デバイスに出力する演算部と、
前記表示デバイスとは異なる第二の表示デバイスと、をさらに備え、
前記操作インタフェース作成部は、前記第二の表示デバイスの前記操作領域に対応する領域の前記色情報を変化させること
を特徴とする脳波インタフェース装置。
【請求項8】
請求項１記載の脳波インタフェース装置であって、
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記映像フレームから動体を検出する動体検出部と、をさらに備え、
前記操作領域は、検出された前記動体に対する相対位置で定められること
を特徴とする脳波インタフェース装置。
映像フレームを生成するカメラと、
前記映像フレームにおける、ユーザが予め定めた領域である操作領域に対応する領域の色情報の値を、所定手法で変化させることにより、当該特定周波数を有する視覚刺激信号を作成する操作インタフェース作成部と、
前記映像フレームから動体を検出する動体検出部と、をさらに備え、
前記操作領域は、検出された前記動体に対する相対位置で定められること
を特徴とする脳波インタフェース装置。
【請求項9】
請求項１記載の脳波インタフェース装置であって、
前記制御部は、前記脳波分析部が前記特定周波数を抽出しない場合、警告を出力すること
を特徴とする脳波インタフェース装置。
前記制御部は、前記脳波分析部が前記特定周波数を抽出しない場合、警告を出力すること
を特徴とする脳波インタフェース装置。
【請求項10】
請求項１記載の脳波インタフェース装置と、
映像フレームを取得するカメラと、を備え、
拡張現実、仮想現実、または複合現実表示を行うこと
を特徴とする表示装置。
映像フレームを取得するカメラと、を備え、
拡張現実、仮想現実、または複合現実表示を行うこと
を特徴とする表示装置。
【請求項11】
請求項１記載の脳波インタフェース装置を備えるヘッドアップディスプレイシステム。
【請求項12】
請求項１記載の脳波インタフェース装置を備えるプロジェクタシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脳波を表示装置のインタフェースに用いる技術に関する。
【背景技術】
【0002】
近年、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）／仮想現実（Ｖｉｒｔ
ｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）／複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ；ＭＲ
は、ＡＲとＶＲを融合した新たな空間表現を実現するための映像技術の総称）装置が普及
しつつある。これらの主な入力／操作インタフェース（Ｉ／Ｆ）は、外部接続リモコン、
ジェスチャ、音声、視線追跡などによるものである。例えば、ジェスチャや音声による操
作インタフェースを使用したＭＲ製品に、Ｍｉｃｒｏｓｏｆｔ社のＨｏｌｏＬｅｎｓがあ
る。この製品のインタラクションデザインに、ジェスチャや音声等よる操作インタフェー
スが記載されている（例えば、非特許文献１参照。）。また、このインタラクションデザ
インのジェスチャデザインの項目には、３つのキーコンポーネントジェスチャとして“２
．１ Ｂｌｏｏｍ、２．２ Ａｉｒ ｔａｐ、２．３ Ｔａｐ ａｎｄ Ｈｏｌｄ”が記
載されている（例えば、非特許文献２参照。）。また、このインタラクションデザインの
ボイスデザインの項目には、操作コマンドとしての音声の使用方法が記載されている（例
えば、非特許文献３参照。）。
ｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）／複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、ＭＲ；ＭＲ
は、ＡＲとＶＲを融合した新たな空間表現を実現するための映像技術の総称）装置が普及
しつつある。これらの主な入力／操作インタフェース（Ｉ／Ｆ）は、外部接続リモコン、
ジェスチャ、音声、視線追跡などによるものである。例えば、ジェスチャや音声による操
作インタフェースを使用したＭＲ製品に、Ｍｉｃｒｏｓｏｆｔ社のＨｏｌｏＬｅｎｓがあ
る。この製品のインタラクションデザインに、ジェスチャや音声等よる操作インタフェー
スが記載されている（例えば、非特許文献１参照。）。また、このインタラクションデザ
インのジェスチャデザインの項目には、３つのキーコンポーネントジェスチャとして“２
．１ Ｂｌｏｏｍ、２．２ Ａｉｒ ｔａｐ、２．３ Ｔａｐ ａｎｄ Ｈｏｌｄ”が記
載されている（例えば、非特許文献２参照。）。また、このインタラクションデザインの
ボイスデザインの項目には、操作コマンドとしての音声の使用方法が記載されている（例
えば、非特許文献３参照。）。
【0003】
脳波の定常状態視覚誘発電位（Ｓｔｅａｄｙ－Ｓｔａｔｅ Ｖｉｓｕａｌ Ｅｖｏｋｅ
ｄ Ｐｏｔｅｎｔｉａｌ、以下ＳＳＶＥＰ）を使用したブレイン・コンピュータ・インタ
フェース（以下ＢＣＩ：Ｂｒａｉｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）技術があ
る。例えば、特許文献１には、「脳波信号を発生させる視覚刺激信号及び基本視覚情報を
表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周
波数に応じて挿入する制御部と、前記発生した脳波信号が有する周波数を把握する脳波分
析部と、を含む」ディスプレイ装置が開示されている。
ｄ Ｐｏｔｅｎｔｉａｌ、以下ＳＳＶＥＰ）を使用したブレイン・コンピュータ・インタ
フェース（以下ＢＣＩ：Ｂｒａｉｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）技術があ
る。例えば、特許文献１には、「脳波信号を発生させる視覚刺激信号及び基本視覚情報を
表示するディスプレイ部と、前記視覚刺激信号を、前記基本視覚情報に予め設定された周
波数に応じて挿入する制御部と、前記発生した脳波信号が有する周波数を把握する脳波分
析部と、を含む」ディスプレイ装置が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】”Ｉｎｔｅｒａｃｔｉｏｎ ｄｅｓｉｇｎ”、［ｏｎｌｉｎｅ］、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｄｅｖ Ｃｅｎｔｅｒ、［平成２９年７月６日検索］、インターネット＜ＵＲＬ： ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ－ｕｓ／ｗｉｎｄｏｗｓ／ｍｉｘｅｄ－ｒｅａｌｉｔｙ／ｃａｔｅｇｏｒｙ／ｉｎｔｅｒａｃｔｉｏｎ＿ｄｅｓｉｇｎ＞
【非特許文献2】”Ｇｅｓｔｕｒｅ ｄｅｓｉｇｎ”、［ｏｎｌｉｎｅ］、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｄｅｖ Ｃｅｎｔｅｒ、［平成２９年７月６日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ－ｕｓ／ｗｉｎｄｏｗｓ／ｍｉｘｅｄ－ｒｅａｌｉｔｙ／ｇｅｓｔｕｒｅ＿ｄｅｓｉｇｎ＞
【非特許文献3】”Ｖｏｉｃｅ ｄｅｓｉｇｎ”、［ｏｎｌｉｎｅ］、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｄｅｖ Ｃｅｎｔｅｒ、［平成２９年７月６日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｒｕ－ｒｕ／ｗｉｎｄｏｗｓ／ｍｉｘｅｄ－ｒｅａｌｉｔｙ／ｖｏｉｃｅ＿ｄｅｓｉｇｎ＞
【特許文献】
【0005】
【特許文献1】特開２０１６－１７９１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ＡＲ／ＶＲ／ＭＲ装置を用いるにあたり、外部接続リモコンやジェスチャは、操作時に
ユーザの負担が大きい。また、ジェスチャや音声は、乗り物の中やカフェなどの公共の場
所では使用が難しく、使用場所が制限される。このため、ユーザの負担が少なく、使用場
所を制限しないインタフェースが望まれている。
ユーザの負担が大きい。また、ジェスチャや音声は、乗り物の中やカフェなどの公共の場
所では使用が難しく、使用場所が制限される。このため、ユーザの負担が少なく、使用場
所を制限しないインタフェースが望まれている。
【0007】
使用場所を制限しないインタフェースとして、例えば、特許文献１に記載のＳＳＶＥＰ
を用いたＢＣＩ等が考えられる。しかしながら、ＳＳＶＥＰによる入力／操作の対象ごと
に異なる周波数を割り当てる必要がある。そして、ＳＳＶＥＰを誘発可能な周波数が４～
７５Ｈｚに限定されていることからその活用には工夫が必要である。例えば、上記の特許
文献１では、ＳＳＶＥＰを誘発するための視覚刺激信号をあらかじめ設定された周波数に
応じて基本視覚情報（映像）に挿入する。このとき、ＳＳＶＥＰを誘発するための視覚刺
激信号を、フレーム間に挿入する。このため、基本視覚情報のフレームレートに依存して
挿入可能な視覚刺激信号の数が制限され、使用可能な周波数が限定される。従って、複雑
な操作のインタフェースには用いることができない。
を用いたＢＣＩ等が考えられる。しかしながら、ＳＳＶＥＰによる入力／操作の対象ごと
に異なる周波数を割り当てる必要がある。そして、ＳＳＶＥＰを誘発可能な周波数が４～
７５Ｈｚに限定されていることからその活用には工夫が必要である。例えば、上記の特許
文献１では、ＳＳＶＥＰを誘発するための視覚刺激信号をあらかじめ設定された周波数に
応じて基本視覚情報（映像）に挿入する。このとき、ＳＳＶＥＰを誘発するための視覚刺
激信号を、フレーム間に挿入する。このため、基本視覚情報のフレームレートに依存して
挿入可能な視覚刺激信号の数が制限され、使用可能な周波数が限定される。従って、複雑
な操作のインタフェースには用いることができない。
【0008】
本発明は、上記事情に鑑みてなされたもので、ＡＲ／ＶＲ／ＭＲ装置に、ユーザへの負
担が少なく、使用環境に制約の少ないインタフェースを提供することを目的とする。
担が少なく、使用環境に制約の少ないインタフェースを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、入力操作インタフェースとして、ＢＣＩ（Ｂｒａｉｎ Ｃｏｍｐｕｔｅｒ
Ｉｎｔｅｒｆａｃｅ）を備え、拡張現実、仮想現実、および／または複合現実表示を行う
表示装置を提供する。
Ｉｎｔｅｒｆａｃｅ）を備え、拡張現実、仮想現実、および／または複合現実表示を行う
表示装置を提供する。
【0010】
そして、そのＢＣＩ装置には、例えば、周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置であって、脳波信号を検出する脳波検出部と、前記脳波検出部により検出した脳波信号から特定周波数を抽出する脳波分析部と、前記特定周波数に、制御指示を対応づけて保持する対応データベースと、前記特定周波数に対応する前記制御指示を前記対応データベースから取得し、当該制御指示に従って制御を行う制御部と、を備え、前記対応データベースでは、前記特定周波数の中で、臨界融合周波数以上の周波数が割当周波数として前記制御指示に優先的に割り当てられ、当該割当周波数の中では、小さい周波数から優先的に使用頻度の高い機能の前記制御指示に割り当てられることを特徴とする脳波インタフェース装置を用いる。
【発明の効果】
【0011】
ＡＲ／ＶＲ／ＭＲ装置に、使用環境に制約の少ないインタフェースを提供できる。上記
した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0012】
【図1】第一の実施形態の表示装置の機能ブロック図である。
【図2】第一の実施形態の表示装置のハードウェア構成図である。
【図3】第一の実施形態の表示装置の実装例を説明するための説明図である。
【図4】（ａ）および（ｂ）は、第一の実施形態のＳＳＶＥＰ用の視覚刺激信号挿入手法を説明するための説明図である。
【図5】第一の実施形態のＳＳＶＥＰ用の視覚刺激信号重畳手法を説明するための説明図である。
【図6】（ａ）は、第一の実施形態のマッピングテーブルの一例を、（ｂ）は、第一の実施形態の機能テーブルの一例を、それぞれ、説明するための説明図である。
【図7】（ａ）および（ｂ）は、それぞれ、第一の実施形態のオブジェクトテーブルの一例を説明するための説明図である。
【図8】（ａ）および（ｂ）は、それぞれ、第一の実施形態の操作Ｉ／Ｆテーブルの一例を説明するための説明図である。
【図9】（ａ）および（ｂ）は、第一の実施形態のアイコン挿入時のレイアウト例を説明するための説明図である。
【図10】第一の実施形態の割当周波数決定処理のフローチャートである。
【図11】第一の実施形態の割当周波数決定処理の変形例のフローチャートである。
【図12】（ａ）は、第一の実施形態の表示画像作成処理の、（ｂ）は、操作インタフェーステーブル更新処理の、フローチャートである。
【図13】第一の実施形態の表示フレーム作成処理のフローチャートである。
【図14】（ａ）は、第一の実施形態の視線周波数検出処理の、（ｂ）は、第一の実施形態の機能判定処理の、フローチャートである。
【図15】第一の実施形態の変形例１の、ＳＳＶＥＰ用の視覚刺激信号重畳手法を説明するための説明図である。
【図16】（ａ）は、第一の実施形態の変形例２の表示装置を説明するための説明図であり、（ｂ）は、第一の実施形態の変形例２の表示装置の機能ブロック図である。
【図17】第一の実施形態の表示装置の変形例３の機能ブロック図である。
【図18】第一の実施形態の表示装置の変形例４の機能ブロック図である。
【図19】第一の実施形態の表示装置の変形例５の機能ブロック図である。
【図20】（ａ）および（ｂ）は、それぞれ、第二の実施形態の概要を説明するための説明図である。
【図21】（ａ）および（ｂ）は、それぞれ、第二の実施形態の他の例の概要を説明するための説明図である。
【図22】第二の実施形態の注意喚起処理のフローチャートである。
【図23】第三の実施形態の脳波分析部の機能ブロック図である。
【図24】第三の実施形態の概要を説明するための説明図である。
【図25】（ａ）は、第三の実施形態のマッピングテーブルの一例を、（ｂ）は、第三の実施形態の機能テーブルの一例を、（ｃ）は、第三の実施形態のモード管理テーブル６６０の一例を、それぞれ説明するための説明図である。
【図26】第三の実施形態の処理のフローチャートである。
【図27】本発明の変形例のインタフェース設定処理のフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を用いて、本発明の実施形態を説明する。以下、本明細書において、同一機
能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。な
お、本発明はここで説明する実施形態に限定されるものではない。
能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。な
お、本発明はここで説明する実施形態に限定されるものではない。
【0014】
＜＜第一の実施形態＞＞
本実施形態では、ＡＲ装置（以下、表示装置と呼ぶ。）に、ＳＳＶＥＰ（定常状態視覚
誘発電位）を用いたＢＣＩを利用する。すなわち、本実施形態では、映像にＳＳＶＥＰ誘
発用の視覚刺激（以下、視覚刺激信号と呼ぶ。）を呈示してそれらをＡＲやＶＲなどの映
像表示装置の操作用インタフェースとして使用する。このとき、使用可能な視覚刺激信号
の周波数の数を増加させるため、基本視覚情報（映像）そのものに視覚刺激信号を挿入あ
るいは重畳する。ＳＳＶＥＰを誘発する視覚刺激（以下、視覚刺激信号と呼ぶ）の挿入あ
るいは重畳は、表示領域の所定領域の輝度値の変化により実現する。
本実施形態では、ＡＲ装置（以下、表示装置と呼ぶ。）に、ＳＳＶＥＰ（定常状態視覚
誘発電位）を用いたＢＣＩを利用する。すなわち、本実施形態では、映像にＳＳＶＥＰ誘
発用の視覚刺激（以下、視覚刺激信号と呼ぶ。）を呈示してそれらをＡＲやＶＲなどの映
像表示装置の操作用インタフェースとして使用する。このとき、使用可能な視覚刺激信号
の周波数の数を増加させるため、基本視覚情報（映像）そのものに視覚刺激信号を挿入あ
るいは重畳する。ＳＳＶＥＰを誘発する視覚刺激（以下、視覚刺激信号と呼ぶ）の挿入あ
るいは重畳は、表示領域の所定領域の輝度値の変化により実現する。
【0015】
まず、本実施形態の表示装置の機能ブロック図を説明する。図１は、本実施形態の表示
装置１０１の機能ブロック図である。
装置１０１の機能ブロック図である。
【0016】
本図に示すように、本実施形態の表示装置１０１は、脳波インタフェース（Ｉ／Ｆ）部
１０２と、表示部１０３と、マイク／スピーカ１０４と、通信部１０５と、映像生成部１
０６と、操作部１０７と、実行部１０９と、記憶部１１０と、制御部１１２と、を備える
。
１０２と、表示部１０３と、マイク／スピーカ１０４と、通信部１０５と、映像生成部１
０６と、操作部１０７と、実行部１０９と、記憶部１１０と、制御部１１２と、を備える
。
【0017】
通信部１０５は、有線あるいは無線で外部の機器と通信を行うための１つ以上の通信モ
ジュール（ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＭＩ（登録商標）等）を備え
る。
ジュール（ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＭＩ（登録商標）等）を備え
る。
【0018】
映像生成部１０６は、入力された映像を用いて、表示部１０３に表示する映像の全てあ
るいは一部を生成する。映像は、内蔵あるいは外付けのカメラから、予め記録済みの記録
媒体から、または、通信部１０５経由で他の機器から、映像生成部１０６に入力される。
るいは一部を生成する。映像は、内蔵あるいは外付けのカメラから、予め記録済みの記録
媒体から、または、通信部１０５経由で他の機器から、映像生成部１０６に入力される。
【0019】
操作部１０７は、マウスやリモコン、操作ボタン、キーボード、タッチパネル等を備え
、ユーザ１３０による操作指示を受け付ける。
、ユーザ１３０による操作指示を受け付ける。
【0020】
実行部１０９は、脳波Ｉ／Ｆ部１０２や操作部１０７を介して受け付けたユーザ１３０
からの操作指示に応じた処理を実行する。
からの操作指示に応じた処理を実行する。
【0021】
記憶部１１０は、映像データ、表示装置１０１全体の制御プログラムや設定情報などを
記憶する。
記憶する。
【0022】
制御部１１２は、表示装置１０１の各コンポーネントの動作を制御する。
【0023】
脳波Ｉ／Ｆ部１０２は、脳波を検出し、制御指示を抽出する。これを実現するため、本
実施形態の脳波Ｉ／Ｆ部１０２は、脳波検出部１１３と、脳波分析部１１４と、操作Ｉ／
Ｆ作成部１１５と、操作Ｉ／Ｆ格納部１１６と、マッピング部１１７と、マッピングデー
タ格納部１１８と、機能判定部１１９と、脳波制御部１２０とを備える。
実施形態の脳波Ｉ／Ｆ部１０２は、脳波検出部１１３と、脳波分析部１１４と、操作Ｉ／
Ｆ作成部１１５と、操作Ｉ／Ｆ格納部１１６と、マッピング部１１７と、マッピングデー
タ格納部１１８と、機能判定部１１９と、脳波制御部１２０とを備える。
【0024】
脳波検出部１１３は、脳波信号を検出する。
【0025】
脳波分析部１１４は、脳波検出部１１３で検出した脳波を分析する。ここでは、検出し
た脳波信号から前記特定周波数を抽出する。本実施形態では、これを実現するため、前処
理部１２１と、特徴抽出部１２２と、視線周波数検出部１２３と、を備える。
た脳波信号から前記特定周波数を抽出する。本実施形態では、これを実現するため、前処
理部１２１と、特徴抽出部１２２と、視線周波数検出部１２３と、を備える。
【0026】
前処理部１２１は、脳波検出部１１３で検出した脳波信号からノイズ等を取り除き、信
号を増幅する。特徴抽出部１２２は、前処理した脳波信号の特徴量を抽出する。本実施形
態では、例えば、脳波信号をフーリエ変換し、周波数ごとの電位の大きさを分析する周波
数分析部として機能する。視線周波数検出部１２３は、特徴抽出部１２２で抽出した特徴
量を分類し、ユーザ１３０が注視した視覚刺激信号の周波数を検出する。
号を増幅する。特徴抽出部１２２は、前処理した脳波信号の特徴量を抽出する。本実施形
態では、例えば、脳波信号をフーリエ変換し、周波数ごとの電位の大きさを分析する周波
数分析部として機能する。視線周波数検出部１２３は、特徴抽出部１２２で抽出した特徴
量を分類し、ユーザ１３０が注視した視覚刺激信号の周波数を検出する。
【0027】
操作Ｉ／Ｆ作成部１１５は、視覚刺激信号を用いてユーザ１３０が操作入力するための
Ｉ／Ｆデータ（以下、ＳＳＶＥＰ操作Ｉ／Ｆ）を作成する。ここでは、取得した各映像フ
レーム上の予め定めた領域である操作領域に、特定の周波数である特定周波数を有する視
覚刺激信号を割り当てる。そして、例えば、特定周波数の逆数の周期で、予め定めた最大
値と最小値との間、または色情報の差分変化量で、操作領域に対応する領域の色情報を変
化させることにより視覚刺激信号を作成する。
Ｉ／Ｆデータ（以下、ＳＳＶＥＰ操作Ｉ／Ｆ）を作成する。ここでは、取得した各映像フ
レーム上の予め定めた領域である操作領域に、特定の周波数である特定周波数を有する視
覚刺激信号を割り当てる。そして、例えば、特定周波数の逆数の周期で、予め定めた最大
値と最小値との間、または色情報の差分変化量で、操作領域に対応する領域の色情報を変
化させることにより視覚刺激信号を作成する。
【0028】
なお、ＳＳＶＥＰ操作Ｉ／Ｆには、操作ボタン、直接映像フレーム内のオブジェクトに
重畳する、などがある。また、操作Ｉ／Ｆ格納部１１６には、操作Ｉ／Ｆ作成部１１５で
作成したＳＳＶＥＰ操作Ｉ／Ｆが格納される。このとき、マッピングデータ格納部１１８
は、特定周波数に、制御指示を対応づけて保持する。
重畳する、などがある。また、操作Ｉ／Ｆ格納部１１６には、操作Ｉ／Ｆ作成部１１５で
作成したＳＳＶＥＰ操作Ｉ／Ｆが格納される。このとき、マッピングデータ格納部１１８
は、特定周波数に、制御指示を対応づけて保持する。
【0029】
マッピング部１１７は、実行機能とＳＳＶＥＰ操作Ｉ／Ｆとをマッピングする。例えば
、矢印ボタンを選択した場合の実行機能と、ＳＳＶＥＰ操作Ｉ／Ｆとをマッピングする。
マッピングデータ格納部１１８は、マッピング部１１７がマッピングした対応データベー
スを格納する。また、機能の一覧テーブルを格納する。
、矢印ボタンを選択した場合の実行機能と、ＳＳＶＥＰ操作Ｉ／Ｆとをマッピングする。
マッピングデータ格納部１１８は、マッピング部１１７がマッピングした対応データベー
スを格納する。また、機能の一覧テーブルを格納する。
【0030】
機能判定部１１９は、脳波分析部１１４で分析した結果に基づき、ユーザ１３０により
選択された機能を判定する。本実施形態では、脳波分析部１１４が抽出した視線周波数に
対応づけてマッピングデータ格納部１１８に格納される機能を特定する。すなわち、脳波
から抽出した特定周波数に対応する制御指示を対応データベースから取得する。
選択された機能を判定する。本実施形態では、脳波分析部１１４が抽出した視線周波数に
対応づけてマッピングデータ格納部１１８に格納される機能を特定する。すなわち、脳波
から抽出した特定周波数に対応する制御指示を対応データベースから取得する。
【0031】
脳波制御部１２０は、脳波Ｉ／Ｆ部１０２の各コンポーネントの動作を制御する。また
、制御部１１２の指示により、機能登録に関する処理も統括して実行する。さらに、制御
部１１２を介して、演算部１２４の演算実行のＯＮ、ＯＦＦを制御する。
、制御部１１２の指示により、機能登録に関する処理も統括して実行する。さらに、制御
部１１２を介して、演算部１２４の演算実行のＯＮ、ＯＦＦを制御する。
【0032】
表示部１０３は、映像及びＳＳＶＥＰを誘発するための視覚刺激を表示する。本実施形
態の表示部１０３は、演算部１２４と、表示デバイス部１２５と、投射レンズ１２７と、
照明器１２６とを備える。
態の表示部１０３は、演算部１２４と、表示デバイス部１２５と、投射レンズ１２７と、
照明器１２６とを備える。
【0033】
演算部１２４は、操作Ｉ／Ｆ作成部１１５が作成したＳＳＶＥＰ操作Ｉ／Ｆに従って、
視覚刺激信号を挿入あるいは、重畳した各映像フレームを生成し、表示デバイス部１２５
に表示させるための演算を行う。
視覚刺激信号を挿入あるいは、重畳した各映像フレームを生成し、表示デバイス部１２５
に表示させるための演算を行う。
【0034】
表示デバイス部１２５は、演算部１２４の演算結果に基づき、映像を表示する。照明器
１２６は、表示デバイス部１２５に光を提供する。投射レンズ１２７は、表示デバイス部
１２５で作成された映像を投射する。
１２６は、表示デバイス部１２５に光を提供する。投射レンズ１２７は、表示デバイス部
１２５で作成された映像を投射する。
【0035】
なお、本実施形態の表示装置１０１は、例えば、計時用タイマ等、上記以外のコンポー
ネントを備えてもよい。
ネントを備えてもよい。
【0036】
本実施形態の表示装置１０１のハードウェア構成を図２に示す。本実施形態の表示装置
１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２と、脳波
計２０３と、表示装置２０４と、カメラ２０５と、マイク／スピーカ２０６と、記憶装置
２０８と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０９と、通信モジ
ュール２１１と、入力Ｉ／Ｆ２１２と、操作装置２１３と、システムバス２１４と、を備
える。
１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２と、脳波
計２０３と、表示装置２０４と、カメラ２０５と、マイク／スピーカ２０６と、記憶装置
２０８と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０９と、通信モジ
ュール２１１と、入力Ｉ／Ｆ２１２と、操作装置２１３と、システムバス２１４と、を備
える。
【0037】
表示装置２０４は、映像を表示する。カメラ２０５は、映像を生成する。入力Ｉ／Ｆ２
１２は、外部からのデータ入力を受け付ける。操作装置２１３は、表示装置１０１本体へ
のタッピングなどによる入力操作を可能にする。
１２は、外部からのデータ入力を受け付ける。操作装置２１３は、表示装置１０１本体へ
のタッピングなどによる入力操作を可能にする。
【0038】
記憶装置２０８は、各種プログラム、データ等を記憶する。例えば、ＲＯＭ（Ｒｅａｄ
Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク等を備える。例えば、表示装置１０１の各
種の機能を実現する基本プログラムは、ＲＯＭに格納される。また、プログラムの実行に
用いられるデータ、プログラム実行中に生成されるデータ等は、ハードディスク等に格納
される。なお、上述の操作Ｉ／Ｆ格納部１１６やマッピングデータ格納部１１８は、記憶
装置２０８に設けられる。
Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク等を備える。例えば、表示装置１０１の各
種の機能を実現する基本プログラムは、ＲＯＭに格納される。また、プログラムの実行に
用いられるデータ、プログラム実行中に生成されるデータ等は、ハードディスク等に格納
される。なお、上述の操作Ｉ／Ｆ格納部１１６やマッピングデータ格納部１１８は、記憶
装置２０８に設けられる。
【0039】
ＲＡＭ２０９は、キャッシュやワークメモリとして使用される。
【0040】
ＣＰＵ２０２は、表示装置１０１全体の動作を制御する。制御にあたっては、例えば、
記憶装置２０８に格納されるプログラム及び各種データを、ＲＡＭ２０９にロードして実
行する。
記憶装置２０８に格納されるプログラム及び各種データを、ＲＡＭ２０９にロードして実
行する。
【0041】
システムバス２１４は、ＣＰＵ２０２と、表示装置１０１の各コンポーネントとの間で
、データの送受信を行うためのデータ通信路である。
、データの送受信を行うためのデータ通信路である。
【0042】
脳波計２０３は、脳波信号を検出する。本実施形態では、脳波計２０３は、脳波検出用
の電極と、ノイズなどを除去して信号を増幅する信号処理装置と、アナログ信号をディジ
タル信号に変換するアナログディジタルコンバータとを備える。
の電極と、ノイズなどを除去して信号を増幅する信号処理装置と、アナログ信号をディジ
タル信号に変換するアナログディジタルコンバータとを備える。
【0043】
通信モジュール２１１は、外部機器と通信するインタフェースである。通信モジュール
２１１は、３Ｇや４Ｇ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＭＩ（登録
商標）、赤外線通信、放送サービス用通信などの無線通信機能と有線ＬＡＮなどの有線通
信機能とを備える。
２１１は、３Ｇや４Ｇ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＭＩ（登録
商標）、赤外線通信、放送サービス用通信などの無線通信機能と有線ＬＡＮなどの有線通
信機能とを備える。
【0044】
脳波計２０３と、ＣＰＵ２０２と、ＲＡＭ２０９と、システムバス２１４とは、機能ブ
ロックの脳波Ｉ／Ｆ部１０２と制御部１１２とに対応する。また、マイク／スピーカ２０
６はマイク／スピーカ１０４に、カメラ２０５は映像生成部１０６に、表示装置２０４は
表示部１０３に、通信モジュール２１１は通信部１０５に、入力Ｉ／Ｆ２１２は映像生成
部１０６に、操作装置２１３は操作部１０７に、記憶装置２０８は記憶部１１０に、それ
ぞれ、対応する。
ロックの脳波Ｉ／Ｆ部１０２と制御部１１２とに対応する。また、マイク／スピーカ２０
６はマイク／スピーカ１０４に、カメラ２０５は映像生成部１０６に、表示装置２０４は
表示部１０３に、通信モジュール２１１は通信部１０５に、入力Ｉ／Ｆ２１２は映像生成
部１０６に、操作装置２１３は操作部１０７に、記憶装置２０８は記憶部１１０に、それ
ぞれ、対応する。
【0045】
【0046】
ＡＲ装置３０１では、後頭部のバンド部分３０２とテンプル部分（３０３，３０４）と
に、２つ以上の電極（３０５，３０６，３０７，３０８，３０９，３１０，３１１）が配
置される。
に、２つ以上の電極（３０５，３０６，３０７，３０８，３０９，３１０，３１１）が配
置される。
【0047】
ＡＲ装置３０１における脳波の誘導方法には双極誘導を用いる。ＡＲ装置３０１では、
２つの電極から導出した電位差により脳波を測定する。図３のＡＲ装置３０１の電極配置
によれば、最大６チャンネルの脳波を検出できる。ＡＲ装置３０１では双極誘導を用いた
が脳波の誘導方法はこれに限定されない。例えば、単極誘導を使用してもよい。単極誘導
を使用する場合は、基準の電位を測定するための電極を耳たぶに装着可能な構成とする。
２つの電極から導出した電位差により脳波を測定する。図３のＡＲ装置３０１の電極配置
によれば、最大６チャンネルの脳波を検出できる。ＡＲ装置３０１では双極誘導を用いた
が脳波の誘導方法はこれに限定されない。例えば、単極誘導を使用してもよい。単極誘導
を使用する場合は、基準の電位を測定するための電極を耳たぶに装着可能な構成とする。
【0048】
ＳＳＶＥＰは、視覚野のある後頭部で測定することが望ましい。このため、すべての電
極から脳波を検出できた場合は、後頭部の電極（３０７，３０８，３０９）から測定した
脳波を優先して使用する。後頭部のバンド部分では２チャンネル（３０７と３０８で１チ
ャンネル、３０８と３０９で１チャンネル）の脳波の測定が可能である。使用する脳波は
、電極の接触状態に応じて変更してもよい。
極から脳波を検出できた場合は、後頭部の電極（３０７，３０８，３０９）から測定した
脳波を優先して使用する。後頭部のバンド部分では２チャンネル（３０７と３０８で１チ
ャンネル、３０８と３０９で１チャンネル）の脳波の測定が可能である。使用する脳波は
、電極の接触状態に応じて変更してもよい。
【0049】
ＳＳＶＥＰの視覚刺激は高周波になるほど検出される電位が低下する傾向にある。この
ため、特に高周波の視覚刺激を使用する場合は、可能な限り後頭部で脳波を測定するよう
にする。例えば、左向き矢印の操作ボタンに視覚刺激として高周波を、右向き矢印の操作
ボタンに低周波を、それぞれ割り当てた場合、前者については後頭部で測定した脳波を優
先させる。具体的には、前者については、脳波分析部１１４での分析時に、後頭部以外の
部分で測定した脳波を使用しない等の処理を行う。
ため、特に高周波の視覚刺激を使用する場合は、可能な限り後頭部で脳波を測定するよう
にする。例えば、左向き矢印の操作ボタンに視覚刺激として高周波を、右向き矢印の操作
ボタンに低周波を、それぞれ割り当てた場合、前者については後頭部で測定した脳波を優
先させる。具体的には、前者については、脳波分析部１１４での分析時に、後頭部以外の
部分で測定した脳波を使用しない等の処理を行う。
【0050】
なお、ＡＲ装置３０１では、表示デバイス部１２５は、メガネレンズ部分（３１２、３
１３）に配置される。また、その他の機能は、フレーム本体３１４に設けられる。
１３）に配置される。また、その他の機能は、フレーム本体３１４に設けられる。
【0051】
［視覚刺激信号挿入手法］
次に、本実施形態の視覚刺激信号の挿入手法を説明する。
次に、本実施形態の視覚刺激信号の挿入手法を説明する。
【0052】
ＳＳＶＥＰを誘発する刺激には、フラッシュ刺激（ＬＥＤライトの点滅）、白と黒のチ
ェッカーパタン、色刺激（異なる色による）、画像の輝度変化などがある。これらの刺激
を使用して、周期的刺激を呈示することで、ＳＳＶＥＰを誘発する。本実施形態では、こ
れらの手法のうち、画像の輝度変化を用いる。
ェッカーパタン、色刺激（異なる色による）、画像の輝度変化などがある。これらの刺激
を使用して、周期的刺激を呈示することで、ＳＳＶＥＰを誘発する。本実施形態では、こ
れらの手法のうち、画像の輝度変化を用いる。
【0053】
具体的には、本実施形態では、予め定めた形状を有するアイコン等を挿入し、当該アイ
コンの輝度値を、予め定めた周波数で変化させる第一の手法と、映像フレームの特定の領
域の輝度値を、予め定めた周波数で変化させる第二の手法とがある。なお、特定の領域は
、固定であってもよいし、フレーム毎に異なってもよい。
コンの輝度値を、予め定めた周波数で変化させる第一の手法と、映像フレームの特定の領
域の輝度値を、予め定めた周波数で変化させる第二の手法とがある。なお、特定の領域は
、固定であってもよいし、フレーム毎に異なってもよい。
【0054】
まず、第一の手法を、図４（ａ）を用いて説明する。ここでは、映像フレームとして、
飛行機の計器類が表示された画像を用いる場合を例示する。表示される映像は、ＶＲ装置
の仮想映像であってもよいし、ＡＲ装置のカメラを通して表示さてる現実世界の映像であ
ってもよい。また、映像フレームにボタンＡ４０１を挿入し、ボタンＡ４０１の輝度値（
色）を、色１と色２との間で、視覚刺激信号の周波数（特定周波数ＦｓＨｚ）で変化させ
る場合を例にあげて説明する。なお、挿入するアイコンは、ボタン等の図形に限定されず
、各種の形状を有するものであってよい。なお、アイコンのサイズは、固定であってもよ
いし、映像フレーム中のオブジェクト等のサイズに応じて変化してもよい。
飛行機の計器類が表示された画像を用いる場合を例示する。表示される映像は、ＶＲ装置
の仮想映像であってもよいし、ＡＲ装置のカメラを通して表示さてる現実世界の映像であ
ってもよい。また、映像フレームにボタンＡ４０１を挿入し、ボタンＡ４０１の輝度値（
色）を、色１と色２との間で、視覚刺激信号の周波数（特定周波数ＦｓＨｚ）で変化させ
る場合を例にあげて説明する。なお、挿入するアイコンは、ボタン等の図形に限定されず
、各種の形状を有するものであってよい。なお、アイコンのサイズは、固定であってもよ
いし、映像フレーム中のオブジェクト等のサイズに応じて変化してもよい。
【0055】
図中のボタンＡ４０１は、映像中の計器に対する操作を実行するためのボタンである。
ここでは、ボタンＡ４０１がフリッカーとなる。フリッカーとは、ＳＳＶＥＰを誘発する
ための異なる２種類の刺激を周期的に繰り返し呈示するための機能を持つものの総称とす
る。
ここでは、ボタンＡ４０１がフリッカーとなる。フリッカーとは、ＳＳＶＥＰを誘発する
ための異なる２種類の刺激を周期的に繰り返し呈示するための機能を持つものの総称とす
る。
【0056】
演算部１２４は、映像フレームを、予め定めたフレームレートＦＯＨｚで表示させる。
このとき、映像フレームにおいて、予め定めた位置（操作領域）に、ボタンＡ４０１を挿
入する。そして、特定周波数ＦｓＨｚで輝度値が変化するよう、各映像フレームの、ボタ
ンＡ４０１の領域の色（ＲＧＢを用いて算出した輝度値）を変化させて表示する。ボタン
Ａ４０１の挿入位置や表示色は、操作Ｉ／Ｆテーブル６２０を参照し、決定する。
このとき、映像フレームにおいて、予め定めた位置（操作領域）に、ボタンＡ４０１を挿
入する。そして、特定周波数ＦｓＨｚで輝度値が変化するよう、各映像フレームの、ボタ
ンＡ４０１の領域の色（ＲＧＢを用いて算出した輝度値）を変化させて表示する。ボタン
Ａ４０１の挿入位置や表示色は、操作Ｉ／Ｆテーブル６２０を参照し、決定する。
【0057】
このようにして、各映像フレームのボタンＡ４０１の色を、時間軸に沿って、色１（４
０２）と色２（４０３）との間で、予め設定した視覚刺激信号の周波数（特定周波数；Ｆ
ｓＨｚ）で周期的に変化させることにより刺激を呈示する。
０２）と色２（４０３）との間で、予め設定した視覚刺激信号の周波数（特定周波数；Ｆ
ｓＨｚ）で周期的に変化させることにより刺激を呈示する。
【0058】
図４（ａ）下部のグラフの横軸は時間、縦軸は輝度値を示す。また、グラフ４０５の実
線は、ボタンＡ４０１の輝度値の変化を示す。ボタンＡ４０１で使用する２色（色１及び
色２）は、操作Ｉ／Ｆ作成部１１５で予め設定する。本実施形態では、このボタンＡ４０
１の輝度値を、グラフ４０５の実線で示すように周期的に変化させることにより、フリッ
カーを実現する。
線は、ボタンＡ４０１の輝度値の変化を示す。ボタンＡ４０１で使用する２色（色１及び
色２）は、操作Ｉ／Ｆ作成部１１５で予め設定する。本実施形態では、このボタンＡ４０
１の輝度値を、グラフ４０５の実線で示すように周期的に変化させることにより、フリッ
カーを実現する。
【0059】
なお、ボタンＡ４０１の色は、色１（４０２）と色２（４０３）との間で周期的に変化
する。映像のフレームレートと、特定周波数との関係によっては、色１（４０２）と、色
２（４０３）と、それらの中間色４０４と、で示される。ここで、中間色とは、色１と色
２との間の輝度値を有する色である。
する。映像のフレームレートと、特定周波数との関係によっては、色１（４０２）と、色
２（４０３）と、それらの中間色４０４と、で示される。ここで、中間色とは、色１と色
２との間の輝度値を有する色である。
【0060】
本図の例では、ボタンＡ４０１の色を、特定周波数ＦｓＨｚで、色１［Ｒ：１２８、Ｇ
：２５５、Ｂ：２５５］４０２と、色２［Ｒ：０、Ｇ：２５５、Ｂ：２５５］４０３との
間で変化させる。すなわち、ＦＯ／（２×Ｆｓ）フレーム毎に、交互に色１、色２とし、
その間のフレームには、色１と色２との中間色４０４を設定する。
：２５５、Ｂ：２５５］４０２と、色２［Ｒ：０、Ｇ：２５５、Ｂ：２５５］４０３との
間で変化させる。すなわち、ＦＯ／（２×Ｆｓ）フレーム毎に、交互に色１、色２とし、
その間のフレームには、色１と色２との中間色４０４を設定する。
【0061】
例えば、映像のフレームレートＦＯが１２０Ｈｚ、視覚刺激信号の特定周波数Ｆｓが３
０Ｈｚである場合を、図４（ｂ）に示す。本図に示すように、この場合、フレーム番号（
＃）が１には、色１が、同２には、色１と色２の中間色である色３が、同３には、色２が
、同４には、色１と色２の中間色である色３が、設定され、その後、４フレーム毎に、同
様の設定が繰り返される。すなわち、１秒間に１２０枚の映像フレームを用いて、色１、
色２、色１という変化を４枚の映像フレームを１サイクルとし、色１と色２間で徐々に色
が変化するよう、ボタンＡ４０１の輝度値が調整される。
０Ｈｚである場合を、図４（ｂ）に示す。本図に示すように、この場合、フレーム番号（
＃）が１には、色１が、同２には、色１と色２の中間色である色３が、同３には、色２が
、同４には、色１と色２の中間色である色３が、設定され、その後、４フレーム毎に、同
様の設定が繰り返される。すなわち、１秒間に１２０枚の映像フレームを用いて、色１、
色２、色１という変化を４枚の映像フレームを１サイクルとし、色１と色２間で徐々に色
が変化するよう、ボタンＡ４０１の輝度値が調整される。
【0062】
なお、上述したように、各映像フレームのボタンＡ４０１の色を、色１（４０２）から
色２（４０３）へ周期的に変化させる輝度値の演算や、各映像フレームに割り当てる輝度
値の設定は、操作Ｉ／Ｆ作成部１１５で行う。
色２（４０３）へ周期的に変化させる輝度値の演算や、各映像フレームに割り当てる輝度
値の設定は、操作Ｉ／Ｆ作成部１１５で行う。
【0063】
また、ここでは、輝度を周期的に変化させることによりボタンＡ４０１の色を変化させ
ているが、変化の軸はこれに限定されない。例えば、色相や彩度、明度等の輝度値以外の
色情報を変更してもよい。この場合、色の変化が、ユーザ１３０に識別可能でなくてもよ
い。以下、本明細書では、輝度を調整軸として説明するが、これに限定されない。
ているが、変化の軸はこれに限定されない。例えば、色相や彩度、明度等の輝度値以外の
色情報を変更してもよい。この場合、色の変化が、ユーザ１３０に識別可能でなくてもよ
い。以下、本明細書では、輝度を調整軸として説明するが、これに限定されない。
【0064】
次に、視覚刺激信号挿入の、第二の手法を、図５を用いて説明する。図４（ａ）で説明
した第一の手法では、映像に操作用のボタンＡを配置する。しかし、図５で説明する第二
の手法では、映像そのものに含まれるオブジェクトに視覚刺激信号を重畳する。なお、重
畳するオブジェクト（重畳対象オブジェクト）は、予め定められているものとする。
した第一の手法では、映像に操作用のボタンＡを配置する。しかし、図５で説明する第二
の手法では、映像そのものに含まれるオブジェクトに視覚刺激信号を重畳する。なお、重
畳するオブジェクト（重畳対象オブジェクト）は、予め定められているものとする。
【0065】
本図においても、映像フレームとして、飛行機の計器類が表示された画像を用いる場合
を例示する。第二の手法では、映像フレームの、予め定めた領域（操作領域；重畳エリア
ＡＡ）５０２内の輝度値（画素の色）を、特定周波数ＦｓＨｚで変化させる。本図の例で
は、映像内の各計器５０１を視覚刺激信号の重畳対象オブジェクトとする。すなわち、重
畳対象オブジェクトである計器５０１の画素の色を、特定周波数ＦｓＨｚで変化させる。
を例示する。第二の手法では、映像フレームの、予め定めた領域（操作領域；重畳エリア
ＡＡ）５０２内の輝度値（画素の色）を、特定周波数ＦｓＨｚで変化させる。本図の例で
は、映像内の各計器５０１を視覚刺激信号の重畳対象オブジェクトとする。すなわち、重
畳対象オブジェクトである計器５０１の画素の色を、特定周波数ＦｓＨｚで変化させる。
【0066】
なお、重畳対象オブジェクトの、映像内位置（重畳エリアＡＡ）は、映像フレーム毎に
変化する。本実施形態では、後述するように、映像フレームを取得する毎に、操作Ｉ／Ｆ
作成部１１５が重畳エリアＡＡを算出し、操作Ｉ／Ｆテーブルに格納する。
変化する。本実施形態では、後述するように、映像フレームを取得する毎に、操作Ｉ／Ｆ
作成部１１５が重畳エリアＡＡを算出し、操作Ｉ／Ｆテーブルに格納する。
【0067】
第二の手法では、重畳エリアＡＡの画像をそのまま使用し、その重畳エリアＡＡ内の画
素の色を変化させることでフリッカーを実現する。
素の色を変化させることでフリッカーを実現する。
【0068】
【0069】
ＳＳＶＥＰ用の視覚刺激として使用するフリッカーは、周波数曲線５０４に示すように
、ベース色を周期的に変化させることにより実現する。
、ベース色を周期的に変化させることにより実現する。
【0070】
具体的には、操作Ｉ／Ｆ作成部１１５は、映像フレーム毎に、重畳エリアＡＡ５０２内
の画素の色の変化をベースに、重畳エリアに設定した特定周波数に応じて、画素ごとのベ
ース色からの輝度値の変化量５１２を算出する。そして、映像フレーム毎に、視覚刺激信
号重畳後の画素値（ＲＧＢ値、５０５、５０６、５０７）を求める。演算部１２４は、操
作Ｉ／Ｆ作成部１１５の決定に従って、表示フレームを作成する。
の画素の色の変化をベースに、重畳エリアに設定した特定周波数に応じて、画素ごとのベ
ース色からの輝度値の変化量５１２を算出する。そして、映像フレーム毎に、視覚刺激信
号重畳後の画素値（ＲＧＢ値、５０５、５０６、５０７）を求める。演算部１２４は、操
作Ｉ／Ｆ作成部１１５の決定に従って、表示フレームを作成する。
【0071】
なお、本図において、５１１は、映像の画素の元のＲＧＢ値を示し、５１２は、フリッ
カー用の刺激を作成するために追加された輝度値（追加変化量）を反映したＲＧＢ値の変
化量である。
カー用の刺激を作成するために追加された輝度値（追加変化量）を反映したＲＧＢ値の変
化量である。
【0072】
重畳対象オブジェクトは、以下で説明するようにフリッカー機能を持つオブジェクトと
してユーザ１３０に認識されない場合もある。このため映像中のオブジェトをフリッカー
とする場合には、それらがフリッカー機能を保持していることがわかるようにそのエリア
を示しても良い。
してユーザ１３０に認識されない場合もある。このため映像中のオブジェトをフリッカー
とする場合には、それらがフリッカー機能を保持していることがわかるようにそのエリア
を示しても良い。
【0073】
例えば、図５に示すように、重畳エリアＡＡ５０２を破線等で囲んでもよい。この各計
器を取り囲む破線で示された長方形のエリアが重畳エリアＡＡ、すなわち、フリッカー機
能を持つエリアである。このような工夫により、ユーザ１３０は映像中の計器が脳波によ
る操作の対象であることを知ることができる。
器を取り囲む破線で示された長方形のエリアが重畳エリアＡＡ、すなわち、フリッカー機
能を持つエリアである。このような工夫により、ユーザ１３０は映像中の計器が脳波によ
る操作の対象であることを知ることができる。
【0074】
［マッピングテーブル／機能テーブル／オブジェクトテーブル］
次に、マッピング部１１７が作成するテーブルについて説明する。図６（ａ）、図６（
ｂ）、図７（ａ）および図７（ｂ）は、マッピング部１１７が生成するマッピングテーブ
ル６０１と、機能テーブル６１０と、オブジェクトテーブル６７０と、オブジェクトテー
ブル６８０、の一例を説明するための図である。これらの各テーブル６０１、６１０、６
７０、６８０は、マッピングデータ格納部１１８に格納される。
次に、マッピング部１１７が作成するテーブルについて説明する。図６（ａ）、図６（
ｂ）、図７（ａ）および図７（ｂ）は、マッピング部１１７が生成するマッピングテーブ
ル６０１と、機能テーブル６１０と、オブジェクトテーブル６７０と、オブジェクトテー
ブル６８０、の一例を説明するための図である。これらの各テーブル６０１、６１０、６
７０、６８０は、マッピングデータ格納部１１８に格納される。
【0075】
マッピングテーブル６０１は、表示装置１０１が提供する機能と、脳波Ｉ／Ｆ部１０２
が提供するＳＳＶＥＰ操作Ｉ／Ｆとを対応づけたテーブルである。
が提供するＳＳＶＥＰ操作Ｉ／Ｆとを対応づけたテーブルである。
【0076】
図６（ａ）に示すように、マッピングテーブル６０１は、マッピングテーブル内の要素
を一意に識別する識別番号（Ｎｏ．）６０２と、表示装置１０１が提供する機能を一意に
識別する機能ＩＤ６０３と、脳波Ｉ／Ｆ部１０２が提供するＳＳＶＥＰ操作Ｉ／Ｆを一意
に識別するＳＳＶＥＰ＿ＩＤ６０４とを備える。
を一意に識別する識別番号（Ｎｏ．）６０２と、表示装置１０１が提供する機能を一意に
識別する機能ＩＤ６０３と、脳波Ｉ／Ｆ部１０２が提供するＳＳＶＥＰ操作Ｉ／Ｆを一意
に識別するＳＳＶＥＰ＿ＩＤ６０４とを備える。
【0077】
なお、ＳＳＶＥＰ＿ＩＤ６０４は、機能ＩＤ６０３とは独立に設定できる。すなわち、
１つの画面で同時に呈示されない機能であれば、異なる機能ＩＤ６０３に、同一のＳＳＶ
ＥＰ＿ＩＤ６０４を対応づけてもよい。
１つの画面で同時に呈示されない機能であれば、異なる機能ＩＤ６０３に、同一のＳＳＶ
ＥＰ＿ＩＤ６０４を対応づけてもよい。
【0078】
なお、機能とＳＳＶＥＰ操作Ｉ／Ｆとのマッピングは、初期設定時に一度だけ実施され
てもよいし使用状況に応じて再実行されてもよい。マッピングテーブル６０１への登録は
、例えば、後述する操作Ｉ／Ｆテーブル６２０において、割り当て周波数の登録が実施さ
れた時点で行う。
てもよいし使用状況に応じて再実行されてもよい。マッピングテーブル６０１への登録は
、例えば、後述する操作Ｉ／Ｆテーブル６２０において、割り当て周波数の登録が実施さ
れた時点で行う。
【0079】
機能テーブル６１０は、機能ＩＤ６０３毎の機能の詳細を格納するテーブルである。
【0080】
図６（ｂ）に示すように、機能テーブル６１０は、表示装置１０１が提供する機能を一
意に識別する機能ＩＤ６０３と、機能名６１３と、機能ＩＤ６０３が示す機能の概要であ
る機能概要６１４と、視覚刺激信号を映像中のオブジェクトに重畳して呈示するか否かを
示す重畳フラグ６１５と、オブジェクトを一意に識別するオブジェクトＩＤ６１６と、を
備える。
意に識別する機能ＩＤ６０３と、機能名６１３と、機能ＩＤ６０３が示す機能の概要であ
る機能概要６１４と、視覚刺激信号を映像中のオブジェクトに重畳して呈示するか否かを
示す重畳フラグ６１５と、オブジェクトを一意に識別するオブジェクトＩＤ６１６と、を
備える。
【0081】
重畳フラグ６１５は、映像中のオブジェクトに重畳して提示する場合は、ＯＮ６１７に
、その他の場合は、ＯＦＦ６１８に設定される。重畳して提示する手法の一例は、例えば
、図５で説明した第二の手法である。また、もう一方の手法の一例は、例えば、図４で説
明した第一の手法のように、アイコン（ボタン）を挿入し、当該アイコンで視覚刺激信号
を実現する手法である。
、その他の場合は、ＯＦＦ６１８に設定される。重畳して提示する手法の一例は、例えば
、図５で説明した第二の手法である。また、もう一方の手法の一例は、例えば、図４で説
明した第一の手法のように、アイコン（ボタン）を挿入し、当該アイコンで視覚刺激信号
を実現する手法である。
【0082】
オブジェクトテーブル６７０およびオブジェクトテーブル６８０は、各機能を重畳する
オブジェクトを特定する情報を格納するテーブルである。それぞれ、オブジェクトＩＤ６
１６に対応づけて、オブジェクトが登録される。
オブジェクトを特定する情報を格納するテーブルである。それぞれ、オブジェクトＩＤ６
１６に対応づけて、オブジェクトが登録される。
【0083】
オブジェクトテーブル６７０の一例を図７（ａ）に示す。オブジェクトテーブル６７０
は、重畳フラグ６１５がＯＦＦの場合に参照されるテーブルである。オブジェクトテーブ
ル６７０には、オブジェクトＩＤ６１６毎に、オブジェクト６７２として、画像に挿入す
るオブジェクトが登録される。図４（ａ）に示す映像フレームの例では、ボタンＡである
。画像に重畳するオブジェクト６７２の他の例は、例えば、右向き矢印ボタン、左向き矢
印ボタン、特定の数字のボタン、等である。
は、重畳フラグ６１５がＯＦＦの場合に参照されるテーブルである。オブジェクトテーブ
ル６７０には、オブジェクトＩＤ６１６毎に、オブジェクト６７２として、画像に挿入す
るオブジェクトが登録される。図４（ａ）に示す映像フレームの例では、ボタンＡである
。画像に重畳するオブジェクト６７２の他の例は、例えば、右向き矢印ボタン、左向き矢
印ボタン、特定の数字のボタン、等である。
【0084】
オブジェクトテーブル６８０の一例を図７（ｂ）に示す。オブジェクトテーブル６８０
は、重畳フラグ６１５がＯＮの場合に参照されるテーブルである。オブジェクトテーブル
６８０には、オブジェクトＩＤ６１６毎に、重畳対象オブジェクトがオブジェクト６８２
として登録される。登録されるオブジェクト６８２は、例えば、図５に示す映像フレーム
の例では、燃料メータ、速度メータ等である。
は、重畳フラグ６１５がＯＮの場合に参照されるテーブルである。オブジェクトテーブル
６８０には、オブジェクトＩＤ６１６毎に、重畳対象オブジェクトがオブジェクト６８２
として登録される。登録されるオブジェクト６８２は、例えば、図５に示す映像フレーム
の例では、燃料メータ、速度メータ等である。
【0085】
なお、マッピングテーブル６０１、機能テーブル６１０、オブジェクトテーブル６７０
およびオブジェクトテーブル６８０は、表示装置１０１が提供する機能に対して、脳波制
御部１２０がマッピング部１１７に指示を出すことにより作成され、マッピングデータ格
納部１１８に登録される。
およびオブジェクトテーブル６８０は、表示装置１０１が提供する機能に対して、脳波制
御部１２０がマッピング部１１７に指示を出すことにより作成され、マッピングデータ格
納部１１８に登録される。
【0086】
各テーブル６０１、６１０、６７０、６８０は、予め登録されても良いし、映像生成部
１０６の扱う映像の種類に合わせて、必要に応じて作成、あるいは、更新されてもよい。
また、表示装置１０１は、自身が提供するサービスやアプリの全機能に関する機能テーブ
ル６１０の全部あるいは一部を、記憶部１１０に格納し、脳波制御部１２０またはマッピ
ング部１１７がそれらの機能の中から脳波で操作可能な機能のみを抽出し、機能テーブル
６１０を作成し、マッピングデータ格納部１１８に登録しても良い。
１０６の扱う映像の種類に合わせて、必要に応じて作成、あるいは、更新されてもよい。
また、表示装置１０１は、自身が提供するサービスやアプリの全機能に関する機能テーブ
ル６１０の全部あるいは一部を、記憶部１１０に格納し、脳波制御部１２０またはマッピ
ング部１１７がそれらの機能の中から脳波で操作可能な機能のみを抽出し、機能テーブル
６１０を作成し、マッピングデータ格納部１１８に登録しても良い。
【0087】
［操作Ｉ／Ｆテーブル］
次に、操作Ｉ／Ｆ作成部１１５が作成し、操作Ｉ／Ｆ格納部１１６に格納する操作Ｉ／
Ｆテーブルについて説明する。図８（ａ）および図８（ｂ）は、それぞれ、操作Ｉ／Ｆテ
ーブル６２０および操作Ｉ／Ｆテーブル６３０の一例である。
次に、操作Ｉ／Ｆ作成部１１５が作成し、操作Ｉ／Ｆ格納部１１６に格納する操作Ｉ／
Ｆテーブルについて説明する。図８（ａ）および図８（ｂ）は、それぞれ、操作Ｉ／Ｆテ
ーブル６２０および操作Ｉ／Ｆテーブル６３０の一例である。
【0088】
操作Ｉ／Ｆテーブル６２０は、重畳フラグがＯＦＦの場合に参照されるテーブルである
。本図に示すように、操作Ｉ／Ｆテーブル６２０は、脳波Ｉ／Ｆ部１０２が提供するＳＳ
ＶＥＰ操作Ｉ／Ｆを一意に識別するＳＳＶＥＰ＿ＩＤ６０４毎に、当該ＳＳＶＥＰ操作Ｉ
／Ｆに割り当てた、視覚刺激信号の周波数６２３と、映像に付加するために必要な情報と
を備える。
。本図に示すように、操作Ｉ／Ｆテーブル６２０は、脳波Ｉ／Ｆ部１０２が提供するＳＳ
ＶＥＰ操作Ｉ／Ｆを一意に識別するＳＳＶＥＰ＿ＩＤ６０４毎に、当該ＳＳＶＥＰ操作Ｉ
／Ｆに割り当てた、視覚刺激信号の周波数６２３と、映像に付加するために必要な情報と
を備える。
【0089】
本実施形態では、ＳＳＶＥＰ＿ＩＤ６０４毎に、任意の１つの周波数６２３が割り当て
られる。ただし、１つの画面（映像）で同時に呈示されない機能であって、呈示される場
合、一定時間以上間をあけて呈示される機能に対応づけられたＳＳＶＥＰ操作Ｉ／Ｆ（Ｓ
ＳＶＥＰ＿ＩＤ６０４）であれば、異なるＳＳＶＥＰ＿ＩＤ６０４に、同一の周波数を対
応づけてもよい。
られる。ただし、１つの画面（映像）で同時に呈示されない機能であって、呈示される場
合、一定時間以上間をあけて呈示される機能に対応づけられたＳＳＶＥＰ操作Ｉ／Ｆ（Ｓ
ＳＶＥＰ＿ＩＤ６０４）であれば、異なるＳＳＶＥＰ＿ＩＤ６０４に、同一の周波数を対
応づけてもよい。
【0090】
映像に付加するために必要な情報として、操作Ｉ／Ｆテーブル６２０には、各ＳＳＶＥ
Ｐ＿ＩＤ６０４に対応づけて、視覚刺激信号を挿入する映像フレームの位置であるエリア
６２５、視覚刺激信号に用いる色情報（使用色１（６２６）、使用色２（６２７））、形
状（サイズ）６２４、重畳色６２８等が登録される。
Ｐ＿ＩＤ６０４に対応づけて、視覚刺激信号を挿入する映像フレームの位置であるエリア
６２５、視覚刺激信号に用いる色情報（使用色１（６２６）、使用色２（６２７））、形
状（サイズ）６２４、重畳色６２８等が登録される。
【0091】
形状（サイズ）６２４は、視覚刺激信号の挿入対象となる画像（ボタンなど）の形状と
サイズとである。例えば、長方形の場合は、縦と横との大きさが形状（サイズ）として登
録される。円の場合は、半径の大きさが記述される。
サイズとである。例えば、長方形の場合は、縦と横との大きさが形状（サイズ）として登
録される。円の場合は、半径の大きさが記述される。
【0092】
エリア６２５は、視覚刺激信号を挿入する画像を配置する位置の情報である。本実施形
態では、映像フレーム内の位置情報（画素位置）が登録される。例えば、形状（サイズ）
６２４が長方形の場合は、特定の頂点の位置が登録される。また、円の場合は、中心位置
が登録される。位置情報として、映像画面の左上角を原点（０，０）とした時の各頂点の
位置情報を記述する。エリア６２５を記述するデータは数値で記述してもよいし、変数で
記述してもよい。
態では、映像フレーム内の位置情報（画素位置）が登録される。例えば、形状（サイズ）
６２４が長方形の場合は、特定の頂点の位置が登録される。また、円の場合は、中心位置
が登録される。位置情報として、映像画面の左上角を原点（０，０）とした時の各頂点の
位置情報を記述する。エリア６２５を記述するデータは数値で記述してもよいし、変数で
記述してもよい。
【0093】
使用色１（６２６）と使用色２（６２７）とは、視覚刺激信号に用いる画像の色（２色
）のＲＧＢ値である。すなわち、視覚刺激信号を生じさせる輝度値の最大値と最小値とが
登録される。
）のＲＧＢ値である。すなわち、視覚刺激信号を生じさせる輝度値の最大値と最小値とが
登録される。
【0094】
重畳色６２８は、重畳時に用いられる色のＲＧＢ値である。この値は、映像生成部１０
６が生成した映像のフレームレートと周波数６２３とに応じて、フレーム毎に算出され、
決定される。例えば、周波数６２３の逆数の周期で、予め定めた最大値と最小値との間で
挿入対象となる画像領域の色情報が変化するよう、フレームレートに応じて各フレームの
当該領域の重畳色６２８を決定する。
６が生成した映像のフレームレートと周波数６２３とに応じて、フレーム毎に算出され、
決定される。例えば、周波数６２３の逆数の周期で、予め定めた最大値と最小値との間で
挿入対象となる画像領域の色情報が変化するよう、フレームレートに応じて各フレームの
当該領域の重畳色６２８を決定する。
【0095】
操作Ｉ／Ｆテーブル６３０は、重畳フラグがＯＮの場合に参照されるテーブルである。
基本的に、操作Ｉ／Ｆテーブル６２０と同様に、脳波Ｉ／Ｆ部１０２が提供するＳＳＶＥ
Ｐ操作Ｉ／Ｆを一意に識別するＳＳＶＥＰ＿ＩＤ６０４毎に、当該ＳＳＶＥＰ操作Ｉ／Ｆ
に割り当てた、視覚刺激信号の周波数６３１と、映像に付加するために必要な情報とを備
える。
基本的に、操作Ｉ／Ｆテーブル６２０と同様に、脳波Ｉ／Ｆ部１０２が提供するＳＳＶＥ
Ｐ操作Ｉ／Ｆを一意に識別するＳＳＶＥＰ＿ＩＤ６０４毎に、当該ＳＳＶＥＰ操作Ｉ／Ｆ
に割り当てた、視覚刺激信号の周波数６３１と、映像に付加するために必要な情報とを備
える。
【0096】
操作Ｉ／Ｆテーブル６３０においても、操作Ｉ／Ｆテーブル６２０同様、ＳＳＶＥＰ＿
ＩＤ６０４毎に、任意の１つの周波数６３１が割り当てられる。また、映像に付加するた
めに必要な情報として、各ＳＳＶＥＰ＿ＩＤ６０４に対応づけて、形状６３２と、挿入エ
リア６３３と、オリジナル色６３４と、重畳時の色６３５と、が登録される。
ＩＤ６０４毎に、任意の１つの周波数６３１が割り当てられる。また、映像に付加するた
めに必要な情報として、各ＳＳＶＥＰ＿ＩＤ６０４に対応づけて、形状６３２と、挿入エ
リア６３３と、オリジナル色６３４と、重畳時の色６３５と、が登録される。
【0097】
形状６３２は、視覚刺激信号の重畳対象となるオブジェクトの形状である。重畳フラグ
がＯＮの場合、映像中の重畳対象オブジェクトに視覚刺激信号を重畳する。このため、形
状６３２は、例えば、当該重畳対象オブジェクトを取り囲む長方形とする。映像中のオブ
ジェクトは様々な形状を持つためである。
がＯＮの場合、映像中の重畳対象オブジェクトに視覚刺激信号を重畳する。このため、形
状６３２は、例えば、当該重畳対象オブジェクトを取り囲む長方形とする。映像中のオブ
ジェクトは様々な形状を持つためである。
【0098】
挿入エリア６３３は、視覚刺激信号を挿入する位置の情報である。本実施形態では、映
像フレーム内の位置情報（画素位置）が登録される。例えば、形状として、オブジェクト
を取り囲む長方形が登録される場合、エリア６２５には、当該長方形の左上頂点の位置を
記述する。円の場合は中心座標の位置を記述する。
像フレーム内の位置情報（画素位置）が登録される。例えば、形状として、オブジェクト
を取り囲む長方形が登録される場合、エリア６２５には、当該長方形の左上頂点の位置を
記述する。円の場合は中心座標の位置を記述する。
【0099】
オリジナル色６３４は、重畳対象のオブジェクトの重畳前の色情報であり、重畳時の色
６３５は、重畳時の色情報である。それぞれ、ＲＧＢ値が登録される。
６３５は、重畳時の色情報である。それぞれ、ＲＧＢ値が登録される。
【0100】
なお、上述のように、重畳フラグがＯＮの場合、映像中の重畳対象オブジェクトに視覚
刺激信号を重畳する。従って、形状６３２、挿入エリア６３３、オリジナル色６３４およ
び重畳時の色６３５は、フレームを取得する毎に、フレーム単位で、決定する。例えば、
操作Ｉ／Ｆ作成部１１５は、フレーム毎に、オブジェクト抽出プログラムを実行し、重畳
対象オブジェクトを抽出し、これらの各情報を決定する。重畳時の色６３５は、映像生成
部１０６が生成した映像のフレームレート、周波数６３１およびオリジナル色６３４によ
り決定される。
刺激信号を重畳する。従って、形状６３２、挿入エリア６３３、オリジナル色６３４およ
び重畳時の色６３５は、フレームを取得する毎に、フレーム単位で、決定する。例えば、
操作Ｉ／Ｆ作成部１１５は、フレーム毎に、オブジェクト抽出プログラムを実行し、重畳
対象オブジェクトを抽出し、これらの各情報を決定する。重畳時の色６３５は、映像生成
部１０６が生成した映像のフレームレート、周波数６３１およびオリジナル色６３４によ
り決定される。
【0101】
【0102】
アイコンを挿入する場合、利便性等を考慮して、予めＳＳＶＥＰ用の視覚刺激信号を呈
示する操作領域の挿入箇所を決めておく。操作領域は、アプリケーションごとに予め定め
たテンプレートを使用してもよいし、脳波Ｉ／Ｆ部１０２内に、予め作成して保持しても
よい。
示する操作領域の挿入箇所を決めておく。操作領域は、アプリケーションごとに予め定め
たテンプレートを使用してもよいし、脳波Ｉ／Ｆ部１０２内に、予め作成して保持しても
よい。
【0103】
まず、操作ボタンを複数用意し、それぞれに、異なる周波数を割り当てる場合のレイア
ウト例を、図９（ａ）を用いて説明する。本図の例では、４つの長方形のボタンを、それ
ぞれ、エリアＢ７１１，エリアＣ７１２、エリアＤ７１３、エリアＥ７１４に、それぞれ
、挿入する例である。エリアＢ７１１は画面左上のエリア、エリアＣ７１２は画面中央の
エリア、エリアＤ７１３は画面右上のエリア、エリアＥ７１４は画面右中央のエリアであ
る。
ウト例を、図９（ａ）を用いて説明する。本図の例では、４つの長方形のボタンを、それ
ぞれ、エリアＢ７１１，エリアＣ７１２、エリアＤ７１３、エリアＥ７１４に、それぞれ
、挿入する例である。エリアＢ７１１は画面左上のエリア、エリアＣ７１２は画面中央の
エリア、エリアＤ７１３は画面右上のエリア、エリアＥ７１４は画面右中央のエリアであ
る。
【0104】
本実施形態では、各ボタン（エリアＢ～Ｅ ７１１～７１４にそれぞれ挿入）に、視覚
刺激信号に使用する２色と、それらの色を繰り返し周期的に呈示するための周波数と、を
割り当てる。
刺激信号に使用する２色と、それらの色を繰り返し周期的に呈示するための周波数と、を
割り当てる。
【0105】
各エリアは、長方形の頂点を示す座標値（映像の画素の位置情報）で表現される。例え
ば、エリアＢ７１１は、（Ｂ１，ａ）７１５、（Ｂ２，ｂ）７１６、（Ｂ３，ｃ）７１７
、（Ｂ４，ｄ）７１８の４つの座標値で表現される。残りのエリアＣ７１２、エリアＤ７
１３、エリアＥ７１４についても同様である。
ば、エリアＢ７１１は、（Ｂ１，ａ）７１５、（Ｂ２，ｂ）７１６、（Ｂ３，ｃ）７１７
、（Ｂ４，ｄ）７１８の４つの座標値で表現される。残りのエリアＣ７１２、エリアＤ７
１３、エリアＥ７１４についても同様である。
【0106】
なお、操作Ｉ／Ｆテーブル６２０のエリア６２５には、図９（ａ）の各エリアの左上の
頂点が登録される。例えば、エリアＢ７１１の場合は（Ｂ１，ａ）７１５が登録される。
すなわち、エリア６２５には、アイコンを挿入するエリアとそのエリア内における、左上
頂点からの相対的な位置（＋数値で記述）を明示したデータが記述される。
頂点が登録される。例えば、エリアＢ７１１の場合は（Ｂ１，ａ）７１５が登録される。
すなわち、エリア６２５には、アイコンを挿入するエリアとそのエリア内における、左上
頂点からの相対的な位置（＋数値で記述）を明示したデータが記述される。
【0107】
なお、エリア６２５は、表示装置１０１の表示方式などにより具体的な場所が調整でき
る方がよいため、表示装置１０１の表示能力にあわせて、具体的な数値を入力することが
望ましい。エリア６２５には、エリア情報として変数（たとえばエリアＢ７１１の（Ｂ１
，ａ）７１５を基準にした値）を入力してもよいし、具体的な配置データを入れてもよい
。ただし、変数を入力する場合には、映像を出力する前に具体的な位置データに変換する
必要がある。
る方がよいため、表示装置１０１の表示能力にあわせて、具体的な数値を入力することが
望ましい。エリア６２５には、エリア情報として変数（たとえばエリアＢ７１１の（Ｂ１
，ａ）７１５を基準にした値）を入力してもよいし、具体的な配置データを入れてもよい
。ただし、変数を入力する場合には、映像を出力する前に具体的な位置データに変換する
必要がある。
【0108】
図９（ｂ）に、テンキー７２１を用意し、それぞれに、異なる周波数を割り当てる場合
を例示する。なお、テンキー７２１は、数値を入力するためのボタン（数値入力ボタン０
～ボタン９；７２２～７３１）と、数値入力ボタン７２２～７３１を介して入力された数
値を表示すための数字表示パッド７３２と、入力した数値データを確定するためのリター
ンキーボタン７３３と、入力された数値データをクリアするためのクリアボタン７３４と
を備える。
を例示する。なお、テンキー７２１は、数値を入力するためのボタン（数値入力ボタン０
～ボタン９；７２２～７３１）と、数値入力ボタン７２２～７３１を介して入力された数
値を表示すための数字表示パッド７３２と、入力した数値データを確定するためのリター
ンキーボタン７３３と、入力された数値データをクリアするためのクリアボタン７３４と
を備える。
【0109】
本例では、例えば、数字表示パッド７３２以外のボタンに、視覚刺激信号として使用す
る２色と、それらの色を繰り返し周期的に呈示するための周波数と、を割り当てる。なお
、数字表示パッド７３２には、数値の表示桁の位置それぞれに異なる周波数を割り当てて
もよい。これにより、入力した数値の中から所定の位置を選択することも可能となる。
る２色と、それらの色を繰り返し周期的に呈示するための周波数と、を割り当てる。なお
、数字表示パッド７３２には、数値の表示桁の位置それぞれに異なる周波数を割り当てて
もよい。これにより、入力した数値の中から所定の位置を選択することも可能となる。
【0110】
【0111】
なお、本実施形態では、制御部１１２は、予め、脳波制御部１２０を介してマッピング
部１１７と操作Ｉ／Ｆ格納部１１６とに対して、マッピングテーブル６０１と、機能テー
ブル６１０と、操作Ｉ／Ｆテーブル６２０と、操作Ｉ／Ｆテーブル６３０と、オブジェク
トテーブル６７０と、オブジェクトテーブル６８０との作成を指示する。
部１１７と操作Ｉ／Ｆ格納部１１６とに対して、マッピングテーブル６０１と、機能テー
ブル６１０と、操作Ｉ／Ｆテーブル６２０と、操作Ｉ／Ｆテーブル６３０と、オブジェク
トテーブル６７０と、オブジェクトテーブル６８０との作成を指示する。
【0112】
ここで、周波数決定処理実施時には、操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆテー
ブル６３０以外のテーブルは既に作成されているものとする。また、操作Ｉ／Ｆテーブル
６２０については、ＳＳＶＥＰ＿ＩＤ６０４、形状、サイズ６２４、エリア６２５、使用
色１（６２６）、使用色２（６２７）は、登録されていてもよい。一方、操作Ｉ／Ｆテー
ブル６３０については、ＳＳＶＥＰ＿ＩＤ６０４のみ登録されているものとする。
ブル６３０以外のテーブルは既に作成されているものとする。また、操作Ｉ／Ｆテーブル
６２０については、ＳＳＶＥＰ＿ＩＤ６０４、形状、サイズ６２４、エリア６２５、使用
色１（６２６）、使用色２（６２７）は、登録されていてもよい。一方、操作Ｉ／Ｆテー
ブル６３０については、ＳＳＶＥＰ＿ＩＤ６０４のみ登録されているものとする。
【0113】
まず、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０を参照し、重畳フラグ６１５が
ＯＮの機能を抽出する（ステップ１１０１）。なお、重畳フラグ６１５がＯＮの機能は、
映像に直接、視覚刺激信号を重畳する機能である。
ＯＮの機能を抽出する（ステップ１１０１）。なお、重畳フラグ６１５がＯＮの機能は、
映像に直接、視覚刺激信号を重畳する機能である。
【0114】
次に、操作Ｉ／Ｆ作成部１１５は、抽出した機能に、視覚刺激信号の周波数として、３
４Ｈｚ以上７５Ｈｚ以下の範囲で、任意の周波数を割り当てる（ステップ１１０２）。そ
して、その結果を、操作Ｉ／Ｆテーブル６３０に登録する。ここでは、まず、当該機能（
機能ＩＤ６０３）に対応づけられているＳＳＶＥＰ＿ＩＤ６０４を、マッピングテーブル
６０１で特定する。そして、操作Ｉ／Ｆテーブル６３０の当該ＳＳＶＥＰ＿ＩＤ６０４の
レコードの周波数６３１に、割り当てた値を登録する。
４Ｈｚ以上７５Ｈｚ以下の範囲で、任意の周波数を割り当てる（ステップ１１０２）。そ
して、その結果を、操作Ｉ／Ｆテーブル６３０に登録する。ここでは、まず、当該機能（
機能ＩＤ６０３）に対応づけられているＳＳＶＥＰ＿ＩＤ６０４を、マッピングテーブル
６０１で特定する。そして、操作Ｉ／Ｆテーブル６３０の当該ＳＳＶＥＰ＿ＩＤ６０４の
レコードの周波数６３１に、割り当てた値を登録する。
【0115】
これを、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５がＯＮの
全ての機能ＩＤ６０３について、繰り返す。ただし、機能ＩＤ６０３毎に、異なる周波数
を割り当てる（ステップＳ１１０３）。
全ての機能ＩＤ６０３について、繰り返す。ただし、機能ＩＤ６０３毎に、異なる周波数
を割り当てる（ステップＳ１１０３）。
【0116】
重畳フラグ６１５がＯＮの全ての機能ＩＤ６０３について、上記処理を終えると、次に
、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５を参照し、重畳フ
ラグがＯＦＦの機能を抽出する（ステップ１１０４）。なお、重畳フラグがＯＦＦの機能
は、映像にボタン等のアイコンを挿入し、当該アイコンに直接視覚刺激信号を重畳する機
能である。
、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５を参照し、重畳フ
ラグがＯＦＦの機能を抽出する（ステップ１１０４）。なお、重畳フラグがＯＦＦの機能
は、映像にボタン等のアイコンを挿入し、当該アイコンに直接視覚刺激信号を重畳する機
能である。
【0117】
次に、操作Ｉ／Ｆ作成部１１５は、抽出した機能に、視覚刺激信号の周波数として、３
４Ｈｚ以上７５Ｈｚ以下の範囲の周波数を割り当てる（ステップ１１０５）。このとき、
未使用の周波数を割り当てる。そして、その結果を、上記手法で、操作Ｉ／Ｆテーブル６
２０に登録する。
４Ｈｚ以上７５Ｈｚ以下の範囲の周波数を割り当てる（ステップ１１０５）。このとき、
未使用の周波数を割り当てる。そして、その結果を、上記手法で、操作Ｉ／Ｆテーブル６
２０に登録する。
【0118】
これを、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５がＯＦＦ
の全ての機能ＩＤ６０３について、繰り返し（ステップＳ１１０６）、処理を終了する。
ここでも、機能ＩＤ６０３毎に、異なる周波数を割り当てる。
の全ての機能ＩＤ６０３について、繰り返し（ステップＳ１１０６）、処理を終了する。
ここでも、機能ＩＤ６０３毎に、異なる周波数を割り当てる。
【0119】
ここで、視覚刺激信号の周波数は、４～７５Ｈｚである。ステップＳ１１０２において
、各機能に、３４Ｈｚ以上の周波数の視覚刺激信号を割り当てるのは、３４Ｈｚ以上の周
波数の信号が、人間にちらつきを感じさせないためである。このちらつきを感じなくなる
境界となる周波数を臨界融合周波数（閾値周波数）と呼び、通常約３４Ｈｚがこの閾値周
波数に当たる。
、各機能に、３４Ｈｚ以上の周波数の視覚刺激信号を割り当てるのは、３４Ｈｚ以上の周
波数の信号が、人間にちらつきを感じさせないためである。このちらつきを感じなくなる
境界となる周波数を臨界融合周波数（閾値周波数）と呼び、通常約３４Ｈｚがこの閾値周
波数に当たる。
【0120】
なお、ステップＳ１１０２では、例えば３４Ｈｚ以上７５Ｈｚ以下の範囲で小さい周波
数から割り当てる。周波数が高くなるほどＳＳＶＥＰとして検出される電位が小さくなる
傾向があるため、重要な機能あるいは使用頻度の高い機能に対して優先的に小さい周波数
を割り当てるようにしても良い。
数から割り当てる。周波数が高くなるほどＳＳＶＥＰとして検出される電位が小さくなる
傾向があるため、重要な機能あるいは使用頻度の高い機能に対して優先的に小さい周波数
を割り当てるようにしても良い。
【0121】
また、ステップＳ１１０５では、３４Ｈｚより下の周波数では、人の目にちらつきが感
じられるため、例えば、残りの周波数の中から、大きい周波数から割り当てる。重要な機
能に対しては意図的に優先して大きい周波数を割り当てるようにしても良い。
じられるため、例えば、残りの周波数の中から、大きい周波数から割り当てる。重要な機
能に対しては意図的に優先して大きい周波数を割り当てるようにしても良い。
【0122】
さらに、ステップＳ１１０５では、操作ボタン等に視覚刺激信号を重畳する。この場合
、３４Ｈｚより小さい周波数であっても、ちらつきを感じさせない２色の色（マクアダム
の楕円内の２色の色）を選択することにより、ちらつきの回避が可能である。これを利用
した、周波数決定処理は、後述する。
、３４Ｈｚより小さい周波数であっても、ちらつきを感じさせない２色の色（マクアダム
の楕円内の２色の色）を選択することにより、ちらつきの回避が可能である。これを利用
した、周波数決定処理は、後述する。
【0123】
一方、ステップＳ１１０２では、元の映像に直接視覚刺激信号を重畳する。この場合、
色をマクアダムの楕円内の２色に限定できない。このため、ステップＳ１１０２では、３
４Ｈｚ以上の周波数から優先的に割り当てる。
色をマクアダムの楕円内の２色に限定できない。このため、ステップＳ１１０２では、３
４Ｈｚ以上の周波数から優先的に割り当てる。
【0124】
ここで、視覚刺激信号の周波数は、上述のように４～７５Ｈｚである。しかしながら、
ＳＳＶＥＰは、設定された周波数およびその整数倍の周波数で発生する。このため、４～
７５Ｈｚの全ての周波数を使用できるわけではない。例えば、使用する周波数を整数に限
定する場合、４～７５Ｈｚの周波数の中で、奇数周波数と一部の偶数周波数しか使用する
ことができない。
ＳＳＶＥＰは、設定された周波数およびその整数倍の周波数で発生する。このため、４～
７５Ｈｚの全ての周波数を使用できるわけではない。例えば、使用する周波数を整数に限
定する場合、４～７５Ｈｚの周波数の中で、奇数周波数と一部の偶数周波数しか使用する
ことができない。
【0125】
このため、周波数決定処理では、予め使用可能な周波数の組み合わせを登録しておき、
それらの登録内容を参照しながら周波数を割り当てる。この組み合わせは、製品出荷時に
最初から記憶部１１０に保存しておいてもよいし、制御部１１２が、記憶部１１０に保存
されたアプリケーションプログラムの指示を受けて、記憶部１１０に登録するようにして
もよい。
それらの登録内容を参照しながら周波数を割り当てる。この組み合わせは、製品出荷時に
最初から記憶部１１０に保存しておいてもよいし、制御部１１２が、記憶部１１０に保存
されたアプリケーションプログラムの指示を受けて、記憶部１１０に登録するようにして
もよい。
【0126】
なお、使用する周波数を整数に限定する場合、使用可能な周波数の組み合わせには、以
下の２つのパタンがある。
・第一のパタン）高い周波数から順に偶数の周波数を割り当てる組み合わせパタン。以
下にこのパタンの周波数の数値を列挙する。
４，１０，１１，１２，１３，１４，１５，１６，１７，１８，３８，３９，４０，４
１，４２，４３，４４，４５，４６，４７，４８，４９，５０，５１，５２，５３，５４
，５５，５６，５７，５８，５９，６０，６１，６２，６３，６４，６５，６６，６７，
６８，６９，７０，７１，７２，７３，７４，７５
・第二のパタン）低い周波数から順に偶数の周波数を割り当てる組み合わせパタン。以
下にこのパタンの周波数の数値を列挙する。
４，５，６，７，９，１１，１３，１５，１６，１７，１９，２０，２１，２３，２４
，２５，２７，２８，２９，３１，３３，３５，３６，３７，３９，４１，４３，４４，
４５，４７，４９，５１，５２，５３，５５，５７，５９，６０，６１，６３，６４，６
５，６７，６８，６９，７１，７３，７５
下の２つのパタンがある。
・第一のパタン）高い周波数から順に偶数の周波数を割り当てる組み合わせパタン。以
下にこのパタンの周波数の数値を列挙する。
４，１０，１１，１２，１３，１４，１５，１６，１７，１８，３８，３９，４０，４
１，４２，４３，４４，４５，４６，４７，４８，４９，５０，５１，５２，５３，５４
，５５，５６，５７，５８，５９，６０，６１，６２，６３，６４，６５，６６，６７，
６８，６９，７０，７１，７２，７３，７４，７５
・第二のパタン）低い周波数から順に偶数の周波数を割り当てる組み合わせパタン。以
下にこのパタンの周波数の数値を列挙する。
４，５，６，７，９，１１，１３，１５，１６，１７，１９，２０，２１，２３，２４
，２５，２７，２８，２９，３１，３３，３５，３６，３７，３９，４１，４３，４４，
４５，４７，４９，５１，５２，５３，５５，５７，５９，６０，６１，６３，６４，６
５，６７，６８，６９，７１，７３，７５
【0127】
なお、本実施形態では、ＳＳＶＥＰを誘発する周波数が４～７５Ｈｚであることを前提
に説明している。しかしながら、これに限定されない。ＳＳＶＥＰを誘発する周波数の範
囲は今後の研究成果で変わりうるため、範囲が変わった場合においても同様の方法で使用
する周波数を割り当てるものとする。また、本実施形態では、ＳＳＶＥＰを誘発する周波
数として、上述のように整数の周波数を使用している。しかしながら、小数点以下の周波
数（例えば、４．５Ｈｚ、４．７７Ｈｚ等）も使用可能な周波数に含めてもよい。なお、
周波数を、小数点以下まで許容する場合、組み合わせパタン数は、さらに増加する。
に説明している。しかしながら、これに限定されない。ＳＳＶＥＰを誘発する周波数の範
囲は今後の研究成果で変わりうるため、範囲が変わった場合においても同様の方法で使用
する周波数を割り当てるものとする。また、本実施形態では、ＳＳＶＥＰを誘発する周波
数として、上述のように整数の周波数を使用している。しかしながら、小数点以下の周波
数（例えば、４．５Ｈｚ、４．７７Ｈｚ等）も使用可能な周波数に含めてもよい。なお、
周波数を、小数点以下まで許容する場合、組み合わせパタン数は、さらに増加する。
【0128】
重畳フラグＯＮの数が多い場合は、第一のパタンを使用する方が望ましい。これは、第
一のパタンの方が、偶数の周波数を高周波数から割り当てるため、３４Ｈｚ以上のちらつ
きを感じさせない周波数の数が多いためである。
一のパタンの方が、偶数の周波数を高周波数から割り当てるため、３４Ｈｚ以上のちらつ
きを感じさせない周波数の数が多いためである。
【0129】
周波数決定処理では、以上の周波数の特性を考慮して、例えば、使用頻度の高い機能は
、高い電位が測定でき、ちらつきを感じない周波数を割り当てることが望ましい。また、
正確性や信頼性が必要となる機能に関しては、安定した電位が測定できる周波数を選択す
ることが望ましい。
、高い電位が測定でき、ちらつきを感じない周波数を割り当てることが望ましい。また、
正確性や信頼性が必要となる機能に関しては、安定した電位が測定できる周波数を選択す
ることが望ましい。
【0130】
【0131】
マクアダムの楕円とは、光の色特性の違いを、人が認識できない範囲であり、所定色を
中心（楕円の中心の色）として、人が、その所定色と区別することができない色の範囲を
、色度図上に表現したものである。すなわち、マクアダムの楕円の範囲内で、ＳＳＶＥＰ
誘発可能な周波数で色相または彩度を変化させた場合、観察者自身は、色特性の変化に気
づかないが、脳波においては、ＳＳＶＥＰが検出される。なお、マクアダムの楕円の範囲
は、基準とする点（上記所定色）毎に異なる。
中心（楕円の中心の色）として、人が、その所定色と区別することができない色の範囲を
、色度図上に表現したものである。すなわち、マクアダムの楕円の範囲内で、ＳＳＶＥＰ
誘発可能な周波数で色相または彩度を変化させた場合、観察者自身は、色特性の変化に気
づかないが、脳波においては、ＳＳＶＥＰが検出される。なお、マクアダムの楕円の範囲
は、基準とする点（上記所定色）毎に異なる。
【0132】
操作Ｉ／Ｆ作成部１１５は、まず、図１０と同様に、重畳フラグ６１５がＯＮの機能Ｉ
Ｄ６０３について、周波数を割り当てる（ステップＳ１１０１～Ｓ１１０３）。
Ｄ６０３について、周波数を割り当てる（ステップＳ１１０１～Ｓ１１０３）。
【0133】
そして、重畳フラグ６１５がＯＦＦの機能ＩＤ６０３、すなわち、ボタン等のアイコン
を挿入する機能については、操作Ｉ／Ｆ作成部１１５は、以下の処理を行う。
を挿入する機能については、操作Ｉ／Ｆ作成部１１５は、以下の処理を行う。
【0134】
まず、重畳フラグ６１５がＯＦＦの機能を抽出する（ステップＳ１１０４）。次に、３
４Ｈｚ以上の周波数で割り当て可能な周波数が残っているかを判別する（ステップＳ１２
０５）。残っている場合は、図１０で説明した処理同様、当該機能ＩＤ６０３に、周波数
を割り当てる（ステップＳ１１０５）、ステップＳ１１０６へ移行する。
４Ｈｚ以上の周波数で割り当て可能な周波数が残っているかを判別する（ステップＳ１２
０５）。残っている場合は、図１０で説明した処理同様、当該機能ＩＤ６０３に、周波数
を割り当てる（ステップＳ１１０５）、ステップＳ１１０６へ移行する。
【0135】
一方、残っていない場合は、３４Ｈｚ以下の周波数を割り当てる必要がある。前述した
通り、３４Ｈｚより下の周波数では人の目にちらつきが感じられる。そこで、ちらつきを
感じさせない２色の色（マクアダムの楕円内の２色の色）を選択することにより回避する
。
通り、３４Ｈｚより下の周波数では人の目にちらつきが感じられる。そこで、ちらつきを
感じさせない２色の色（マクアダムの楕円内の２色の色）を選択することにより回避する
。
【0136】
この場合、操作Ｉ／Ｆ作成部１１５は、まず、抽出した機能ＩＤ６０３に対応するＳＳ
ＶＥＰ＿ＩＤ６０４に対応づけて、操作Ｉ／Ｆテーブル６２０に登録されている使用色１
（６２６）および使用色２（６２７）を抽出する（ステップＳ１２０６）。
ＶＥＰ＿ＩＤ６０４に対応づけて、操作Ｉ／Ｆテーブル６２０に登録されている使用色１
（６２６）および使用色２（６２７）を抽出する（ステップＳ１２０６）。
【0137】
そして、抽出した使用色１（６２６）および使用色２（６２７）が、同一のマクアダム
の楕円内の色であるか否かを判別する。このため、まず、使用色１（６２６）および使用
色２（６２７）の色領域を決定する（ステップ１２０７）。ここで、色領域とは、通常使
用する色の名前に相当し、数値的な幅を持つ。本実施形態では、例えば、ＲＧＢ系の各値
を決定する。
の楕円内の色であるか否かを判別する。このため、まず、使用色１（６２６）および使用
色２（６２７）の色領域を決定する（ステップ１２０７）。ここで、色領域とは、通常使
用する色の名前に相当し、数値的な幅を持つ。本実施形態では、例えば、ＲＧＢ系の各値
を決定する。
【0138】
使用色１（６２６）および使用色２（６２７）は、例えば、青と緑というように、別な
色が使用されている場合もあるし、青と青、というように、ともに、同系色の色が使用さ
れている場合もある。マクアダムの楕円を活用してちらつきを解消するためには、使用色
１（６２６）および使用色２（６２７）が同系色の色であり、かつ、それらが、同一楕円
内の色である必要がある。
色が使用されている場合もあるし、青と青、というように、ともに、同系色の色が使用さ
れている場合もある。マクアダムの楕円を活用してちらつきを解消するためには、使用色
１（６２６）および使用色２（６２７）が同系色の色であり、かつ、それらが、同一楕円
内の色である必要がある。
【0139】
決定した色領域を用い、使用色１（６２６）および使用色２（６２７）が、同一のマク
アダム楕円内であるか否かを判別する（ステップＳ１２０８）。使用色１（６２６）およ
び使用色２（６２７）のＲＧＢ系の各値とマクアダムの楕円を示すＸＹＺ値との間の相互
変換は、所定の変換式を使用する。
アダム楕円内であるか否かを判別する（ステップＳ１２０８）。使用色１（６２６）およ
び使用色２（６２７）のＲＧＢ系の各値とマクアダムの楕円を示すＸＹＺ値との間の相互
変換は、所定の変換式を使用する。
【0140】
そして、使用色が２色とも同一楕円内の色であれば、そのまま、設定された色を用い、
残りの周波数の中から、周波数を割り当てる（ステップＳ１２１０）。
残りの周波数の中から、周波数を割り当てる（ステップＳ１２１０）。
【0141】
一方、使用色１（６２６）および使用色２（６２７）が、同一のマクアダム楕円内でな
ければ、使用色１（６２６）または使用色２（６２７）に最も近いマクアダム楕円を決定
し、使用色１（６２６）および使用色２（６２７）を、当該楕円内の色に調整する（ステ
ップＳ１２０９）。そして、ステップＳ１２１０へ移行する。
ければ、使用色１（６２６）または使用色２（６２７）に最も近いマクアダム楕円を決定
し、使用色１（６２６）および使用色２（６２７）を、当該楕円内の色に調整する（ステ
ップＳ１２０９）。そして、ステップＳ１２１０へ移行する。
【0142】
ステップＳ１２０９では、使用色のいずれか一方のみが、マクアダムの楕円内の色であ
る場合、他方の使用色を、当該マクアダムの楕円内の色から任意に選定し、再登録する。
また、両使用色ともマクアダム楕円内にない場合は、いずれかの使用色に一番近いマクア
ダム楕円の中から１色を選択し、他方の使用色も、その楕円内の任意の色に設定する。
る場合、他方の使用色を、当該マクアダムの楕円内の色から任意に選定し、再登録する。
また、両使用色ともマクアダム楕円内にない場合は、いずれかの使用色に一番近いマクア
ダム楕円の中から１色を選択し、他方の使用色も、その楕円内の任意の色に設定する。
【0143】
以上の処理を、操作Ｉ／Ｆ作成部１１５は、機能テーブル６１０の重畳フラグ６１５が
ＯＦＦの全ての機能ＩＤ６０３について、繰り返し（ステップＳ１１０６）、処理を終了
する。
ＯＦＦの全ての機能ＩＤ６０３について、繰り返し（ステップＳ１１０６）、処理を終了
する。
【0144】
上記の処理により、視覚刺激信号に３４Ｈｚ以下の周波数を割り当てる場合、２色の使
用色を同一のマクアダムの楕円内の色で設定できる。このため、挿入するボタン等のアイ
コンに低周波数を割り当てたとしても、ユーザ１３０にちらつきを感じさせない。
用色を同一のマクアダムの楕円内の色で設定できる。このため、挿入するボタン等のアイ
コンに低周波数を割り当てたとしても、ユーザ１３０にちらつきを感じさせない。
【0145】
［表示画像作成処理］
次に、操作Ｉ／Ｆテーブルに登録されているデータに従って表示デバイス部１２５に表
示する表示画像を作成する、表示画像作成処理の流れを説明する。
次に、操作Ｉ／Ｆテーブルに登録されているデータに従って表示デバイス部１２５に表
示する表示画像を作成する、表示画像作成処理の流れを説明する。
【0146】
上述のように、演算部１２４は、操作Ｉ／Ｆテーブル６２０および／または操作Ｉ／Ｆ
テーブル６３０に従って、各映像フレーム内の画素値を調整し、表示フレームを作成する
。
テーブル６３０に従って、各映像フレーム内の画素値を調整し、表示フレームを作成する
。
【0147】
操作Ｉ／Ｆテーブル６２０は、機能テーブル６１０の重畳フラグ６１５がＯＦＦの場合
の操作Ｉ／Ｆの例である。この場合、ボタン等のアイコンを挿入し、当該アイコンに視覚
刺激信号を重畳する。操作Ｉ／Ｆテーブル６３０は、機能テーブル６１０の重畳フラグ６
１５がＯＮの場合の操作Ｉ／Ｆの例である。この場合、映像フレーム内のオブジェクトに
視覚刺激信号を重畳する。
の操作Ｉ／Ｆの例である。この場合、ボタン等のアイコンを挿入し、当該アイコンに視覚
刺激信号を重畳する。操作Ｉ／Ｆテーブル６３０は、機能テーブル６１０の重畳フラグ６
１５がＯＮの場合の操作Ｉ／Ｆの例である。この場合、映像フレーム内のオブジェクトに
視覚刺激信号を重畳する。
【0148】
ボタン等のアイコンを挿入する場合（操作Ｉ／Ｆテーブル６２０）は、当該アイコンに
視覚刺激信号を重畳する際のアイコンの配置位置やサイズは、操作Ｉ／Ｆテーブル６２０
に予め登録される。しかしながら、映像フレーム中のオブジェクトに直接重畳する場合（
操作Ｉ／Ｆテーブル６３０）の視覚刺激信号の配置位置やサイズは、実際の映像フレーム
を取得してからでないと、判断できない。
視覚刺激信号を重畳する際のアイコンの配置位置やサイズは、操作Ｉ／Ｆテーブル６２０
に予め登録される。しかしながら、映像フレーム中のオブジェクトに直接重畳する場合（
操作Ｉ／Ｆテーブル６３０）の視覚刺激信号の配置位置やサイズは、実際の映像フレーム
を取得してからでないと、判断できない。
【0149】
本実施形態では、まず、映像生成部１０６が映像フレームを生成する毎に、操作Ｉ／Ｆ
作成部１５５が、操作Ｉ／Ｆテーブル６２０や操作Ｉ／Ｆテーブル６３０を更新する。具
体的には、重畳フラグ６１５がＯＦＦの場合用の操作Ｉ／Ｆテーブル６２０においては、
重畳色６２８を決定する。また、重畳フラグ６１５がＯＮの場合の操作Ｉ／Ｆテーブル６
３０においては、形状６３２、挿入エリア６３３、オリジナル色６３４および重畳時の色
６３５を決定する。
作成部１５５が、操作Ｉ／Ｆテーブル６２０や操作Ｉ／Ｆテーブル６３０を更新する。具
体的には、重畳フラグ６１５がＯＦＦの場合用の操作Ｉ／Ｆテーブル６２０においては、
重畳色６２８を決定する。また、重畳フラグ６１５がＯＮの場合の操作Ｉ／Ｆテーブル６
３０においては、形状６３２、挿入エリア６３３、オリジナル色６３４および重畳時の色
６３５を決定する。
【0150】
そして、その後、演算部１２４が、最新の操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆ
テーブル６３０を参照し、表示フレームを生成する。
テーブル６３０を参照し、表示フレームを生成する。
【0151】
なお、操作Ｉ／Ｆテーブル６２０は、重畳色６２８を除く項目が登録されているものと
する。ただし、各アイコンの挿入位置や形状を変化させる場合は、操作Ｉ／Ｆテーブル６
２０の形状、サイズ６２４とエリア６２５とをフレーム毎に決定してもよい。
する。ただし、各アイコンの挿入位置や形状を変化させる場合は、操作Ｉ／Ｆテーブル６
２０の形状、サイズ６２４とエリア６２５とをフレーム毎に決定してもよい。
【0152】
なお、アイコンの非表示／表示は、操作Ｉ／Ｆテーブル６２０から登録されている情報
を削除したり登録したりすることにより実現する。具体的には、エリアや６２５や重畳色
６２８などに関するデータを削除したり、登録したりし、アイコンを非表示／表示する。
を削除したり登録したりすることにより実現する。具体的には、エリアや６２５や重畳色
６２８などに関するデータを削除したり、登録したりし、アイコンを非表示／表示する。
【0153】
従って、表示画像作成処理は、図１２（ａ）に示すように、操作Ｉ／Ｆテーブル６３０
を更新し、完成させる操作Ｉ／Ｆテーブル更新処理（ステップＳ１３０１）と、表示フレ
ームを作成する表示フレーム作成処理（ステップＳ１３０２）と、を備える。なお、図１
２（ａ）に示す表示画像作成処理は、映像フレームを取得する毎に実行される。
を更新し、完成させる操作Ｉ／Ｆテーブル更新処理（ステップＳ１３０１）と、表示フレ
ームを作成する表示フレーム作成処理（ステップＳ１３０２）と、を備える。なお、図１
２（ａ）に示す表示画像作成処理は、映像フレームを取得する毎に実行される。
【0154】
［操作Ｉ／Ｆテーブル更新処理］
図１２（ｂ）に、映像フレームを取得する毎に、操作Ｉ／Ｆ作成部１１５が実行する操
作Ｉ／Ｆテーブル更新処理の流れを示す。まず、操作Ｉ／Ｆ作成部１１５は、当該映像フ
レーム（処理対象フレーム）の画素情報を取得する（ステップＳ１４０１）。
図１２（ｂ）に、映像フレームを取得する毎に、操作Ｉ／Ｆ作成部１１５が実行する操
作Ｉ／Ｆテーブル更新処理の流れを示す。まず、操作Ｉ／Ｆ作成部１１５は、当該映像フ
レーム（処理対象フレーム）の画素情報を取得する（ステップＳ１４０１）。
【0155】
そして、操作Ｉ／Ｆ作成部１１５は、操作Ｉ／Ｆテーブル６２０の全てのレコードにつ
いて、処理対象フレームの、重畳色６２８を、それぞれ決定する（ステップＳ１４０２）
。この時、登録されているボタンなどのオブジェクトを非表示にする場合は、重畳色を決
定しない（したがって空欄にする）ようにする。
いて、処理対象フレームの、重畳色６２８を、それぞれ決定する（ステップＳ１４０２）
。この時、登録されているボタンなどのオブジェクトを非表示にする場合は、重畳色を決
定しない（したがって空欄にする）ようにする。
【0156】
操作Ｉ／Ｆテーブル６２０の全てのレコードについて、上記処理を終えると（ステップ
Ｓ１４０３）、次に、操作Ｉ／Ｆ作成部１１５は、操作Ｉ／Ｆテーブル６３０の全てのレ
コードについて、以下のステップＳ１４０４～Ｓ１４０８の処理を行う。
Ｓ１４０３）、次に、操作Ｉ／Ｆ作成部１１５は、操作Ｉ／Ｆテーブル６３０の全てのレ
コードについて、以下のステップＳ１４０４～Ｓ１４０８の処理を行う。
【0157】
まず、操作Ｉ／Ｆ作成部１１５は、重畳対象オブジェクトを特定する（ステップＳ１４
０４）。ここでは、マッピングテーブル６０１と、機能テーブル６１０と、オブジェクト
テーブル６８０と、を参照する。そして、処理対象のレコードのＳＳＶＥＰ＿ＩＤ６０４
に対応づけられた機能ＩＤ６０３を特定する。そして、機能ＩＤ６０３に対応づけられた
オブジェクトＩＤ６１６を特定する。そして、オブジェクトＩＤ６１６に対応づけられた
オブジェクト６８２を、重畳対象オブジェクトとして特定する。
０４）。ここでは、マッピングテーブル６０１と、機能テーブル６１０と、オブジェクト
テーブル６８０と、を参照する。そして、処理対象のレコードのＳＳＶＥＰ＿ＩＤ６０４
に対応づけられた機能ＩＤ６０３を特定する。そして、機能ＩＤ６０３に対応づけられた
オブジェクトＩＤ６１６を特定する。そして、オブジェクトＩＤ６１６に対応づけられた
オブジェクト６８２を、重畳対象オブジェクトとして特定する。
【0158】
次に、操作Ｉ／Ｆ作成部１１５は、処理対象フレームの重畳対象オブジェクトを抽出す
る（ステップＳ１４０５）。ここでは、予め記憶部１１０に登録されている専用プログラ
ムを用い、処理対象フレームの、オブジェクト６８２の画素領域を抽出する。抽出時は、
取得した画素情報を用いる。例えば、オブジェクト６８２が燃料メータであれば、画素情
報の中から、燃料メータに対応する画素領域を重畳対象オブジェクトとして抽出する。
る（ステップＳ１４０５）。ここでは、予め記憶部１１０に登録されている専用プログラ
ムを用い、処理対象フレームの、オブジェクト６８２の画素領域を抽出する。抽出時は、
取得した画素情報を用いる。例えば、オブジェクト６８２が燃料メータであれば、画素情
報の中から、燃料メータに対応する画素領域を重畳対象オブジェクトとして抽出する。
【0159】
そして、操作Ｉ／Ｆ作成部１１５は、抽出した重畳対象オブジェクトの形状と、当該映
像フレーム内の画素位置と、色情報とを特定し、それぞれ、操作Ｉ／Ｆテーブル６３０の
形状６３２と、挿入エリア６３３と、オリジナル色６３４と、に登録する（ステップＳ１
４０６）。
像フレーム内の画素位置と、色情報とを特定し、それぞれ、操作Ｉ／Ｆテーブル６３０の
形状６３２と、挿入エリア６３３と、オリジナル色６３４と、に登録する（ステップＳ１
４０６）。
【0160】
【0161】
最後に操作Ｉ／Ｆ作成部１１５は、映像のフレームレートと周波数６２３とオリジナル
色６３４とに応じて、重畳時の色６３５を決定する（ステップＳ１４０７）。全てのレコ
ードについて、ステップＳ１４０４～Ｓ１４０７の処理を終えると、本処理を終了する（
ステップＳ１４０８）。
色６３４とに応じて、重畳時の色６３５を決定する（ステップＳ１４０７）。全てのレコ
ードについて、ステップＳ１４０４～Ｓ１４０７の処理を終えると、本処理を終了する（
ステップＳ１４０８）。
【0162】
［表示フレーム作成処理］
次に、演算部１２４による表示フレーム作成処理を説明する。図１３は、本実施形態の
表示フレーム作成処理の処理フローである。本処理は、映像生成部１０６が映像フレーム
を生成する毎に、操作Ｉ／Ｆ作成部１１５が、操作Ｉ／Ｆテーブル更新処理を終えたこと
を受け、実行される。
次に、演算部１２４による表示フレーム作成処理を説明する。図１３は、本実施形態の
表示フレーム作成処理の処理フローである。本処理は、映像生成部１０６が映像フレーム
を生成する毎に、操作Ｉ／Ｆ作成部１１５が、操作Ｉ／Ｆテーブル更新処理を終えたこと
を受け、実行される。
【0163】
演算部１２４は、最新の映像フレームの画素情報を取得する（ステップＳ１５０１）。
そして、操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆテーブル６３０を参照し、各レコー
ドについて、以下の処理を行う。以下では、操作Ｉ／Ｆテーブル６２０、操作Ｉ／Ｆテー
ブル６３０の順に処理を行うものとする。なお、この順は逆であってもよい。
そして、操作Ｉ／Ｆテーブル６２０および操作Ｉ／Ｆテーブル６３０を参照し、各レコー
ドについて、以下の処理を行う。以下では、操作Ｉ／Ｆテーブル６２０、操作Ｉ／Ｆテー
ブル６３０の順に処理を行うものとする。なお、この順は逆であってもよい。
【0164】
まず、処理対象レコードの、形状、サイズ６２４、エリア６２５により、ボタン等のア
イコンの挿入画素位置を特定する（ステップＳ１５０２）。そして、重畳色６２８を参照
し、当該画素位置の、表示色を決定し（ステップＳ１５０３）、表示フレームに反映する
（ステップＳ１５０４）。このとき、表示色は、表示デバイス部１２５の特性に応じて規
格化した値とする。
イコンの挿入画素位置を特定する（ステップＳ１５０２）。そして、重畳色６２８を参照
し、当該画素位置の、表示色を決定し（ステップＳ１５０３）、表示フレームに反映する
（ステップＳ１５０４）。このとき、表示色は、表示デバイス部１２５の特性に応じて規
格化した値とする。
【0165】
以上の処理を、操作Ｉ／Ｆテーブル６２０の、形状、サイズ６２４、エリア６２５、重
畳色６２８の、登録のある全てのレコードについて行うと（ステップＳ１５０５）、次に
、操作Ｉ／Ｆテーブル６３０の各レコードの処理に移行する。なお、ここで、図１２のス
テップ１４０２において重畳色６２８を決定しなかった場合には、重畳色６２８には値が
入力されていない。
畳色６２８の、登録のある全てのレコードについて行うと（ステップＳ１５０５）、次に
、操作Ｉ／Ｆテーブル６３０の各レコードの処理に移行する。なお、ここで、図１２のス
テップ１４０２において重畳色６２８を決定しなかった場合には、重畳色６２８には値が
入力されていない。
【0166】
操作Ｉ／Ｆテーブル６３０の形状６３２、挿入エリア６３３より、重畳対象オブジェク
トの画素領域を特定する（ステップＳ１５０６）。そして、重畳時の色６３５により、当
該重畳画素領域の表示色を決定し（ステップＳ１５０７）、表示フレームに反映する（ス
テップＳ１５０８）。このときも、表示色は、表示デバイス部１２５の特性に応じて規格
化した値とする。
トの画素領域を特定する（ステップＳ１５０６）。そして、重畳時の色６３５により、当
該重畳画素領域の表示色を決定し（ステップＳ１５０７）、表示フレームに反映する（ス
テップＳ１５０８）。このときも、表示色は、表示デバイス部１２５の特性に応じて規格
化した値とする。
【0167】
以上の処理を、操作Ｉ／Ｆテーブル６３０の、形状６３２、挿入エリア６３３の登録の
ある全てのレコードについて行うと（ステップＳ１５０９）、処理を終了する。なお、こ
こで、図１２のステップ１４０４において重畳対象オブジェクトを特定できなかった場合
には、操作Ｉ／Ｆテーブル６３０の挿入エリア６３３のデータは少なくとも空欄にする。
ある全てのレコードについて行うと（ステップＳ１５０９）、処理を終了する。なお、こ
こで、図１２のステップ１４０４において重畳対象オブジェクトを特定できなかった場合
には、操作Ｉ／Ｆテーブル６３０の挿入エリア６３３のデータは少なくとも空欄にする。
【0168】
［視線周波数検出処理］
次に、脳波Ｉ／Ｆ部１０２における脳波分析部１１４による視線周波数検出処理の流れ
を説明する。図１４（ａ）は、本実施形態の視線周波数検出処理の処理フローである。本
処理は、視線周波数検出部１２３が、表示装置１０１の装着者であるユーザ１３０が注視
している視覚対象の周波数を検出するために行う。
次に、脳波Ｉ／Ｆ部１０２における脳波分析部１１４による視線周波数検出処理の流れ
を説明する。図１４（ａ）は、本実施形態の視線周波数検出処理の処理フローである。本
処理は、視線周波数検出部１２３が、表示装置１０１の装着者であるユーザ１３０が注視
している視覚対象の周波数を検出するために行う。
【0169】
まず、前処理部１２１が、測定した脳波の前処理（ノイズ除去）を実行し（ステップ１
６０１）、信号の増幅を行う（ステップ１６０２）。
６０１）、信号の増幅を行う（ステップ１６０２）。
【0170】
次に、特徴抽出部１２２が、処理後の脳波をフーリエ変換し、周波数系列パワースペク
トルを算出し（ステップ１６０３）、ピークのある周波数を検出する（ステップ１６０４
）。最後に、視線周波数検出部１２３が、検出した周波数のうちでも最も小さい周波数を
注視対象周波数として検出する（ステップ１６０５）。
トルを算出し（ステップ１６０３）、ピークのある周波数を検出する（ステップ１６０４
）。最後に、視線周波数検出部１２３が、検出した周波数のうちでも最も小さい周波数を
注視対象周波数として検出する（ステップ１６０５）。
【0171】
［機能判定処理］
次に、本実施形態の機能判定部１１９による、機能判定処理の流れを説明する。図１４
（ｂ）は、本実施形態の機能判定処理の処理フローである。機能判定部１１９は、ユーザ
１３０が注視している対象の周波数の検出結果から、それに対応づけられている機能を判
定する。
次に、本実施形態の機能判定部１１９による、機能判定処理の流れを説明する。図１４
（ｂ）は、本実施形態の機能判定処理の処理フローである。機能判定部１１９は、ユーザ
１３０が注視している対象の周波数の検出結果から、それに対応づけられている機能を判
定する。
【0172】
機能判定部１１９は、脳波分析部１１４から測定脳波の分析結果である注視対象周波数
を取得する（ステップ１７０１）。
を取得する（ステップ１７０１）。
【0173】
そして、機能判定部１１９は、当該注視対象周波数に対応する機能を判定する（ステッ
プＳ１７０２）。ここでは、まず、操作Ｉ／Ｆテーブル６２０を参照し、前記注視対象周
波数が周波数６２３として割り当てられたＳＳＶＥＰ＿ＩＤ６０４を特定する。そして、
マッピングテーブル６０１を参照し、対応する機能ＩＤ６０３を特定する。最後に機能テ
ーブル６１０を参照し、当該機能ＩＤ６０３の機能概要６１４を抽出する。
プＳ１７０２）。ここでは、まず、操作Ｉ／Ｆテーブル６２０を参照し、前記注視対象周
波数が周波数６２３として割り当てられたＳＳＶＥＰ＿ＩＤ６０４を特定する。そして、
マッピングテーブル６０１を参照し、対応する機能ＩＤ６０３を特定する。最後に機能テ
ーブル６１０を参照し、当該機能ＩＤ６０３の機能概要６１４を抽出する。
【0174】
機能判定部１１９は、ステップ１７０２で判定した機能ＩＤ６０３および機能概要６１
４を、脳波制御部１２０に通知する。脳波制御部１２０は、実行部１０９で当該機能を実
行するよう制御部１１２に要求する。
４を、脳波制御部１２０に通知する。脳波制御部１２０は、実行部１０９で当該機能を実
行するよう制御部１１２に要求する。
【0175】
以上説明したように、本実施形態の表示装置１０１は、入力操作インタフェースとして
、ＢＣＩ（Ｂｒａｉｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）を備え、拡張現実、仮
想現実および／または複合現実表示を行う。そして、ＢＣＩとして、視覚刺激信号の周波
数に応じた周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置
であって、取得した各映像フレーム上の予め定めた領域である操作領域に、特定の周波数
である特定周波数を有する前記視覚刺激信号を割り当て、特定周波数の逆数の周期で、予
め定めた最大値と最小値との間、または色情報の差分変化量で、操作領域に対応する領域
の色情報を変化させることにより当該特定周波数を有する前記視覚刺激信号を作成する操
作Ｉ／Ｆ作成部１１５と、前記特定周波数を有する前記視覚刺激信号を表示デバイスに出
力する演算部１２４と、前記特定周波数に、制御指示を対応づけて保持する対応データベ
ースと、検出した脳波信号から前記特定周波数を抽出する脳波分析部１１４と、抽出した
前記特定周波数に対応する前記制御指示を前記対応データベースから取得し、当該制御指
示に従って制御を行う制御部１１２と、を備えることを特徴とする脳波インタフェース装
置を用いる。
、ＢＣＩ（Ｂｒａｉｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）を備え、拡張現実、仮
想現実および／または複合現実表示を行う。そして、ＢＣＩとして、視覚刺激信号の周波
数に応じた周波数を有する脳波信号を検出し、機器の制御を行う脳波インタフェース装置
であって、取得した各映像フレーム上の予め定めた領域である操作領域に、特定の周波数
である特定周波数を有する前記視覚刺激信号を割り当て、特定周波数の逆数の周期で、予
め定めた最大値と最小値との間、または色情報の差分変化量で、操作領域に対応する領域
の色情報を変化させることにより当該特定周波数を有する前記視覚刺激信号を作成する操
作Ｉ／Ｆ作成部１１５と、前記特定周波数を有する前記視覚刺激信号を表示デバイスに出
力する演算部１２４と、前記特定周波数に、制御指示を対応づけて保持する対応データベ
ースと、検出した脳波信号から前記特定周波数を抽出する脳波分析部１１４と、抽出した
前記特定周波数に対応する前記制御指示を前記対応データベースから取得し、当該制御指
示に従って制御を行う制御部１１２と、を備えることを特徴とする脳波インタフェース装
置を用いる。
【0176】
本実施形態の表示装置１０１は、映像フレーム上の、所定の操作領域の色情報を、４～
７５Ｈｚの範囲で予め割り当てた周波数で、周期的に変化させ、ＳＳＶＥＰ用の誘発刺激
として機能させる。すなわち、本実施形態によれば、映像フレームそのものの所定の領域
に、視覚刺激信号を挿入する。
７５Ｈｚの範囲で予め割り当てた周波数で、周期的に変化させ、ＳＳＶＥＰ用の誘発刺激
として機能させる。すなわち、本実施形態によれば、映像フレームそのものの所定の領域
に、視覚刺激信号を挿入する。
【0177】
所定の操作領域として、例えば、操作ボタンや文字入力キー等であれば、予め定めた２
つの輝度値の間で、変化させる。また、映像そのものを変化させる場合、予め定めた輝度
値変化量を用い、当該領域の画素値を変化させる。
つの輝度値の間で、変化させる。また、映像そのものを変化させる場合、予め定めた輝度
値変化量を用い、当該領域の画素値を変化させる。
【0178】
ユーザ１３０が画面上の操作領域となる所定のボタンやキー、あるいは、映像領域を凝
視することにより、当該領域に割り当てられた周波数の脳波が誘発される。そして、脳波
検出部１１３で検出した測定脳波の中から、脳波分析部１１４でそのボタンやキーに割り
当てた周波数を検出する。そして、検出された周波数により、ユーザ１３０が選択した操
作、あるいはキーが判別でき、それぞれのボタンやキーに割り当てられた機能を実行でき
る。これにより、ユーザ１３０は、操作のためのボタンやキー、あるいは、領域を見つめ
るだけで、ユーザ１３０が意図した操作を実行できる。
視することにより、当該領域に割り当てられた周波数の脳波が誘発される。そして、脳波
検出部１１３で検出した測定脳波の中から、脳波分析部１１４でそのボタンやキーに割り
当てた周波数を検出する。そして、検出された周波数により、ユーザ１３０が選択した操
作、あるいはキーが判別でき、それぞれのボタンやキーに割り当てられた機能を実行でき
る。これにより、ユーザ１３０は、操作のためのボタンやキー、あるいは、領域を見つめ
るだけで、ユーザ１３０が意図した操作を実行できる。
【0179】
このように、本実施形態によれば、注視による操作のみで、所望の機能を実行できる。
注視による操作以外の操作が不要であるため、公共の場所であっても、問題なく使用でき
る。従って、使用場所に制約の少ない、Ｉ／Ｆを実現できる。
注視による操作以外の操作が不要であるため、公共の場所であっても、問題なく使用でき
る。従って、使用場所に制約の少ない、Ｉ／Ｆを実現できる。
【0180】
脳波を用いたＢＣＩ技術には、脳波の波形成分の特徴、Ｐ３００や眼球停留関連電位を
活用したものや、脳波の周波数成分の特徴である、事象関連同期（Ｅｖｅｎｔ Ｒｅｌａ
ｔｅｄ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ、以下ＥＲＳ）、事象関連脱同期（Ｅｖｅｎｔ
Ｒｅｌａｔｅｄ Ｄｅ－ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ、以下ＥＲＤ）、ＳＳＶＥＰ
を活用したものがある。このうち、ＳＳＶＥＰは性能、データ転送速度、必要となるトレ
ーニング期間などの観点から見て最も優れた特徴を備える。しかし、従来のＳＳＶＥＰを
活用したＢＣＩ技術では、上述のように、ＳＳＶＥＰを誘発するための視覚刺激信号をフ
レーム間に挿入するため、基本視覚情報のフレームレートに依存して挿入可能な視覚刺激
信号の数が制限され、利用可能な周波数が限定される。
活用したものや、脳波の周波数成分の特徴である、事象関連同期（Ｅｖｅｎｔ Ｒｅｌａ
ｔｅｄ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ、以下ＥＲＳ）、事象関連脱同期（Ｅｖｅｎｔ
Ｒｅｌａｔｅｄ Ｄｅ－ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ、以下ＥＲＤ）、ＳＳＶＥＰ
を活用したものがある。このうち、ＳＳＶＥＰは性能、データ転送速度、必要となるトレ
ーニング期間などの観点から見て最も優れた特徴を備える。しかし、従来のＳＳＶＥＰを
活用したＢＣＩ技術では、上述のように、ＳＳＶＥＰを誘発するための視覚刺激信号をフ
レーム間に挿入するため、基本視覚情報のフレームレートに依存して挿入可能な視覚刺激
信号の数が制限され、利用可能な周波数が限定される。
【0181】
しかしながら、本実施形態によれば、上述のように、ＳＳＶＥＰを用いたＢＣＩにおい
て、視覚刺激信号を、各映像フレーム上に直接挿入する。従って、フレームレートに依存
せず、選択可能な周波数の範囲で、所望の周波数を、自由に挿入できる。従って、フレー
ム間に視覚刺激信号を挿入する従来手法に比べ、さらに、自由度の高いＳＳＶＥＰを用い
たＢＣＩを実現できる。また、所望の周波数を自由に挿入できるため、視覚刺激信号を、
入力キーや操作画面に効果的に割り当てることができる。
て、視覚刺激信号を、各映像フレーム上に直接挿入する。従って、フレームレートに依存
せず、選択可能な周波数の範囲で、所望の周波数を、自由に挿入できる。従って、フレー
ム間に視覚刺激信号を挿入する従来手法に比べ、さらに、自由度の高いＳＳＶＥＰを用い
たＢＣＩを実現できる。また、所望の周波数を自由に挿入できるため、視覚刺激信号を、
入力キーや操作画面に効果的に割り当てることができる。
【0182】
＜変形例１＞
なお、上記実施形態では、映像生成部１０６が生成した映像フレームに、視覚刺激信号
を重畳し、映像フレームとともに表示デバイス部１２５に表示する場合を例にあげて説明
したが、本実施形態は、これに限定されない。例えば、映像フレームではなく、ユーザが
視覚的に認識している現実世界の操作領域に相当する領域に、視覚刺激信号のみを表示さ
せてもよい。この場合、表示位置および表示画素値は、上記同様の手法で算出する。
なお、上記実施形態では、映像生成部１０６が生成した映像フレームに、視覚刺激信号
を重畳し、映像フレームとともに表示デバイス部１２５に表示する場合を例にあげて説明
したが、本実施形態は、これに限定されない。例えば、映像フレームではなく、ユーザが
視覚的に認識している現実世界の操作領域に相当する領域に、視覚刺激信号のみを表示さ
せてもよい。この場合、表示位置および表示画素値は、上記同様の手法で算出する。
【0183】
＜変形例２＞
また、上記実施形態では、直接映像フレームに視覚刺激信号を重畳する場合、輝度値の
変化量を、元の映像フレームのＲＧＢ値に加えている。しかし、この手法に限定されない
。例えば、図１５に示すように、元の映像フレームのＲＧＢ値は調整せず、新たに１つの
色（輝度用の色、以下ＬＣ）を追加し、Ｒ，Ｇ，Ｂ，ＬＣの４つの色チャンネルを使用し
て実現してもよい。
また、上記実施形態では、直接映像フレームに視覚刺激信号を重畳する場合、輝度値の
変化量を、元の映像フレームのＲＧＢ値に加えている。しかし、この手法に限定されない
。例えば、図１５に示すように、元の映像フレームのＲＧＢ値は調整せず、新たに１つの
色（輝度用の色、以下ＬＣ）を追加し、Ｒ，Ｇ，Ｂ，ＬＣの４つの色チャンネルを使用し
て実現してもよい。
【0184】
追加する色ＬＣは、Ｒ、Ｇ、Ｂのいずれかを用いてよい。また、それらをミックスした
色（例えばグレースケール）であってもよい。この追加する色ＬＣに対して、ＳＳＶＥＰ
用の誘発刺激のための輝度値の変化量を調整する。
色（例えばグレースケール）であってもよい。この追加する色ＬＣに対して、ＳＳＶＥＰ
用の誘発刺激のための輝度値の変化量を調整する。
【0185】
図１５は、図５と同様に、飛行機の計器の映像（フレーム）に重畳する場合の例である
。各計器が重畳対象オブジェクトである。本図の例においても、計器５０１を取り囲む長
方形のエリアが重畳エリアＡＡ５０２である。
。各計器が重畳対象オブジェクトである。本図の例においても、計器５０１を取り囲む長
方形のエリアが重畳エリアＡＡ５０２である。
【0186】
重畳エリアＡＡ５０２内の各画素のベース色は、実線のグラフ５０３のように変化する
。本変形例においても、周波数曲線５０４をベースに、重畳エリアＡＡ５０２に設定した
特定周波数に応じて、画素ごとの輝度の変化量５１２を算出し、ＳＳＶＥＰ用の刺激周波
数重畳後の画素値（ＲＧＢＬＣ値、５０５、５０６、５０７）を求める。
。本変形例においても、周波数曲線５０４をベースに、重畳エリアＡＡ５０２に設定した
特定周波数に応じて、画素ごとの輝度の変化量５１２を算出し、ＳＳＶＥＰ用の刺激周波
数重畳後の画素値（ＲＧＢＬＣ値、５０５、５０６、５０７）を求める。
【0187】
映像フレームごとに求めた重畳エリアＡＡ５０２内の画素の輝度の変化量（５０８、５
０９、５１０）と、重畳エリアＡＡ５０２内の画素値とに基づいて重畳エリアＡＡ５０２
内の各画素のＬＣ値５３３、５３４、５３５を算出する。その結果に基づいてフレームの
画像を編集して表示し、ＳＳＶＥＰを誘発するための視覚刺激をユーザ１３０に呈示する
。
０９、５１０）と、重畳エリアＡＡ５０２内の画素値とに基づいて重畳エリアＡＡ５０２
内の各画素のＬＣ値５３３、５３４、５３５を算出する。その結果に基づいてフレームの
画像を編集して表示し、ＳＳＶＥＰを誘発するための視覚刺激をユーザ１３０に呈示する
。
【0188】
なお、本変形例では、表示装置２０４は、図１６（ａ）に示すように、映像表示用のＬ
ｉｑｕｉｄ Ｄｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）２２１（第一の表示デバイス）
と、ＳＳＶＥＰ誘発用の視覚刺激調整用のＬＣＤ２２２（第二の表示デバイス）とを備え
る。すなわち、映像用のＬＣＤ２２１とＳＳＶＥＰ誘発のための視覚刺激を作成するため
の輝度調整用のＬＣＤ２２２との２重構成で表示装置２０４は、構成される。
ｉｑｕｉｄ Ｄｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）２２１（第一の表示デバイス）
と、ＳＳＶＥＰ誘発用の視覚刺激調整用のＬＣＤ２２２（第二の表示デバイス）とを備え
る。すなわち、映像用のＬＣＤ２２１とＳＳＶＥＰ誘発のための視覚刺激を作成するため
の輝度調整用のＬＣＤ２２２との２重構成で表示装置２０４は、構成される。
【0189】
本変形例では、まず初めに入力光を輝度調整用のＬＣＤ２２２に入光させ、視覚刺激用
の輝度調整を行った後、輝度調整した入力光を映像用のＬＣＤ２２１に入力する。この場
合、ユーザは、最終的に映像用のＬＣＤ２２１からの映像を見ることになる。これにより
、輝度調整後の映像を見る（知覚する）。
の輝度調整を行った後、輝度調整した入力光を映像用のＬＣＤ２２１に入力する。この場
合、ユーザは、最終的に映像用のＬＣＤ２２１からの映像を見ることになる。これにより
、輝度調整後の映像を見る（知覚する）。
【0190】
なお、本変形例の表示部１０３ａの機能ブロックを図１６（ｂ）に示す。本変形例の表
示部１０３ａは、ＳＳＶＥＰ誘発するための輝度調整を行うためのＬＣＤ２２２に対応す
る空間調光器１３１をさらに備える。空間調光器１３１は、操作Ｉ／Ｆ格納部１１６の結
果（ＳＳＶＥＰ誘発のための刺激を作成するために必要な画素の位置情報や輝度の変化量
など）に基づき、変調に必要なＲＢＧ値を算出して出力を調整する。
示部１０３ａは、ＳＳＶＥＰ誘発するための輝度調整を行うためのＬＣＤ２２２に対応す
る空間調光器１３１をさらに備える。空間調光器１３１は、操作Ｉ／Ｆ格納部１１６の結
果（ＳＳＶＥＰ誘発のための刺激を作成するために必要な画素の位置情報や輝度の変化量
など）に基づき、変調に必要なＲＢＧ値を算出して出力を調整する。
【0191】
この空間調光器１３１は、入力光を出射する照明器１２６と映像用のＬＣＤ２２１に該
当する表示デバイス部１２５との間に配置される。
当する表示デバイス部１２５との間に配置される。
【0192】
なお、図１６（ｂ）では、空間調光器１３１を独立して示しているが、これに限定され
ない。照明器１２６あるいは表示デバイス部１２５の中に組み込まれてもよい。
ない。照明器１２６あるいは表示デバイス部１２５の中に組み込まれてもよい。
【0193】
また、ＳＳＶＥＰ誘発用の視覚刺激調整用のＬＣＤ２２２は、輝度だけではなく、色相
や彩度も調整可能である。
や彩度も調整可能である。
【0194】
なお、本変形例は、ボタン等のアイコンにより、視覚刺激信号を挿入する場合にも適用
可能である。ボタン等のアイコンをＬＣＤ２２２に表示させる。
可能である。ボタン等のアイコンをＬＣＤ２２２に表示させる。
【0195】
本変形例によれば、さらに、１つの追加色あるいは１つの追加機材（ＬＣＤ２２２）を
用いて、輝度を調整する。このため演算が少なくて済み、高速に処理できる。
用いて、輝度を調整する。このため演算が少なくて済み、高速に処理できる。
【0196】
＜変形例３＞
なお、上記実施形態では、表示装置１０１の各機能は、１つのハードウェアで実現して
いるが、これに限定されない。各機能を複数のハードウェアに分散して、表示装置を実現
してもよい。
なお、上記実施形態では、表示装置１０１の各機能は、１つのハードウェアで実現して
いるが、これに限定されない。各機能を複数のハードウェアに分散して、表示装置を実現
してもよい。
【0197】
【0198】
脳波Ｉ／Ｆ装置１４１は、脳波Ｉ／Ｆ部１０２と、通信部１４２とを備える。通信部１
４２は、他装置、ここでは、制御装置１４３と通信（データの送受信）を行う。なお、脳
波Ｉ／Ｆ部１０２の構成は、上記実施形態の同名の構成と同様である。
４２は、他装置、ここでは、制御装置１４３と通信（データの送受信）を行う。なお、脳
波Ｉ／Ｆ部１０２の構成は、上記実施形態の同名の構成と同様である。
【0199】
また、制御装置１４３は、制御部１１２と、記憶部１１０と、実行部１０９と、操作部
１０７と、通信部１０５と、マイク／スピーカ１０４とを備える。各構成は、基本的に上
記実施形態の同名の構成と同様の機能を実現する。ただし、通信部１０５は、脳波Ｉ／Ｆ
装置１４１の通信部１４２と、映像生成装置１４５の通信部１５１と、表示装置１４６の
通信部１６１とも、通信を行う。また、映像生成部１０６および表示部１０３は備えない
。
１０７と、通信部１０５と、マイク／スピーカ１０４とを備える。各構成は、基本的に上
記実施形態の同名の構成と同様の機能を実現する。ただし、通信部１０５は、脳波Ｉ／Ｆ
装置１４１の通信部１４２と、映像生成装置１４５の通信部１５１と、表示装置１４６の
通信部１６１とも、通信を行う。また、映像生成部１０６および表示部１０３は備えない
。
【0200】
映像生成装置１４５は、映像生成部１０６と、通信部１５１と、映像出力Ｉ／Ｆ部１５
３と、映像生成制御部１５２とを備える。映像出力Ｉ／Ｆ部１５３は、表示装置１４６の
映像入力Ｉ／Ｆ部１６３に接続され、映像および映像に関するデータの送受信を行う。映
像生成制御部１５２は、映像生成装置１４５の全体および各コンポーネントの動作を制御
する。
３と、映像生成制御部１５２とを備える。映像出力Ｉ／Ｆ部１５３は、表示装置１４６の
映像入力Ｉ／Ｆ部１６３に接続され、映像および映像に関するデータの送受信を行う。映
像生成制御部１５２は、映像生成装置１４５の全体および各コンポーネントの動作を制御
する。
【0201】
表示装置１４６は、表示部１０３と、通信部１６１と、表示制御部１６２と、映像入力
Ｉ／Ｆ部１６３とを備える。表示制御部１６２は、表示装置１４６の全体および各コンポ
ーネントの動作を制御する。なお、表示部１０３の構成は、上記実施形態の表示部１０３
または１０３ａの構成と同様である。
Ｉ／Ｆ部１６３とを備える。表示制御部１６２は、表示装置１４６の全体および各コンポ
ーネントの動作を制御する。なお、表示部１０３の構成は、上記実施形態の表示部１０３
または１０３ａの構成と同様である。
【0202】
各装置１４１、１４３、１４５、１４６は、それぞれ通信部１４２、１０５、１５１、
１６１を介して連結され、１つのシステムとして動作する。
１６１を介して連結され、１つのシステムとして動作する。
【0203】
図１７に示すシステム構成において、脳波Ｉ／Ｆ装置１４１は、例えば、脳波計で実現
できる。また、制御装置１４３は、例えば、ＰＣやスマートフォンで実現できる。映像生
成装置１４５は、例えば、カメラで実現できる。また、表示装置１４６は、例えば、ディ
スプレイで実現できる。
できる。また、制御装置１４３は、例えば、ＰＣやスマートフォンで実現できる。映像生
成装置１４５は、例えば、カメラで実現できる。また、表示装置１４６は、例えば、ディ
スプレイで実現できる。
【0204】
脳波Ｉ／Ｆ装置１４１の機能判定部１１９による判定結果は、通信部１４２、１０５を
介して制御装置１４３に送信される。そして、制御装置１４３では、受信した判定結果に
基づいて、映像生成装置１４５や表示装置１４６を制御する。
介して制御装置１４３に送信される。そして、制御装置１４３では、受信した判定結果に
基づいて、映像生成装置１４５や表示装置１４６を制御する。
【0205】
本変形例のように、脳波Ｉ／Ｆ装置１４１、制御装置１４３、映像生成装置１４５、表
示装置１４６を、それぞれ独立した装置とすることにより、ヘッドマウントディスプレイ
やヘッドアップディスプレイ、プロジェクタなどの製品にも、表示装置１０１を適用可能
である。
示装置１４６を、それぞれ独立した装置とすることにより、ヘッドマウントディスプレイ
やヘッドアップディスプレイ、プロジェクタなどの製品にも、表示装置１０１を適用可能
である。
【0206】
＜変形例４＞
［ヘッドアップディスプレイシステム］
また、上記実施形態の表示装置を、ヘッドアップディスプレイシステム（ＨＵＤシステ
ム）に適用する場合の構成例を図１８に示す。ＨＵＤシステム１０１ｂは、脳波Ｉ／Ｆ装
置１４１と、映像装置１４７と、を備える。
［ヘッドアップディスプレイシステム］
また、上記実施形態の表示装置を、ヘッドアップディスプレイシステム（ＨＵＤシステ
ム）に適用する場合の構成例を図１８に示す。ＨＵＤシステム１０１ｂは、脳波Ｉ／Ｆ装
置１４１と、映像装置１４７と、を備える。
【0207】
脳波Ｉ／Ｆ装置１４１は、上記変形例３と同様の構成を有する。
【0208】
映像装置１４７は、制御部１１２と、記憶部１１０と、実行部１０９と、操作部１０７
と、映像生成部１０６と、通信部１０５と、マイク／スピーカ１０４と、表示部１０３と
を備える。各構成は、基本的に上記実施形態の同名の構成と同様の機能を実現する。ただ
し、通信部１０５は、脳波Ｉ／Ｆ装置１４１の通信部１４２とも通信を行う。なお、表示
部１０３は、上記実施形態の表示部１０３または１０３ａと同様の構成を有する。
と、映像生成部１０６と、通信部１０５と、マイク／スピーカ１０４と、表示部１０３と
を備える。各構成は、基本的に上記実施形態の同名の構成と同様の機能を実現する。ただ
し、通信部１０５は、脳波Ｉ／Ｆ装置１４１の通信部１４２とも通信を行う。なお、表示
部１０３は、上記実施形態の表示部１０３または１０３ａと同様の構成を有する。
【0209】
このように、ＨＵＤシステム１０１ｂは、上記実施形態の表示装置１０１から、脳波Ｉ
／Ｆ部１０２が独立した構成を有する。
／Ｆ部１０２が独立した構成を有する。
【0210】
ＨＵＤシステム１０１ｂの脳波Ｉ／Ｆ装置１４１は、例えば、ヘッドセットタイプの脳
波計、非接触の脳波計を実装したヘッドレスト、手の皮膚表面から脳波を測定可能な技術
を実装したステアリングホイール、腕時計タイプの脳波測定装置等により、実現される。
波計、非接触の脳波計を実装したヘッドレスト、手の皮膚表面から脳波を測定可能な技術
を実装したステアリングホイール、腕時計タイプの脳波測定装置等により、実現される。
【0211】
なお、非接触で脳波を計測可能なセンサには、電界からの電位検出する光電界センサ、
磁界から電位を検出するＭａｇｎｅｔｏ Ｉｍｐｅｄａｎｃｅセンサ（以下ＭＩセンサ）
などがある。これらの技術をヘッドレスト部分などに組み込むことで脳波Ｉ／Ｆ装置１４
１とすることができる。この場合、脳波検出部１１３は、電極ではなく、光ファイバやＭ
Ｉセンサを使用する。
磁界から電位を検出するＭａｇｎｅｔｏ Ｉｍｐｅｄａｎｃｅセンサ（以下ＭＩセンサ）
などがある。これらの技術をヘッドレスト部分などに組み込むことで脳波Ｉ／Ｆ装置１４
１とすることができる。この場合、脳波検出部１１３は、電極ではなく、光ファイバやＭ
Ｉセンサを使用する。
【0212】
脳波Ｉ／Ｆ装置１４１の機能判定部１１９の判定結果は、通信部１４２、１０５を介し
て、映像装置１４７に送信される。
て、映像装置１４７に送信される。
【0213】
映像装置１４７の制御部１１２は、脳波Ｉ／Ｆ装置１４１から受信した判定結果に基づ
いて映像生成部１０６と表示部１０３とを制御する。
いて映像生成部１０６と表示部１０３とを制御する。
【0214】
なお、脳波Ｉ／Ｆ装置１４１の機能判定部１１９の判定結果は、映像装置１４７の制御
に限定されるわけではなく、通信機能をもつステアリグホイールや座席等の車内の他の機
器と連携するために使用してもよい。
に限定されるわけではなく、通信機能をもつステアリグホイールや座席等の車内の他の機
器と連携するために使用してもよい。
【0215】
＜変形例５＞
［プロジェクタシステム］
また、上記実施形態の表示装置を、プロジェクタシステムに適用する場合の構成例を図
１９に示す。プロジェクタシステム１０１ｃは、脳波Ｉ／Ｆ装置１４１と、制御装置１４
８と、表示装置１４６と、を備える。
［プロジェクタシステム］
また、上記実施形態の表示装置を、プロジェクタシステムに適用する場合の構成例を図
１９に示す。プロジェクタシステム１０１ｃは、脳波Ｉ／Ｆ装置１４１と、制御装置１４
８と、表示装置１４６と、を備える。
【0216】
脳波Ｉ／Ｆ装置１４１および表示装置１４６は、上記変形例３と同様の構成を有する。
【0217】
制御装置１４８は、制御部１１２と、記憶部１１０と、実行部１０９と、操作部１０７
と、映像生成部１０６と、通信部１０５と、マイク／スピーカ１０４と、映像出力Ｉ／Ｆ
部１５３と、を備える。各構成は、基本的に上記実施形態の同名の構成と同様の機能を実
現する。
と、映像生成部１０６と、通信部１０５と、マイク／スピーカ１０４と、映像出力Ｉ／Ｆ
部１５３と、を備える。各構成は、基本的に上記実施形態の同名の構成と同様の機能を実
現する。
【0218】
ただし、表示部１０３は備えない。また、通信部１０５は、脳波Ｉ／Ｆ装置１４１の通
信部１４２および表示装置１４６の通信部１６１とも通信を行う。また、映像出力Ｉ／Ｆ
部１５３は、表示装置１４６の映像入力Ｉ／Ｆ部１６３に接続され、映像および映像に関
するデータの送受信を行う。
信部１４２および表示装置１４６の通信部１６１とも通信を行う。また、映像出力Ｉ／Ｆ
部１５３は、表示装置１４６の映像入力Ｉ／Ｆ部１６３に接続され、映像および映像に関
するデータの送受信を行う。
【0219】
このように、プロジェクタシステム１０１ｃは、上記実施形態の表示装置１０１から、
脳波Ｉ／Ｆ部１０２および表示部１０３が独立した構成を有する。
脳波Ｉ／Ｆ部１０２および表示部１０３が独立した構成を有する。
【0220】
プロジェクタシステム１０１ｃの脳波Ｉ／Ｆ装置１４１は、例えば、ヘッドセットタイ
プの脳波計、手から脳波を検出する腕時計タイプの脳波計、椅子やソファーなどのヘッド
レストタイプの脳波計等により、実現される。
プの脳波計、手から脳波を検出する腕時計タイプの脳波計、椅子やソファーなどのヘッド
レストタイプの脳波計等により、実現される。
【0221】
プロジェクタシステム１０１ｃの制御装置１４８は、例えばＰＣやスマートフォン等で
実現される。また、プロジェクタシステム１０１ｃの表示装置１４６は、プロジェクタで
実現される。
実現される。また、プロジェクタシステム１０１ｃの表示装置１４６は、プロジェクタで
実現される。
【0222】
なお、表示装置１４６を実現するプロジェクタは、演算部１２４を持たなくてもよい。
この場合、制御装置１４８が、代わりに演算部１２４を備えるよう構成する。
この場合、制御装置１４８が、代わりに演算部１２４を備えるよう構成する。
【0223】
＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態を説明する。本実施形態においても、第一の実
施形態同様、視覚刺激信号を表示する。第一の実施形態では、当該映像フレームを見たユ
ーザ１３０の脳波の検出結果を用いて操作指示を行う。一方、本実施形態では、検出結果
を、ユーザ１３０がオブジェクトを注視したか否かの判断に用いる。
次に、本発明を適用する第二の実施形態を説明する。本実施形態においても、第一の実
施形態同様、視覚刺激信号を表示する。第一の実施形態では、当該映像フレームを見たユ
ーザ１３０の脳波の検出結果を用いて操作指示を行う。一方、本実施形態では、検出結果
を、ユーザ１３０がオブジェクトを注視したか否かの判断に用いる。
【0224】
【0225】
夜間や悪天候時に運転者に見えにくいオブジェクト５４１がある。たとえば、道路上を
横切る人、車、障害物等である。このようなオブジェクト５４１を撮像した二次元あるい
は三次元の画像を解析し、車に装備するＨＵＤにおいて強調表示する技術がある。撮像は
、例えば、車載の可視光カメラ、遠赤外カメラ、ステレオカメラ等によって行われる。ま
た、オブジェクトは、例えば、動体検出プログラム（動体検出部）等により検出される。
横切る人、車、障害物等である。このようなオブジェクト５４１を撮像した二次元あるい
は三次元の画像を解析し、車に装備するＨＵＤにおいて強調表示する技術がある。撮像は
、例えば、車載の可視光カメラ、遠赤外カメラ、ステレオカメラ等によって行われる。ま
た、オブジェクトは、例えば、動体検出プログラム（動体検出部）等により検出される。
【0226】
本実施形態では、図２０（ａ）に示すように、強調表示として、ＨＵＤの表示デバイス
部１２５上に、マーカ５４２を表示するとともに、この強調表示部分（マーカ５４２）に
、視覚刺激信号を重畳する。マーカ５４２の表示位置は、透過性の表示デバイス部１２５
上の、ユーザ１３０がオブジェクト５４１の実像を見る領域（以下、オブジェクト５４１
の実像に対応する領域と呼ぶ。）の近傍とする。ここでは、検出された道路横断中の高齢
者（オブジェクト５４１）の実像の足元に対応する領域に、半円形の図形（強調表示用の
マーカ５４２）を重畳する例を示す。なお、視覚刺激信号は、第一の実施形態の手法を用
いて重畳する。ユーザが認識する映像の例を図２０（ｂ）に示す。
部１２５上に、マーカ５４２を表示するとともに、この強調表示部分（マーカ５４２）に
、視覚刺激信号を重畳する。マーカ５４２の表示位置は、透過性の表示デバイス部１２５
上の、ユーザ１３０がオブジェクト５４１の実像を見る領域（以下、オブジェクト５４１
の実像に対応する領域と呼ぶ。）の近傍とする。ここでは、検出された道路横断中の高齢
者（オブジェクト５４１）の実像の足元に対応する領域に、半円形の図形（強調表示用の
マーカ５４２）を重畳する例を示す。なお、視覚刺激信号は、第一の実施形態の手法を用
いて重畳する。ユーザが認識する映像の例を図２０（ｂ）に示す。
【0227】
本実施形態のＨＵＤシステム１０１ｂの構成は、基本的に第一の実施形態と同様の構成
を有する。ただし、本実施形態では、記憶部１１０が、動体検出プログラムを備える。ま
た、機能判定部１１９は、操作Ｉ／Ｆ格納部１１６も参照する。
を有する。ただし、本実施形態では、記憶部１１０が、動体検出プログラムを備える。ま
た、機能判定部１１９は、操作Ｉ／Ｆ格納部１１６も参照する。
【0228】
本実施形態では、操作Ｉ／Ｆテーブル６２０に、周波数６２３と、形状、サイズ６２４
と、使用色１（６２６）と、使用色２（６２７）と、重畳色６２８と、マーカ表示位置と
して、検出された動体に対する相対位置であるエリア６２５とが、予め、登録される。
と、使用色１（６２６）と、使用色２（６２７）と、重畳色６２８と、マーカ表示位置と
して、検出された動体に対する相対位置であるエリア６２５とが、予め、登録される。
【0229】
ただし、本実施形態では、マーカ５４２の表示位置がフレーム毎に変化する。このため
、本実施形態の操作Ｉ／Ｆ作成部１１５は、映像生成部１０６が映像フレームを生成する
毎に、動体検出プログラムにて動体としてオブジェクト５４１を検出し、エリア６２５を
登録する。なお、動体が複数ある場合は、異なる周波数６２３に対応づけて、それぞれ、
登録する。また、映像フレーム毎に、同一の動体と考えられるものに対しては、同一の周
波数６２３に対応づけて、エリア６２５を登録する。
、本実施形態の操作Ｉ／Ｆ作成部１１５は、映像生成部１０６が映像フレームを生成する
毎に、動体検出プログラムにて動体としてオブジェクト５４１を検出し、エリア６２５を
登録する。なお、動体が複数ある場合は、異なる周波数６２３に対応づけて、それぞれ、
登録する。また、映像フレーム毎に、同一の動体と考えられるものに対しては、同一の周
波数６２３に対応づけて、エリア６２５を登録する。
【0230】
演算部１２４は、映像生成部１０６が映像フレームを生成し、操作Ｉ／Ｆ作成部１１５
が、操作Ｉ／Ｆテーブル６２０のエリア６２５を登録し、重畳色６２８を決定する毎に、
操作Ｉ／Ｆテーブル６２０に従って、表示フレームを生成する。
が、操作Ｉ／Ｆテーブル６２０のエリア６２５を登録し、重畳色６２８を決定する毎に、
操作Ｉ／Ｆテーブル６２０に従って、表示フレームを生成する。
【0231】
なお、本実施形態では、マッピングテーブル６０１および機能テーブル６１０は、備え
なくてもよい。
なくてもよい。
【0232】
例えば、動体が複数検出された場合、脳波Ｉ／Ｆ装置１４１の機能判定部１１９は、Ｓ
ＳＶＥＰ用の周波数が検出されると、操作Ｉ／Ｆ格納部１１６の操作Ｉ／Ｆテーブル６２
０を参照し、検出したＳＳＶＥＰ用の周波数に対応するレコードの有無を判定する。
ＳＶＥＰ用の周波数が検出されると、操作Ｉ／Ｆ格納部１１６の操作Ｉ／Ｆテーブル６２
０を参照し、検出したＳＳＶＥＰ用の周波数に対応するレコードの有無を判定する。
【0233】
なお、本実施形態では、脳波Ｉ／Ｆ装置１４１として、脳波検出部１１３に、例えば、
磁気センサや光電界センサを用いたヘッドレスト、手の表面から脳波測定するセンサを用
いたステアリングホイール、植毛などのインプラント形態のセンサ等を用いたモバイル機
器等を使用する。
磁気センサや光電界センサを用いたヘッドレスト、手の表面から脳波測定するセンサを用
いたステアリングホイール、植毛などのインプラント形態のセンサ等を用いたモバイル機
器等を使用する。
【0234】
次に、本実施形態のＨＵＤシステム１０１ｂにおける注意喚起処理の流れを説明する。
図２２は、本実施形態の注意喚起処理フローである。以下の処理は、映像生成部１０６が
、映像フレームを生成する毎に行われる。
図２２は、本実施形態の注意喚起処理フローである。以下の処理は、映像生成部１０６が
、映像フレームを生成する毎に行われる。
【0235】
映像装置１４７は、視野内のオブジェクト５４１を検出する（ステップＳ４１０１）。
オブジェクト５４１は、路上周辺で動きのあるもの、障害となるオブジェクト５４１（例
えば樹木の一部）などである。
オブジェクト５４１は、路上周辺で動きのあるもの、障害となるオブジェクト５４１（例
えば樹木の一部）などである。
【0236】
次に、脳波Ｉ／Ｆ装置１４１と映像装置１４７とにより、ＨＵＤの表示デバイス部１２
５上の、検出したオブジェクト５４１の近傍に特定周波数の視覚刺激信号が重畳される（
ステップＳ４１０２）。上述のように、脳波Ｉ／Ｆ装置１４１の操作Ｉ／Ｆ作成部１１５
が、操作Ｉ／Ｆテーブル６２０を作成する。そして、それに従って、演算部１２４が、表
示フレームを生成する。これにより、表示デバイス部１２５上の、検出したオブジェクト
５４１の近傍に当該マーカが表示されるとともに、当該マーカに特定周波数の視覚刺激信
号が重畳される。
５上の、検出したオブジェクト５４１の近傍に特定周波数の視覚刺激信号が重畳される（
ステップＳ４１０２）。上述のように、脳波Ｉ／Ｆ装置１４１の操作Ｉ／Ｆ作成部１１５
が、操作Ｉ／Ｆテーブル６２０を作成する。そして、それに従って、演算部１２４が、表
示フレームを生成する。これにより、表示デバイス部１２５上の、検出したオブジェクト
５４１の近傍に当該マーカが表示されるとともに、当該マーカに特定周波数の視覚刺激信
号が重畳される。
【0237】
脳波Ｉ／Ｆ装置１４１は、脳波を測定する（ステップＳ４１０３）と、分析を行う（ス
テップＳ４１１０４）。そして、機能判定部１１９は、操作Ｉ／Ｆテーブル６２０を参照
し、重畳した特定周波数が、ＳＳＶＥＰ用の周波数として検出されたか否かを判別する（
ステップＳ４１０５）。
テップＳ４１１０４）。そして、機能判定部１１９は、操作Ｉ／Ｆテーブル６２０を参照
し、重畳した特定周波数が、ＳＳＶＥＰ用の周波数として検出されたか否かを判別する（
ステップＳ４１０５）。
【0238】
検出されていない場合は、映像装置１４７は、警告を出力する（ステップＳ４１０６）
。警告は、例えば、マイク／スピーカ１０４を使用して音声で出力する。そして、映像装
置１４７は、処理経過を、ドライブログとして、映像装置１４７の記憶部１１０に記録し
（ステップ４１０７）、処理を終了する。
。警告は、例えば、マイク／スピーカ１０４を使用して音声で出力する。そして、映像装
置１４７は、処理経過を、ドライブログとして、映像装置１４７の記憶部１１０に記録し
（ステップ４１０７）、処理を終了する。
【0239】
なお、ステップＳ４１０５で検出されている場合、そのままステップＳ４１０７へ移行
する。
する。
【0240】
また、操作Ｉ／Ｆテーブル６２０に、複数のレコードが登録されている場合は、ステッ
プＳ４１０５、ステップＳ４１０６の処理を、レコードの数分、繰り返す。
プＳ４１０５、ステップＳ４１０６の処理を、レコードの数分、繰り返す。
【0241】
また、上記実施形態では、表示デバイス部１２５上の、検出したオブジェクト５４１の
実像の近傍となる位置に、注意喚起のマーカ５４２を挿入し、そのマーカ５４２に視覚刺
激信号を重畳する場合を例にあげて説明した。しかしながら、この手法に限定されない。
例えば、表示デバイス部１２５上の、抽出したオブジェクト５４１の実像に対応する領域
に、マーカを表示し、そのマーカに視覚刺激信号を重畳してもよい。重畳手法は、第一の
実施形態と同様とする。
実像の近傍となる位置に、注意喚起のマーカ５４２を挿入し、そのマーカ５４２に視覚刺
激信号を重畳する場合を例にあげて説明した。しかしながら、この手法に限定されない。
例えば、表示デバイス部１２５上の、抽出したオブジェクト５４１の実像に対応する領域
に、マーカを表示し、そのマーカに視覚刺激信号を重畳してもよい。重畳手法は、第一の
実施形態と同様とする。
【0242】
この場合の表示例を、図２１（ａ）および図２１（ｂ）に示す。本図に示すように、表
示デバイス部１２５上の、オブジェクト５４１に対応する領域にオブジェクト像５４３を
配置し、当該オブジェクト像５４３に視覚刺激信号を重畳する。この場合も、第一の実施
形態同様、操作Ｉ／Ｆ作成部１１５が、フレーム毎に、動体検出プログラムにて動体とし
てオブジェクト５４１を検出し、操作Ｉ／Ｆテーブル６３０を完成させる。そして、演算
部１２４が、操作Ｉ／Ｆテーブル６３０に従って、表示フレームを生成する。
示デバイス部１２５上の、オブジェクト５４１に対応する領域にオブジェクト像５４３を
配置し、当該オブジェクト像５４３に視覚刺激信号を重畳する。この場合も、第一の実施
形態同様、操作Ｉ／Ｆ作成部１１５が、フレーム毎に、動体検出プログラムにて動体とし
てオブジェクト５４１を検出し、操作Ｉ／Ｆテーブル６３０を完成させる。そして、演算
部１２４が、操作Ｉ／Ｆテーブル６３０に従って、表示フレームを生成する。
【0243】
また、第一の実施形態同様、映像生成部１０６が生成した映像フレーム上にマーカ５４
２を挿入してもよい。また、映像フレーム上のオブジェクト５４１の画像（オブジェクト
像５４３）上に、視覚刺激信号を重畳してもよい。
２を挿入してもよい。また、映像フレーム上のオブジェクト５４１の画像（オブジェクト
像５４３）上に、視覚刺激信号を重畳してもよい。
【0244】
また、本実施形態においては、視覚刺激信号の重畳方法を選択可能に構成してもよい。
例えば、目的、ユーザの年齢、状況に応じて、選択可能とする。また、注意喚起用マーカ
の表示／非表示を切り替え可能に構成してもよい。
例えば、目的、ユーザの年齢、状況に応じて、選択可能とする。また、注意喚起用マーカ
の表示／非表示を切り替え可能に構成してもよい。
【0245】
例えば、高齢者が運転している場合、あるいは長時間運転している場合には、注意力の
低下が見込まれる。従って、このような状況では、ユーザの指示に従って、注意喚起用の
マーカを付与する。また、記録したドライブログから、ユーザの注意の継続性や、注意が
散漫になるような状況を学習できるように構成してもよい。そして、この学習結果に応じ
て、自動的に注意喚起用のマーカの表示／非表示を切り替えるよう構成してもよい。
低下が見込まれる。従って、このような状況では、ユーザの指示に従って、注意喚起用の
マーカを付与する。また、記録したドライブログから、ユーザの注意の継続性や、注意が
散漫になるような状況を学習できるように構成してもよい。そして、この学習結果に応じ
て、自動的に注意喚起用のマーカの表示／非表示を切り替えるよう構成してもよい。
【0246】
このように、本実施形態では、検出された動体に対して、予め設定された位置（例えば
、動体の直下、真上等）に、予め設定したマーカ用の図形（アイコン）等を挿入する。そ
して、当該マーカの表示色を、予め定めた２色の間で周期的に変化させることにより、視
覚刺激信号を実現する。
、動体の直下、真上等）に、予め設定したマーカ用の図形（アイコン）等を挿入する。そ
して、当該マーカの表示色を、予め定めた２色の間で周期的に変化させることにより、視
覚刺激信号を実現する。
【0247】
本実施形態は、このような構成を有するため、運転者が、この半円形の強調表示のマー
カ５４２を注視すると、脳波Ｉ／Ｆ装置１４１により重畳された周波数が検出される。こ
れにより、運転者がこの強調表示部分を認知、すなわち注意を払っているかを把握できる
。
カ５４２を注視すると、脳波Ｉ／Ｆ装置１４１により重畳された周波数が検出される。こ
れにより、運転者がこの強調表示部分を認知、すなわち注意を払っているかを把握できる
。
【0248】
本実施形態によれば、ＨＵＤ上のオブジェクト５４１の近傍に、ＳＳＶＥＰ誘発信号を
表示することにより、運転者がオブジェクト５４１を注視しているかを確認でき、注視し
ていない場合、警告を与えることができる。
表示することにより、運転者がオブジェクト５４１を注視しているかを確認でき、注視し
ていない場合、警告を与えることができる。
【0249】
なお、本実施形態では、ＨＵＤを例にマーカの重畳方法について説明した。しかしなが
ら、第一の実施形態におけるＡＲ装置やＭＲ装置においても同様に、現実世界に本実施形
態のマーカの重畳方法を適用し、マーカに視覚刺激信号を重畳することができる。具体的
には、図５の重畳エリアＡＡ５０２をマーカにしてそのマーカに視覚刺激を重畳できる。
この場合は、実世界中の特定オブジェクトに重なるようにマーカが表示される。
ら、第一の実施形態におけるＡＲ装置やＭＲ装置においても同様に、現実世界に本実施形
態のマーカの重畳方法を適用し、マーカに視覚刺激信号を重畳することができる。具体的
には、図５の重畳エリアＡＡ５０２をマーカにしてそのマーカに視覚刺激を重畳できる。
この場合は、実世界中の特定オブジェクトに重なるようにマーカが表示される。
【0250】
＜＜第三の実施形態＞＞
次に、本発明の第三の実施形態を説明する。本実施形態では、脳波Ｉ／Ｆとして、上記
各実施形態で説明したＳＳＶＥＰを活用した方式に加え、事象関連脱同期（ＥＲＤ：Ｅｖ
ｅｎｔ Ｒｅｌａｔｅｄ Ｄｅ－ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）方式を併用する。
次に、本発明の第三の実施形態を説明する。本実施形態では、脳波Ｉ／Ｆとして、上記
各実施形態で説明したＳＳＶＥＰを活用した方式に加え、事象関連脱同期（ＥＲＤ：Ｅｖ
ｅｎｔ Ｒｅｌａｔｅｄ Ｄｅ－ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）方式を併用する。
【0251】
ＥＲＤは、所定の周波数成分が、事象の前後で減少する現象のことをいう。ＥＲＤ方式
では、ＥＲＤという脳波の特徴により、体の動作あるいは動作イメージの種類を検出する
。ＥＲＤが発生した脳の部位（主に運動野付近）を特定することにより、当該運動野が司
る身体部位の動作あるいは動作イメージがなされた、と判定できる。動作あるいは動作イ
メージによりＥＲＤが検出される身体部位は、左手、右手、足などである。
では、ＥＲＤという脳波の特徴により、体の動作あるいは動作イメージの種類を検出する
。ＥＲＤが発生した脳の部位（主に運動野付近）を特定することにより、当該運動野が司
る身体部位の動作あるいは動作イメージがなされた、と判定できる。動作あるいは動作イ
メージによりＥＲＤが検出される身体部位は、左手、右手、足などである。
【0252】
分析の対象となる周波数は、たとえば、μ波（８～１２Ｈｚ）やβ波（１８～２５Ｈｚ
）である。ただし、これらの周波数に限定されるわけではない。以下、本実施形態では、
μ波を例に説明する。
）である。ただし、これらの周波数に限定されるわけではない。以下、本実施形態では、
μ波を例に説明する。
【0253】
例えば、ユーザが右手を動作させることをイメージした場合、右手に関連する運動野（
頭頂部左側の運動野）で測定した脳波をフーリエ変換すると、μ波（８～１２Ｈｚ）の周
波数の電位の大きさが、運動あるいは運動イメージ直後に減少する。この現象はたとえば
、リラクゼーション時の脳波と比較することによって検出可能である。同様にして、左手
の動作あるいは動作イメージ想起時の電位の変化が検出できる。
頭頂部左側の運動野）で測定した脳波をフーリエ変換すると、μ波（８～１２Ｈｚ）の周
波数の電位の大きさが、運動あるいは運動イメージ直後に減少する。この現象はたとえば
、リラクゼーション時の脳波と比較することによって検出可能である。同様にして、左手
の動作あるいは動作イメージ想起時の電位の変化が検出できる。
【0254】
ＳＳＶＥＰ方式では視覚刺激信号を表示するための表示装置が必要である。しかしなが
ら、ＥＲＤ方式では、体の動作のみ、あるいは、動作をイメージするだけでよいため、脳
波による制御を実現するために脳波Ｉ／Ｆ装置以外の装置を必要としない。また、動作イ
メージだけでも操作できるので、操作時の制約が少ない。
ら、ＥＲＤ方式では、体の動作のみ、あるいは、動作をイメージするだけでよいため、脳
波による制御を実現するために脳波Ｉ／Ｆ装置以外の装置を必要としない。また、動作イ
メージだけでも操作できるので、操作時の制約が少ない。
【0255】
以下、本実施形態では、上述のように、ＳＳＶＥＰ方式とＥＲＤ方式とを併用する場合
を例にあげて説明する。
を例にあげて説明する。
【0256】
本実施形態の表示装置（ＡＲ装置）は、基本的に第一の実施形態の表示装置１０１と同
様の構成を有する。ただし、上述のように、ＳＳＶＥＰだけでなく、ＥＲＤも併用する。
このため、脳波分析部１１４ａの構成が異なる。また、マッピング部１１７や操作Ｉ／Ｆ
作成部１１５が作成し、対応する格納部に保持するテーブルも異なる。さらに、機能判定
部１１９の処理も異なる。以下、第一の実施形態と異なる構成に主眼をおいて説明する。
様の構成を有する。ただし、上述のように、ＳＳＶＥＰだけでなく、ＥＲＤも併用する。
このため、脳波分析部１１４ａの構成が異なる。また、マッピング部１１７や操作Ｉ／Ｆ
作成部１１５が作成し、対応する格納部に保持するテーブルも異なる。さらに、機能判定
部１１９の処理も異なる。以下、第一の実施形態と異なる構成に主眼をおいて説明する。
【0257】
まず、本実施形態の脳波分析部１１４ａの構成を説明する。図２３は、本実施形態の脳
波分析部１１４ａの機能ブロック図である。本図に示すように、本実施形態の脳波分析部
１１４ａは、第一の実施形態の各構成に加え、ＥＲＤ検出部１７１をさらに備える。
波分析部１１４ａの機能ブロック図である。本図に示すように、本実施形態の脳波分析部
１１４ａは、第一の実施形態の各構成に加え、ＥＲＤ検出部１７１をさらに備える。
【0258】
ＥＲＤ検出部１７１は、脳波検出部１１３が検出し、前処理部１２１を経て特徴抽出部
１２２が抽出した特徴量を分析し、μ波の電位が減少した脳の部位（主に運動野付近）を
特定する。そして、ユーザが身体のどの部位を動作させたか、あるいは身体のどの部位を
動かすことをイメージしたかを検出する。そして、検出結果として、当該部位の動作ある
いは動作イメージ実施を検出したことを出力する。ここでは、なお、ＥＲＤ検出部１７１
は、脳波検出部１１３から脳波が検出されている間、リアルタイムに周波数の変化を分析
する。
１２２が抽出した特徴量を分析し、μ波の電位が減少した脳の部位（主に運動野付近）を
特定する。そして、ユーザが身体のどの部位を動作させたか、あるいは身体のどの部位を
動かすことをイメージしたかを検出する。そして、検出結果として、当該部位の動作ある
いは動作イメージ実施を検出したことを出力する。ここでは、なお、ＥＲＤ検出部１７１
は、脳波検出部１１３から脳波が検出されている間、リアルタイムに周波数の変化を分析
する。
【0259】
なお、ＥＲＤ検出部１７１が上記分析を行うため、複数箇所の電極から脳波を検出する
。特に、前記周波数の変化を検出するのに適した電極の設置場所は、頭頂部付近の運動野
（左脳から右脳わたる広範囲の領域）である。身体の部位によって電位に変化の出る場所
が異なるため（例えば右手の動作は、左脳の運動野、左手の動作は右脳の運動野付近とな
る）、電極は運動野全般に配置する必要がある。ここで、全般とは、左脳だけ、右脳だけ
というように一部の領域に偏らないという意味である。なお、前記周波数の変化を検出す
るための電極の設置場所は頭頂部付近の運動野に限定されるわけではない。
。特に、前記周波数の変化を検出するのに適した電極の設置場所は、頭頂部付近の運動野
（左脳から右脳わたる広範囲の領域）である。身体の部位によって電位に変化の出る場所
が異なるため（例えば右手の動作は、左脳の運動野、左手の動作は右脳の運動野付近とな
る）、電極は運動野全般に配置する必要がある。ここで、全般とは、左脳だけ、右脳だけ
というように一部の領域に偏らないという意味である。なお、前記周波数の変化を検出す
るための電極の設置場所は頭頂部付近の運動野に限定されるわけではない。
【0260】
また、マッピング部１１７が生成するテーブル、および、機能判定部１１９の処理の違
いについて、以下の実例に沿って説明する。
いについて、以下の実例に沿って説明する。
【0261】
【0262】
ここでは、ＥＲＤ方式による制御により、ＳＳＶＥＰ方式のモードをＯＮ／ＯＦＦする
場合の例を示す。すなわち、左手による実際の動作、あるいは、動作イメージ８１８をＥ
ＲＤにより検出し、表示装置１０１の画面上に、ＳＳＶＥＰ用の視覚刺激信号を表示（Ｓ
ＳＶＥＰ ＯＮ）／非表示（ＳＳＥＶＰ ＯＦＦ）する場合の例である。
場合の例を示す。すなわち、左手による実際の動作、あるいは、動作イメージ８１８をＥ
ＲＤにより検出し、表示装置１０１の画面上に、ＳＳＶＥＰ用の視覚刺激信号を表示（Ｓ
ＳＶＥＰ ＯＮ）／非表示（ＳＳＥＶＰ ＯＦＦ）する場合の例である。
【0263】
具体的には、表示装置１０１の画面上に、ＳＳＶＥＰ用の視覚刺激信号が表示されてい
る状態（ＳＳＶＥＰ機能ＯＮ）８１１で、ユーザが左手を動作させた場合あるいは動作イ
メージを想起した場合は、ＳＳＶＥＰ用の視覚刺激信号を非表示（ＳＳＶＥＰ機能ＯＦＦ
）８１２にする。また、ＳＳＶＥＰ機能ＯＦＦ８１２の状態で、ユーザが左手を動作させ
た場合あるいは動作イメージを想起した場合は、ＳＳＶＥＰ機能ＯＮ８１１にする。
る状態（ＳＳＶＥＰ機能ＯＮ）８１１で、ユーザが左手を動作させた場合あるいは動作イ
メージを想起した場合は、ＳＳＶＥＰ用の視覚刺激信号を非表示（ＳＳＶＥＰ機能ＯＦＦ
）８１２にする。また、ＳＳＶＥＰ機能ＯＦＦ８１２の状態で、ユーザが左手を動作させ
た場合あるいは動作イメージを想起した場合は、ＳＳＶＥＰ機能ＯＮ８１１にする。
【0264】
ここでは、機能判定部１１９は、上述のように、脳波分析部１１４で分析した結果に基
づき、機能テーブルを参照し、ユーザにより選択された機能を判定する。ここでは、機能
判定部１１９は、ＳＳＶＥＰ機能ＯＦＦ８１２の状態でＥＲＤ検出部１７１から左手の動
き有りとの出力を受け取ると、ユーザにより選択された機能は、ＳＳＶＥＰ機能をＯＮに
するものであると判定する。一方、ＳＳＶＥＰ機能ＯＮ８１１の状態で、ＥＲＤ検出部１
７１から左手の動き有りとの出力を受け取ると、ユーザにより選択された機能は、ＳＳＶ
ＥＰ機能をＯＦＦにするものであると判定する。
づき、機能テーブルを参照し、ユーザにより選択された機能を判定する。ここでは、機能
判定部１１９は、ＳＳＶＥＰ機能ＯＦＦ８１２の状態でＥＲＤ検出部１７１から左手の動
き有りとの出力を受け取ると、ユーザにより選択された機能は、ＳＳＶＥＰ機能をＯＮに
するものであると判定する。一方、ＳＳＶＥＰ機能ＯＮ８１１の状態で、ＥＲＤ検出部１
７１から左手の動き有りとの出力を受け取ると、ユーザにより選択された機能は、ＳＳＶ
ＥＰ機能をＯＦＦにするものであると判定する。
【0265】
これを実現するため、マッピング部１１７は、ＥＲＤ用のマッピングテーブル６４０、
機能テーブル６５０を、操作Ｉ／Ｆ作成部１１５は、モード管理テーブル６６０を、作成
する。これらの一例を、それぞれ、図２５（ａ）、図２５（ｂ）、図２５（ｃ）に示す。
機能テーブル６５０を、操作Ｉ／Ｆ作成部１１５は、モード管理テーブル６６０を、作成
する。これらの一例を、それぞれ、図２５（ａ）、図２５（ｂ）、図２５（ｃ）に示す。
【0266】
図２５（ａ）に示すように、本実施形態では、ＥＲＤ用のマッピングテーブル６４０に
は、例えば、機能ＩＤ６４３に対応づけて、ＥＲＤ＿ＩＤ６４４が登録される。マッピン
グテーブル６４０は、初期設定時に、ユーザが、操作部１０７を介して、制御部１１２、
脳波制御部１２０、マッピング部１１７を制御することによって、マッピングデータ格納
部１１８に保存する。
は、例えば、機能ＩＤ６４３に対応づけて、ＥＲＤ＿ＩＤ６４４が登録される。マッピン
グテーブル６４０は、初期設定時に、ユーザが、操作部１０７を介して、制御部１１２、
脳波制御部１２０、マッピング部１１７を制御することによって、マッピングデータ格納
部１１８に保存する。
【0267】
また、ＥＲＤ用の機能テーブル６５０には、図２５（ｂ）に示すように、各機能ＩＤ６
４３の、機能名６５３と、機能概要６５４とが登録される。なお、ＥＲＤ用の機能テーブ
ル６５０は、アプリケーションごとに用意されている機能を、脳波制御部１２０が受け取
り、マッピング部１１７に指示を出して作成し、マッピングデータ格納部１１８に登録す
る。
４３の、機能名６５３と、機能概要６５４とが登録される。なお、ＥＲＤ用の機能テーブ
ル６５０は、アプリケーションごとに用意されている機能を、脳波制御部１２０が受け取
り、マッピング部１１７に指示を出して作成し、マッピングデータ格納部１１８に登録す
る。
【0268】
ＥＲＤ用のモード管理テーブル６６０は、ＳＳＶＥＰ方式などの制御方式のＯＮ、ＯＦ
Ｆ状態を管理する。このため、モード管理テーブル６６０には、図２５（ｃ）に示すよう
に、各ＥＲＤ＿ＩＤ６４４の、モード種類６６３と状態６６４とが登録される。モード管
理テーブル６６０は、脳波制御部１２０の指示により操作Ｉ／Ｆ作成部１１５が作成し、
操作Ｉ／Ｆ格納部１１６に登録する。状態６６４には、ＯＮとＯＦＦの状態があり、それ
ぞれ、例えば、１、０が割り当てられる。
Ｆ状態を管理する。このため、モード管理テーブル６６０には、図２５（ｃ）に示すよう
に、各ＥＲＤ＿ＩＤ６４４の、モード種類６６３と状態６６４とが登録される。モード管
理テーブル６６０は、脳波制御部１２０の指示により操作Ｉ／Ｆ作成部１１５が作成し、
操作Ｉ／Ｆ格納部１１６に登録する。状態６６４には、ＯＮとＯＦＦの状態があり、それ
ぞれ、例えば、１、０が割り当てられる。
【0269】
本実施形態の機能判定部１１９は、まず、ＥＲＤ検出部１７１から、ＥＲＤを検出した
部位の情報を受け取ると、ＥＲＤ用のマッピングテーブル６４０にアクセスし、当該部位
の情報を示すＥＲＤ＿ＩＤ６４４に対応づけられている機能ＩＤ６４３を特定する。そし
て、その後、機能テーブル６５０にアクセスし、当該機能ＩＤ６４３に対応づけられてい
る機能を特定する。また、併せてＥＲＤ用のモード管理テーブル６６０にアクセスし、Ｅ
ＲＤ＿ＩＤ６４４から状態６６４を抽出し、行う処理を決定する。
部位の情報を受け取ると、ＥＲＤ用のマッピングテーブル６４０にアクセスし、当該部位
の情報を示すＥＲＤ＿ＩＤ６４４に対応づけられている機能ＩＤ６４３を特定する。そし
て、その後、機能テーブル６５０にアクセスし、当該機能ＩＤ６４３に対応づけられてい
る機能を特定する。また、併せてＥＲＤ用のモード管理テーブル６６０にアクセスし、Ｅ
ＲＤ＿ＩＤ６４４から状態６６４を抽出し、行う処理を決定する。
【0270】
次に、ＳＳＶＥＰ方式の脳波制御にＥＲＤ方式による制御を追加して、ＳＳＶＥＰ方式
のモードをＯＮ／ＯＦＦする場合の処理の流れを説明する。図２６は、図２４で説明した
操作を実行する場合の処理のフローである。すなわち、左手の動作あるいは、動作イメー
ジにより、ＳＳＶＥＰ用の視覚刺激を表示（ＯＮ）／非表示（ＯＦＦ）する。また、それ
以外の運動や運動イメージには機能が割り当てられていない。
のモードをＯＮ／ＯＦＦする場合の処理の流れを説明する。図２６は、図２４で説明した
操作を実行する場合の処理のフローである。すなわち、左手の動作あるいは、動作イメー
ジにより、ＳＳＶＥＰ用の視覚刺激を表示（ＯＮ）／非表示（ＯＦＦ）する。また、それ
以外の運動や運動イメージには機能が割り当てられていない。
【0271】
なお、右頭部の運動野のμ波帯の電位が減少した場合、左手の動作あるいは動作イメー
ジが実行されたと判定され、左頭部の運動野のμ波帯の電位が減少した場合、右手の動作
あるいは動作イメージが実行されたと判定される。
ジが実行されたと判定され、左頭部の運動野のμ波帯の電位が減少した場合、右手の動作
あるいは動作イメージが実行されたと判定される。
【0272】
ＥＲＤ検出部１７１は、運動野の複数の電極（８１４、８１５、８１６、８１７）で測
定した脳波を、それぞれ、フーリエ変換し、μ波を検出する（ステップＳ５１０１）。
定した脳波を、それぞれ、フーリエ変換し、μ波を検出する（ステップＳ５１０１）。
【0273】
【0274】
次に、ＥＲＤ検出部１７１は、左手に対応する運動野の電極８１５で測定した脳波のμ
波が低下しているかを調べ（ステップＳ５１０２）、低下していれば左手の動作あるいは
動作イメージを実行したものと判定する。ここでは、マッピングテーブル６４０のＥＲＤ
＿ＩＤ６４４を、機能判定部１１９に伝達する。
波が低下しているかを調べ（ステップＳ５１０２）、低下していれば左手の動作あるいは
動作イメージを実行したものと判定する。ここでは、マッピングテーブル６４０のＥＲＤ
＿ＩＤ６４４を、機能判定部１１９に伝達する。
【0275】
機能判定部１１９は、ＥＲＤ＿ＩＤ６４４を、脳波制御部１２０に伝達する。また、機
能テーブル６５０を参照して、ＥＲＤ＿ＩＤ６４４に対応する機能名や機能の概要を調べ
、対応機能を特定しその結果を脳波制御部１２０に送信する（ステップＳ５１０３）。ま
た、脳波制御部１２０は、受け取ったＥＲＤ＿ＩＤ６４４に基づき、モード管理テーブル
６６０を参照し、状態６６４がＯＮであるか否かを判別する（ステップＳ５１０４）。
能テーブル６５０を参照して、ＥＲＤ＿ＩＤ６４４に対応する機能名や機能の概要を調べ
、対応機能を特定しその結果を脳波制御部１２０に送信する（ステップＳ５１０３）。ま
た、脳波制御部１２０は、受け取ったＥＲＤ＿ＩＤ６４４に基づき、モード管理テーブル
６６０を参照し、状態６６４がＯＮであるか否かを判別する（ステップＳ５１０４）。
【0276】
ここで、状態６６４がＯＮである場合、脳波制御部１２０は、ＳＳＶＥＰ機能をＯＦＦ
し（ステップＳ５１０５）、モード管理テーブル６６０の状態６６４に０を設定し（ステ
ップＳ５１０６）、処理を終了する。
し（ステップＳ５１０５）、モード管理テーブル６６０の状態６６４に０を設定し（ステ
ップＳ５１０６）、処理を終了する。
【0277】
一方、ステップＳ５１０４において、状態６６４がＯＦＦの場合、脳波制御部１２０は
、ＳＳＶＥＰ機能をＯＮし（ステップＳ５１０７）、状態６６４に１を設定し（ステップ
Ｓ５１０８）、処理を終了する。
、ＳＳＶＥＰ機能をＯＮし（ステップＳ５１０７）、状態６６４に１を設定し（ステップ
Ｓ５１０８）、処理を終了する。
【0278】
また、ステップＳ５１０２において、左手に対応する運動野の電極８１５で測定した脳
波のμ波が低下していない場合、ＥＲＤ検出部１７１は、右手に対応する運動野の電極８
１５で測定した脳波のμ波が低下しているか調べ（ステップＳ５１０９）、その結果を、
機能判定部１１９に伝達する。
波のμ波が低下していない場合、ＥＲＤ検出部１７１は、右手に対応する運動野の電極８
１５で測定した脳波のμ波が低下しているか調べ（ステップＳ５１０９）、その結果を、
機能判定部１１９に伝達する。
【0279】
機能判定部１１９は、対応するマッピングテーブル６４０のＥＲＤ＿ＩＤ６４４を脳波
制御部１２０に伝達する。また、機能テーブル６５０を参照して、ＥＲＤ＿ＩＤ６４４に
対応する機能名や機能の概要を調べ、対応機能を特定しその結果を脳波制御部１２０に送
信する（ステップＳ５１１０）。その結果、対応する機能が割り当てられていないため、
脳波制御部１２０は、操作ミスメッセージを表示部１０３に表示するよう指示を行う。表
示部１０３は、それを受け、操作ミスメッセージを出力し（ステップＳ５１１１）、処理
を終了する。
制御部１２０に伝達する。また、機能テーブル６５０を参照して、ＥＲＤ＿ＩＤ６４４に
対応する機能名や機能の概要を調べ、対応機能を特定しその結果を脳波制御部１２０に送
信する（ステップＳ５１１０）。その結果、対応する機能が割り当てられていないため、
脳波制御部１２０は、操作ミスメッセージを表示部１０３に表示するよう指示を行う。表
示部１０３は、それを受け、操作ミスメッセージを出力し（ステップＳ５１１１）、処理
を終了する。
【0280】
なお、ステップＳ５１０９で、右手に対応する運動野の電極８１７で測定した脳波のμ
波が低下していなければ、ステップＳ５１０１に戻り、処理を繰り返す。
波が低下していなければ、ステップＳ５１０１に戻り、処理を繰り返す。
【0281】
なお、本処理フローでは、左手の動作や動作イメージにモードＯＮ／ＯＦＦ機能を割り
当てているが、右手の動作や右手の動作イメージに割り当てることも可能である。また、
右手と左手の動作あるいは動作イメージにそれぞれ異なる機能を割り当てることも可能で
ある。
当てているが、右手の動作や右手の動作イメージに割り当てることも可能である。また、
右手と左手の動作あるいは動作イメージにそれぞれ異なる機能を割り当てることも可能で
ある。
【0282】
また、ＥＲＤによる操作として、ＳＳＶＥＰのＯＮ／ＯＦＦを割り当てているが、これ
に限定されない。例えば、表示装置１０１の電源のＯＮ／ＯＦＦに使用してもよい。また
、複数のＩ／Ｆが用意されている場合、Ｉ／Ｆの切り替えに用いてもよい。
に限定されない。例えば、表示装置１０１の電源のＯＮ／ＯＦＦに使用してもよい。また
、複数のＩ／Ｆが用意されている場合、Ｉ／Ｆの切り替えに用いてもよい。
【0283】
以上説明したように、本実施形態によれば、ＥＲＤ方式を併用するため、手足を動作さ
せたり、手足の動作をイメージしたりすることで、ＳＳＶＥＰモードのＯＮ／ＯＦＦだけ
ではなく、表示装置の電源のＯＮ／ＯＦＦ、Ｉ／Ｆの切り替えなどの操作制御ができる。
これによりＳＳＶＥＰ方式が機能していない状態における表示装置の、脳波による制御が
可能となる。
せたり、手足の動作をイメージしたりすることで、ＳＳＶＥＰモードのＯＮ／ＯＦＦだけ
ではなく、表示装置の電源のＯＮ／ＯＦＦ、Ｉ／Ｆの切り替えなどの操作制御ができる。
これによりＳＳＶＥＰ方式が機能していない状態における表示装置の、脳波による制御が
可能となる。
【0284】
なお、本実施形態では、ＥＲＤ方式を併用する場合を例にあげて説明したが、これに限
定されない。例えば、さらに事象関連同期（ＥＲＳ）を利用するＥＲＳ方式を併用しても
よい。また、ＥＲＤ方式の代わりにＥＲＳ方式を併用してもよい。
定されない。例えば、さらに事象関連同期（ＥＲＳ）を利用するＥＲＳ方式を併用しても
よい。また、ＥＲＤ方式の代わりにＥＲＳ方式を併用してもよい。
【0285】
＜変形例＞
なお、上記各実施形態では、ＡＲ装置（表示装置）の操作部１０７の操作Ｉ／Ｆとして
、ＳＳＶＥＰやＥＲＤ等の脳波を用いたＩ／Ｆを利用する場合を例にあげて説明したが、
表示装置の操作Ｉ／Ｆの種類は、１つに限定されない。例えば、複数種類のＩ／Ｆを備え
、ユーザにより選択可能に構成してもよい。
なお、上記各実施形態では、ＡＲ装置（表示装置）の操作部１０７の操作Ｉ／Ｆとして
、ＳＳＶＥＰやＥＲＤ等の脳波を用いたＩ／Ｆを利用する場合を例にあげて説明したが、
表示装置の操作Ｉ／Ｆの種類は、１つに限定されない。例えば、複数種類のＩ／Ｆを備え
、ユーザにより選択可能に構成してもよい。
【0286】
以下では、脳波を用いたＩ／Ｆ（脳波インタフェース）と、ジェスチャインタフェース
（ジェスチャＩ／Ｆ）と、音声インタフェース（音声Ｉ／Ｆ）と、を備える表示装置を例
にあげて、ユーザによるＩ／Ｆの選択を受け付けた場合のＩ／Ｆ設定処理を説明する。
（ジェスチャＩ／Ｆ）と、音声インタフェース（音声Ｉ／Ｆ）と、を備える表示装置を例
にあげて、ユーザによるＩ／Ｆの選択を受け付けた場合のＩ／Ｆ設定処理を説明する。
【0287】
この場合、表示装置は、例えば、図１８に示すＨＵＤシステム１０１ｂのように、映像
装置１４７と、脳波Ｉ／Ｆ装置１４１と、を備える。さらに、ジェスチャＩＦを実現する
ジェスチャＩ／Ｆ装置と、音声Ｉ／Ｆを実現する音声Ｉ／Ｆ装置と、を備える。また、映
像装置１４７の制御部１１２は、Ｉ／Ｆの選択を受け付ける受付部として機能する。そし
て、制御部１１２は、選択されたＩ／Ｆを操作部１０７として設定する設定部として機能
する。ここでは、選択されたインタフェースを有効にする。すなわち、選択されたＩ／Ｆ
からの指示のみを受け付ける。
装置１４７と、脳波Ｉ／Ｆ装置１４１と、を備える。さらに、ジェスチャＩＦを実現する
ジェスチャＩ／Ｆ装置と、音声Ｉ／Ｆを実現する音声Ｉ／Ｆ装置と、を備える。また、映
像装置１４７の制御部１１２は、Ｉ／Ｆの選択を受け付ける受付部として機能する。そし
て、制御部１１２は、選択されたＩ／Ｆを操作部１０７として設定する設定部として機能
する。ここでは、選択されたインタフェースを有効にする。すなわち、選択されたＩ／Ｆ
からの指示のみを受け付ける。
【0288】
なお、制御部１１２は、例えば、表示部１０３に、選択可能なＩ／Ｆ種を表示し、当該
表示を介してユーザからの選択を受け付けるよう構成してもよい。
表示を介してユーザからの選択を受け付けるよう構成してもよい。
【0289】
以下、図２７に従って、Ｉ／Ｆ設定処理の流れを説明する。
【0290】
制御部１１２は、表示部１０３に、選択可能なＩ／Ｆ種を表示し、操作部１０７を介し
たユーザからの選択指示を待つ。
たユーザからの選択指示を待つ。
【0291】
制御部１１２は、脳波Ｉ／Ｆが選択されたか否かを判別し（ステップＳ６１０１）、選
択された場合、脳波Ｉ／Ｆを、操作部１０７として設定し（ステップＳ６１０２）、処理
を終了する。ここでは、脳波Ｉ／Ｆからの指示のみを操作指示として受け付けるよう設定
する。例えば、他のＩ／Ｆ装置の通信部からのデータを受け付けない。
択された場合、脳波Ｉ／Ｆを、操作部１０７として設定し（ステップＳ６１０２）、処理
を終了する。ここでは、脳波Ｉ／Ｆからの指示のみを操作指示として受け付けるよう設定
する。例えば、他のＩ／Ｆ装置の通信部からのデータを受け付けない。
【0292】
次に、制御部１１２は、脳波Ｉ／Ｆが選択されない場合、ジェスチャＩ／Ｆが選択され
たか否かを判別し（ステップＳ６１０３）、選択された場合、ジェスチャＩ／Ｆを、操作
部１０７として設定し（ステップＳ６１０４）、処理を終了する。
たか否かを判別し（ステップＳ６１０３）、選択された場合、ジェスチャＩ／Ｆを、操作
部１０７として設定し（ステップＳ６１０４）、処理を終了する。
【0293】
次に、制御部１１２は、ステップＳ６１０３において、ジェスチャＩ／Ｆが選択されな
い場合、音声Ｉ／Ｆが選択されたか否かを判別し（ステップＳ６１０５）、選択された場
合、音声Ｉ／Ｆを、操作部１０７として設定し（ステップＳ６１０６）、処理を終了する
。
い場合、音声Ｉ／Ｆが選択されたか否かを判別し（ステップＳ６１０５）、選択された場
合、音声Ｉ／Ｆを、操作部１０７として設定し（ステップＳ６１０６）、処理を終了する
。
【0294】
ステップＳ６１０５において、音声Ｉ／Ｆが選択されない場合、制御部１１２は、設定
可能なＩ／Ｆがないことをユーザに通知し、ステップＳ６１０１に戻り、処理を繰り返す
。
可能なＩ／Ｆがないことをユーザに通知し、ステップＳ６１０１に戻り、処理を繰り返す
。
【0295】
なお、上記例では、ステップＳ６１０２、Ｓ６１０４、Ｓ６０１６において、それぞれ
のインタフェースを設定した後に処理を終了している。しかしながら、これに限定されな
い。例えば、Ｓ６１０２の後にＳ６１０３に、Ｓ６１０４の後にＳ６０１５に、それぞれ
戻り、複数種類のＩ／Ｆを設定するよう構成してもよい。
のインタフェースを設定した後に処理を終了している。しかしながら、これに限定されな
い。例えば、Ｓ６１０２の後にＳ６１０３に、Ｓ６１０４の後にＳ６０１５に、それぞれ
戻り、複数種類のＩ／Ｆを設定するよう構成してもよい。
【0296】
複数種類のＩ／Ｆを設定可能に構成する場合、ユーザは複数のＩ／Ｆを同時に利用する
可能性があるため、操作に対する各インタフェースの優先度を設定しておく。
可能性があるため、操作に対する各インタフェースの優先度を設定しておく。
【0297】
また、上記Ｉ／Ｆの選択は、基本的に初期設定時に行う。しかしながら、Ｉ／Ｆを、機
器の使用中に変更可能に構成してもよい。このように構成することで、例えば、ユーザは
、使用環境によってＩ／Ｆを変更できる。例えば、乗り物の中などの公共の場所では、脳
波Ｉ／Ｆを選択し、自宅に一人でいる場合には、音声Ｉ／Ｆを選択し、オフィス等の限ら
れた空間では、ジェスチャＩ／Ｆを選択する。例えば、Ｉ／Ｆ変更指示を受け付けるボタ
ンを表示装置に配置し、当該ボタンを介して選択指示を受け付ける。
器の使用中に変更可能に構成してもよい。このように構成することで、例えば、ユーザは
、使用環境によってＩ／Ｆを変更できる。例えば、乗り物の中などの公共の場所では、脳
波Ｉ／Ｆを選択し、自宅に一人でいる場合には、音声Ｉ／Ｆを選択し、オフィス等の限ら
れた空間では、ジェスチャＩ／Ｆを選択する。例えば、Ｉ／Ｆ変更指示を受け付けるボタ
ンを表示装置に配置し、当該ボタンを介して選択指示を受け付ける。
【0298】
また、これらのＩ／Ｆの選択を自動で行うよう構成してもよい。ユーザのいる空間は、
例えば、空間ごとに設置されているセンサで取得した信号等を用いて判別する。
例えば、空間ごとに設置されているセンサで取得した信号等を用いて判別する。
【0299】
なお、上記各実施形態は、主にＡＲ装置を例に説明しているが、本発明の適用先は、Ａ
Ｒ装置に限定されない。例えば、ＶＲ装置、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、Ｍ
Ｒ）装置等にも同様に適用可能である。
Ｒ装置に限定されない。例えば、ＶＲ装置、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、Ｍ
Ｒ）装置等にも同様に適用可能である。
【符号の説明】
【0300】
１０１：表示装置、１０１ａ：表示装置、１０１ｂ：ヘッドアップディスプレイシステ
ム、１０１ｃ：プロジェクタシステム、１０２：脳波Ｉ／Ｆ部、１０３：表示部、１０３
ａ：表示部、１０４：マイク／スピーカ、１０５：通信部、１０６：映像生成部、１０７
：操作部、１０９：実行部、１１０：記憶部、１１２：制御部、１１３：脳波検出部、１
１４：脳波分析部、１１４ａ：脳波分析部、１１５：操作Ｉ／Ｆ作成部、１１６：操作Ｉ
／Ｆ格納部、１１７：マッピング部、１１８：マッピングデータ格納部、１１９：機能判
定部、１２０：脳波制御部、１２１：前処理部、１２２：特徴抽出部、１２３：視線周波
数検出部、１２４：演算部、１２５：表示デバイス部、１２６：照明器、１２７：投射レ
ンズ、１３０：ユーザ、１３１：空間調光器、１４１：脳波Ｉ／Ｆ装置、１４２：通信部
、１４３：制御装置、１４５：映像生成装置、１４６：表示装置、１４７：映像装置、１
４８：制御装置、１５１：通信部、１５２：映像生成制御部、１５３：映像出力Ｉ／Ｆ部
、１５５：操作Ｉ／Ｆ作成部、１６１：通信部、１６２：表示制御部、１６３：映像入力
Ｉ／Ｆ部、１７１：ＥＲＤ検出部、
２０２：ＣＰＵ、２０３：脳波計、２０４：表示装置、２０５：カメラ、２０６：マイ
ク／スピーカ、２０８：記憶装置、２０９：ＲＡＭ、２１１：通信モジュール、２１２：
入力Ｉ／Ｆ、２１３：操作装置、２１４：システムバス、２２１：ＬＣＤ、２２２：ＬＣ
Ｄ、
３０１：ＡＲ装置、３０２：バンド部分、３０３、３０４：テンプル部分、３０５～３
１１：電極、３１２、３１３：メガネレンズ部分、３１４：フレーム本体、
４０１：ボタンＡ、４０２：色１、４０３：色２、４０４：中間色、４０５：実線、
５０１：計器、５０２：重畳エリアＡＡ、５０３：グラフ、５０４：周波数曲線、５０
５～５０７：ＲＧＢ値、５１１：元のＲＧＢ値、５１２：変化量、５３３～５３５：ＬＣ
値、５４１：オブジェクト、５４２：マーカ、５４３：オブジェクト像
６０１：マッピングテーブル、６０２：識別番号、６０３：機能ＩＤ、６０４：ＳＳＶ
ＥＰ＿ＩＤ、６１０：機能テーブル、６１３：機能名、６１４：機能概要、６１５：重畳
フラグ、６１６：オブジェクトＩＤ、６２０：操作Ｉ／Ｆテーブル、６２３：周波数、６
２４：形状、サイズ、６２５：エリア、６２６：使用色１、６２７：使用色２、６２８：
重畳色、６３０：操作Ｉ／Ｆテーブル、６３１：周波数、６３２：形状、６３３：挿入エ
リア、６３４：オリジナル色、６３５：重畳時の色、６４０：マッピングテーブル、６４
３：機能ＩＤ、６４４：ＥＲＤ＿ＩＤ、６５０：機能テーブル、６５３：機能名、６５４
：機能概要、６６０：モード管理テーブル、６６３：モード種類、６６４：状態、６７０
：オブジェクトテーブル、６７２：オブジェクト、６８０：オブジェクトテーブル、６８
２：オブジェクト、
７１１：エリアＢ、７１２：エリアＣ、７１３：エリアＤ、７１４：エリアＥ、７２１
：テンキー、７２２：数値入力ボタン、７２３：数値入力ボタン、７２４：数値入力ボタ
ン、７２５：数値入力ボタン、７２６：数値入力ボタン、７２７：数値入力ボタン、７２
８：数値入力ボタン、７２９：数値入力ボタン、７３０：数値入力ボタン、７３１：数値
入力ボタン、７３２：数字表示パッド、７３３：リターンキーボタン、７３４：クリアボ
タン、
８１１：ＳＳＶＥＰ機能ＯＮ、８１２：ＳＳＶＥＰ機能ＯＦＦ、８１４：後頭部、８１
５：電極、８１６：電極、８１７：電極、８１８：動作イメージ
ム、１０１ｃ：プロジェクタシステム、１０２：脳波Ｉ／Ｆ部、１０３：表示部、１０３
ａ：表示部、１０４：マイク／スピーカ、１０５：通信部、１０６：映像生成部、１０７
：操作部、１０９：実行部、１１０：記憶部、１１２：制御部、１１３：脳波検出部、１
１４：脳波分析部、１１４ａ：脳波分析部、１１５：操作Ｉ／Ｆ作成部、１１６：操作Ｉ
／Ｆ格納部、１１７：マッピング部、１１８：マッピングデータ格納部、１１９：機能判
定部、１２０：脳波制御部、１２１：前処理部、１２２：特徴抽出部、１２３：視線周波
数検出部、１２４：演算部、１２５：表示デバイス部、１２６：照明器、１２７：投射レ
ンズ、１３０：ユーザ、１３１：空間調光器、１４１：脳波Ｉ／Ｆ装置、１４２：通信部
、１４３：制御装置、１４５：映像生成装置、１４６：表示装置、１４７：映像装置、１
４８：制御装置、１５１：通信部、１５２：映像生成制御部、１５３：映像出力Ｉ／Ｆ部
、１５５：操作Ｉ／Ｆ作成部、１６１：通信部、１６２：表示制御部、１６３：映像入力
Ｉ／Ｆ部、１７１：ＥＲＤ検出部、
２０２：ＣＰＵ、２０３：脳波計、２０４：表示装置、２０５：カメラ、２０６：マイ
ク／スピーカ、２０８：記憶装置、２０９：ＲＡＭ、２１１：通信モジュール、２１２：
入力Ｉ／Ｆ、２１３：操作装置、２１４：システムバス、２２１：ＬＣＤ、２２２：ＬＣ
Ｄ、
３０１：ＡＲ装置、３０２：バンド部分、３０３、３０４：テンプル部分、３０５～３
１１：電極、３１２、３１３：メガネレンズ部分、３１４：フレーム本体、
４０１：ボタンＡ、４０２：色１、４０３：色２、４０４：中間色、４０５：実線、
５０１：計器、５０２：重畳エリアＡＡ、５０３：グラフ、５０４：周波数曲線、５０
５～５０７：ＲＧＢ値、５１１：元のＲＧＢ値、５１２：変化量、５３３～５３５：ＬＣ
値、５４１：オブジェクト、５４２：マーカ、５４３：オブジェクト像
６０１：マッピングテーブル、６０２：識別番号、６０３：機能ＩＤ、６０４：ＳＳＶ
ＥＰ＿ＩＤ、６１０：機能テーブル、６１３：機能名、６１４：機能概要、６１５：重畳
フラグ、６１６：オブジェクトＩＤ、６２０：操作Ｉ／Ｆテーブル、６２３：周波数、６
２４：形状、サイズ、６２５：エリア、６２６：使用色１、６２７：使用色２、６２８：
重畳色、６３０：操作Ｉ／Ｆテーブル、６３１：周波数、６３２：形状、６３３：挿入エ
リア、６３４：オリジナル色、６３５：重畳時の色、６４０：マッピングテーブル、６４
３：機能ＩＤ、６４４：ＥＲＤ＿ＩＤ、６５０：機能テーブル、６５３：機能名、６５４
：機能概要、６６０：モード管理テーブル、６６３：モード種類、６６４：状態、６７０
：オブジェクトテーブル、６７２：オブジェクト、６８０：オブジェクトテーブル、６８
２：オブジェクト、
７１１：エリアＢ、７１２：エリアＣ、７１３：エリアＤ、７１４：エリアＥ、７２１
：テンキー、７２２：数値入力ボタン、７２３：数値入力ボタン、７２４：数値入力ボタ
ン、７２５：数値入力ボタン、７２６：数値入力ボタン、７２７：数値入力ボタン、７２
８：数値入力ボタン、７２９：数値入力ボタン、７３０：数値入力ボタン、７３１：数値
入力ボタン、７３２：数字表示パッド、７３３：リターンキーボタン、７３４：クリアボ
タン、
８１１：ＳＳＶＥＰ機能ＯＮ、８１２：ＳＳＶＥＰ機能ＯＦＦ、８１４：後頭部、８１
５：電極、８１６：電極、８１７：電極、８１８：動作イメージ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】