特開 2023-121436 聴覚支援ウエラブルデバイス、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023121436

(43)【公開日】2023-08-31

(54)【発明の名称】聴覚支援ウエラブルデバイス、及びプログラム

(51)【国際特許分類】

   A61F 11/04 20060101AFI20230824BHJP

   G09B 21/00 20060101ALI20230824BHJP

【ＦＩ】

A61F11/04

G09B21/00 F

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022024788

(22)【出願日】2022-02-21

(11)【特許番号】

(45)【特許公報発行日】2023-02-01

(71)【出願人】

【識別番号】520101351

【氏名又は名称】澤田 真吾

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】澤田 真吾

(57)【要約】

【課題】音の特徴を直感的にユーザに理解させる聴覚障碍者向けのデバイスを提供する。
【解決手段】本発明の聴覚支援ウエラブルデバイス１は、収音装置１０と、変換部２１０と、通知部２２０と、を備える。収音装置１０は、周囲の音を収音する。変換部２１０は、収音装置１０により収音された音を色に変換する。通知部２２０は、変換部２１０による変換により得られた色を用いた通知を行う。通知部２０は、例えば、前記色を用いたオブジェクトを眼鏡のレンズ面に表示する。前記オブジェクトは例えば半円であり、レンズ面の左右両端部に各々１個ずつ表示される。
【選択図】図２

【特許請求の範囲】

【請求項1】

収音手段と、
該収音された音を色に変換する変換手段と、
前記色を用いた通知を行う通知手段と、
を有する聴覚支援ウエラブルデバイス。

【請求項2】

前記通知手段は、前記色を用いたオブジェクトを眼鏡のレンズ面に表示する表示制御手段を有する
請求項１記載の聴覚支援ウエラブルデバイス。

【請求項3】

前記オブジェクトは、前記レンズ面の左右両端部に各々少なくとも１つ表示される
請求項２に記載の聴覚支援ウエラブルデバイス。

【請求項4】

前記表示制御手段は、収音された音声信号から音源位置を特定し、該特定された音源位置に基づいて前記オブジェクトの大きさ又は前記オブジェクトの表示位置を決定する
請求項２又は請求項３に記載の聴覚支援ウエラブルデバイス。

【請求項5】

前記表示制御手段は、該収音された音と、前記聴覚支援ウエラブルデバイスの位置及び該収音が行われた時刻の少なくとも何れか一方とに基づいて、前記オブジェクトの色、大きさ、形状、数のうち少なくとも何れか一つを決定する
請求項２～４の何れか一項に記載の聴覚支援ウエラブルデバイス。

【請求項6】

前記変換手段は、
収音した音の周波数特性に対応する色空間上の一点を決定する
請求項１～５のうちの何れか１項に記載の聴覚支援ウエラブルデバイス。

【請求項7】

前記通知手段は、該収音された音の大きさに対応する、前記色の輝度および前記オブジェクトの大きさのうち少なくともいずれか一つを決定する
請求項１～６のうちの何れか１項に記載の聴覚支援ウエラブルデバイス。

【請求項8】

前記通知手段は、更に、該収音された音に対応する振動をユーザに付与する触覚デバイスを有する
請求項１～７の何れか１項に記載の聴覚支援ウエラブルデバイス。

【請求項9】

ユーザの脳波を検出する手段を更に備え、
前記通知手段は、前記通知手段による通知がなされた際の脳波に更に基づいて、前記通知の内容を決定する
請求項１～８の何れか一項に記載の聴覚支援ウエラブルデバイス。

【請求項10】

コンピュータに、
収音装置により収音された音を色に変換するステップと、
前記色を用いた通知を行うステップと
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、聴覚機能を支援するウエラブルデバイスに関する。

【背景技術】

【0002】

近年、聴覚に障碍がある人を補助するデバイスが種々提案されている。具体例としては、特許文献１、特許文献２、及び特許文献３の各文献に開示のデバイスが挙げられる。特許文献１に開示のデバイスには、危険な場面の音等が予め登録される。特許文献１に開示のデバイスは、登録された音と同じ音を検知すると、光で警告する。特許文献２に開示のデバイスは、所謂ソノグラフである。特許文献２に開示のデバイスは、音の特徴（スペクトル）を可視化する。特許文献３に開示のデバイスは、音を収音し、収音した音に対応する振動（刺激）をユーザに与える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－２１７８３６号公報

【特許文献2】特開２０１２－１８５４６１号公報

【特許文献3】特開平１１－１２０４６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

光又は振動を利用する態様では、音の特徴をきめ細やかにユーザに伝達することは難しい。一方、音のスペクトルを可視化する態様では、スペクトルの解析に慣れたユーザでなれば、どのような事象の差異に生じた音なのかを把握することは難しい。つまり、特許文献１、特許文献２、及び特許文献３の各文献に開示の技術には、音の特徴を分かりやすく、且つきめ細やかにユーザに伝達することができない、という問題がある。また、周波数特性を音声解析して「自動車の音」といったテキスト情報をユーザに提供する技術あるが、解析結果の精度を追求すれば、日常聞くことになるであろう、あらゆる音を予め登録しておく必要がある。また、テキスト情報へ変換してユーザがその意味を把握するまではある程度の無視できないタイムラグが発生する。また、例えば先天的聴覚障碍のある幼児等に対して今の音は「○○の音」であるといったテキスト情報を提示しても、そもそも「○○」という言葉の意味を知らなければ、無意味である。

【0005】

本発明の目的は、音の特徴を直感的にユーザに理解させる技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る聴覚支援ウエラブルデバイスは、収音手段、変換手段、及び通知手段を備える。収音手段は、周囲の音を収音する。変換手段は、収音手段により収音された音を色に変換する。通知手段は、変換手段により変換された色を用いた通知を行う。本態様に係る聴覚支援ウエラブルデバイスによれば、通知に用いられた色から周囲の音の特徴をユーザに把握させることができるので、音の特徴を直感的にユーザに伝達される。

【0007】

好ましくは、通知手段は、変換手段により変換された色を用いたオブジェクトを眼鏡のレンズ面に表示する表示制御手段を有してもよい。この聴覚支援ウエラブルデバイスによれば、眼鏡のレンズ面に表示されるオブジェクトの色から周囲の音の特徴をユーザに把握させることができる。

【0008】

好ましくは、表示制御手段により眼鏡のレンズ面に表示されるオブジェクトは半円であってもよい。この態様において、半円のオブジェクトは、表示制御手段により、レンズ面の左右両端部に各々１個ずつ表示されてもよい。本態様に係る聴覚支援ウエラブルデバイスによれば、眼鏡のレンズ面の左右の両端部に表示される半円のオブジェクトの色から周囲の音の特徴をユーザに把握させることができる。

【0009】

好ましくは、表示制御手段は、収音された音声信号から音源位置を特定してもよい。この態様において、表示制御手段は、特定された音源位置に基づいてオブジェクトの大きさ又はオブジェクトの表示位置を決定してもよい。本態様に係る聴覚支援ウエラブルデバイスによれば、眼鏡のレンズ面に表示されるオブジェクトの大きさ又は表示位置に基づいて音源位置をユーザに把握させることができる。

【0010】

好ましくは、表示制御手段は、収音手段により収音された音と、聴覚支援ウエラブルデバイスの位置及び収音が行われた時刻の少なくとも何れか一方とに基づいて、眼鏡のレンズ面に表示するオブジェクトの色、大きさ、形状、数のうち少なくとも何れか一つを決定してもよい。本態様に係る聴覚支援ウエラブルデバイスによれば、眼鏡のレンズ面に表示されるオブジェクトの色、大きさ、形状、数のうち少なくとも一つに基づいて、周囲の音及び当該音の発生時刻をユーザに把握させることができる。

【0011】

好ましくは、変換手段は、収音した音の周波数特性に対応する色空間上の一点を決定してもよい。本態様に係る聴覚支援ウエラブルデバイスによれば、色空間上の一点に対応する色を用いて周囲の音の周波数特性をユーザに把握させることができる。

【0012】

好ましくは、通知手段は、通知に用いる色の輝度および前記オブジェクトの大きさのうち少なくともいずれかを、収音手段により収音された音の大きさに応じて決定してもよい。本態様に係る聴覚支援ウエラブルデバイスによれば、通知に用いる色の輝度から周囲の音の大きさをユーザに把握させることができる。

【0013】

好ましくは、通知手段は、更に、該収音された音に対応する振動をユーザに付与する触覚デバイスを有してもよい。本態様に係る聴覚支援ウエラブルデバイスによれば、色を用いた通知と振動とにより周囲の音の特徴をユーザに把握させることができる。

【0014】

好ましくは、ユーザの脳波を検出する手段を更に備えてもよい。この態様において、通知手段は、変換手段により変換された色を用いた通知がなされた際の脳波に更に基づいて、通知の内容を決定してもよい。本態様に係る聴覚支援ウエラブルデバイスによれば、色を用いた通知が為されたときのユーザの脳波を加味して、色により音を通知するための通知の内容が決定できる。

【0015】

本発明は、他の観点において、 コンピュータに、収音装置により収音された音を色に変換するステップと、前記色を用いた通知を行うステップとを実行させるためのプログラムを提供する。本態様に係るプログラムによっても、音の特徴を分かりやすく、且つきめ細やかにユーザに伝達できる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態による聴覚支援ウエラブルデバイス１の外観の一例を示す斜視図である。

【図2】聴覚支援ウエラブルデバイス１の電気的な構成一例を示す図である。

【図3】聴覚支援ウエラブルデバイス１におけるオブジェクトの表示例を示す図である。

【図4】聴覚支援ウエラブルデバイス１におけるオブジェクトの表示例を示す図である。

【図5】聴覚支援ウエラブルデバイス１の処理装置２０がプログラムＰに従って実行する支援方法の流れを示すフローチャートである。

【図6】変形例（４）に係る聴覚支援ウエラブルデバイス２の一例を示す図である。

【発明を実施するための形態】

【0017】

以下に述べる各実施形態には技術的に好ましい種々の限定が付されている。しかし、本発明の実施形態は、以下に述べる形態に限られるものではない。

【0018】

Ａ．実施形態
図１は、本発明の一実施形態による聴覚支援ウエラブルデバイス１の外観の一例を示す斜視図である。聴覚支援ウエラブルデバイス１は、聴覚障碍者向けのデバイスである。聴覚支援ウエラブルデバイス１は、聴覚支援ウエラブルデバイス１を装着するユーザに対して、周囲で発生した音を、視覚を通じて通知する。図１に示されるように、聴覚支援ウエラブルデバイス１は、眼鏡と同様の外観を有する。即ち、聴覚支援ウエラブルデバイス１は、一般的な眼鏡と同様にフロント１Ｆ、各々ヒンジ等によりフロント１Ｆに対して開閉自在に設けられるツル１ＴＲ及びツル１ＴＬを有する。

【0019】

フロント１Ｆには、聴覚支援ウエラブルデバイス１がユーザの身体に装着されたときに当該ユーザの鼻筋に接するパッド１Ｐが設けられる。聴覚支援ウエラブルデバイス１のユーザは、フロント１Ｆに対してツル１ＴＲ及びツル１ＴＬを開き、フロント１Ｆにおけるパッド１Ｐを鼻筋にあてつつ、ツル１ＴＲを自身の右耳にかけ、且つツル１ＴＬを自身の左耳にかけることで、聴覚支援ウエラブルデバイス１を装着することができる。

【0020】

また、フロント１Ｆには、レンズ１ＬＬとレンズ１ＬＲとがはめ込まれる。レンズ１ＬＬは、聴覚支援ウエラブルデバイス１がユーザの身体に装着されたときに、当該ユーザの左目の位置に対応する。レンズ１ＬＲは、聴覚支援ウエラブルデバイス１がユーザの身体に装着されたときに、当該ユーザの右目の位置に対応する。レンズ１ＬＬは、遠視用、近視用、乱視用、又は老眼用等の視力矯正用のレンズ、いわゆる度の入ったレンズであっても良いし、ファッション用のレンズのように度の入っていないレンズであっても良い。レンズ１ＬＬも、度の入ったレンズであってもよいし、度の入っていないレンズであってもよい。

【0021】

ツル１ＴＬには、マイクロホン１ＭＬが設けられる。図１では、詳細な図示が省略されているが、ツル１ＴＲにも、マイクロホン１ＭＲが設けられる。本実施形態では、マイクロホン１ＭＬ及びマイクロホン１ＭＲによって、聴覚支援ウエラブルデバイス１の周囲の音が収音される。

【0022】

図２は、聴覚支援ウエラブルデバイス１の電気的な構成一例を示す図である。図２に示されるように、聴覚支援ウエラブルデバイス１は、収音装置１０、処理装置２０、及び記憶装置３０を有する。図２では、詳細な図示が省略されているが、聴覚支援ウエラブルデバイス１は、収音装置１０、処理装置２０、及び記憶装置３０の各々に動作電力を供給する電源を含む。

【0023】

収音装置１０は、聴覚支援ウエラブルデバイス１の周囲の音を収音する収音手段として機能する。図２に示されるように、収音装置１０は、前述のマイクロホン１ＭＬ及びマイクロホン１ＭＲに加えて、Ａ／Ｄ変換器１１０ＬとＡ／Ｄ変換器１１０Ｒとを含む。Ａ／Ｄ変換器１１０Ｌはツル１ＴＬに内蔵される。Ａ／Ｄ変換器１１０Ｒはツル１ＴＲに内蔵される。処理装置２０及び記憶装置３０は、ツル１ＴＬとツル１ＴＲとの何れか一方に内蔵されても良いし、処理装置２０と記憶装置３０とのうちの一方はツル１ＴＬに、他方はツル１ＴＲに内蔵されてもよい。

【0024】

聴覚支援ウエラブルデバイス１を装着したユーザに対して左側から到来する音は、主にマイクロホン１ＭＬによって収音される。マイクロホン１ＭＬは、収音した音の時間波形を示すアナログ形式の電気信号（以下、アナログ音声信号）ＳＡＬを生成する。Ａ／Ｄ変換器１１０Ｌは、アナログ音声信号ＳＡＬにＡ／Ｄ変換を施してデジタル形式の音声信号（以下、デジタル音声信号）ＳＤＬに変換する。Ａ／Ｄ変換器１１０Ｌは、デジタル音声信号ＳＤＬを処理装置２０に与える。

【0025】

聴覚支援ウエラブルデバイス１を装着したユーザに対して右側から到来する音は、主にマイクロホン１ＭＲによって収音される。マイクロホン１ＭＲは、収音した音の時間波形を示すアナログ音声信号ＳＡＲを生成する。Ａ／Ｄ変換器１１０Ｒは、アナログ音声信号ＳＡＲにＡ／Ｄ変換を施してデジタル音声信号ＳＤＲに変換する。Ａ／Ｄ変換器１１０Ｒは、デジタル音声信号ＳＤＲを処理装置２０に与える。

【0026】

処理装置２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のコンピュータである。処理装置２０は、記憶装置３０に記憶されているプログラムを実行することにより、聴覚支援ウエラブルデバイス１の制御中枢として機能する。

【0027】

記憶装置３０は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリと例えばフラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリとを含む。なお、図２では、不揮発性メモリ及び揮発性メモリの図示は省略されている。不揮発性メモリには、本実施形態の特徴を顕著に示す聴覚支援方法を処理装置２０に実行させるプログラムＰが予め記憶されている。揮発性メモリはプログラムＰを実行する際のワークエリアとして処理装置２０によって利用される。

【0028】

聴覚支援ウエラブルデバイス１の電源が投入されると、処理装置２０はプログラムＰを不揮発性メモリから揮発性メモリに読み出し、揮発性メモリに読み出したプログラムＰの実行を開始する。プログラムＰに従って作動している処理装置２０は、図２に示される変換部２１０、及び通知部２２０として機能する。変換部２１０、及び通知部２２０の各々の役割は次の通りである。

【0029】

変換部２１０は、収音装置１０により収音された音を色に変換する変換手段として機能する。より詳細に説明すると、変換部２１０は、収音装置１０から与えられるデジタル音声信号ＳＤＬにフーリエ変換又はウエーブレット変換を施すことで周波数特性情報ＦＤＬを生成する処理を例えば３０～６０回／秒等の所定周期Ｔで実行する。また、変換部２１０は、収音装置１０から与えられるデジタル音声信号ＳＤＲに基づいて周波数特性情報ＦＤＲを生成する処理を所定周期Ｔで実行する。周波数特性情報は、デジタル音声信号により時間波形が表される音声の周波数成分毎の信号強度、即ち周波数特性を示す情報である。

【0030】

変換部２１０は、周波数特性情報ＦＤＬを色情報ＣＬに変換する。同様に、変換部２１０は、周波数特性情報ＦＤＬを色情報ＣＲに変換する。本実施形態における色情報は、ＲＧＢ色空間上の一点、即ちＲ、Ｇ及びＢの各色成分の組み合わせにより表現される１つの色を表す情報であるが、ＣＭＹＫ色空間上の一点を示す情報であってもよい。

【0031】

より詳細に説明すると、変換部２１０は、まず、周波数特性情報ＦＤＬを、ＲＧＢ色空間上の一点を示す情報に変換する。本実施形態では、低音（例えば１０Ｈｚ～３００Ｈｚ）、中低音（例えば３００Ｈｚ～６００Ｈｚ）、中音（例えば６００～１２００Ｈｚ）、中高音（例えば１２００Ｈｚ～２４００Ｈｚ）、及び高音（例えば２４００Ｈｚ～３２００Ｈｚ）の５つの周波数帯域に区分する。そして、区分された各周波数帯域の代表値として、ＲＧＢ空間におけるＲ値、Ｇ値、Ｂ成分を設定しておく。例えば、低音域においては｛Ｒ１，Ｇ１，Ｂ１｝、中低音域｛Ｒ２，Ｇ２，Ｂ２｝・・・といった具合である。そして、周波数特性情報ＦＤＬに基づいてＲ成分、Ｇ成分、Ｂ成分ごとに強度で重みづけ評価した値を計算する。例えば、上述の各周波数帯域における強度がそれぞれ、Ｗ１、Ｗ２、Ｗ３、Ｗ４，Ｗ５であった場合、Ｒ成分については、Ｒ＝｛Ｗ１＊Ｒ１＋Ｗ２＊Ｒ２＋Ｗ３＊Ｒ３＋Ｗ４＊Ｒ５＋Ｗ５＊Ｒ５｝／Ｃｒとして計算する。Ｃｒは所定の再度及び明度となるように設定される規格化定数である。同様に、Ｇ成分およびＢ成分についても計算を行う。こうして、周波数特性情報ＦＤＬに基づいて、ＲＧＢ色空間上の一点に対応する一組の｛Ｒ，Ｇ，Ｂ｝の値が決定される。なお、変換部２１０は、周波数特性情報ＦＤＬをＨＳＶ色空間上の一点を示す情報に変換する際に、色彩度及び明度を各々１００％に固定する。彩度と明度とを固定して色相だけを変化させた色の変化の方が、人の感覚として色の変化を直感的に把握しやすいからであるが、色相と彩度とを固定して明度を周波数特性情報に応じて変化させてもよく、色相と明度とを固定して彩度を周波数特性情報に応じて変化させてもよい。

【0032】

なお、上述した変換アルゴリズムは一例であって、例えば、変換部２１０は、周波数特性情報により強度が表される低音、中低音、中音、中高音、及び高音の５つの周波数帯域のうち強度が最大の周波数帯域のみに着目し、着目した周波数帯域に対応する単色（赤、橙、黄、緑、又は青の何れかの色）を表す色情報を生成してもよい。また、上述した周波数帯域の設定区分数は５に限定されず、任意の数に区分することができる。また、周波数帯域に対して設定する重みづけを設定する方法は任意であり、重みづけを省略してもよい。

【0033】

通知部２２０は、色情報の示す色を用いた通知を行う通知手段として機能する。より詳細に説明すると、通知部２２０は、図２に示されるように表示制御部２２１を含む。表示制御部２２１は、色情報ＣＬの示す色を用いて着色した半円のオブジェクトをレンズ１ＬＬのレンズ面の左端部に表示することにより、色情報ＣＬの示す色を用いた通知を行う。オブジェクトをレンズ１ＬＬのレンズ面の左端部に表示するのは、オブジェクトの表示によりユーザの視界が妨げられることを回避するためである。

【0034】

本実施形態では、表示制御部２２１は、色情報ＣＬの示す色で着色した半円のオブジェクトの半径をデジタル音声信号ＳＤＬの表す音の大きさに応じて決定する。具体的には、表示制御部２２１は、デジタル音声信号ＳＤＬの表す音の大きさが大きいほど、色情報ＣＬの示す色で着色した半円のオブジェクトの半径を大きくする。また、表示制御部２２１は、色情報ＣＲの示す色で着色したオブジェクトを、デジタル音声信号ＳＤＲの表す音の大きさに対応する半径でレンズ１ＬＲのレンズ面の右端部に表示することにより、色情報ＣＲの示す色を用いた通知を行う。オブジェクトをレンズ１ＬＲのレンズ面の右端部に表示するのも、オブジェクトの表示によりユーザの視界が妨げられることを回避するためである。

【0035】

例えば、ある時刻において、中音成分のみを含む音がマイクロホン１ＭＬによって収音され、高音成分のみを含む音がマイクロホン１ＭＲによって収音され、マイクロホン１ＭＬによって収音された音の大きさがマイクロホン１ＭＲによって収音された音の大きさよりも小さかったとする。この場合、変換部２１０は、デジタル音声信号ＳＤＬに基づいて中音成分以外の他の周波数成分の強度が０であることを示す周波数特性情報ＦＤＬを生成し、この周波数特性情報ＦＤＬに基づいて黄色を示す色情報ＣＬを生成する。また、変換部２１０は、デジタル音声信号ＳＤＲに基づいて高音成分以外の他の周波数成分の強度が０であることを示す周波数特性情報ＦＤＲを生成し、この周波数特性情報ＦＤＲに基づいて青色を示す色情報ＣＲを生成する。

【0036】

マイクロホン１ＭＬによって収音された音の大きさがマイクロホン１ＭＲによって収音された音の大きさよりも小さいため、表示制御部２２１は、色情報ＣＬの示す色で着色した半円のオブジェクトＯＢＬの半径が色情報ＣＲの示す色で着色した半円のオブジェクトＯＢＲの半径よりも小さくなるように、オブジェクトＯＢＬ及びオブジェクトＯＢＲの各々の半径を決定し、オブジェクトＯＢＬをレンズ１ＬＬの左端部に、オブジェクトＯＢＲをレンズ１ＬＲの右端部に各々表示する。その結果、図３に示されるように、オブジェクトＯＢＬがレンズ１ＬＬの左端部に表示され、オブジェクトＯＢＲがレンズ１ＬＲの右端部に表示される。なお、図３は、聴覚支援ウエラブルデバイス１を装着したユーザから見たオブジェクトＯＢＬ及びオブジェクトＯＢＲの表示例を示す図である。また、図３における斜め線のハッチングは黄色を表し、縦線のハッチングは青色を表す。

【0037】

聴覚支援ウエラブルデバイス１のユーザは、レンズ１ＬＬの左端部に表示されるオブジェクトＯＢＬ、及びレンズ１ＬＲの右端部に表示されるオブジェクトＯＢＲを視認し、左側から中音域の音が到来していること、右側から高音域の音が到来していること、及び左側から到来している音の大きさが右側から到来している音の大きさよりも小さいことを、視覚を通じて把握することができる。

【0038】

図３に示す表示が為された時点から、所定周期Ｔよりも長い時間が経過した時点において、マイクロホン１ＭＲにより収音される音が低音成分のみを含む音に変化し、マイクロホン１ＭＬによって収音された音の大きさがマイクロホン１ＭＲによって収音された音の大きさよりも大きくなったとする。この場合、変換部２１０は、デジタル音声信号ＳＤＬに基づいて中音成分以外の他の周波数成分の強度が０であることを示す周波数特性情報ＦＤＬを生成し、この周波数特性情報ＦＤＬに基づいて黄色を示す色情報ＣＬを生成する。また、変換部２１０は、デジタル音声信号ＳＤＲに従って、低音成分以外の他の周波数成分の強度が０であることを示す周波数特性情報ＦＤＲを生成し、この周波数特性情報ＦＤＲに基づいて赤色を示す色情報ＣＲを生成する。

【0039】

マイクロホン１ＭＬによって収音された音の大きさがマイクロホン１ＭＲによって収音された音の大きさよりも大きいため、表示制御部２２１は、色情報ＣＬの示す色で着色した半円のオブジェクトＯＢＬの半径が色情報ＣＲの示す色で着色した半円のオブジェクトＯＢＲの半径よりも大きくなるように、オブジェクトＯＢＬ及びオブジェクトＯＢＲの各々の半径を決定し、オブジェクトＯＢＬをレンズ１ＬＬの左端部に、オブジェクトＯＢＲをレンズ１ＬＲの右端部に各々表示する。その結果、図４に示されるように、オブジェクトＯＢＬがレンズ１ＬＬの左端部に表示され、オブジェクトＯＢＲがレンズ１ＬＲの右端部に表示される。図４は、図３と同様に聴覚支援ウエラブルデバイス１を装着したユーザから見たオブジェクトＯＢＬ及びオブジェクトＯＢＲの表示例を示す図である。また、図３における斜め線のハッチングは黄色を表し、横線のハッチングは赤色を表す。

【0040】

聴覚支援ウエラブルデバイス１のユーザは、レンズ１ＬＬの左端部に表示されるオブジェクトＯＢＬ、及びレンズ１ＬＲの右端部に表示されるオブジェクトＯＢＲを視認し、左側から中音域の音が到来していること、右側から低音域の音が到来していること、及び左側から到来している音の大きさが右側から到来している音の大きさよりも大きいことを、視覚を通じて把握することができる。

【0041】

また、プログラムＰに従って作動している処理装置２０は、本発明の特徴を顕著に示す聴覚支援方法を前述の所定周期Ｔで繰り返し実行する。図５は、この聴覚支援方法の流れを示すフローチャートである。図５に示されるように、この聴覚支援方法は、変換処理ＳＡ１１０、及び通知処理ＳＡ１２０を含む。変換処理ＳＡ１１０では、処理装置２０は変換部２１０として機能する。変換処理ＳＡ１１０では、処理装置２０は、収音装置１０により収音された音を色に変換する。より詳細には、変換処理ＳＡ１１０では、処理装置２０は、デジタル音声信号ＳＤＬに基づいて色情報ＣＬを生成するとともに、デジタル音声信号ＳＤＲに基づいて色情報ＣＲを生成する。変換処理ＳＡ１１０に後続する通知処理ＳＡ１２０では、処理装置２０は通知部２２０として機能する。通知処理ＳＡ１２０では、処理装置２０は色情報ＣＬの示す色及び色情報ＣＲの示す色を用いた通知を行う。

【0042】

以上説明したように、本実施形態の聴覚支援ウエラブルデバイス１によれば、音の特徴（周波数特性、大きさ及び音源の方向など）を聴覚以外の感覚を用いて迅速かつ直感的に認識させることが可能になる。なお、音の意味の理解の精度（認識の正確性）については、聴覚支援ウエラブルデバイス１の使用を重ねて、提示された視覚的情報と実際の出来事との関係について経験を積んでいくことで向上すると期待される。経験を積むことで、例えば、黄色で色の時間変化がないオブジェクトを見た瞬間、それはインターホンの呼び出し音であると認識したり、全体的に青系の色だが色味が周期的に変換するパターンのオブジェクトを見た瞬間、それは赤ちゃんの泣き声であると瞬時に認識したり、表示されたオブジェクトが著しい大きい場合は、警笛音等の何か危険なことを知らせる音が周囲で鳴っていると瞬時に理解する、いったことが可能である。このように、聴覚障碍者が日常生活を送るうえで、聴覚情報を直感的に認識させることは非常に重要であるところ、本発明によれば、聴覚障碍者の日常生活の質の向上に寄与することが期待される。なお、本発明に係る装置は、聴覚の障碍の程度にかかわらず使用することができる。また、聴覚の障碍がない者が使用することにより、新たな感覚を楽しむこともできる。

【0043】

Ｂ．変形例
上記実施形態は、以下のように変形されてもよい。
上記実施形態では、半円のオブジェクトの表示により音の通知が行われた。しかし、音の通知に用いられるオブジェクトの形状は半円には限定されず、円、又は多角形（三角形、四角形或いは五角形等）であってもよい。

【0044】

また、オブジェクトは単色ではなく、複数色を用いて表示されてもよい。この場合、各色の配置（模様等）は音の特性（周波数特性、音量、音源の位置ないし方向）に応じて決定されてもよいし、音の特性に関係なくユーザが設定してもよい。要するに、変換部２１０において、検出した音の特性に応じて、オブジェクトの描画に使用する１以上の色が少なくとも決定されればよい。

【0045】

また、上記実施形態では、聴覚支援ウエラブルデバイス１のユーザに対して左側から到来する音に対応するオブジェクトＯＢＬはレンズ１ＬＬの左端部に表示され、当該ユーザに対して右側から到来する音に対応するオブジェクトＯＢＲはレンズ１ＬＲの右端部に表示された。しかし、オブジェクトの表示位置はレンズ面の左右両端部に限定されない。例えば、マイクロホン１ＭＬ及びマイクロホン１ＭＲの各々から出力されるデジタル音声信号に基づいて、これらデジタル音声信号の表す音を発生させた音源の位置（以下、音源位置）を特定する特定部が聴覚支援ウエラブルデバイス１に設けられてもよい。

【0046】

この態様の聴覚支援ウエラブルデバイス１における表示制御部２２１は、特定部により特定された音源位置に基づいてオブジェクトの表示位置、大きさ、形状、数その他オブジェクトに関する属性を決定してもよい。例えば、音源が遠い場合はオブジェクトの大きさを小さくし、音源が近い場合はオブジェクトの大きさを大きくすることが考えられる。この場合、収音された音の大きさは、オブジェクトを表示する際の輝度で表現されてもよい。また、音源が複数存在する場合（同時に複数の音が名なっている場合）、各音源位置に対応するオブジェクトを同時に複数個表示してもよい。

【0047】

また、マイクロホン１ＭＬ及びマイクロホン１ＭＲの各々により音が収音された時刻を示す時刻情報を取得する時刻取得部が聴覚支援ウエラブルデバイス１に設けられてもよい。この態様の聴覚支援ウエラブルデバイス１における表示制御部２２１は、マイクロホン１ＭＬ及びマイクロホン１ＭＲの各々により収音が行われた時刻に基づいて、オブジェクトの形状あるいは数を決定してもよい。また、オブジェクトの形状が収音された音の大きさによって決定され、オブジェクトの大きさが収音時刻によって決定されてもよい。

【0048】

例えば、同一の波形の音が収音されたとしても、屋外或いは昼間においては特定の周波数帯（警報音など）の感度を上げる、在宅時或いは夜間においては全体的に暖色系で視覚刺激を抑えること、又は昼間と夜間とでは通知に用いる色を異ならせること（夜間は全体的に暖色系が用いられ、昼間は寒色系が用いられる等）が考えられる。

【0049】

要は、マイクロホン１ＭＬ及びマイクロホン１ＭＲの各々により収音された音と、音源と聴覚支援ウエラブルデバイスとの相対的な位置関係及び収音が行われた時刻のうちの何れか一方と、に基づいて、オブジェクトの属性（例えば、オブジェクトの色、大きさ、形状、数のうち少なくとも何れか一つを含む）が決定されればよい。

【0050】

通知部２２０は、更に、収音装置１０により収音された音に対応する振動をユーザに付与する触覚デバイスを含んでもよい。触覚デバイスによりユーザに与える振動を表す振動情報の生成態様としては、以下の態様（Ａ）～態様（Ｆ）の６種類の態様が考えられる。

【0051】

態様（Ａ）は、色情報の示す色を振動の振幅に変換することで振動情報を生成する態様である。態様（Ｂ）は、色情報の示す色を振動の周波数に変換することで振動情報を生成する態様である。態様（Ｃ）は、マイクロホン１ＭＬ及びマイクロホン１ＭＲの各々により収音された音の大きさを振動の振幅に変換することで振動情報を生成する態様である。態様（Ｄ）は、マイクロホン１ＭＬ及びマイクロホン１ＭＲの各々により収音された音の大きさを振動の周波数に変換することで振動情報を生成する態様である。態様（Ｅ）は、色情報の示す色を振動の振幅に変換すること及び音の大きさを振動の周波数に変換することで振動情報を生成する態様である。態様（Ｆ）は、色情報の示す色を振動の振幅に変換すること及び音の大きさを振動の振幅数に変換することで振動情報を生成する態様である。

【0052】

人間の触覚は、視覚に比べて鈍感なため、振動情報の生成は、例えば１秒周期等、前述の所定周期Ｔよりも長い周期で実行されてもよい。本態様によれば、収音装置１０により収音された音を変換部２１０により色に変換することで得られた色を有するオブジェクトの表示と、当該音に対応する振動とにより当該音の特徴がユーザに通知される。このように、本態様によれば、視覚に加えて触覚を通じて音の特徴がユーザに通知されるので、上記実施形態に比較して音の特徴の把握しやすさが向上し、且つ音の特徴をよりきめ細やかにユーザに伝達することが可能になる。

【0053】

本発明の聴覚支援ウエラブルデバイスは、収音装置１０、処理装置２０、及び記憶装置３０の他に、ユーザの脳波を検出して解析する手段を更に有し、通知部２２０により通知が為された時点のユーザの脳波を記憶してもよい。そして、この態様の聴覚支援ウエラブルデバイスでは、通知部２２０は、通知部２２０による通知がなされた際の脳波の解析結果に更に基づいて、通知の態様（表示するオブジェクトの色（複数色を用いる場合は、色の数、各色の配置パターン（模様）を含む）、形、大きさ、オブジェクトの数等）を決定してもよい。

【0054】

例えば、取得した脳波が、検知したある音に対応して表示されたオブジェクトに対してユーザが非常に緊張していた（視覚的刺激が強すぎる）ことを示すなど、予め定められた条件を満たす場合、音に基づいて表示すべきオブジェクトの色、形、大きさ、数の少なくともいずれか一つを決定するためのアルゴリズムを修正する。例えば、ユーザが受ける視覚的刺激が小さくなるように、表示すべきオブジェクトの色の輝度が低下するようにアルゴリズムが修正される。

【0055】

このように、検出した音についての情報（周波数特性、音量、音源位置など）と提示された視覚的情報と取得した脳波情報とを対応付けて記憶し、取得した脳波を提示すべき視覚的情報を生成する際にフィードバックする。この結果、過去に収音した音と同一または類似する音を収音した場合、各ユーザが有する感覚に応じて、そのユーザに提示される視覚的情報は異なり得る。ユーザは聴覚支援ウエラブルデバイスを使用するほど、より自分に合った態様で視覚的情報を受け取ることができる。

【0056】

なお、音の特性と視覚的情報および／または触覚的情報と、その際に得られた脳波との関係を機械学習の手法を用いて学習し、検知した音に対応して生成される視覚的情報が示した場合に、そのユーザにとって好ましい（例えば適度な刺激である）と推定される脳波が出現するような学習モデルを構築してもよい。

【0057】

さらに、ある音に対して提示した視覚的情報に加えて、ユーザに付与した振動（触覚的情報）に対する当該ユーザの反応を、取得した脳波から解析し、解析の結果に基づいて、検知した音から触覚的情報を生成するためのアルゴリズムを修正してもよい。

【0058】

こうして、提示した視覚的情報および／または触覚的情報と、その際に得られた脳波との関係を機械学習することにより、ユーザにとって好ましいと推定される脳波が現れるように、検知した音から視覚的情報および／または触覚的情報を生成するためのアルゴリズムがユーザごとにカスタマイズされる。

【0059】

また、検知した音とは無関係に、視覚的情報を受け取る際におけるユーザの肉体的ないし精神的な状況（リラックスしているのか、緊張しているか、疲れているのかなど）を加味して、音を視覚的情報に変換してもよい。具体的には、まず脳波をモニターして、場所や時間帯その他の状況ごとに、ユーザに与えるのが好ましいと考えられる視覚的刺激およびまたは触覚的刺激に関するパラメータを決定しておく。そして、検知した音から表示内容を決定する際に、現在の状況に最も適合するパラメータを選択する。例えば、ユーザが散歩など日中での外出中である場合は、α波が強めに出現するような視覚的情報(模様や言葉)および／または触覚的情報(振動の強さ、周波数、その他のパターン)を与えるパラメータが選択される。
同様に、音を視覚情報又は触覚情報に変換する際の強度や変化度合いの塩梅も、脳波の出現の仕方を鑑みながら、好ましいと思われる提示の仕方ができるようにパーソナライズが行われてもよい。

【0060】

上記実施形態では、眼鏡型のデバイスである聴覚支援ウエラブルデバイス１におけるツル１ＴＬにマイクロホン１ＭＬが設けられ、聴覚支援ウエラブルデバイス１におけるツル１ＴＲにマイクロホン１ＭＲが設けられた。しかし、本発明を眼鏡型のデバイスに適用する場合、当該デバイスにはＡ／Ｄ変換器１１０Ｌ、Ａ／Ｄ変換器１１０Ｒ、処理装置２０、及び記憶装置３０が配置され、マイクロホン１ＭＬ及びマイクロホン１ＭＲの各々は当該眼鏡型のデバイスとは別個のイヤホン型のデバイスとして構成されてもよい。また、イヤホン型のデバイスと組み合わされるデバイス、即ち収音した音に応じた色で着色されたオブジェクトを表示するデイバスは眼鏡型のデバイスには限定されず、液晶ディスプレイを備えた腕時計型のデバイスであってもよい。

【0061】

また、本発明の聴覚支援ウエラブルデバイスは、既存の眼鏡に取り付けられるストラップ型のデバイスであってもよい。図６は、ストラップ型のデバイスである聴覚支援ウエラブルデバイス２の一例を示す図である。聴覚支援ウエラブルデバイス２は、眼鏡の右側のツルに取り付けられる右側筐体２ＢＲと、眼鏡の左側のツルに取り付けられる左側筐体２ＢＬと、右側筐体２ＢＲと左側筐体２ＢＬとに取り付けられるひも状部材２Ｃとを有する。右側筐体２ＢＲには、聴覚支援ウエラブルデバイス２を装着したユーザに対して右側から到来する音を収音する収音装置と、発光部と、当該収音装置により収音された音の周波数特性を色に変換する変換部と、変換部により変換された色で発光部を発光させることにより通知を行う通知部とが設けられる。なお、発光部は、赤色、青色、及び黄色等、発光色が互いに異なる複数の単色発光のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により構成されればよい。同様に、左側筐体２ＢＬには、聴覚支援ウエラブルデバイス２を装着したユーザに対して左側から到来する音を収音する収音装置と、発光部と、当該収音装置により収音された音の周波数特性を色に変換する変換部と、変換部により変換された色で発光部を発光させることにより通知を行う通知部とが設けられる。

【0062】

上記実施形態における変換部２１０及び通知部２２０は、ソフトウェアモジュールであった。しかし、変換部２１０及び通知部２２０のうちの何れか一方、又は両方は、電子回路等のハードウェアモジュールであってもよい。変換部２１０及び通知部２２０のうちの何れか一方、又は両方が電子回路等のハードウェアモジュールであっても、上記実施形態と同一の効果が奏される。

【0063】

上記実施形態における聴覚支援ウエラブルデバイス１には、変換部２１０及び通知部２２０として機能する処理装置２０が内蔵されていた。しかし、聴覚支援ウエラブルデバイス１における処理装置２０は、インターネット等に接続された１又は複数のコンピュータと通信する通信装置に置き換えられてもよく、当該１又は複数のコンピュータにより実現されるクラウドが変換部２１０及び通知部２２０の役割を担ってもよい。

【0064】

上記実施形態では、処理装置２０を変換部２１０及び通知部２２０として機能させるプログラムＰが記憶装置３０に予め記憶されていた。しかし、プログラムＰが単体で製造、又は譲渡等により配布されてもよい。プログラムＰを配布する際の具体的な態様としては、フラッシュＲＯＭ等のコンピュータ読み取り可能な記録媒体にプログラムＰを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードによりプログラムＰを配布する態様が挙げられる。収音装置と処理装置とを有する聴覚支援ウエラブルデバイスの処理装置を、上記の何れかの態様により配布されるプログラムＰに従って作動させることで、聴覚支援ウエラブルデバイスを本発明の聴覚支援ウエラブルデバイスとして機能させることが可能になる。

【0065】

要するに、本発明に係る聴覚支援ウエラブルデバイスにおいては、該収音された音に対応する色を用いて通知が実行されていればよい。

【符号の説明】

【0066】

１…聴覚支援ウエラブルデバイス、１０…収音装置、２０…処理装置、２１０…変換部、２２０…通知部、３０…記憶装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2022-07-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

収音手段と、
該収音された音を色に変換する変換手段と、
所定周期で、収音した音の周波数特性に対応する色空間上の色を決定する決定手段と、
前記決定手段にて決定した色のオブジェクトの表示を前記所定周期で繰り返し実行する表示制御手段と
を有する聴覚支援ウエラブルデバイス。

【請求項2】

前記所定周期は、１／６０秒～１／３０秒である
請求項１に記載の聴覚支援ウエラブルデバイス。

【請求項3】

前記決定手段は、予め区分された周波数帯域ごとに固有の重みづけ値を設定し、各周波数帯に対して前記色空間上の一点を対応付けておき、
該収音された音の各周波数帯域の強度成分を、前記重みづけ値を用いて足し合わせることによって、前記色空間上の色を決定する
請求項１または２に記載の聴覚支援ウエラブルデバイス。

【請求項4】

前記聴覚支援ウエラブルデバイスは眼鏡型であり、
前記表示制御手段は、前記オブジェクトを眼鏡のレンズ面に表示する
請求項１ないし３のいずれか一項に記載の聴覚支援ウエラブルデバイス。

【請求項5】

前記オブジェクトは、前記レンズ面の左右両端部に各々少なくとも１つ表示される
請求項４に記載の聴覚支援ウエラブルデバイス。

【請求項6】

前記表示制御手段は、該収音された音と、前記聴覚支援ウエラブルデバイスの位置及び該収音が行われた時刻の少なくとも何れか一方とに基づいて、前記オブジェクトの色、大きさ、形状、数のうち少なくとも何れか一つを決定する
請求項１～５の何れか一項に記載の聴覚支援ウエラブルデバイス。

【請求項7】

前記表示制御手段は、該収音された音の大きさに対応する、前記色の輝度および前記オブジェクトの大きさのうち少なくともいずれか一つを決定する
請求項１～６のうちの何れか１項に記載の聴覚支援ウエラブルデバイス。

【請求項8】

該収音された音に対応する振動をユーザに付与する触覚デバイスをさらに有する
請求項１～７の何れか１項に記載の聴覚支援ウエラブルデバイス。

【請求項9】

ユーザの脳波を検出する手段を更に備え、
前記表示制御手段は、前記オブジェクトの表示がなされた際の脳波に更に基づいて、前記オブジェクトを決定する
請求項１～８の何れか一項に記載の聴覚支援ウエラブルデバイス。

【請求項10】

コンピュータに、
所定周期で、収音装置により収音された音の周波数特性に対応する色空間上の色を決定するステップと、
該決定した色のオブジェクトの表示を前記所定周期で繰り返し実行するステップと
を実行させるためのプログラム。

【手続補正書】

【提出日】2022-10-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

収音手段と、
該収音された音を色に変換する変換手段と、
所定周期で、収音した音の周波数特性に対応する色空間上の色を決定する決定手段と、
前記決定手段にて決定した色のオブジェクトの表示を前記所定周期で繰り返し実行する表示制御手段と
を有し、
前記所定周期は１／６０秒～１／３０秒である
聴覚支援ウエラブルデバイス。

【請求項2】

収音手段と、
該収音された音を色に変換する変換手段と、
所定周期で、収音した音の周波数特性に対応する色空間上の色を決定する決定手段と、
前記決定手段にて決定した色のオブジェクトの表示を前記所定周期で繰り返し実行する表示制御手段と
を有し、
前記決定手段は、予め区分された周波数帯域ごとに固有の重みづけ値を設定し、各周波数帯に対して前記色空間上の一点を対応付けておき、
該収音された音の各周波数帯域の強度成分を、前記重みづけ値を用いて足し合わせることによって、前記色空間上の色を決定する
聴覚支援ウエラブルデバイス。

【請求項3】

前記聴覚支援ウエラブルデバイスは眼鏡型であり、
前記表示制御手段は、前記オブジェクトを眼鏡のレンズ面に表示する
請求項１または２に記載の聴覚支援ウエラブルデバイス。

【請求項4】

前記オブジェクトは、前記レンズ面の左右両端部に各々少なくとも１つ表示される
請求項３に記載の聴覚支援ウエラブルデバイス。

【請求項5】

収音手段と、
該収音された音を色に変換する変換手段と、
所定周期で、収音した音の周波数特性に対応する色空間上の色を決定する決定手段と、
前記決定手段にて決定した色のオブジェクトの表示を前記所定周期で繰り返し実行する表示制御手段と
を有する聴覚支援ウエラブルデバイスであって、
前記表示制御手段は、該収音された音と、聴覚支援ウエラブルデバイスの位置及び該収音が行われた時刻の少なくとも何れか一方とに基づいて、前記オブジェクトの色、大きさ、形状、数のうち少なくとも何れか一つを決定する
聴覚支援ウエラブルデバイス。

【請求項6】

前記表示制御手段は、該収音された音の大きさに対応する、前記色の輝度および前記オブジェクトの大きさのうち少なくともいずれか一つを決定する
請求項１～５のうちの何れか１項に記載の聴覚支援ウエラブルデバイス。

【請求項7】

該収音された音に対応する振動をユーザに付与する触覚デバイスをさらに有する
請求項１～６の何れか１項に記載の聴覚支援ウエラブルデバイス。

【請求項8】

収音手段と、
該収音された音を色に変換する変換手段と、
所定周期で、収音した音の周波数特性に対応する色空間上の色を決定する決定手段と、
前記決定手段にて決定した色のオブジェクトの表示を前記所定周期で繰り返し実行する表示制御手段と
を有し、
ユーザの脳波を検出する手段を更に備え、
前記表示制御手段は、前記オブジェクトの表示がなされた際の脳波に更に基づいて、前記オブジェクトを決定する
聴覚支援ウエラブルデバイス。

【請求項9】

コンピュータに、
所定周期で、収音装置により収音された音の周波数特性に対応する色空間上の色を決定するステップと、
該決定した色のオブジェクトの表示を前記所定周期で繰り返し実行するステップと
を実行させるためのプログラムであって、
前記所定周期は１／６０秒～１／３０秒である
プログラム。

【請求項10】

コンピュータに、
所定周期で、収音装置により収音された音の周波数特性に対応する色空間上の色を決定するステップと、
該決定した色のオブジェクトの表示を前記所定周期で繰り返し実行するステップと
を実行させるためのプログラムであって、
前記決定するステップにおいて、予め区分された周波数帯域ごとに固有の重みづけ値を設定し、各周波数帯に対して前記色空間上の一点を対応付けておき、該収音された音の各周波数帯域の強度成分を、前記重みづけ値を用いて足し合わせることによって、前記色空間上の色を決定する
プログラム。

【請求項11】

聴覚支援ウエラブルデバイスのコンピュータに、
所定周期で、収音装置により収音された音の周波数特性に対応する色空間上の色を決定するステップと、
該決定した色のオブジェクトの表示を前記所定周期で繰り返し実行するステップと
を実行させるためのプログラムであって、
前記オブジェクトを表示するステップにおいて、該収音された音と、前記聴覚支援ウエラブルデバイスの位置及び該収音が行われた時刻の少なくとも何れか一方とに基づいて、前記オブジェクトの色、大きさ、形状、数のうち少なくとも何れか一つを決定する
プログラム。

【請求項12】

コンピュータに、
所定周期で、収音装置により収音された音の周波数特性に対応する色空間上の色を決定するステップと、
該決定した色のオブジェクトの表示を前記所定周期で繰り返し実行するステップと
を実行させるためのプログラムであって、
ユーザの脳波を検出するステップをさらに実行させ、
前記オブジェクトの表示がなされた際の脳波に更に基づいて、前記オブジェクトを決定する
プログラム。