(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024003859
(43)【公開日】2024-01-16
(54)【発明の名称】信号処理装置、認知機能改善システム、信号処理方法、およびプログラム
(51)【国際特許分類】
G10L 21/0364 20130101AFI20240109BHJP
A61B 5/38 20210101ALI20240109BHJP
A61B 5/374 20210101ALI20240109BHJP
A61B 10/00 20060101ALI20240109BHJP
A61H 1/02 20060101ALI20240109BHJP
G10L 21/028 20130101ALI20240109BHJP
G10K 15/04 20060101ALI20240109BHJP
G10L 21/00 20130101ALN20240109BHJP
【FI】
G10L21/0364
A61B5/38
A61B5/374
A61B10/00 H
A61H1/02 Z
G10L21/028 Z
G10K15/04 302M
G10L21/00
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022103166
(22)【出願日】2022-06-28
(71)【出願人】
【識別番号】517182918
【氏名又は名称】ピクシーダストテクノロジーズ株式会社
(71)【出願人】
【識別番号】000001926
【氏名又は名称】塩野義製薬株式会社
(74)【代理人】
【識別番号】110002815
【氏名又は名称】IPTech弁理士法人
(72)【発明者】
【氏名】長谷 芳樹
(72)【発明者】
【氏名】高澤 和希
【テーマコード(参考)】
4C046
4C127
【Fターム(参考)】
4C046AA45
4C046BB10
4C046EE32
4C046EE33
4C127AA03
4C127DD02
4C127GG01
4C127GG15
(57)【要約】
【課題】ユーザが振幅変調された音響信号に応じた音を聴取したことにより期待される認知機能改善効果の把握を可能とする技術を提供する。
【解決手段】本開示の一態様の信号処理装置は、振幅変調により生成された音響信号であってガンマ波の周波数に対応する振幅の変化を有する音響信号を出力する信号出力手段と、信号出力手段により出力された音響信号の情報を記憶する記憶手段と、記憶手段により記憶された情報に基づいて決定されたスコアであって信号出力手段により出力された音響信号に応じた認知機能改善効果の大きさに関するスコアを出力するスコア出力手段と、を有する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
振幅変調により生成された音響信号であってガンマ波の周波数に対応する振幅の変化を有する音響信号を出力する信号出力手段と、
前記信号出力手段により出力された音響信号の情報を記憶する記憶手段と、
前記記憶手段により記憶された情報に基づいて決定されたスコアであって前記信号出力手段により出力された音響信号に応じた認知機能改善効果の大きさに関するスコアを出力するスコア出力手段と、
を有する信号処理装置。
【請求項2】
前記スコア出力手段は、光、音、文字、及び画像の少なくとも何れかにより前記スコアを提示する、請求項1に記載の信号処理装置。
【請求項3】
前記スコア出力手段は、前記スコアの変遷を示す情報を提示する、請求項2に記載の信号処理装置。
【請求項4】
前記記憶手段により記憶される音響信号の情報は、前記信号出力手段により音響信号が出力された期間と、出力された音響信号の変調方法と、出力された音響信号の大きさと、出力された音響信号の特徴量との、少なくとも何れかを示す情報を含む、請求項1に記載の信号処理装置。
【請求項5】
前記信号出力手段により出力された音響信号に応じた音を聴取するユーザの聴取環境を判断する判断手段を有し、
前記スコア出力手段により出力されるスコアは、前記記憶手段により記憶された情報と前記判断手段により判断された聴取環境とに基づいて決定される、
請求項1に記載の信号処理装置。
【請求項6】
前記信号出力手段により出力された音響信号に応じた音を聴取するユーザの属性に関する属性情報を取得する属性情報取得手段を有し、
前記スコア出力手段により出力されるスコアは、前記記憶手段により記憶された情報と前記属性情報取得手段により取得された属性情報とに基づいて決定される、
請求項1に記載の信号処理装置。
【請求項7】
認知機能テストの結果を取得するテスト結果取得手段を有し、
前記スコア出力手段により出力されるスコアは、前記記憶手段により記憶された情報と前記テスト結果取得手段により取得されたテスト結果とに基づいて決定される、
請求項1に記載の信号処理装置。
【請求項8】
前記スコア出力手段により出力されたスコアは、認知機能改善のために所定期間においてユーザが聴取すべき音響信号の基準と前記信号出力手段により出力された音響信号との関係を示す、請求項1に記載の信号処理装置。
【請求項9】
前記信号出力手段により出力される音響信号を、前記スコア出力手段により出力されたスコアに基づいて生成する生成手段を有する、請求項1に記載の信号処理装置。
【請求項10】
前記信号出力手段により出力される音響信号は、35Hz以上45Hz以下の周波数に対応する振幅の変化を有する、請求項1に記載の信号処理装置。
【請求項11】
請求項1から請求項10の何れか1項に記載の信号処理装置と、
前記信号処理装置により出力される音響信号に応じた音をユーザに聞かせる手段と、
を備える認知機能改善システム。
【請求項12】
振幅変調により生成された音響信号であってガンマ波の周波数に対応する振幅の変化を有する音響信号を出力し、
出力された音響信号の情報を記憶し、
記憶された情報に基づいて決定されたスコアであって出力された音響信号に応じた認知機能改善効果の大きさに関するスコアを出力する、
信号処理方法。
【請求項13】
コンピュータを、請求項1から請求項10の何れか1項に記載の信号処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、信号処理装置、認知機能改善システム、信号処理方法、およびプログラムに関する。
【背景技術】
【0002】
1秒間に40回程度の頻度でパルス性の音刺激を生物に知覚させ、生物の脳内でガンマ波を誘発させると、生物の認知機能改善に効果があるという研究報告がある(非特許文献1参照)。
ガンマ波とは、脳の皮質の周期的な神経活動を、脳波や脳磁図といった電気生理学的手法により捉えた神経振動のうち、周波数がガンマ帯域(25~140Hz)に含まれるものを指す。
【0003】
特許文献1には、脳波の同調を誘導する刺激周波数に相当する律動的な刺激を作成するために、音波またはサウンドトラックの振幅を増大または減少させることにより、音量を調節することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【非特許文献】
【0005】
【非特許文献1】Multi-sensory Gamma Stimulation Ameliorates Alzheimer’s-Associated Pathology and Improves Cognition Cell 2019 Apr 4;177(2):256-271.e22. doi: 10.1016/j.cell.2019.02.014.
【発明の概要】
【発明が解決しようとする課題】
【0006】
認知機能改善効果を期待するユーザが振幅変調された音響信号を聴く場合に、聴取した音がどの程度の効果を奏するのかを認識できないと、ユーザが変調された音響信号を聴き続けるモチベーションを維持できないことが考えられる。その結果、ユーザが認知機能改善効果を得るために十分な量の聴取を行えないおそれがある。
【0007】
本開示の目的は、ユーザが振幅変調された音響信号に応じた音を聴取したことにより期待される認知機能改善効果の把握を可能とする技術を提供することである。
【課題を解決するための手段】
【0008】
本開示の一態様の信号処理装置は、振幅変調により生成された音響信号であってガンマ波の周波数に対応する振幅の変化を有する音響信号を出力する信号出力手段と、信号出力手段により出力された音響信号の情報を記憶する記憶手段と、記憶手段により記憶された情報に基づいて決定されたスコアであって信号出力手段により出力された音響信号に応じた認知機能改善効果の大きさに関するスコアを出力するスコア出力手段と、を有する。
【図面の簡単な説明】
【0009】
【
図1】本実施形態の音響システムの構成を示すブロック図である。
【
図2】本実施形態の信号処理装置の構成を示すブロック図である。
【
図4】本実施形態の聴取履歴データベースのデータ構造を示す図である。
【
図5】本実施形態の音響信号処理のフローチャートである。
【
図6】本実施形態のスコア提示処理のフローチャートである。
【
図7】本実施形態のスコア提示処理において用いられるスコア関数の例を示す図である。
【
図8】本実施形態のスコア提示処理におけるスコアの提示例を示す図である。
【
図9】変形例1の音響システムの構成を示すブロック図である。
【
図10】変形例1のユーザ端末の構成を示すブロック図である。
【
図11】変形例1のスコア提示処理におけるスコアの提示例を示す図である。
【
図12】変形例2の音響システムの構成を示すブロック図である。
【
図13】変形例2の音響信号処理のフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0011】
(1)音響システムの構成
音響システムの構成について説明する。
図1は、本実施形態の音響システムの構成を示すブロック図である。
【0012】
図1に示すように、音響システム1は、信号処理装置10と、音響出力装置30と、音源装置50とを備える。
【0013】
信号処理装置10と音源装置50は、音響信号を伝送可能な所定のインタフェースを介して互いに接続される。インタフェースは、例えば、SPDIF(Sony Philips Digital Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)、ピンコネクタ(RCAピン)、またはヘッドホン用のオーディオインターフェースである。インタフェースは、Bluetooth(登録商標)などを用いた無線インタフェースであってもよい。信号処理装置10と音響出力装置30は同様に、所定のインタフェースを介して互いに接続される。本実施形態における音響信号は、アナログ信号とデジタル信号との何れか又は両方を含む。
【0014】
信号処理装置10は、音源装置50から取得した入力音響信号に対して音響信号処理を行う。信号処理装置10による音響信号処理は、少なくとも音響信号の変調処理(詳細は後述する。)を含む。また、信号処理装置10による音響信号処理は、音響信号の変換処理(例えば、分離、抽出、または合成)を含み得る。さらに、信号処理装置10による音響信号処理は、例えばAVアンプと同様の音響信号の増幅処理をさらに含み得る。信号処理装置10は、音響信号処理によって生成した出力音響信号を音響出力装置30へ送出する。信号処理装置10は、情報処理装置の一例である。
【0015】
音響出力装置30は、信号処理装置10から取得した出力音響信号に応じた音を発生させる。音響出力装置30は、例えば、ラウドスピーカ(アンプ内蔵スピーカ(パワードスピーカ)を含み得る。)、ヘッドホン、イヤホン、またはスマートスピーカである。
音響出力装置30は、信号処理装置10とともに、一装置として構成することもできる。具体的には、信号処理装置10および音響出力装置30は、TV、ラジオ、音楽プレーヤ、AVアンプ、スピーカ、ヘッドホン、イヤホン、スマートフォン、PC(タブレットPCを含む。以下同じ)、またはスマートスピーカに実装可能である。信号処理装置10および音響出力装置30は、認知機能改善システムを構成する。
【0016】
音源装置50は、入力音響信号を信号処理装置10へ送出する。音源装置50は、例えば、TV、ラジオ、音楽プレーヤ、スマートフォン、PC、電子楽器、電話機、ゲーム機、遊技機、または、放送もしくは情報通信により音響信号を搬送させる装置である。
【0017】
(1-1)信号処理装置の構成
信号処理装置の構成について説明する。
図2は、本実施形態の信号処理装置の構成を示すブロック図である。
【0018】
図2に示すように、信号処理装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。信号処理装置10は、ディスプレイ21に接続される。
【0019】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。プログラム及びデータは、ネットワークを介して提供されてもよいし、コンピュータにより読み取り可能な記録媒体に記録して提供されてもよい。
【0020】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーションのプログラム
【0021】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0022】
プロセッサ12は、記憶装置11に記憶されたプログラムを読み出して実行することによって、信号処理装置10の機能を実現するコンピュータである。なお、信号処理装置10の機能の少なくとも一部が、1又は複数の専用の回路により実現されてもよい。プロセッサ12は、例えば、以下の少なくとも1つである。
・CPU(Central Processing Unit)
・GPU(Graphic Processing Unit)
・ASIC(Application Specific Integrated Circuit)
・FPGA(Field Programmable Array)
・DSP(Digital Signal Processor)
【0023】
入出力インタフェース13は、信号処理装置10に接続される入力デバイスから情報(例えばユーザの指示)を取得し、かつ、信号処理装置10に接続される出力デバイスに情報(例えば、画像、または制御信号)を出力するように構成される。
入力デバイスは、例えば、音源装置50、物理ボタン、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ21、音響出力装置30、発光素子、音響出力装置30とは異なるスピーカ、又は、それらの組合せである。
【0024】
さらに、入出力インタフェース13は、例えば、A/D変換器、D/A変換器、増幅器、ミキサ、フィルタ、などの信号処理用ハードウェアを含み得る。
【0025】
通信インタフェース14は、信号処理装置10と外部装置(例えば、音響出力装置30、または音源装置50)との間の通信を制御するように構成される。
【0026】
ディスプレイ21は、画像(静止画、または動画)を表示するように構成される。ディスプレイ21は、例えば、液晶ディスプレイ、または有機ELディスプレイである。或いは、ディスプレイ21は、7セグメントディスプレイであってもよい。
【0027】
(2)実施形態の一態様
本実施形態の一態様について説明する。
図3は、本実施形態の一態様の説明図である。
【0028】
図3に示すように、信号処理装置10は、音源装置50から音響信号(入力音響信号)を取得する。信号処理装置10は、音響信号に対して振幅変調処理を施す。信号処理装置10は、生成した音響信号(出力音響信号)を音響出力装置30に出力させる。出力音響信号は、ガンマ波の周波数に対応する振幅の変化を有しているため、ユーザUS1が出力音響信号による音を聴取すると、当該ユーザUS1の脳内でガンマ波が誘発される(脳波がガンマ周波数に同期される)。これにより、認知機能の改善(例えば、認知症の治療、または予防)の効果が期待できる。他方、信号処理装置10は、認知機能の改善のための音(出力音響信号に応じて音響出力装置30が発する音)に対するユーザUS1の聴取履歴(「出力された音響信号の情報」の一例)を保存する。一例として、信号処理装置10は、どのような特徴量を備える音響信号にどのような振幅変調を施して出力音響信号を生成したか、ならびにユーザUS1が当該出力音響信号による音をどの程度の再生音量でどの程度の期間に亘って聴取したのか、に関する情報を、後述する聴取履歴データベースに保存する。
【0029】
信号処理装置10は、保存した聴取履歴に基づいて、ユーザUS1が聴取した音に応じた認知機能の改善効果の大きさに関するスコアを算出し、当該スコアをユーザUS1に提示する。これにより、ユーザUS1は、自らの聴取行動によってどの程度の認知機能の改善効果を期待できるかを把握できるので、認知機能の改善のための音の聴取を継続するモチベーションを維持しやすくなる。
【0030】
(3)データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置11に記憶される。或いは、データベースは、信号処理装置10がアクセス可能な外部装置(例えばサーバ)の備える記憶装置に記憶されてもよい。この場合に、複数の異なる信号処理装置10に関する情報が1つのデータベースに集約されていてもよい。
【0031】
(3-1)聴取履歴データベース
本実施形態の聴取履歴データベースについて説明する。
図4は、本実施形態の聴取履歴データベースのデータ構造を示す図である。
【0032】
聴取履歴データベースには、聴取履歴が格納される。聴取履歴は、認知機能の改善のための音に対するユーザの聴取行動に関するログ情報である。
【0033】
図4に示すように、聴取履歴データベースは、「ID」フィールドと、「開始日時」フィールドと、「終了日時」フィールドと、「変調方法」フィールドと、「特徴量」フィールドと、「再生音量」フィールドとを含む。各フィールドは、互いに関連付けられている。
【0034】
「ID」フィールドには、聴取履歴IDが格納される。聴取履歴IDは、聴取履歴を識別する情報である。
【0035】
「開始日時」フィールドには、開始日時情報が格納される。開始日時情報は、対応する聴取履歴において、出力音響信号の再生を開始した日時に関する情報である。
【0036】
「終了日時」フィールドには、終了日時情報が格納される。終了日時情報は、対応する聴取履歴において、出力音響信号の再生を終了した日時に関する情報である。つまり、開始日時情報および終了日時情報に基づいて、ユーザが出力音響信号による音を聴取した期間を特定することができる。
【0037】
「変調方法」フィールドには、変調方法情報が格納される。変調方法情報は、対応する聴取履歴において入力音響信号から出力音響信号を生成するために行われた処理に関する情報である。例えば、変調方法情報は、以下の少なくとも1つに関する情報を含むことができる。
・振幅変調に用いた変調関数
・変調度
・振幅変調が適用された音響信号
・振幅変調が適用されていない音響信号
ここで、入力音響信号に基づいて複数の音響信号を含む中間音響信号(詳細は後述)を生成し、当該複数の音響信号に対して個別に振幅変調の適用/非適用が決定される場合に、当該複数の音響信号の各々は「振幅変調が適用された音響信号」または「振幅変調が適用されていない音響信号」のいずれかに該当する。同様に、入力音響信号が複数の音響信号からなり、当該複数の音響信号に対して個別に振幅変調の適用/非適用が決定される場合に、当該複数の音響信号の各々は「振幅変調が適用された音響信号」または「振幅変調が適用されていない音響信号」のいずれかに該当する。これらの場合に、振幅変調が適用された音響信号のそれぞれについて、振幅変調に用いた関数または変調度が異なり得るため、変調方法情報は各音響信号の「振幅変調に用いた関数」または「変調度」に関する情報を含むことができる。
【0038】
「特徴量」フィールドには、特徴量情報が格納される。特徴量情報は、対応する聴取履歴において振幅変調が適用された音響信号の特徴量に関する情報である。例えば、特徴量情報は、以下の少なくとも1つに関する情報を含むことができる。
・周波数領域における振幅、エネルギー又は実効値の分布(例えば高速フーリエ変換(FFT)の結果)
・時間領域における振幅、エネルギー又は実効値の分布
・音源種別(例えば、ボーカル、楽器、オブジェクト、音楽、会話音声、自然音、または電子音など)
・コンテンツ属性(例えば、音響信号が含まれるTV番組の番組情報)
【0039】
「再生音量」フィールドには、再生音量情報が格納される。再生音量情報は、対応する聴取履歴における出力音響信号の再生音量に関する情報である。信号処理装置10は、音響出力装置30に対して再生音量を指定することにより再生音量情報を制御してもよいし、音響出力装置30から再生音量情報を取得してもよい。
【0040】
(4)情報処理
本実施形態の情報処理について説明する。
【0041】
(4-1)音響信号処理
本実施形態の音響信号処理について説明する。
図5は、本実施形態の音響信号処理のフローチャートである。
【0042】
図5の音響信号処理は、信号処理装置10のプロセッサ12が、記憶装置11に記憶されたプログラムを読み出して実行することによって実現される。
【0043】
図5の音響信号処理は、以下の開始条件のいずれかの成立に応じて開始する。
・他の処理又は外部からの指示によって
図5の音響信号処理が呼び出された。
・関係者が
図5の音響信号処理を呼び出すための操作を行った。
・信号処理装置10が所定の状態(例えば電源投入)になった。
・所定の日時が到来した。
・所定のイベント(例えば、信号処理装置10の起動、または
図5の音響信号処理の前回の実行)から所定の時間が経過した。
【0044】
以降の説明において、関係者とは、例えば以下の少なくとも1人である。
・ユーザ(音響出力装置30から出力される音を聴くユーザであり、患者と呼ぶこともできる)
・ユーザの家族、友人、または知人
・医療関係者(例えばユーザの担当医、看護師、医療技師)
・介護関係者(例えばユーザの担当介護者)
・入力音響信号に対応するコンテンツの作成者、または提供者
・信号処理装置10の提供者
・ユーザが利用する施設の管理者
・保険会社
・ユーザと同一コミュニティに属する他のユーザ
・システムの提供者
・上記の関係者に指定された第三者
【0045】
図5に示すように、信号処理装置10は、入力音響信号の取得(S110)を実行する。
具体的には、信号処理装置10は、音源装置50から送出される入力音響信号を受け付ける。
ステップS110において、信号処理装置10は、入力音響信号のA/D変換をさらに行ってもよい。
【0046】
入力音響信号は、例えば、以下の少なくとも1つに対応する。
・音楽コンテンツ(例えば、歌唱、演奏、またはそれらの組み合わせ(つまり、楽曲)。動画コンテンツに付随する音声コンテンツを含み得る。)
・音声コンテンツ(例えば、朗読、ナレーション、アナウンス、放送劇、独演、会話、独言、またはそれらの組み合わせの音声など。動画コンテンツに付随する音声コンテンツを含み得る。)
・他の音響コンテンツ(例えば、電子音、環境音、または機械音)
ただし、歌唱、または音声コンテンツは、人間の発声器官により発せられる音声に限られず、音声合成技術により生成された音声を含み得る。
【0047】
ステップS110の後に、信号処理装置10は、出力音響信号の生成(S111)を実行する。
具体的には、信号処理装置10は、ステップS110において取得した入力音響信号の少なくとも部分的に振幅変調を施すことで、出力音響信号を生成する。
【0048】
出力音響信号の生成(S111)の第1例として、信号処理装置10は、入力音響信号に基づいて異なる特徴を備える複数の音響信号を含む中間音響信号を生成する。ここで、特徴は、関係者による入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。例えば、信号処理装置10は、入力音響信号を解析した結果に基づいて、中間音響信号を生成するための特徴を決定してもよい。
【0049】
特徴は、例えば以下の少なくとも1つであってよい。
・音の特徴(特に、質的特徴)
・周波数の特徴
・時間の特徴
・振幅の特徴
・出力の特徴
【0050】
信号処理装置10は、中間音響信号に含まれる複数の音響信号から振幅変調を適用する1以上の音響信号(以下、「対象信号」という)を選択する。いずれの音響信号を対象信号として選択するかは、関係者による入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。例えば、信号処理装置10は、音響信号の特徴(音声と音楽のバランス、音量変化、音楽の種類、音色、又はその他の特徴)に基づいて、対象信号を決定してもよい。これにより信号処理装置10は、変調による認知機能の改善効果がより高くなるように対象信号を選択したり、ユーザに与える違和感がより小さくなるように対象信号を選択したりできる。ただし、信号処理装置10は、中間音響信号に含まれる複数の音響信号全てを対象信号として取り扱ってもよい。
【0051】
信号処理装置10は、選択した対象信号に対して振幅変調を行う。一例として、信号処理装置10は、対象信号に対して、ガンマ波に対応する周波数(例えば、35Hz以上45Hz以下の周波数)を持つ変調関数を用いた振幅変調を行う。具体的には、35Hz以上45Hz以下の周期性を有する変調関数をA(t)とし、変調前の音響信号の波形を表す関数をX(t)とし、変調済み音響信号の波形を表す関数をY(t)とした場合に、
Y(t)=A(t)・X(t)
となる。これにより、対象信号には、上記周波数に対応する振幅の変化が付加される。ここで、信号処理装置10は、対象信号の振幅変調に用いる変調関数または当該振幅変調の変調度を決定してもよい。変調関数または変調度は、関係者による入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。また、信号処理装置10は、複数の対象信号に対して共通の変調関数または変調度を決定してもよいし、複数の対象信号に対して個別に変調関数または変調度を決定してもよい。
【0052】
信号処理装置10は、中間音響信号に含まれる複数の音響信号のうち対象信号として選択しなかった音響信号(以下、「非対象信号」という)と、変調済み対象信号とに基づいて、出力音響信号を生成する。つまり、信号処理装置10は、非対象信号および変調済み対象信号を出力音響信号へ変換する。具体的には、信号処理装置10は、非対象信号および変調済み対象信号のうち2以上の音響信号を合成したり、非対象信号および変調済み対象信号の少なくとも1つから音響信号を抽出または分離したりする。音響信号の合成方法は限定されないが、例えば、信号の合算処理、HRTF(Head Related Transfer Function)畳込処理、音源の位置情報を付与する伝達関数の畳込処理、またはこれらの畳込処理をしたのちに合算する処理が含まれ得る。また、信号処理装置10は、出力音響信号の増幅、音量調節、またはD/A変換の少なくとも1つをさらに行ってよい。他方、非対象信号および変調済み対象信号が音響出力装置30の出力形式に合致する場合(例えば、非対象信号および変調済み対象信号が、音響出力装置30としてのサラウンドシステムを構成する各スピーカに関連付けられるマルチチャンネル音響信号に相当する場合)に、かかる変換は不要である。この場合、非対象信号と変調済み対象信号とが出力音響信号として扱われる。
【0053】
出力音響信号の生成(S111)の第2例では、入力音響信号が異なる特徴を備える複数の音響信号を含む。信号処理装置10は、入力音響信号に含まれる複数の音響信号から振幅変調を適用する1以上の音響信号を選択する。出力音響信号の生成(S111)の第2例は、上記第1例の説明を「中間音響信号」を「入力音響信号」として適宜読み替えることで理解可能である。
【0054】
出力音響信号の生成(S111)の第3例では、信号処理装置10は、入力音響信号に対して振幅変調を行う。入力音響信号に対する振幅変調は、出力音響信号の生成(S111)の第1例で説明した対象信号に対する振幅変調と同様である。これにより、入力音響信号には、ガンマ波の周波数に対応する振幅の変化が付加される。ここで、信号処理装置10は、入力音響信号の振幅変調に用いる変調関数または当該振幅変調の変調度を決定してもよい。変調関数または変調度は、関係者による入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。
【0055】
信号処理装置10は、変調済み入力音響信号に基づいて、出力音響信号を生成する。つまり、信号処理装置10は、変調済み入力音響信号を出力音響信号へ変換する。具体的には、信号処理装置10は、変調済み入力音響信号が複数の音響信号からなる場合に当該複数の音響信号のうち2以上を合成したり、変調済み入力音響信号から音響信号を抽出または分離したりする。音響信号の合成方法の詳細は、出力音響信号の生成(S111)の第1例で説明したとおりである。他方、変調済み入力音響信号が音響出力装置30の出力形式に合致する場合(例えば、変調済み入力音響信号が、音響出力装置30としてのサラウンドシステムを構成する各スピーカに関連付けられるマルチチャンネル音響信号に相当する場合)に、かかる変換は不要である。この場合、変調済み入力音響信号が出力音響信号として扱われる。
【0056】
ステップS111の後に、信号処理装置10は、出力音響信号の送出(S112)を実行する。
具体的には、信号処理装置10は、ステップS111において生成した出力音響信号を音響出力装置30へ送出する。音響出力装置30は、出力音響信号に応じた音を発生する。
【0057】
ステップS112の後に、信号処理装置10は、聴取履歴の保存(S113)を実行する。
具体的には、信号処理装置10は、例えば以下の少なくとも1つを含む聴取履歴を聴取履歴データベース(
図4)に保存する。
・ステップS111において振幅変調を適用した音響信号の特徴量に関する情報
・ステップS111において行われた振幅変調の変調方法に関する情報
・音響出力装置30が、ステップS112において送出した出力音響信号の再生を開始した日時に関する情報
・ステップS112において送出した出力音響信号の再生時に音響出力装置30に設定されていた再生音量に関する情報
・音響出力装置30が、ステップS112において送出した出力音響信号の再生を終了した日時に関する情報
【0058】
信号処理装置10は、ステップS113を以て、
図5の音響信号処理を終了する。
なお、信号処理装置10は、一定の再生期間を有する入力音響信号(例えば1曲の音楽コンテンツ)に対して
図5の音響信号処理をまとめて行ってもよいし、入力音響信号の所定の再生区間ごと(例えば100msごと)に
図5の音響信号処理を繰り返し行ってもよい。あるいは、信号処理装置10は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。
図5に示す音響信号処理は、特定の終了条件(例えば、一定時間が経過したこと、関係者による操作が行われたこと、または変調済みの音の出力履歴が所定の状態に達したこと)に応じて終了してもよい。
【0059】
(4-2)スコア提示処理
本実施形態のスコア提示処理について説明する。
図6は、本実施形態のスコア提示処理のフローチャートである。
図7は、本実施形態のスコア提示処理において用いられるスコア関数の例を示す図である。
図8は、本実施形態のスコア提示処理におけるスコアの提示例を示す図である。
【0060】
図6のスコア提示処理は、以下の開始条件のいずれかの成立に応じて開始する。
・他の処理又は外部からの指示によって
図6のスコア提示処理が呼び出された。
・関係者が
図6のスコア提示処理を呼び出すための操作を行った。
・信号処理装置10が所定の状態(例えば電源投入)になった。
・所定の日時が到来した。
・所定のイベント(例えば、信号処理装置10の起動、新たな聴取履歴の保存、または
図6のスコア提示処理の前回の実行)から所定の時間が経過した。
【0061】
図6に示すように、信号処理装置10は、聴取履歴の取得(S120)を実行する。
具体的には、信号処理装置10は、聴取履歴データベース(
図4)からユーザの聴取履歴を取得する。一例として、信号処理装置10は、開始日時情報または終了日時情報の少なくとも1つがスコア算出の対象となる期間(以下、「対象期間」という)に属する聴取履歴を聴取履歴データベースから抽出する。ここで、対象期間は、以下のいずれであってもよい。
・
図6のスコア提示処理が実行された時が属する日、週、または月
・
図6のスコア提示処理が実行された時から過去に遡った所定期間
・関係者によって指定された期間
・アルゴリズムに従って指定された期間
【0062】
ステップS120の後に、信号処理装置10は、スコアの算出(S121)を実行する。
具体的には、信号処理装置10は、ステップS120において取得した聴取履歴に基づいて、各聴取履歴に対応するスコアを算出する。一例として、信号処理装置10は、聴取履歴に含まれる要素(例えば、音の聴取期間、出力音響信号の再生音量、音響信号に対して適用された振幅変調の変調方法、振幅変調が適用された音響信号の特徴量、またはそれらの組み合わせ)に対応するスコアを導出するためのスコア関数を参照可能である。スコア関数は、記憶装置11に保存されていてもよいし、信号処理装置10がアクセス可能な外部装置(例えばサーバ)の備える記憶装置に記憶されてもよい。
【0063】
ここで、スコアは、認知機能の改善効果の程度を表現し、音刺激による脳波惹起量(すなわち、ガンマ波がどの程度誘発されたか)、各時刻における脳波同期度から算出した指標(すなわち、ガンマ波の同期がどの程度の時間実現されていたか)、又は各時刻における脳波惹起比率から算出した指標(すなわち、ガンマ波が他の脳波の帯域に比べてどの程度誘発されていたかの履歴)の推定結果と相関するように定義される。一例として、スコアは、脳波惹起量の増加に対して増加(例えば線形に増加)するように定められる。別の例として、スコアは、脳波惹起量が第1閾値未満の範囲では殆ど増加せず、脳波惹起量が第1閾値を超えてから脳波惹起量の増加に対して増加するように定められる。さらなる別の例として、スコアは、脳波惹起量が第2閾値未満の範囲では脳波惹起量の増加に対して増加し、脳波惹起量が第2閾値を超えてから殆ど増加しない(つまり飽和する)ように定められる。多様な音響信号を多様な条件下で被験者に聴取させた場合の当該被験者の脳波惹起量を脳波計で計測することで、聴取履歴に含まれる要素と脳波惹起量との関係を記述することができる。聴取履歴に含まれる要素と脳波惹起量との関係、およびスコアと脳波惹起量との関係に基づいて、聴取履歴に含まれる要素に対応するスコアを導出するためのスコア関数を作成することができる。スコア関数は、聴取履歴の要素を引数とする数式として定義されてもよいし、ルックアップテーブルとして定義されてもよい。
【0064】
一例として、信号処理装置10は、
図7に示すスコア関数を用いて、聴取履歴に対応するスコアを算出する。
図7のスコア関数では、スコアは、聴取期間の増加に対して、増加または維持するように(換言すれば減少しないように)定義される。また、
図7のスコア関数では、再生音量C1の場合のスコアが、再生音量C2(C1より小)の場合のスコアよりも高くなるように定義される。
【0065】
信号処理装置10は、ステップS120において複数の聴取履歴を取得した場合に、各聴取履歴に対応するスコアを累積加算することで、対象期間における累積スコアの変遷(つまり、時間対累積スコアの変化)を算出してもよい。
【0066】
信号処理装置10は、対象期間におけるユーザの目標スコアが定められている場合に、当該目標スコアに対する累積スコアの割合をユーザの達成度として算出してもよい。目標スコアは、認知機能の改善のために対象期間内にユーザが獲得すべきスコア(つまり、聴取すべき音)の基準に相当する。信号処理装置10は、一時点の達成度を算出してもよいし、対象期間における達成度の変遷(つまり、時間対達成度の変化)を算出してもよい。
【0067】
信号処理装置10は、スコアの算出結果を図示しないデータベースに保存しておいてもよい。これにより、過去に算出したスコアを短時間かつ計算資源の消費を抑えて取得することができる。
【0068】
ステップS121の後に、信号処理装置10は、スコアの提示(S122)を実行する。
具体的には、信号処理装置10は、ステップS121において算出したスコアを、出力デバイスを介してユーザに提示する。信号処理装置10は、スコアを、光、音、文字、画像、又は機器の動きの少なくともいずれかを用いて表現することができる。提示の対象となるスコアは、以下の少なくとも1つを含むことができる。
・聴取履歴毎のスコア
・対象期間の任意の時点における累積スコア
・対象期間における累積スコアの変遷
・対象期間の任意の時点における達成度
・対象期間における達成度の変遷
・目標スコアへの未達度
【0069】
一例として、
図8に示すように、信号処理装置10は、発光素子22(出力デバイスの一例)の発光状態によって、ユーザに当日の達成度を提示することができる。発光素子22は、例えばLED(Light Emitting Diode)である。
図8の例では、信号処理装置10は、点灯させる発光素子22と、消灯させる発光素子22との組み合わせにより、スコア(達成度)を表現する。このほか、信号処理装置10は、発光素子22の発光色、発光強度、点滅パターン、またはそれらの組み合わせによりスコアを表現してもよい。
【0070】
或いは、信号処理装置10は、ディスプレイ21に表示する画像または文字によりスコアを表現してもよいし、スピーカ(出力デバイスの一例)または音響出力装置30から出力する音によりスコアを表現してもよい。
【0071】
信号処理装置10は、ステップS122を以て、
図6のスコア提示処理を終了する。
なお、信号処理装置10は、
図6のスコア提示処理の終了後も、ステップS122におけるスコアの提示状態を維持してもよい。
【0072】
(5)小括
以上説明したように、本実施形態の信号処理装置10は、振幅変調により生成され、かつガンマ波の周波数に対応する振幅の変化を有する音響信号(つまり、出力音響信号)を出力するとともに、当該出力した音響信号の情報(例えば、聴取履歴)を記憶する。信号処理装置10は、かかる音響信号に応じた認知機能の改善効果の大きさに関するスコアを、記憶した情報に基づいて出力する。これにより、ユーザが採った聴取行動によってどの程度の認知機能の改善効果を期待できるかを把握することができる。
【0073】
信号処理装置10は、スコアを、光、音、文字、及び画像の少なくとも何れかにより提示してもよい。これにより、ユーザは、自らの聴取行動によってどの程度の認知機能の改善効果を期待できるかを把握できるので、認知機能の改善のための音の聴取を継続するモチベーションを維持しやすくなる。また、信号処理装置10は、スコアの変遷を示す情報を提示してもよい。これにより、ユーザは、自らの聴取行動による認知機能の改善効果の把握とともに、過去の聴取行動を振り返りやすくなるので、認知機能の改善のための音の聴取を継続するモチベーションをいっそう維持しやすくなる。
【0074】
信号処理装置10によって記憶される音響信号の情報は、当該音響信号が出力された期間、当該音響信号に適用された変調方法、当該音響信号に応じて発せられた音の大きさ(音量)、または当該音響信号の特徴量の少なくとも1つに関する情報を含んでもよい。これにより、いっそう妥当なスコアを得ることができる。
【0075】
スコアは、認知機能の改善のために所定期間においてユーザが聴取すべき音(に対応する音響信号)の基準と、出力された音響信号との間の関係を示す達成度を含んでもよい。これにより、ユーザに、所定期間において必要とされる聴取行動とのギャップを認識させ、聴取行動の改善を促すことができる。
【0076】
出力音響信号は、35Hz以上45Hz以下の周波数に対応する振幅の変化を有していてもよい。これにより、ユーザの脳内においてガンマ波を誘発させ、認知機能の改善効果を得ることができる。
【0077】
(6)変形例
本実施形態の変形例について説明する。
【0078】
(6-1)変形例1
変形例1について説明する。変形例1は、ユーザ端末を介してスコアを提示する例である。
【0079】
(6-1-1)音響システムの構成
音響システムの構成について説明する。
図9は、変形例1の音響システムの構成を示すブロック図である。
【0080】
図9に示すように、音響システム2は、信号処理装置10と、音響出力装置30と、音源装置50と、ユーザ端末70とを備える。
【0081】
信号処理装置10とユーザ端末70は、ネットワーク(例えば、インターネット又はイントラネット)を介して互いに接続されてもよいし、所定のインタフェース(例えば、Bluetoothなどを用いた無線インタフェース)を介して互いに接続されてもよい。なお、信号処理装置10とユーザ端末70は、図示しない外部装置(例えばサーバ)を介して接続されてもよい。
【0082】
ユーザ端末70は、スマートフォン、PC、タブレット端末、スマートウォッチ、リモコン、イヤホン、スマートスピーカ、無線スピーカ、カーナビ、TV、ラジオ、音楽プレーヤ、電子楽器、電話機、ゲーム機、または遊技機として実装可能である。ユーザ端末70は、信号処理装置10、音響出力装置30、または音源装置50の少なくとも1つとともに、一装置として構成することもできる。ユーザ端末70は、本実施形態において説明したスコアをユーザに提示する機能を備える。加えて、ユーザ端末70は、以下の少なくとも1つの機能を備えていてよい。
・入力音響信号を選択する機能
・入力音響信号を信号処理装置10へ送信する機能
・出力音響信号を再生する音響出力装置30を選択する機能
・再生音量を設定する機能
・出力音響信号の生成方法(例えば、変調方法、2以上の音響信号の合成比率、振幅変調を適用する音響信号の決定法、など)を設定する機能
・出力音響信号を信号処理装置10から受信する機能(信号処理装置10およびユーザ端末70がそれぞれ独立の装置として構成される場合)
・スコアの提示方法を設定する機能
・出力音響信号の再生を開始または停止する機能
・入力音響信号に対する加工(特に、振幅変調)の有効または無効を設定する機能
【0083】
(6-1-1-1)ユーザ端末の構成
ユーザ端末の構成について説明する。
図10は、変形例1のユーザ端末の構成を示すブロック図である。
【0084】
図10に示すように、ユーザ端末70は、記憶装置71と、プロセッサ72と、入出力インタフェース73と、通信インタフェース74とを備える。ユーザ端末70は、ディスプレイ81に接続される。
【0085】
記憶装置71は、プログラム及びデータを記憶するように構成される。記憶装置71は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。プログラム及びデータは、ネットワークを介して提供されてもよいし、コンピュータにより読み取り可能な記録媒体に記録して提供されてもよい。
【0086】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
【0087】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【0088】
プロセッサ72は、記憶装置71に記憶されたプログラムを読み出して実行することによって、ユーザ端末70の機能を実現するコンピュータである。なお、ユーザ端末70の機能の少なくとも一部が、1又は複数の専用の回路により実現されてもよい。プロセッサ72は、例えば、以下の少なくとも1つである。
・CPU
・GPU
・ASIC
・FPGA
・DSP
【0089】
入出力インタフェース73は、ユーザ端末70に接続される入力デバイスから情報(例えユーザの指示)を取得し、かつ、ユーザ端末70に接続される出力デバイスに情報(例えば画像)を出力するように構成される。
入力デバイスは、例えば、物理ボタン、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ81、スピーカ、又は、それらの組合せである。
【0090】
通信インタフェース74は、ユーザ端末70と外部装置(例えば、信号処理装置10)との間の通信を制御するように構成される。
【0091】
ディスプレイ81は、画像(静止画、または動画)を表示するように構成される。ディスプレイ81は、例えば、液晶ディスプレイ、または有機ELディスプレイである。
【0092】
(6-1-2)スコア提示処理
変形例1のスコア提示処理について説明する。
図11は、変形例1のスコア提示処理におけるスコアの提示例を示す図である。
【0093】
変形例1のスコア提示処理は、本実施形態のスコア提示処理と同様の開始条件の成立に応じて開始する。
【0094】
信号処理装置10は、聴取履歴の取得(S120)、およびスコアの算出(S121)を実行する。聴取履歴の取得(S120)、およびスコアの算出(S121)の詳細は、本実施形態において説明したとおりである。
【0095】
ステップS121の後に、信号処理装置10は、スコアの提示(S122)を実行する。
具体的には、変形例1の信号処理装置10は、ステップS121において算出したスコアを、ユーザ端末70を介してユーザに提示する。信号処理装置10は、スコアの提示に必要な情報(例えば、スコアを特定可能な情報、またはスコアの提示に利用可能な画像、音、文字、もしくは動きに関する情報)をユーザ端末70へ送信する。
【0096】
一例として、
図11に示すように、信号処理装置10は、ユーザ端末70のディスプレイ81に表示される画像によって、ユーザに現時点での達成度、およびユーザの当日の達成度の変遷を提示してもよい。
図11の画面は、オブジェクトA811と、オブジェクトA812とを含む。
【0097】
オブジェクトA811は、現時点でのユーザの達成度を表示する。オブジェクトA811は、ユーザの達成度を円グラフおよび数字により表現する。
【0098】
オブジェクトA812は、ユーザの当日の達成度の変遷を折れ線グラフにより表現する。オブジェクトA812では、単位時間あたりの達成度の増加率が高かった期間(「高効率」)、単位時間あたりの達成度の増加率が低かった期間(「低効率」)、入力音響信号に対する加工(振幅変調)を無効にしていた期間(「加工OFF」)、および出力音響信号の再生が停止していた期間(「音声OFF」)が時間軸上で明示される。「高効率」の期間は、認知機能の改善のために対象期間内にユーザが獲得すべきスコアを効率よく獲得した期間と言い換えることができ、「低効率」の期間は、当該スコアの獲得の効率が低かった期間と言い換えることができる。なお、効率の分類は2段階でなく3段階以上であってもよい。また、現在時刻が表示されてもよい。
【0099】
信号処理装置10は、ステップS122を以て、
図6のスコア提示処理を終了する。
なお、信号処理装置10は、
図6のスコア提示処理の終了後も、ステップS122におけるスコアの提示状態を維持してもよい。
【0100】
(6-1-3)小括
以上説明したように、変形例1の信号処理装置10は、ユーザ端末70を介して、スコアを提示する。これにより、ユーザは、自らの聴取行動によってどの程度の認知機能の改善効果を期待できるかを、ユーザ端末70を介して把握できるので、認知機能の改善のための音の聴取を継続するモチベーションを維持しやすくなる。
【0101】
なお、スコアの提示は、アプリ画面、またはウェブサイト画面上で行われてもよいし、メールまたはその他のメッセージ(例えば、SNS(Social Networking Service)メッセージ、SMS(Short Message Service)メッセージ、など)の閲覧画面を用いて提示されてもよい。あるいは、スマートスピーカ、テレビ、スマートウォッチ、カーナビなどの画面にスコア情報が表示されてもよい。
【0102】
(6-2)変形例2
変形例2について説明する。変形例2は、ユーザの聴取環境を考慮してスコアを算出する例である。
【0103】
(6-2-1)音響システムの構成
音響システムの構成について説明する。
図12は、変形例2の音響システムの構成を示すブロック図である。
【0104】
図12に示すように、音響システム3は、信号処理装置10と、音響出力装置30と、音源装置50と、センサ90とを備える。
【0105】
信号処理装置10とセンサ90は、ネットワーク(例えば、インターネット又はイントラネット)を介して互いに接続されてもよいし、所定のインタフェース(例えば、Bluetoothなどを用いた無線インタフェース)を介して互いに接続されてもよい。
【0106】
センサ90は、ユーザの聴取環境に関するセンシングを行う。具体的には、センサ90は、以下の少なくとも1つに関する物理量を測定する。
・ユーザの聴取位置(特に、音響出力装置30に対する相対位置)
・音響出力装置30から発せられた音によってユーザの聴取位置に生じる音圧
・音響出力装置30から発せられた音の聴取時におけるユーザの振る舞い(例えば、聴取に集中しているか、別のことに注意が向いているか)
【0107】
センサ90は、例えば以下の少なくとも1つを含むことができる。
・電波による測位システム(例えばBluetoothのAoA(Angle of Arrival))を構成する機器(例えば、無線信号を送信または受信する機器)
・測距センサ(例えば、超音波センサ、またはLIDAR(Light Detection And Ranging))
・例えば、椅子、ベッド、または床などに埋め込まれた圧力センサ
・カメラ(可視光カメラ、または赤外線カメラ)
・マイクロホン
【0108】
(6-2-2)情報処理
変形例2の情報処理について説明する。
【0109】
(6-2-2-1)音響信号処理
変形例2の音響信号処理について説明する。
図13は、変形例2の音響信号処理のフローチャートである。
【0110】
変形例2の音響信号処理は、本実施形態の音響信号処理と同様の開始条件の成立に応じて開始する。
【0111】
図13に示すように、信号処理装置10は、入力音響信号の取得(S110)、出力音響信号の生成(S111)、および出力音響信号の送出(S112)を実行する。入力音響信号の取得(S110)、出力音響信号の生成(S111)、および出力音響信号の送出(S112)の詳細は、本実施形態において説明したとおりである。
【0112】
ステップS212の後に、信号処理装置10は、聴取環境の判定(S214)を実行する。
具体的には、信号処理装置10は、センサ90のセンシング結果を取得する。信号処理装置10は、センシング結果に基づいて、ユーザの聴取環境を判定する。ユーザの聴取環境は、例えば、以下の少なくとも1つを含むことができる。
・音響出力装置30からユーザの聴取位置までの距離、またはその分類結果
・音響出力装置30からユーザの聴取位置までの方向、またはその分類結果
・音響出力装置30から発せられた音によってユーザの聴取位置に生じる音圧(つまり、音響出力装置30から発せられた音がどの程度減衰するか)、またはその分類結果
・音響出力装置30から発せられた音の聴取時におけるユーザの振る舞い(例えば、座っている、寝転がっている、運動している、スマホを操作している、等の活動の種類)
【0113】
ステップS214の後に、信号処理装置10は、聴取履歴の保存(S113)を実行する。
具体的には、信号処理装置10は、ステップS214における判定結果に関する情報(以下、「聴取環境情報」という)を含む聴取履歴を聴取履歴データベースに保存する。聴取履歴に含むことのできる他の要素は、本実施形態において説明したとおりである。
【0114】
信号処理装置10は、ステップS113を以て、
図13の音響信号処理を終了する。
なお、信号処理装置10は、一定の再生期間を有する入力音響信号(例えば1曲の音楽コンテンツ)に対して
図13の音響信号処理をまとめて行ってもよいし、入力音響信号の所定の再生区間ごと(例えば100msごと)に
図13の音響信号処理を繰り返し行ってもよい。あるいは、信号処理装置10は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。
図13に示す音響信号処理は、特定の終了条件(例えば、一定時間が経過したこと、関係者による操作が行われたこと、または変調済みの音の出力履歴が所定の状態に達したこと)に応じて終了してもよい。
【0115】
(6-2-2-2)スコア提示処理
変形例2のスコア提示処理について説明する。
【0116】
変形例2のスコア提示処理は、本実施形態のスコア提示処理と同様の開始条件の成立に応じて開始する。
【0117】
信号処理装置10は、聴取履歴の取得(S120)を実行する。聴取履歴の取得(S120)の詳細は、本実施形態において説明したとおりである。
【0118】
ステップS120の後に、信号処理装置10は、スコアの算出(S121)を実行する。
具体的には、信号処理装置10は、ステップS120において取得した聴取履歴に基づいて、各聴取履歴に対応するスコアを算出する。本実施形態と同様に、信号処理装置10は、スコア関数を用いて、聴取履歴に対応するスコアを算出する。変形例2では、さらに、信号処理装置10は、聴取履歴に含まれる聴取環境情報に応じて、当該聴取履歴に対応するスコアを補正する。
【0119】
スコアの算出(S121)の第1例として、信号処理装置10は、音響出力装置30からユーザの聴取位置までの距離の増加に対して、スコアを低下または維持するように補正する。一例として、補正前のスコアが同一であるとして、信号処理装置10は、距離が第1値の場合に、距離が第2値(第2値は第1値よりも小さい)である場合に比べてスコアが小さくなるように補正する。音響出力装置30から離れた聴取位置では、ユーザに到達する音圧の低下や、室内の反響又は外来音による変調度の相対的な低下が発生し、聴取による認知機能改善効果が低下する可能性があるが、かかる補正を行うことでより妥当なスコアを得ることができる。
【0120】
スコアの算出(S121)の第2例として、信号処理装置10は、音響出力装置30からユーザの聴取位置までの方向と音響出力装置30の指向性の方向との差(以下、「方向差」という)の大きさの増加に対して、スコアを低下または維持するように補正する。一例として、補正前のスコアが同一であるとして、信号処理装置10は、方向差が第1値の場合に、方向差が第2値(第2値は第1値よりも小さい)である場合に比べてスコアが小さくなるように補正する。補正量は、音響出力装置30の指向性の特性(利得特性)に応じて定められてよい。音響出力装置30の指向性の方向から離れた方向に聴取位置があると、ユーザに到達する音圧の低下又は変調度の低下が発生し、聴取による認知機能改善効果が低下する可能性があるが、かかる補正を行うことでより妥当なスコアを得ることができる。
【0121】
スコアの算出(S121)の第3例として、信号処理装置10は、音響出力装置30から発せられた音によってユーザの聴取位置に生じる音圧の低下又は変調度の低下に対して、スコアを低下または維持するように補正する。一例として、補正前のスコアが同一であるとして、信号処理装置10は、音圧が第1値の場合に、音圧が第2値(第2値は第1値よりも大きい)である場合に比べてスコアが小さくなるように補正する。ユーザに到達する音圧の低下又は変調度の低下が発生すると、聴取による認知機能の改善効果が低下する可能性があるが、かかる補正を行うことでより妥当なスコアを得ることができる。
【0122】
スコアの算出(S121)の第4例として、音響出力装置30から発せられた音の聴取時におけるユーザの振る舞い(例えば、聴取状況、覚醒状態、又はストレス度など)毎に補正量が予め定められており、信号処理装置10は当該補正量に従ってスコアを補正する。音響出力装置30から発せられた音の聴取時におけるユーザの振る舞いによって、聴取による認知機能改善効果が変動する可能性があるが、かかる補正を行うことでより妥当なスコアを得ることができる。
【0123】
ステップS120の後に、信号処理装置10は、スコアの提示(S122)を実行する。スコアの提示(S122)の詳細は、本実施形態において説明したとおりである。
【0124】
(6-2-3)小括
以上説明したように、変形例2の信号処理装置10は、出力音響信号に対応する音に対するユーザの聴取環境を判定し、当該判定結果にさらに基づいてスコアを算出する。これにより、ユーザの聴取環境が認知機能の改善効果に及ぼす影響を考慮したスコアを得ることができる。
【0125】
(7)その他の変形例
記憶装置11は、ネットワークを介して、信号処理装置10と接続されてもよい。ディスプレイ21は、信号処理装置10と一体化されてもよい。記憶装置71は、ネットワークを介して、ユーザ端末70と接続されてもよい。ディスプレイ81は、ユーザ端末70と一体化されてもよい。
【0126】
上記の情報処理の各ステップは、信号処理装置10及びユーザ端末70の何れでも実行可能である。上記の情報処理のステップの一部を、ユーザ端末70または図示しない外部装置(例えばサーバ)が実行してもよい。例えば、信号処理装置10は聴取履歴を外部装置に記憶し、外部装置が聴取履歴に基づいてスコアを算出し、信号処理装置10は外部装置により算出されたスコアを取得して提示してもよい。この場合、信号処理装置10は、
図6のS120の処理を省略し、S121において外部装置からスコアを取得してもよい。また例えば、信号処理装置10は算出されたスコアを外部装置へ送信し、外部装置がスコアを提示してもよい。この場合、信号処理装置は、S122においてスコアを外部装置へ送信する。
【0127】
上記説明では、信号処理装置10が1つの音響出力装置30と接続される例を示した。信号処理装置10は複数の音響出力装置30と接続されてもよく、この場合に信号処理装置10はいずれの音響出力装置30に出力音響信号を送出するかを選択可能に構成されてよい。
【0128】
上記説明では、信号処理装置10が1つの音源装置50と接続される例を示した。信号処理装置10は複数の音源装置50と接続されてもよく、この場合に信号処理装置10はいずれの音源装置50から入力音響信号を取得するかを選択可能に構成されてよい。
【0129】
変形例2では、聴取環境情報を考慮してスコアを算出する例を示した。信号処理装置10は、他の情報を考慮してスコアを算出してもよい。
第1例として、信号処理装置10は、出力音響信号に応じた音を聴取するユーザの属性に関する情報(以下、「属性情報」という)を取得し、当該属性情報にさらに基づいてスコアを算出してもよい。属性情報は、例えば、ユーザの年齢、性別、聴力(帯域別の聴力又は音声の聞き取り能力を含み得る)、認知症リスク、過去の聴取履歴(過去の聴取履歴の分析結果を含み得る)、または音聴取に対する嗜好もしくは意思(コミットメント)、過去の脳波測定もしくは心理実験などの結果又はその結果に基づく特徴量、の少なくとも1つを含むことができる。これにより、ユーザの属性が認知機能の改善効果に及ぼす影響を考慮したスコアを得ることができる。信号処理装置10は、ユーザの識別のために、センサ90(特に、電波による測位システムを構成する機器、またはカメラ)を用いてもよい。ユーザの聴力を測定するために、信号処理装置10またはユーザ端末70に聴力検査機能が実装されてよい。
第2例として、信号処理装置10は、出力音響信号に応じた音を聴取するユーザの認知機能テストの結果(つまり、ユーザの現状の認知機能)を取得し、当該テストの結果にさらに基づいてスコアを算出してもよい。これにより、ユーザの現状の認知機能が認知機能の改善効果に及ぼす影響を考慮したスコアを得ることができる。信号処理装置10またはユーザ端末70に、認知機能テストを行う機能(例えば、ユーザとの音声対話を通じて認知機能を計測する機能)が実装されてもよい。認知機能テストには例えばミニメンタルステート検査やアルツハイマー病評価スケールなどの既存の手法を用いることができるが、認知機能テストの内容はこれに限定されない。
【0130】
信号処理装置10は、出力音響信号の生成方法(例えば、変調方法、2以上の音響信号の合成比率、振幅変調を適用する音響信号の決定法、など)、または出力音響信号に対応する音の再生音量、を、ユーザのスコアに応じて変更してもよい。第1例として、信号処理装置10は、目標スコアが定められた期間の満了までの残り時間が短いほど、聴取により獲得可能なスコアが高い音に対応する出力音響信号を生成してもよいし、再生音量を大きくしてもよい。第2例として、信号処理装置10は、ユーザの現状の達成度が低いほど、聴取により獲得可能なスコアが高い音に対応する出力音響信号を生成してもよいし、再生音量を大きくしてもよい。また、信号処理装置10は、スコアの達成度が所定の基準に満たない場合に、振幅変調された音響信号を自動で再生してもよいし、脳波惹起量が大きい所定の音響信号(例えば、入力音響信号とは無関係な音であってガンマ波に対応する周波数を有するビープ音又はチャープ音)を再生してもよい。これにより、ユーザがスコアの獲得状況に細かく意識を向けなくても、目標スコアを達成できるようにアシストすることが可能となる。
【0131】
上記説明では、信号処理装置10によって保存された聴取履歴に基づいてスコアを算出する例を示した。しかしながら、かかる聴取履歴に加えて、またはかかる聴取履歴の代わりに、マイクロホンによって受信された音声信号(例えば、音声信号の強度、持続時間、波形、またはそれらの組み合わせ)に基づいてスコアを算出してもよい。かかるマイクロホンは、ユーザの聴取位置に対して、音響出力装置30よりも近い位置に設置されてよく、例えばユーザ端末70の備えるマイクロホン、又はユーザの身体(例えば耳の近傍)に装着可能なマイクロホンであってよい。
【0132】
出力音響信号の生成方法(例えば、変調方法、2以上の音響信号の合成比率、振幅変調を適用する音響信号の決定法、など)を決定するためのアルゴリズム、または出力音響信号のデフォルトの生成方法は、信号処理装置10のファームウェアのアップデートにより変更されてよい。ファームウェアのアップデートは、例えば信号処理装置10が外部装置(例えば図示しないサーバ)と通信することで行われる。同様に、スコアの算出方法、スコアの提示方法、なども信号処理装置10のファームウェアのアップデートにより変更されてよい。信号処理装置10のファームウェアのアップデート内容は、事前に関係者に通知されてよく、信号処理装置10は、関係者がアップデートの前後の音を聴き比べるための動作モードを提供してもよい。
【0133】
音源装置50から入力音響信号を取得する例を示したが、入力音響信号はマイクロホンにより環境音の受信することで生成されてもよい。入力音響信号は、記憶装置11または信号処理装置10に接続されたリムーバブルメディアから読み出されてもよい。音源装置50(信号処理装置10に内蔵された音源装置50を含む)が、入力音響信号を都度生成してもよい。
【0134】
上記説明では、入力音響信号に由来する音響信号を変調する例を示した。しかしながら、入力音響信号と、当該入力音響信号に由来しない変調済み音響信号とに基づいて出力音響信号を生成してもよい。
【0135】
上記説明では、変調関数が35Hz以上45Hz以下の周波数を備える場合の例を中心に説明した。ただし、信号処理装置10が用いる変調関数はこれに限定されず、聴者の脳内におけるガンマ波の誘発に影響する変調関数であればよい。例えば、変調関数が25Hz以上140Hz以下の周波数を備えていてもよい。また例えば、変調関数の周波数が経時的に変化してもよく、変調関数が部分的に35Hz未満の周波数又は45Hzより高い周波数を有していてもよい。
【0136】
上記説明では、信号処理装置10により生成された出力音響信号が、音を発してユーザに聞かせる音響出力装置30へ出力される場合について説明した。ただし、信号処理装置10による出力音響信号の出力先はこれに限定されない。例えば、信号処理装置10は、通信ネットワークを介して、又は放送により、外部の記憶装置又は情報処理装置へ出力音響信号を出力してもよい。このとき、信号処理装置10は、変調処理により生成された出力音響信号と共に、変調処理がされていない入力音響信号を、外部の装置へ出力してもよい。これにより、外部装置は、変調処理がされていない音響信号と変調処理がされた音響信号とのうち一方を任意に選択して再生することができる。
また、信号処理装置10は、出力音響信号と共に、変調処理の内容を示す情報を外部の装置へ出力してもよい。変調処理の内容を示す情報は、例えば、以下の何れかを含む。
・変調された音響信号に対応する音源を示す情報
・変調された音響信号に対応するチャンネルを示す情報
・変調された音響信号の特徴を示す情報
・変調関数を示す情報
・変調度を示す情報
・音量を示す情報
これにより、外部装置は、変調処理の内容に応じて音響信号の再生方法を変更することができる。
【0137】
上記説明では、信号処理装置10が、振幅変調を含む変調処理を行い、変調済み音響信号を生成する例を示した。しかしながら、信号処理装置10は、外部装置によって生成された変調済み音響信号を取得し、当該変調済み音響信号に基づく出力音響信号を送出してもよい。この場合に、信号処理装置10は、聴取履歴を生成するために必要な情報(例えば、変調方法情報、または特徴量情報)を外部装置から取得してもよい。
【0138】
信号処理装置10は、スコアと合わせて、他の情報(例えば、TV視聴時間(番組の種類、視聴時間、等)、ウェアラブル端末から取得したユーザのバイタルデータ)を提示してもよい。
【0139】
また、信号処理装置10は、入力音響信号と共に付加情報(例えばMP3ファイルにおけるID3タグ)を取得した場合に、当該付加情報を変更して出力音響信号と共に外部装置へ出力してもよい。
【0140】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0141】
1 :音響システム
2 :音響システム
3 :音響システム
10 :信号処理装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
21 :ディスプレイ
22 :発光素子
30 :音響出力装置
50 :音源装置
70 :ユーザ端末
71 :記憶装置
72 :プロセッサ
73 :入出力インタフェース
74 :通信インタフェース
81 :ディスプレイ
90 :センサ