IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ VIE STYLE株式会社の特許一覧

特許7558540情報処理方法、記録媒体及び情報処理装置
<>
  • 特許-情報処理方法、記録媒体及び情報処理装置 図1
  • 特許-情報処理方法、記録媒体及び情報処理装置 図2
  • 特許-情報処理方法、記録媒体及び情報処理装置 図3
  • 特許-情報処理方法、記録媒体及び情報処理装置 図4
  • 特許-情報処理方法、記録媒体及び情報処理装置 図5
  • 特許-情報処理方法、記録媒体及び情報処理装置 図6
  • 特許-情報処理方法、記録媒体及び情報処理装置 図7
  • 特許-情報処理方法、記録媒体及び情報処理装置 図8
  • 特許-情報処理方法、記録媒体及び情報処理装置 図9
  • 特許-情報処理方法、記録媒体及び情報処理装置 図10
  • 特許-情報処理方法、記録媒体及び情報処理装置 図11
  • 特許-情報処理方法、記録媒体及び情報処理装置 図12
  • 特許-情報処理方法、記録媒体及び情報処理装置 図13
  • 特許-情報処理方法、記録媒体及び情報処理装置 図14
  • 特許-情報処理方法、記録媒体及び情報処理装置 図15
  • 特許-情報処理方法、記録媒体及び情報処理装置 図16
  • 特許-情報処理方法、記録媒体及び情報処理装置 図17
  • 特許-情報処理方法、記録媒体及び情報処理装置 図18
  • 特許-情報処理方法、記録媒体及び情報処理装置 図19
  • 特許-情報処理方法、記録媒体及び情報処理装置 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-20
(45)【発行日】2024-10-01
(54)【発明の名称】情報処理方法、記録媒体及び情報処理装置
(51)【国際特許分類】
   G10K 15/04 20060101AFI20240924BHJP
【FI】
G10K15/04 302M
【請求項の数】 4
(21)【出願番号】P 2023571398
(86)(22)【出願日】2023-08-04
(86)【国際出願番号】 JP2023028596
【審査請求日】2023-11-16
【早期審査対象出願】
(73)【特許権者】
【識別番号】515059979
【氏名又は名称】VIE株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】藤井 進也
(72)【発明者】
【氏名】田中 堅大
(72)【発明者】
【氏名】成瀬 康
(72)【発明者】
【氏名】今村 泰彦
【審査官】中村 天真
(56)【参考文献】
【文献】特開2022-006706(JP,A)
【文献】特開昭61-233787(JP,A)
【文献】特開昭58-115488(JP,A)
【文献】登録実用新案第3013863(JP,U)
【文献】実開昭49-055032(JP,U)
【文献】国際公開第2018/030404(WO,A1)
【文献】特許第7307929(JP,B1)
【文献】特開2021-194356(JP,A)
【文献】特開2017-111414(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61M 21/00-21/02
G10G 1/00- 3/04
G10H 1/00- 7/12
G10K 15/04
(57)【特許請求の範囲】
【請求項1】
情報処理装置に含まれるプロセッサが、
ユーザの脳に、脳活動により生じる脳波に関するデルタ波、シータ波、アルファ波、ベータ波、及びガンマ波の少なくとも1つの所定周波数帯域を刺激する第1の楽器音であって、ドラム、ベース、ギター、及びキーボードの1つを示す前記第1の楽器音に関する第1の刺激楽器音データを生成することであって、前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する純音を含む刺激音データに、前記第1の楽器音の特徴に設定されたエンベロープ加工、及び/又は、前記第1の楽器音に関連付けられるサウンドデータの合成を行うことを含む、前記生成すること、
前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する第2の楽器音であって、ドラム、ベース、ギター、及びキーボードのうち、前記第1の楽器音とは異なる前記第2の楽器音に関する第2の刺激楽器音データを生成することであって、前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する純音を含む刺激音データに、前記第2の楽器音の特徴に設定されたエンベロープ加工、及び/又は、前記第2の楽器音に関連付けられるサウンドデータの合成を行うことを含む、前記生成すること、
前記第1の刺激楽器音データと前記第2の刺激楽器音データとを合成すること、
合成された前記第1の刺激楽器音データと前記第2の刺激楽器音データとを含む音データを出力すること、
を実行する情報処理方法。
【請求項2】
前記少なくとも1つの所定周波数帯域に含まれる特定周波数を設定すること、
設定された特定周波数に基づき前記純音を生成することを、前記プロセッサがさらに実行する、請求項1に記載の情報処理方法。
【請求項3】
情報処理装置に含まれるプロセッサに、
ユーザの脳に、脳活動により生じる脳波に関するデルタ波、シータ波、アルファ波、ベータ波、及びガンマ波の少なくとも1つの所定周波数帯域を刺激する第1の楽器音であって、ドラム、ベース、ギター、及びキーボードの1つを示す前記第1の楽器音に関する第1の刺激楽器音データを生成することであって、前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する純音を含む刺激音データに、前記第1の楽器音の特徴に設定されたエンベロープ加工、及び/又は、前記第1の楽器音に関連付けられるサウンドデータの合成を行うことを含む、前記生成すること、
前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する第2の楽器音であって、ドラム、ベース、ギター、及びキーボードのうち、前記第1の楽器音とは異なる前記第2の楽器音に関する第2の刺激楽器音データを生成することであって、前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する純音を含む刺激音データに、前記第2の楽器音の特徴に設定されたエンベロープ加工、及び/又は、前記第2の楽器音に関連付けられるサウンドデータの合成を行うことを含む、前記生成すること、
前記第1の刺激楽器音データと前記第2の刺激楽器音データとを合成すること、
合成された前記第1の刺激楽器音データと前記第2の刺激楽器音データとを含む音データを出力すること、
を実行させる、コンピュータ読み取り可能な非一時的な記録媒体。
【請求項4】
プロセッサを備える情報処理装置であって、
前記プロセッサが、
ユーザの脳に、脳活動により生じる脳波に関するデルタ波、シータ波、アルファ波、ベータ波、及びガンマ波の少なくとも1つの所定周波数帯域を刺激する第1の楽器音であって、ドラム、ベース、ギター、及びキーボードの1つを示す前記第1の楽器音に関する第1の刺激楽器音データを生成することであって、前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する純音を含む刺激音データに、前記第1の楽器音の特徴に設定されたエンベロープ加工、及び/又は、前記第1の楽器音に関連付けられるサウンドデータの合成を行うことを含む、前記生成すること、
前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する第2の楽器音であって、ドラム、ベース、ギター、及びキーボードのうち、前記第1の楽器音とは異なる前記第2の楽器音に関する第2の刺激楽器音データを生成することであって、前記少なくとも1つの所定周波数帯域をユーザの脳に刺激する純音を含む刺激音データに、前記第2の楽器音の特徴に設定されたエンベロープ加工、及び/又は、前記第2の楽器音に関連付けられるサウンドデータの合成を行うことを含む、前記生成すること、
前記第1の刺激楽器音データと前記第2の刺激楽器音データとを合成すること、
合成された前記第1の刺激楽器音データと前記第2の刺激楽器音データとを含む音データを出力すること、
を実行する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、記録媒体及び情報処理装置に関する。
【背景技術】
【0002】
近年、40Hzのガンマ波の刺激により、マウスの脳内に蓄積されるアミロイドβが半減するという結果により、40Hzのガンマ波がアルツハイマーを改善する作用があるということが知られている(例えば非特許文献1参照)。また、バイオメトリックデータが有する振幅や周波数に対応する音楽を生成し、ユーザの現在の状態を音楽で表現する技術が知られている(例えば特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【文献】Martorell et al., “Multi-sensory Gamma Stimulation Ameliorates Alzheimer's-Associated Pathology and Improves Cognition”, [online], Cell 177, 256-271. April 4, 2019, [令和5年7月13日検索],インターネット<https://www.cell.com/cell/pdf/S0092-8674(19)30163-1.pdf>
【特許文献】
【0004】
【文献】米国特許第10369323号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1の実験結果により、40Hzでのガンマ波の音刺激を人に与えることを考えた場合、人が単調な音を継続して聞くことは困難であり、精神的な負担がある。また、40Hzに限らず、所定の周波数を構成する音を人に聞かせる場合も、同様の問題が発生する。また、特許文献1では、ユーザのバイオメトリックデータに基づいて音楽を生成し、例えばリラックスした状態ではリラックスした音楽が生成されるため、所定の周波数を継続的に聞かせるものではない。
【0006】
すなわち、従来技術では、精神的な負担を軽減しつつ、所定周波数帯域の周波数を有する音を継続的にユーザに刺激して聞かせるものは存在しなかった。また、音楽に対して所定周波数帯域の周波数を合成する場合、既存音楽の音像が失われ、音楽として聴くには違和感があった。
【0007】
そこで、開示技術の一態様は、所定周波数帯域の周波数をユーザに刺激する楽器音であっても、楽器音としての違和感を低減することを可能にする情報処理方法、記録媒体及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
開示技術の一態様における情報処理方法は、情報処理装置に含まれるプロセッサが、所定周波数帯域をユーザに刺激する楽器音に関する刺激楽器音データを生成すること、前記刺激楽器音データを出力すること、を実行する。
【発明の効果】
【0009】
開示技術の一態様によれば、所定周波数帯域の周波数をユーザに刺激する楽器音であっても、楽器音としての違和感を低減することを可能にする。
【図面の簡単な説明】
【0010】
図1】実施形態に係る情報処理装置の一例を示すブロック図である。
図2】実施形態に係る正弦波の生成例を示す図である。
図3】実施形態に係る加工処理Aの一例を示す図である。
図4】実施形態に係る加工処理Bの一例を示す図である。
図5】実施形態に係る加工処理Cの一例を示す図である。
図6】実施形態に係るリミックスの処理例を示す図である。
図7】実施形態に係る時分割の一例を示す図である。
図8】実施形態に係る情報処理装置の処理の一例を示すフローチャートである。
図9】実施形態に係る加工に関する処理の一例を示すフローチャートである。
図10】各被験者から測定された脳波における各周波数帯域のPLIの平均値を示す図である。
図11】各被験者から測定された脳波における40HzのPLIの平均値を示す図である。
図12】各被験者から測定された脳波の40Hzのパワーの平均値を示す図である。
図13】各被験者のアンケート結果を示す図である。
図14】Gammabandの特徴の一例を示す図である。
図15】Drumの特徴の一例を示す図である。
図16】Bassの特徴の一例を示す図である。
図17】Keyb(Synth)の特徴の一例を示す図である。
図18】CtrlBandの特徴の一例を示す図である。
図19】CtrlBand+Starの特徴の一例を示す図である。
図20】参考例としてのCtrlBand+NMethodsの特徴の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
【0012】
[実施形態]
以下、本開示技術における実施形態の概要を説明する。
<本開示技術の概要>
本開示技術では、脳波における所定周波数帯域を増強するために、所定周波数帯域の周波数をユーザに刺激する楽器音データ(「刺激楽器音データ」とも称す。)を生成する。刺激楽器音データを生成することにより、刺激楽器音データを用いて音楽を生成することが可能になる。また、生成された音楽をユーザに聞いてもらうことで、所定周波数帯域の刺激をユーザに与えることが可能となる。これにより、ユーザが感じる違和感を低減しつつ、所定周波数帯域をユーザに刺激して、所定周波数帯域による効果を発揮させることができる。上述の楽器音データを生成することについて、以下、図を用いて説明する。
【0013】
<情報処理装置10の構成例>
図1は、実施形態に係る情報処理装置10の一例を示すブロック図である。情報処理装置10は、例えばパーソナルコンピュータであり、1又は複数の装置により構成されてもよい。また、情報処理装置10は、音データを処理し、例えば、所定周波数帯域をユーザに刺激する楽器音データを生成する。なお、情報処理装置10は、必ずしもパーソナルコンピュータではなく、サーバや、情報処理能力を有するスマートフォン、タブレット端末などでもよい。
【0014】
情報処理装置10は、1つ又は複数のプロセッサ(CPU:Central Processing Unit))110、1つ又は複数のネットワーク通信インタフェース120、記憶装置130、ユーザインタフェース150、及びこれらの構成要素を相互接続するための1つ又は複数の通信バス170を含む。
【0015】
ユーザインタフェース150は、ディスプレイ装置(図示せず)、並びに、キーボード及び/又はマウス、あるいは他の何らかのポインティングデバイス等の入力装置(図示せず)を含む。
【0016】
記憶装置130は、例えば、DRAM、SRAM、DDR RAM又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、1つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。記憶装置130は、例えば、後述する処理をプロセッサに実行させるプログラムを記録するコンピュータ読取可能な非一時的な記録媒体でもよい。
【0017】
また、記憶装置130の他の例として、プロセッサ110から遠隔に設置される1つ又は複数の記憶装置でもよい。ある実施形態において、記憶装置130は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
【0018】
1つ又は複数のプロセッサ110は、記憶装置130から、必要に応じてプログラムを読み出して実行する。例えば、1つ又は複数のプロセッサ110は、記憶装置130に格納されているプログラムを実行することで、本開示技術の処理を実行する制御部111を構成する。また、制御部111は、取得部112、生成部113、出力部114、抽出部115、分割部116を構成してもよい。
【0019】
取得部112は、所定音データを取得する。例えば、取得部112は、記憶装置130に記憶されている所定音データを取得してもよいし、ネットワーク通信インタフェース120を介して、外部装置から所定音データを取得してもよいし、ユーザインタフェース150をユーザが操作することにより生成された所定音データを取得してもよい。
【0020】
生成部113は、所定周波数帯域をユーザに刺激する楽器音に関する刺激楽器音データを生成する。例えば、生成部113は、ユーザインタフェース150を利用して(後述する図2等)、後述する刺激音データを元に刺激楽器音データを生成してもよい。また、生成部113は、第1乃至第3加工部113a~cを含み、取得部112により取得される所定音データを、刺激楽器音データに加工してもよい。例えば、第1乃至第3加工部113a~cは、所定音データに対して、所定の加工処理を行い、所定周波数帯域の所定周波数を主な成分として含む刺激楽器音データを生成する。
【0021】
所定周波数帯域は、例えば、脳活動により生じる脳波に関するΔ(デルタ)波(0.5~4Hz)、θ(シータ)波(4~8Hz)、α(アルファ)波(8~12Hz)、β(ベータ)波(12~30Hz)、γ(ガンマ)波(30Hz~100Hz)の少なくとも1つの周波数帯域を含む。また、生成部113は、所定周波数帯域のうち、特定の所定周波数を主成分として含む刺激楽器音データを生成してもよい。例えば、生成部113は、ガンマ波のうち、40Hzを所定周波数として、40Hzの周波数成分を主成分として含む刺激楽器音データを生成してもよい。これにより、特定周波数をユーザに刺激することにより、特定周波数を含む所定周波数帯域をユーザに刺激することが可能になる。
【0022】
また、生成部113による所定の加工処理は、各ドラム、ベース、ギター、キーボード(ピアノ)などの各楽器音の特徴を有するように所定音データを加工する処理を含む。例えば、加工処理は、所定音データのエンベロープを加工したり、楽器音の特徴を有するサウンドデータを合成したりする処理を含む。また、生成部113は、楽器音毎に加工処理が設定された加工情報に基づいて、ユーザ等により指定された楽器音に対応する加工処理を選択し、選択された加工処理により所定音データを加工してもよい。
【0023】
出力部114は、生成部113により生成される刺激楽器音データを出力する。例えば、出力部114は、生成された刺激楽器音データをスピーカに出力し、スピーカから刺激楽器音が出力されるように制御する。また、出力部114は、生成された刺激楽器音データを他の音データに合成して出力してもよい。スピーカは、情報処理装置10に備えられるものでよいし、ネットワークを介して情報処理装置10に接続されるものでもよい。
【0024】
以上の処理により、所定周波数帯域の周波数をユーザに刺激する楽器音であっても、楽器音としての違和感を低減することを可能にする。例えば、生成部113による処理により、所定周波数帯域の周波数を有しつつも、楽器音の特徴に類似する特徴を有する刺激楽器音データを生成することができる。このため、聞き手は、刺激楽器音データに対して、楽器音としての違和感をあまり感じることなく聞くことができるようになる。以下、加工処理について、3つの手法を例に挙げて説明する。
【0025】
(加工処理A)
所定音データは、所定周波数帯域をユーザに刺激する純音を含む刺激音データが含まれる場合がある。例えば、所定周波数帯域をガンマ波とし、特定の周波数は40Hzとする場合、純音は、40Hzのサイン波、又は、10,000Hzの周波数を持つサイン波が40Hzの周期で振動する音としてもよい。純音は、単音、原音又はキャリアとも称され、オシレータにより生成される音や原音となる振動を表す。
【0026】
上述の純音を含む刺激音データとする場合、第1加工部113aは、刺激音データに対して、アタック(Attack)に関する加工、及び/又はディケイ(Decay)に関する加工を含むエンベロープ加工を行うことを含んでもよい。
【0027】
例えば、第1加工部113aは、刺激音データをドラムのバスドラム(ベースドラム)に類似する音に加工してもよい。この場合、第1加工部113aは、刺激音データに対してエンベロープを算出し、このエンベロープに対して、アタックに関する加工として、どのタイミングで音量が最大値に達するかを調整し、ディケイに関する加工として、どのように減衰するのかを加工してもよい。
【0028】
以上の処理により、刺激音データに対して、バスドラムの特徴を有するようにエンベロープ加工を行うことにより、刺激音データがバスドラムの音に類似するようになる。
【0029】
また、第1加工部113aは、刺激音データをドラムのスネアやハイハットに類似する音に加工してもよい。この場合、第1加工部113aは、刺激音データに対して、所定の楽器音に関連付けられるサウンドデータを合成することを含んでもよい。例えば、第1加工部113aは、予め設定されたスネア用のサウンドデータ、及び/又は、ハイハット用のサウンドデータを記憶しておき、用途やユーザ指定に応じて、スネア用のサウンドデータ又はハイハット用のサウンドデータを刺激音データに合成し、スネア及び/又はハイハットに関する刺激楽器音データを生成してもよい。
【0030】
以上の処理により、刺激音データに対して、ドラムのスネアやハイハットの特徴を有するようにサウンドデータを合成することにより、刺激音データがドラムのスネアやハイハットの音に類似するようになる。また、ドラムのバスドラム、スネア、ハイハットを全て合成することにより、より自然なドラムの音を奏でることが可能になる。
【0031】
(加工処理B)
また、所定音データは、所定周波数帯域の特定周波数(例、40Hz)を主成分として含まない楽器音データを含む場合がある。例えば、楽器音データは、通常の演奏や生成方法によるドラム、ベース、キーボード、ギター、キーボードなどの音データを含む。
【0032】
上述の楽器音データの場合、第2加工部113bは、低周波発信器(LFO:Low Frequency Oscillator)を用いて楽器音データを加工することを含んでもよい。例えば、40Hzの特定周波数をユーザに刺激したい場合、第2加工部113bは、LFOにより40Hzを発振させて楽器音データを、40Hzの振動が生じるように変調する。
【0033】
以上の処理により、LFOにより特定周波数を発振させることで、通常の楽器音データを変調させて、所定周波数帯域又は特定周波数をユーザに刺激することが可能になる。
【0034】
(加工処理C)
また、所定音データに、所定周波数帯域の特定周波数(例、40Hz)を主成分として含まない楽器音データが含まれる場合、第3加工部113cは、楽器音データのピーク周波数と所定周波数帯域の特定周波数との差分周波数を、楽器音データに合成することを含んでもよい。
【0035】
ここで、加工処理Cのように、楽器音データのピーク周波数と所定周波数帯域の特定周波数との差分周波数を、楽器音データに合成することで、ユーザに特定周波数を刺激することができる理由について説明する。
【0036】
まず、上述したLFOがなぜ特定周波数を刺激できるかについて説明する。以下、θ1は、元々の音データが有するピーク周波数とし、θ2は、LFOが発振する周波数とする。
このとき、LFOにより発振される周波数θ2に基づき変調された音データの周波数は、(数1)で表される。
【数1】
【0037】
ここで、変調音データの時間波形を調べるため、変調音データをヒルベルト変換等により解析信号に変換し、絶対値を求めること(数2)により、包絡線(エンベロープ)が求められる。
【数2】
【0038】
(数2)に対して、(数3)により式展開がなされると、最終的には√(3/2+2cosθ2+1/2cos(2θ2))となる。
【数3】
【0039】
上記のとおり、変調音の包絡線は、元のピーク周波数θ1が消え、LFOにより発振される周波数θ2だけから影響を受ける。このことから、発明者らは単純に元の音データが有するピーク周波数に所定の周波数を合成することにより、合成音を聞くユーザに特定周波数を刺激できるのではないかと考えた。以下では、ピーク周波数θ1に、所定の周波数θ2とする。(数4)は、ピーク周波数θ1に、所定の周波数θ2を合成した合成音データの周波数を表す。
【数4】
【0040】
ここで、合成音データの時間波形を調べるため、合成音データをヒルベルト変換等により解析信号に変換し、絶対値を求めること(数5)により、包絡線(エンベロープ)が求められる。
【数5】
【0041】
(数5)に対して、(数6)により式展開がなされると、最終的には√(2+2cos(θ1-θ2))となる。
【数6】
【0042】
したがって、特定周波数として40Hzをユーザに刺激したい場合、元の音データのピーク周波数θ1が例えば70Hzである場合、所定の周波数(差分周波数)θ2を30Hzとすることで、θ1-θ2=70Hz-30Hzで40Hzの周波数をユーザに刺激することができるようになる。すなわち、ユーザに刺激する特定周波数が決まっていれば、元の音データのピーク周波数と特定周波数との差分周波数を求め、この差分周波数を音データに合成することにより、特定周波数をユーザに刺激することができるようになる。したがって、加工処理Cのような簡易な処理でも、特定周波数をユーザに刺激することが可能になる。
【0043】
また、取得部112は、所定音楽データを取得することを含む。所定音楽データは、既存の音楽の音楽データでもよいし、生成AI(Artificial Intelligence)等により新たに生成された音楽の音楽データでもよい。取得部112は、音楽データが保存されたデータベースから、ユーザにより選択された所定音楽データを取得したり、音楽配信サービスにより配信される所定音楽データを取得したりしてもよい。
【0044】
取得部112により所定音楽データが取得される場合、抽出部115は、所定音楽データを解析して1又は複数の楽器音データを抽出する。例えば、抽出部115は、公知技術である音源分離を行うAI技術を用いて、既存の音楽データから、音源データを分離する。音源分離AIは、各音源の特徴を学習しておくことで、音楽データを入力し、各音源データを出力することが可能である。各音源データは、例えばボーカル、ドラム、ベース、ギター、キーボードなどである。なお、抽出部115は、情報処理装置10とネットワークを介してデータ通信可能な処理装置、例えばクラウド上のサーバに設けられてもよい。
【0045】
また、抽出部115は、1又は複数の楽器音データのうち、少なくとも1つの楽器音データを所定音データとして選択してもよい。これにより、選択された楽器音データが、取得部112により所定音データとして取得される。
【0046】
また、生成部113は、音源分離された少なくとも1つの楽器音データを刺激楽器音データに加工することを含んでもよい。例えば、生成部113は、1つの楽器音データに対して、上述した加工処理B又は加工処理Cを行う。
【0047】
以上の処理により、例えば既存の楽器データを音源分離して各音源データを抽出し、抽出された音源データから特定周波数が刺激される刺激楽器音データを生成することが可能になる。
【0048】
また、生成部113は、刺激楽器音データを所定音楽データに合成してもよい。例えば、生成部113は、既存音楽から分離された音源データを、刺激楽器音データに代えて、又は、元の音源データに重畳して音楽データを生成してもよい。
【0049】
また、出力部114は、刺激楽器音データを含む、合成後の音楽データを出力してもよい。これにより、既存の音楽データから所定の楽器音の音源データを抽出し、この音源データを刺激楽器音データに代えて、又は、元の音源データに刺激楽器音データを重畳して、所定周波数帯域又は特定周波数をユーザに刺激する音楽データを生成し、出力することが可能になる。
【0050】
以上の処理により、公知技術の音源分離技術を利用することにより、音源の構成を再構築することで、二次創作的に楽曲を作るリミックスを実現することが可能になる。また、音源分離技術を利用することにより、加工対象の音源素材を容易に収集することが可能になる。
【0051】
また、分割部116は、所定音楽データを時分割する。例えば、分割部116は、所定時間ごと、曲の展開(Aメロ、Bメロ、サビなど)ごとに所定音楽データを分割し、複数の音楽データに分ける。
【0052】
この場合、生成部113は、分割部116により時分割された複数の音楽データそれぞれを刺激楽器音データに加工してもよい。例えば、第3加工部113cは、分割部116により時分割された複数の音楽データそれぞれでピーク周波数を特定してもよい。さらに、第3加工部113cは、複数の音楽データそれぞれで特定されたピーク周波数に対して、特定周波数との差分周波数を算出してもよい。第3加工部113cは、差分周波数を用いて加工処理Cを実行してもよい。また、生成部113は、複数の音楽データそれぞれに対して加工処理Bを実行してもよい。
【0053】
以上の処理により、リアルタイムに音楽データを時分割し、分割された音楽データの特徴に応じて、ユーザにリアルタイムに特定周波数を刺激することが可能になる。例えば、ストリーミング中の音楽などに対し、時分割された音楽データごとに適切な加工処理を行うことにより、リアルタイムに特定周波数を刺激可能な音楽に変更することが可能になる。
【0054】
また、制御部111は、複数の周波数帯域の中から所定周波数帯域を選択することを含んでもよい。例えば、制御部111は、デルタ波、シータ波、アルファ波、ベータ波、ガンマ波の中から一つの周波数帯域を選択してもよい。制御部111は、デフォルトで1つの周波数帯域を選択してもよいし、予め設定された順番で、所定時間ごと又は所定タイミングごとに周波数帯域を選択してもよい。また、制御部111は、ユーザインタフェース150を介したユーザ選択に応じて周波数帯域を選択してもよい。
【0055】
以上の処理により、ユーザに刺激を与えたい、又は増強したい周波数帯域を変更することが可能になり、また、ユーザ選択に応じて選択する場合は、ユーザ自身が現在のステータス又は希望するステータスに応じて周波数帯域を選択することが可能になる。
【0056】
また、生成部113は、取得部112により取得される所定音データの種類を特定し、所定音データの種類に応じて加工処理を行ってもよい。例えば、生成部113は、所定音データに対して周波数解析、及び/又は、楽器音データとの類似性を求めることにより、所定周波数帯域をユーザに刺激しない純音や、刺激音や、楽器音のいずれかを特定する。生成部113は、所定音データが純音データまたは刺激音データであれば加工処理Aを行い、所定音データが楽器音データであれば加工処理B又はCを行ってもよい。これにより、所定音データを入力することで、自動で適切な刺激楽器音データを生成することが可能になる。
【0057】
<具体例>
次に、加工処理の具体例について説明する。図2は、実施形態に係る正弦波(サイン波)の生成例を示す図である。図2に示す例では、純音であるサイン波(sine wave)を生成する例を示す。図2に示す「Brain Wave」は、ユーザに刺激を与えたい特定周波数であり、46.3Hzを示す。例えば、「Brain Wave」が40Hzに設定されれば、40Hzのサイン波の純音を生成することが可能になる。すなわち、生成部113は、ユーザ操作を受け付けて、「Brain Wave」に入力される周波数を取得し、この周波数のサイン波の純音を生成する。「interval」は、音と音との間隔を示し、1秒/40Hz=25.0msを示す。
【0058】
「interval from Br」は、「Brain Wave」により調整された「interval」を示し、46.3Hzにより音と音との間隔が調整される。「length」は、音の長さを示し、例えば25.0msとする。原音キャリアは、10KHzとする。
【0059】
図2に示す例では、原音キャリア10KHzの周波数に対して25msごとにON/OFFを繰り返し、40Hzを生じさせるのが基本設定であるが、特定周波数46.3Hzが音から生じるように、生成部113はON/OFFの間隔を「interval from Br」に変更してもよい。上述した処理によれば、特定周波数の変動に応じて、音と音との間隔が変動し、音と音との間隔が特定周波数になるように調整される。図2に示す例により、生成部113は、特定周波数を刺激する刺激音データを最初から生成し、この刺激音データに基づいて刺激楽器音データをすることが可能になる。
【0060】
図3は、実施形態に係る加工処理Aの一例を示す図である。図3に示す例では、第1加工部113aは、刺激音データW10に対し、エンベロープ加工P10を行うことで、バスドラムの音に似せることができる。刺激音データW10は、純音自体が揺れを生じている。第1加工部113aは、バスドラムの特徴であるアタックの大きさ、タイミングや、ディケイの減衰量などを事前に記憶又は機械学習モデルに学習させておけば、自動でエンベロープ加工を行うことができる。
【0061】
また、第1加工部113aは、刺激音データW10に対し、スネア又はハットの特徴に似せるためのサウンドデータN10を合成する。また、第1加工部113aは、バスドラム、スネア、ハイハットなどの所定の楽器音に似せるため、エンベロープ加工とサウンドデータ合成との両方を処理してもよい。
【0062】
図4は、実施形態に係る加工処理Bの一例を示す図である。図4に示す例では、第2加工部113bは、楽器音データW12に対し、LFO加工を行うことで、特定周波数W14を発するように低周波を用いて変調する。これにより、特定周波数W14をユーザに刺激する刺激楽器音データが生成される。
【0063】
図5は、実施形態に係る加工処理Cの一例を示す図である。図5に示す例では、第3加工部113cは、楽器音データW12の周波数成分のグラフG12に対し、ピークP12時のピーク周波数FPを特定する。次に、第3加工部113cは、ピーク周波数FPと、ユーザに刺激したい特定周波数FTとの差分周波数F1を算出し、グラフG14における差分周波数F1を、グラフG12における楽器音データW12の周波数成分に加算する。これにより、差分周波数F1の加算後には、特定周波数FTをユーザに刺激する刺激楽器音データが生成される。
【0064】
図6は、実施形態に係るリミックスの処理例を示す図である。図6に示す例において、オリジナルの楽曲の音楽データM20は、ユーザに刺激する所定周波数帯域の成分を主成分として有さない音楽データである。抽出部115は、公知の音源分離技術を用いて、楽器ごとに音源データを分離する。例えば、音源データW20は、ギターの波形1を示し、音源データW22は、ベースの波形2を示し、音源データW24は、ドラムの波形3を示すとする。
【0065】
生成部113は、例えば、音源データW20の波形1からMIDI(Musical Instrument Digital Interfac)情報に変換することが困難である場合、LFO技術を用いて音源データW20を加工する。これにより、特定周波数を増強可能な音源データWS2が生成される。
【0066】
また、生成部113は、例えば音源データW22の波形2からMIDI1情報に変換する。例えば、生成部113は、MIDI1情報を利用して、特定周波数(例、40Hz)を奏でるように加工する。例えば、生成部113は、40Hzを発振するようにLFO加工を行い、ベース音の音色の波形をなるべく維持する音源データWS4を生成する。
【0067】
また、生成部113は、例えば音源データW24の波形3からMIDI2情報に変換する。例えば、生成部113は、MIDI2情報を利用して、エンベロープ加工やサウンドデータ合成により、ドラム音の音色の波形をなるべく維持する音源データWS6を生成する。
【0068】
生成部113は、音源データWS2、WS4、及びWS6をそれぞれ合成し、所定周波数帯域又は特定周波数が増強された音楽データMS2を生成する。これにより、生成部113は、既存の音楽データから、所定周波数帯域又は特定周波数をユーザに刺激することが可能な音楽データを再構築することが可能になる。なお、上述の楽器音に対応する楽器音は一例を示すにすぎず、他の加工処理が行われてもよい。
【0069】
図7は、実施形態に係る時分割の一例を示す図である。図7に示す例では、固定の各所定時間T10~20で音楽データを時分割する一例が示される。図7に示すように、時分割された音楽データの波形は、それぞれ異なっており、各音楽データでピークとなる周波数が異なる場合がある。このような場合には、加工処理Cを施すことで、特定周波数を継続的に、リアルタイムにユーザに刺激することが可能になる。また、時分割する区間については、音楽の展開等により適宜変更されてもよい。
【0070】
<動作>
次に、実施形態に係る情報処理装置10の動作について説明する。図8は、実施形態に係る情報処理装置10の処理の一例を示すフローチャートである。
【0071】
ステップS102において、取得部112は、所定音データを取得する。所定音データは、刺激音データ又は楽器音データのいずれでもよい。なお、取得部112は、所定周波数帯域を刺激しない純音データを取得してもよい。
【0072】
ステップS104において、生成部113は、所得された所定音データを、所定周波数帯域をユーザに刺激する楽器音に関する刺激楽器音データに加工する。また、生成部113は、所定音データの特徴に応じて、加工処理A~Cのいずれかの処理を選択して適用してもよい。また、生成部113は、純音を生成する処理(例、図2)から行い、始めから刺激楽器音データを生成してもよい。
【0073】
ステップS106において、出力部114は、生成部113により生成又は加工された刺激楽器音データを、スピーカなどを介して出力する。
【0074】
図9は、実施形態に係る加工に関する処理の一例を示すフローチャートである。図9に示す例では、取得される所定音データの種類によって処理を分けているが、取得部112又は生成部113が、所定音データの特徴を用いて、刺激音データであるか、楽器音データであるかを判定し、自動で加工処理を選択して実行してもよい。
【0075】
ステップS202において、取得部112は、刺激音データを取得する。
【0076】
ステップS204において、第1加工部113aは、取得された刺激音データに対し、所定の楽器音(ドラム、ベース、ギター、キーボードなど)の特徴に設定されたエンベロープ加工を行う。
【0077】
ステップS206において、第1加工部113aは、取得された刺激音データに対し、所定の楽器音となるようにサウンドデータを合成する。なお、ステップS204とステップS206の処理は、いずれか1つの処理だけでもよく、また、両処理の順序は問わず、さらに、2段階で両処理が行われてもよい。
【0078】
ステップS302において、取得部112は、所定の楽器音データを取得する。
【0079】
ステップS304において、第2加工部113bは、取得された楽器音データに対し、LFO加工処理を実行する。
【0080】
ステップS402において、取得部112は、所定の楽器音データを取得する。
【0081】
ステップS404において、第3加工部113cは、取得された楽器音データのピーク周波数を特定する。
【0082】
ステップS406において、第3加工部113cは、ピーク周波数と特定周波数(目的周波数)との差分周波数を算出する。
【0083】
ステップS408において、第3加工部113cは、差分周波数を元の楽器音データの周波数成分に合成する。
【0084】
ステップS200番台、S300番台、S400番台は、少なくとも1つの処理が実行されてもよく、複数の処理が並列的、又は時系列的に処理されてもよい。
【0085】
以上の処理により、所定周波数帯域の周波数をユーザに刺激する楽器音であっても、楽器音としての違和感を低減することを可能にする。なお、音楽自体にLFO処理を実行すると、元の音楽の音色等が壊れてしまい、音楽として違和感を感じるものとなるが、本開示技術によれば、音楽の音源である楽器音に対し、所定周波数を刺激するようにしても、楽器音に似せて生成することで、ユーザが感じる違和感を低減しつつ、音楽として楽しませながらユーザに所定周波数帯域又は特定周波数を継続的に刺激することが可能になる。
【0086】
<実験>
発明者らは、本開示技術による効果を検証するため、本開示技術を用いて生成された以下の各音データを被験者に聴かせる実験を行った。なお、この実験では、所定周波数帯域として脳波におけるガンマ波、特定周波数として40Hzが採用された。
【0087】
・Drum:40Hzのサイン波に対し、バスドラムはエンベロープ加工、スネア、ハイハットはサウンドデータ合成により生成された各刺激楽器音データを合成した刺激楽器音データ
・Bass:40Hzのサイン波に対し、ベース音に類似するようにエンベロープ加工等により生成された刺激楽器音データ
・Synth:40Hzのサイン波に対し、キーボードの電子音に類似するようにエンベロープ加工等により生成された刺激楽器音データ
・Gammaband:Drum、Bass、Synthを合成した音(それぞれの刺激楽器音データにガンマ振動が含まれている)
・Ctrlband:Gammabandからガンマ成分を除いた音データ
・Star:従来の単純な40Hzのクリック音(https://www.sciencedirect.com/science/article/pii/S0896627319303460)+Ctrlband
【0088】
各被験者は、株式会社ミユキ技研の脳波計であるPolymate Mini(ポリメイト(登録商標))を装着し、国際式10/10法によるFPz(前頭極正中部)、FC3、FCz、FC4の位置に電極を設けた。本開示技術により生成された各楽器音や比較音を聴いている間、各被験者の脳波がPolymate Miniにより測定された。なお、被験者は、男性7名、女性7名の合計14名の学生である。
【0089】
図10は、各被験者から測定された脳波における各周波数帯域のPLIの平均値を示す図である。PLI(Phase Locking Index)は、試行間で振動成分がどれくらい同期しているかを調べる手法である(https://www.jstage.jst.go.jp/article/isciesci/59/9/59_KJ00010048188/_pdf/-char/ja)。PLIが大きければ、測定された脳波の40Hzの周波数成分が、音データに同期して発生していることを示す。
【0090】
図10に示す例では、各測定位置における14名の被験者の各周波数帯域におけるPLIの平均値が示される。図10に示すように、ガンマ成分を有さないCtrlband以外の各音データにおいて、40HzでPLIのピークが立っている。これは、本開示技術において生成された各音データが被験者の脳に刺激を与え、各音データに同期して40Hzの周波数成分を含む脳波が発生していることを示す。
【0091】
また、各測定位置では、Synthについて、従来技術であるStarと同等又はStarよりもPLI値が大きく、Synthによる刺激効果が高いことが分かる。次に、Gammabandの効果が高く、DrumとBassは、Gammabandよりも効果は低いが、ガンマ成分を有さないCtrlbandよりも有意に効果を有している。
【0092】
図11は、各被験者から測定された脳波における40HzのPLIの平均値を示す図である。図11に示すように、いずれの測定位置においても、ガンマ成分を有さないCtrlbandよりも、ガンマ成分を有する各音データの被験者14名のPLIの平均値が大きくなっている。図10において上述したように、SynthのPLIの平均値は、楽器音に似せた音であるにも関わらず、従来技術のクリック音が合成されたStarと同等又はそれ以上のPLIの平均値を有する。
【0093】
図12は、各被験者から測定された脳波の40Hzのパワーの平均値を示す図である。図12に示す結果も、図11に示す結果と同様に、Synthにより刺激された脳波の40Hzの周波数成分のパワー値が大きい。また、Gammaband、Drum及びBassも、40Hzにおいて、ガンマ成分を有さないCtrlbandよりも有意に大きなパワー値を有している。
【0094】
図13は、各被験者のアンケート結果を示す図である。被験者が各音データを聞いた後に、音データごとに以下の回答項目を有するアンケートを行った。
リラックス:この音楽を聴いてどの程度心が穏やかになりましたか?あるいは興奮しましたか?(0:穏やか、1:興奮)
没入:この音楽にどの程度、没入しましたか?(0:深く没入、1:没入できなかった)
覚醒:現在、覚醒していますか?眠いですか?(0:覚醒している、1:眠い)
感情:現在、心地よい状態ですか?不快な状態ですか?(0:心地よい、1:不快)
好み:この音楽はあなたの好みですか?(0:好み、1:好みではない)
音楽に対する感情:この音楽を聴いて快あるいは不快に感じましたか?(0:快、1:不快)
違和感:この音楽に対して違和感を覚えましたか?(0:覚えた、1:覚えなかった)
【0095】
なお、音楽に対する感情及び違和感の両項目については、1名が未回答であったため、これらの2つの項目は13名の平均値を示す。音楽に対する感情及び違和感の両項目以外の項目については、14名の被験者の回答結果の平均値を示す。
【0096】
図13に示すように、Synthがもっともリラックスできた音であり、好きな音であった。また、違和感については、本開示技術で生成されたガンマ成分を有するGammaband、Drum、Bass、及びSynthについて、ほとんど違和感は感じられていない。一方、Star(従来の単純な40Hzのクリック音+Ctrlband)は、音楽にクリック音が混入しているため、不快で好みではなく、違和感を覚えたという結果になった。
【0097】
図13に示す結果から、本開示技術により生成される刺激楽器音データは、所定周波数帯域の周波数をユーザに刺激する楽器音であっても、楽器音としての違和感を低減することができている。また、好みに関する回答もStarに比べると、本開示技術により生成された音データは肯定的に捉えられているため、長時間聴くことが可能であり、継続して脳に刺激を与えることが可能になる。
【0098】
以下、実験に用いられた各音データの特徴を説明する。図14は、Gammabandの特徴の一例を示す図である。図14に示す上段は、Gammabandの時間成分における振幅の一例を示す。図14に示す中段は、Gammabandの各周波数帯域におけるパワーを示す。スペクトルのパワーにおいて40Hzでピークが立っている。図14に示す下段は、Gammabandのエンベロープを示す。エンベロープにおいても40Hzにピークが立っていることが分かる。
【0099】
図15は、Drumの特徴の一例を示す図である。図15に示す上段は、Drumの時間成分における振幅の一例を示す。図15に示す中段は、Drumの各周波数帯域におけるパワーを示す。スペクトルのパワーにおいて40Hzでピークが立っている。図15に示す下段は、Drumのエンベロープを示す。エンベロープにおいて、バスドラム、スネア、ハイハットと3つの音を合成したことにより40Hzにピークが立っていないと考えられる。
【0100】
図16は、Bassの特徴の一例を示す図である。図16に示す上段は、Bassの時間成分における振幅の一例を示す。図16に示す中段は、Bassの各周波数帯域におけるパワーを示す。図16に示す下段は、Bassのエンベロープを示す。エンベロープにおいて、40Hzにピークが立っていることが分かる。
【0101】
図17は、Keyb(Synth)の特徴の一例を示す図である。図17に示す上段は、Keybの時間成分における振幅の一例を示す。図17に示す中段は、Keybの各周波数帯域におけるパワーを示す。40Hz周辺にピークが立っており、これを基準周波数とするn倍の周波数にもピークが立っている。図17に示す下段は、Keybのエンベロープを示す。エンベロープにおいて、40Hzにピークが立っていることが分かる。
【0102】
図18は、CtrlBandの特徴の一例を示す図である。図18に示す上段は、CtrlBandの時間成分における振幅の一例を示す。図18に示す中段は、CtrlBandの各周波数帯域におけるパワーを示す。CtrlBandはガンマ成分を取り除いているため、40Hz周辺にピークはない。図18に示す下段は、CtrlBandのエンベロープを示す。エンベロープにおいても、40Hzにピークはない。
【0103】
図19は、CtrlBand+Starの特徴の一例を示す図である。図19に示す上段は、CtrlBand+Starの時間成分における振幅の一例を示す。図18に示す中段は、CtrlBand+Starの各周波数帯域におけるパワーを示す。CtrlBand+Starは、40Hzでの変調がなされているが、他の周波数成分と比較してパワーは大きくないため、図18の中段に示す特徴と同様である。図19に示す下段は、CtrlBand+Starのエンベロープを示す。エンベロープにおいては、キャリアを40Hzに変調したため、40Hzとその倍の周波数の80Hzにピークが立っている。
【0104】
図20は、参考例としてのCtrlBand+NMethodsの特徴の一例を示す図である。NMethodsは、加工処理Cにおける処理を示す。図20に示す上段は、CtrlBand+NMethodsの時間成分における振幅の一例を示す。図20に示す中段は、CtrlBand+NMethodsの各周波数帯域におけるパワーを示す。CtrlBand+NMethodsは、差分周波数を加算することで、図18に示すパワーと比べてピークがシフトしている。図20に示す下段は、CtrlBand+NMethodsのエンベロープを示す。エンベロープにおいては、図18に示すエンベロープと比較して、40Hzにピークが立っていることが分かる。
【0105】
したがって、加工処理Cについても、特定周波数をユーザに刺激する効果があると言える。また、加工処理Cは、音データの周波数に複数のピークがあるよりも、一つのピークがある方が差分周波数を特定しやすいため、より好適である。そのため、生成部113は、楽器音データの周波数で閾値を超えるピークの数が所定値未満であれば加工処理Cを実行し、ピークの数が所定値以上であれば加工処理Bを実行してもよい。
【0106】
<変形例>
以上、上述した実施形態及び実施例は、本開示の技術を説明するための例示であり、本開示の技術をその実施形態及び実施例のみに限定する趣旨ではなく、本開示の技術は、その要旨を逸脱しない限り、さまざまな変形が可能である。なお、上述した所定音データ、楽器音データ、刺激楽器音データ、音源データなどの各音データは、第n音データと称されてもよい(nは1以上の整数)。本開示の生成部113における各加工処理について、コンピュータに実行させるプログラムとして独立して実装されることにより、必要な加工処理に対応するプログラムだけをコンピュータにインストールして実行することを可能にしてもよい。
【符号の説明】
【0107】
10 情報処理装置
110 プロセッサ
111 制御部
112 取得部
113 生成部
113a~c 第1~第3加工部
114 出力部
115 抽出部
116 分割部
120 ネットワーク通信インタフェース
130 記憶装置
150 ユーザインタフェース
【要約】
所定周波数帯域の周波数をユーザに刺激する楽器音であっても、楽器音としての違和感を低減することを可能にする。情報処理方法は、情報処理装置に含まれるプロセッサ(110)が、所定周波数帯域をユーザに刺激する楽器音に関する刺激楽器音データを生成すること(S104)、刺激楽器音データを出力すること(S106)、を実行する。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20