特許 7590572 音楽トラック分けマッチング振動の触覚フィードバック方法、システム及び関連装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】音楽トラック分けマッチング振動の触覚フィードバック方法、システム及び関連装置

(51)【国際特許分類】

   G10G 3/04 20060101AFI20241119BHJP

   G10L 21/16 20130101ALI20241119BHJP

   G10L 25/30 20130101ALI20241119BHJP

【ＦＩ】

G10G3/04

G10L21/16

G10L25/30

【請求項の数】 9

(21)【出願番号】P 2023532299

(86)(22)【出願日】2022-12-02

(65)【公表番号】

(43)【公表日】2024-11-06

(86)【国際出願番号】 CN2022136291

(87)【国際公開番号】W WO2024082389

(87)【国際公開日】2024-04-25

【審査請求日】2023-07-21

(31)【優先権主張番号】202211283874.3

(32)【優先日】2022-10-20

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】523182360

【氏名又は名称】エーエーシー アコースティック テクノロジーズ （シャンハイ） カンパニー リミテッド

(74)【代理人】

【識別番号】100230086

【弁理士】

【氏名又は名称】譚 粟元

(74)【代理人】

【識別番号】100199819

【弁理士】

【氏名又は名称】大行 尚哉

(72)【発明者】

【氏名】マァン ズァン イォウ

(72)【発明者】

【氏名】曹夢雅

(72)【発明者】

【氏名】裴詩雨

(72)【発明者】

【氏名】鄭亜軍

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２０２１－７６８３１（ＪＰ，Ａ）

【文献】特開２０１５－５３０５４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１４１１５７９２（ＣＮ，Ａ）

【文献】中国特許出願公開第１１４６７７９９５（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１１／０１２９０９３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０２１１３３８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００－ ３／０４

Ｇ１０Ｌ ２１／００－２５／９３

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

音楽トラック分けマッチング振動の触覚フィードバック方法であって、
前記触覚フィードバック方法は、ディープラーニングモデルに基づいたものであり、
前記触覚フィードバック方法は、
オリジナルオーディオデータを取得することと、
予め設定されたディープラーニングモデルを利用して前記オリジナルオーディオデータをトラック分けし、複数のトラック分けオーディオデータを取得することと、
前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するすることと、
前記エネルギー占有率によって、対応する各前記トラック分けオーディオデータの重みを決定することと、
予め設定された重み付け規則によって、全ての前記トラック分けオーディオデータに対して重み付け計算を行い、時間周波数スペクトルを取得して出力することと、
前記時間周波数スペクトルによって、前記オリジナルオーディオデータに対応するマッチング振動信号を生成することと、
前記マッチング振動信号をドライバの駆動信号として出力して、触覚フィードバック効果を実現することと、を含む、
ことを特徴とする音楽トラック分けマッチング振動の触覚フィードバック方法。

【請求項2】

前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するするステップは、具体的に、
各前記トラック分けオーディオデータに対して短時間フーリエ変換処理を行い、対応する変換トラック分けオーディオデータを取得することと、
前記オリジナルオーディオデータにおける前記変換トラック分けオーディオデータの前記エネルギー占有率を計算することと、を含む、
ことを特徴とする請求項１に記載の音楽トラック分けマッチング振動の触覚フィードバック方法。

【請求項3】

前記時間周波数スペクトルによって、前記オリジナルオーディオデータに対応するマッチング振動信号を生成するステップは、具体的に、
前記時間周波数スペクトルを正規化処理して、時間周波数曲線を取得することと、
前記時間周波数曲線のうちの、予め設定された周波数閾値より大きい部分に対して、対応的に振動情報を設定することと、
前記振動情報を含んだ前記時間周波数曲線を前記マッチング振動信号として出力することと、を含む、
ことを特徴とする請求項１に記載の音楽トラック分けマッチング振動の触覚フィードバック方法。

【請求項4】

前記トラック分けオーディオデータは、少なくともトラックの特徴が異なる第１トラック、第２トラック、第３トラック及び第４トラックを含む、
ことを特徴とする請求項１に記載の音楽トラック分けマッチング振動の触覚フィードバック方法。

【請求項5】

前記予め設定された重み付け規則は、具体的に、
前記第１トラックの前記エネルギー占有率が最大であるか否かを判断し、
最大である場合、
前記第２トラックのエネルギー占有率が２番目であるか否かを判断し、前記第２トラックの前記エネルギー占有率が２番目である場合、前記第１トラックと前記第２トラックの前記時間周波数スペクトルを重み付けして出力とし、前記第２トラックの前記エネルギー占有率が２番目でない場合、前記第１トラックの前記時間周波数スペクトルのみを出力とし、
最大でない場合、
前記第２トラックの前記エネルギー占有率が最大であるか否かを判断し、
前記第２トラックの前記エネルギー占有率が最大である場合、前記第１トラックの前記エネルギー占有率が２番目であるか否かを判断し、前記第１トラックの前記エネルギー占有率が２番目である場合、前記第１トラックと前記第２トラックの前記時間周波数スペクトルを重み付けして出力とし、前記第１トラックの前記エネルギー占有率が２番目でない場合、前記第２トラックの前記時間周波数スペクトルのみを出力とし、
前記第２トラックの前記エネルギー占有率が最大でない場合、前記第３トラックの前記エネルギー占有率が最大であるか否かを判断し、前記第３トラックのエネルギー占有率が最大でない場合、前記第４トラックの前記時間周波数スペクトルを出力とし、前記第３トラックのエネルギー占有率が最大である場合、前記第３トラックの前記時間周波数スペクトルを出力とする、ことである、
ことを特徴とする請求項４に記載の音楽トラック分けマッチング振動の触覚フィードバック方法。

【請求項6】

前記第１トラックはパーカッショントラック、前記第２トラックは他の楽器トラック、前記第３トラックは人声トラック、前記第４トラックは低音トラックである、
ことを特徴とする請求項４に記載の音楽トラック分けマッチング振動の触覚フィードバック方法。

【請求項7】

オリジナルオーディオデータを取得するためのオリジナルオーディオ取得モジュールと、
予め設定されたディープラーニングモデルを利用して前記オリジナルオーディオデータをトラック分けし、複数のトラック分けオーディオデータを取得するためのトラック分けモジュールと、
前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するするための占有率計算モジュールと、
前記エネルギー占有率によって対応する各前記トラック分けオーディオデータの重みを決定するための重み計算モジュールと、
予め設定された重み付け規則によって、全ての前記トラック分けオーディオデータに対して重み付け計算を行い、時間周波数スペクトルを取得して出力するための重み付け計算モジュールと、
前記時間周波数スペクトルによって前記オリジナルオーディオデータに対応するマッチング振動信号を生成するためのマッチング振動モジュールと、
前記マッチング振動信号をドライバの駆動信号として出力して、触覚フィードバック効果を実現するための触覚フィードバックモジュールと、を含む、
ことを特徴とする音楽トラック分けマッチング振動の触覚フィードバックシステム。

【請求項8】

プロセッサと、メモリと、前記メモリに記憶されかつ前記プロセッサにて実行可能であるコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項１～６のいずれか１項に記載の前記音楽トラック分けマッチング振動の触覚フィードバック方法におけるステップを実現する、
ことを特徴とするコンピュータ装置。

【請求項9】

コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行される時に、請求項１～６のいずれか１項に記載の前記音楽トラック分けマッチング振動の触覚フィードバック方法におけるステップを実現する、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願はディープラーニング技術の応用分野に関し、特に音楽トラック分けマッチング振動の触覚フィードバック方法、システム及び関連装置に関するものである。

【背景技術】

【0002】

音楽はテンポ、リズム、緩急によって作者の喜び、悲しみ、怒り、強靭さなどの異なる感情を表現することができるが、音楽のテンポの速さ、アクセントの高さなどによってマッチングした振動の触覚フィードバック技術は、聴衆によりリアルで強い没入型感覚体験を与えることができる。音楽はジャンルによって含まれた楽器構成が異なるため、異なった楽器構成が音楽１曲のテンポ・リズムの分析に与える役割は異なる。例えば、パーカッションは規則的に叩くことで、音楽のテンポとリズムが捉えられやすくなり、ひいてはより精確な振動フィードバックにマッチングすることができる。

【0003】

従来技術では、音楽自体の特性を利用して振動を生成する方法において、ドラムビートなどのリズムの強い楽器に基づいて相応する振動を生成することが多いが、この方法はテンポの遅い音楽には適用できないと同時に、従来技術では音楽における異なるテンポの強弱を分析して振動レベルに相応した振動を生成することができず、ユーザーに与える振動のフィードバック体験が限られている。

【0004】

したがって、音楽のテンポ、リズムなどにより精確にマッチングする振動出力を得るために、新しい触覚フィードバック方法を提供する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする技術的課題は、音楽のテンポ、リズムなどにより精確にマッチングする振動出力を生成することができる方法を提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、第１態様では、本発明は、音楽トラック分けマッチング振動の触覚フィードバック方法を提供し、前記触覚フィードバック方法は、ディープラーニングモデルに基づいたものであり、前記触覚フィードバック方法は、オリジナルオーディオデータを取得することと、予め設定されたディープラーニングモデルを利用して前記オリジナルオーディオデータをトラック分けし、複数のトラック分けオーディオデータを取得することと、前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するすることと、前記エネルギー占有率によって、対応する各前記トラック分けオーディオデータの重みを決定することと、予め設定された重み付け規則によって、全ての前記トラック分けオーディオデータに対して重み付け計算を行い、時間周波数スペクトルを取得して出力することと、前記時間周波数スペクトルによって、前記オリジナルオーディオデータに対応するマッチング振動信号を生成することと、前記マッチング振動信号をドライバの駆動信号として出力して、触覚フィードバック効果を実現することと、を含む。

【0007】

好ましくは、前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するするステップは、具体的に、各前記トラック分けオーディオデータに対して短時間フーリエ変換処理を行い、対応する変換トラック分けオーディオデータを取得することと、前記オリジナルオーディオデータにおける前記変換トラック分けオーディオデータの前記エネルギー占有率を計算することと、を含む。

【0008】

好ましくは、前記時間周波数スペクトルによって、前記オリジナルオーディオデータに対応するマッチング振動信号を生成するステップは、具体的に、前記時間周波数スペクトルを正規化処理して、時間周波数曲線を取得することと、前記時間周波数曲線のうちの、予め設定された周波数閾値より大きい部分に対して、対応的に振動情報を設定することと、前記振動情報を含んだ前記時間周波数曲線を前記マッチング振動信号として出力することと、を含む。

【0009】

好ましくは、前記トラック分けオーディオデータは、少なくともトラックの特徴が異なる第１トラック、第２トラック、第３トラック及び第４トラックを含む。

【0010】

好ましくは、前記予め設定された重み付け規則は、具体的に、前記第１トラックの前記エネルギー占有率が最大であるか否かを判断し、最大である場合、前記第２トラックのエネルギー占有率が２番目であるか否かを判断し、前記第２トラックの前記エネルギー占有率が２番目である場合、前記第１トラックと前記第２トラックの前記時間周波数スペクトルを重み付けして出力とし、前記第２トラックの前記エネルギー占有率が２番目でない場合、前記第１トラックの前記時間周波数スペクトルのみを出力とし、最大でない場合、前記第２トラックの前記エネルギー占有率が最大であるか否かを判断し、前記第２トラックの前記エネルギー占有率が最大である場合、前記第１トラックの前記エネルギー占有率が２番目であるか否かを判断し、前記第１トラックの前記エネルギー占有率が２番目である場合、前記第１トラックと前記第２トラックの前記時間周波数スペクトルを重み付けして出力とし、前記第１トラックの前記エネルギー占有率が２番目でない場合、前記第２トラックの前記時間周波数スペクトルのみを出力とし、前記第２トラックの前記エネルギー占有率が最大でない場合、前記第３トラックの前記エネルギー占有率が最大であるか否かを判断し、前記第３トラックのエネルギー占有率が最大でない場合、前記第４トラックの前記時間周波数スペクトルを出力とし、前記第３トラックのエネルギー占有率が最大である場合、前記第３トラックの前記時間周波数スペクトルを出力とする、ことである。

【0011】

好ましくは、前記第１トラックはパーカッショントラック、前記第２トラックは他の楽器トラック、前記第３トラックは人声トラック、前記第４トラックは低音トラックである。

【0012】

第２態様では、本発明は、音楽トラック分けマッチング振動の触覚フィードバックシステムをさらに提供し、オリジナルオーディオデータを取得するためのオリジナルオーディオ取得モジュールと、予め設定されたディープラーニングモデルを利用して前記オリジナルオーディオデータをトラック分けし、複数のトラック分けオーディオデータを取得するためのトラック分けモジュールと、前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するするための占有率計算モジュールと、前記エネルギー占有率によって対応する各前記トラック分けオーディオデータの重みを決定するための重み計算モジュールと、予め設定された重み付け規則によって、全ての前記トラック分けオーディオデータに対して重み付け計算を行い、時間周波数スペクトルを取得して出力するための重み付け計算モジュールと、前記時間周波数スペクトルによって前記オリジナルオーディオデータに対応するマッチング振動信号を生成するためのマッチング振動モジュールと、前記マッチング振動信号をドライバの駆動信号として出力して、触覚フィードバック効果を実現するための触覚フィードバックモジュールと、を含む。

【0013】

第３態様では、本発明は、コンピュータ装置をさらに提供し、プロセッサと、メモリと、前記メモリに記憶されかつ前記プロセッサにて実行可能であるコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行する時に、上記のいずれか１項に記載の前記音楽トラック分けマッチング振動の触覚フィードバック方法におけるステップを実現する。

【0014】

第４態様では、本発明は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムが前記プロセッサによって実行される時に、上記いずれか１項に記載の前記音楽トラック分けマッチング振動の触覚フィードバック方法におけるステップを実現する。

【発明の効果】

【0015】

従来技術と比べて、本発明の触覚フィードバック方法では、予め設定されたディープラーニングモデルによって音楽をトラック分けし、特徴が大きく異なる各トラックを区分し、そして、各トラックのエネルギー占有率によってオリジナルオーディオにおける重要度を決定することで、大きさの異なる重みを設定し、異なるトラックを柔軟に重み付けして組み合わせ、オーディオデータを振動とマッチングし、最後に、オーディオデータのテンポやリズムなどにより精確にマッチングする振動出力を出力して、ユーザーにより良好な触覚フィードバック体験を提供することができる。

【図面の簡単な説明】

【0016】

本発明の実施例における技術案をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明し、明らかに、以下説明された図面は、本発明のいくつかの実施例に過ぎず、当業者であれば、進歩的な労働をしなくても、これらの図面に基づいて他の図面を取得することができ、そのうち、

【図1】図１は、本発明の実施例に係る音楽トラック分けマッチング振動の触覚フィードバック方法のステップのフローチャートである。

【図2】図２は、本発明の実施例に係るディープラーニングモデルの構成を示す図である。

【図3】図３は、本発明の実施例に係る予め設定された重み付け規則の概略図である。

【図4】図４は、本発明の実施例に係るディープラーニングモデルによるトラック分け後のトラックの概略図である。

【図5】図５は、本発明の実施例に係る各トラックの時間周波数スペクトル比較グラフである。

【図6】図６は、本発明の実施例に係るマッチング振動信号を示す図である。

【図7】図７は、本発明の実施例に係る音楽トラック分けマッチング振動の触覚フィードバックシステムの構成を示す図である。

【図8】図８は、本発明の実施例に係るコンピュータ装置の構成を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施例における図面を参照しながら本発明の実施例における技術案を明確かつ完全に説明する。明らかに、記載された実施例は、全ての実施例ではなく、本発明の一部の実施例に過ぎない。当業者が本発明における実施例に基づいて進歩的な労働をしない前提に得られた他の全ての他の実施例は、いずれも本発明の保護範囲に含まれるものとする。

【0018】

図１は、本発明の実施例に係る音楽トラック分けマッチング振動の触覚フィードバック方法のステップフローチャートであり、図１に示すように、前記触覚フィードバック方法は、

【0019】

Ｓ１：オリジナルオーディオデータを取得する。

【0020】

具体的には、本発明の実施例によって取得された前記オリジナルオーディオデータは、表現される音楽形式、例えばポップス、ロック、シンフォニーなどには特に限定されず、前記オリジナルオーディオデータを取得する方法は、既存のオーディオデータから取得したり、レコーダーやビデオ撮影などでリアルタイムに抽出して、独立したオーディオデータファイルに変換したりする方法などを含むが、これらに限定されない。

【0021】

Ｓ２：予め設定されたディープラーニングモデルを利用して前記オリジナルオーディオデータをトラック分けし、複数のトラック分けオーディオデータを取得する。

【0022】

具体的に、前記ディープラーニングモデルは、オーディオデータ内の特性の異なる各種オーディオを分離するためのニューラルネットワークモデルであり、本発明の実施例において、前記オリジナルオーディオデータをトラック分けするための前記ディープラーニングモデルの構成を図２に示しており、前記ディープラーニングモデルは複数のエンコーダからなるエンコード層と、ＬＳＴＭ（Ｌｏｎｇｓｈｏｒｔ－ｔｅｒｍｍｅｍｏｒｙ、長短期記憶）構成のニューラルネットワークリカレントレイヤーと、複数のデコーダからなるデコードレイヤーとを含み、ニューラルネットワークリカレントレイヤーでは、特性の異なるオーディオトラックを抽出するために、必要に応じて異なるＬＳＴＭモジュールを設けることができる。

【0023】

好ましくは、前記トラック分けオーディオデータは、少なくともトラックの特徴が異なる第１トラック、第２トラック、第３トラック及び第４トラックを含む。

【0024】

Ｓ３：前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するする。

【0025】

好ましくは、前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するするステップは、具体的に、
各前記トラック分けオーディオデータに対して短時間フーリエ変換処理を行い、対応する変換トラック分けオーディオデータを取得することと、
前記オリジナルオーディオデータにおける前記変換トラック分けオーディオデータの前記エネルギー占有率を計算することと、を含む。

【0026】

Ｓ４：前記エネルギー占有率によって、対応する各前記トラック分けオーディオデータの重みを決定する。

【0027】

Ｓ５：予め設定された重み付け規則によって、全ての前記トラック分けオーディオデータに対して重み付け計算を行い、時間周波数スペクトルを取得して出力する。

【0028】

好ましくは、前記予め設定された重み付け規則は、具体的に、全ての前記トラック分けオーディオデータのうちの１つのトラックを前記時間周波数スペクトルの生成に用いられるトラックとすることである。

【0029】

具体的には、１つの選択可能な実施例では、４つの前記トラック分けオーディオデータの前記予め設定された重み付け規則は、下記の通りである。

【0030】

前記第１トラックの前記エネルギー占有率が最大であるか否かを判断する。

【0031】

最大である場合、
前記第２トラックのエネルギー占有率が２番目であるか否かを判断する。前記第２トラックの前記エネルギー占有率が２番目である場合、前記第１トラックと前記第２トラックの前記時間周波数スペクトルを重み付けして出力とする。前記第２トラックの前記エネルギー占有率が２番目でない場合、前記第１トラックの前記時間周波数スペクトルのみを出力とする。

【0032】

最大でない場合、
前記第２トラックの前記エネルギー占有率が最大であるか否かを判断する。

【0033】

前記第２トラックの前記エネルギー占有率が最大である場合、前記第１トラックの前記エネルギー占有率が２番目であるか否かを判断する。前記第１トラックの前記エネルギー占有率が２番目である場合、前記第１トラックと前記第２トラックの前記時間周波数スペクトルを重み付けして出力とする。前記第１トラックの前記エネルギー占有率が２番目でない場合、前記第２トラックの前記時間周波数スペクトルのみを出力とする。

【0034】

前記第２トラックの前記エネルギー占有率が最大でない場合、前記第３トラックの前記エネルギー占有率が最大であるか否かを判断する。前記第３トラックのエネルギー占有率が最大でないと、前記第４トラックの前記時間周波数スペクトルを出力とする。前記第３トラックのエネルギー占有率が最大である場合、前記第３トラックの前記時間周波数スペクトルを出力とする。

【0035】

好ましくは、前記第１トラックはパーカッショントラック、前記第２トラックは他の楽器トラック、前記第３トラックは人声トラック、前記第４トラックは低音トラックである。図３は、本発明の実施例に係る予め設定された重み付け規則の概略図であり、低音トラックはオーディオの中で周波数が低い部分であり、また、オーディオには中音、高音も含まれ、ユーザーにとって、低音の変化による聴感は中音、高音の部分より強く、パーカッション楽器はオーディオの中でテンポの速さを重点的に表現する部分であり、その中で、パーカッションは規則的な周波数の起伏を表現し、パーカッション以外の楽器はパーカッションと組み合わせることで音楽のジャンルを表現することが多く、人声トラックはオーディオの中で特別なものであり、人声に規則性がないが、人声の音楽における表現のフィードバックが振動である場合、ユーザー体験に大きな影響を与える。なお、本発明の実施例では、具体的にスプリットされるトラック数は柔軟に変えられることができる。

【0036】

上記の予め設定された重み付け規則によって、本発明の実施例ではオーディオデータの中でエネルギー占有率が最大である少なくとも１つの前記トラック分けオーディオデータを前記時間周波数スペクトルの基礎データとすることができ、前記時間周波数スペクトルはオーディオデータにおいて振動フィードバックを対応マッチングして生成する必要がある特性を表現することをより重視する。

【0037】

Ｓ６：前記時間周波数スペクトルによって、前記オリジナルオーディオデータに対応するマッチング振動信号を生成する。

【0038】

好ましくは、前記時間周波数スペクトルによって、前記オリジナルオーディオデータに対応するマッチング振動信号を生成するステップは、具体的に、
前記時間周波数スペクトルを正規化処理して、時間周波数曲線を取得することと、
前記時間周波数曲線のうちの、予め設定された周波数閾値より大きい部分に対して、対応的に振動情報を設定することと、
前記振動情報を含んだ前記時間周波数曲線を前記マッチング振動信号とすることと、を含む。

【0039】

Ｓ７：前記マッチング振動信号をドライバの駆動信号として出力して、触覚フィードバック効果を実現する。

【0040】

本発明の実施例では、前記触覚フィードバック効果は、モータを主とするドライバを備える振動フィードバックシステムによって実現する必要がある。

【0041】

例示的に、図４は、本発明の実施例に係るディープラーニングモデルによるトラック分け後のトラックの概略図であり、図４における各トラックは上から順に、オリジナルオーディオデータ、低音トラック、パーカッショントラック、他の楽器トラック、人声トラックである。比較として、図５に示す各トラックの時間周波数スペクトル比較グラフを参照すると、前記オリジナルオーディオデータからトラック分けして取得した複数の前記トラック分けオーディオデータは、基本的なトラック特性が異なるため、対応するエネルギー占有率の差が大きいことがわかった。異なる前記エネルギー占有率によって、本発明の実施例における前記予め設定された重み付け規則によって重み付けを行って生成された前記マッチング振動信号を図６に示し、ここで、第１行は処理されていない一般的な振動信号、第３行は本発明の実施例における重み付けして生成された前記マッチング振動信号である。

【0042】

従来技術と比べて、本発明の触覚フィードバック方法では、予め設定されたディープラーニングモデルによって音楽をトラック分けし、特徴が大きく異なる各トラックを区分し、そして、各トラックのエネルギー占有率によってオリジナルオーディオにおける重要度を決定することで、大きさの異なる重みを設定し、異なるトラックを柔軟に重み付けして組み合わせ、オーディオデータを振動とマッチングし、最後に、オーディオデータのテンポやリズムなどにより精確にマッチングする振動出力を出力して、ユーザーにより良好な触覚フィードバック体験を提供することができる。

【0043】

本発明の実施例では、さらに音楽トラック分けマッチング振動の触覚フィードバックシステムを提供し、図７に示すに、図７は本発明の実施例に係る音楽トラック分けマッチング振動の触覚フィードバックシステム２００の構成を示す図であり、前記触覚フィードバックシステム２００は、
オリジナルオーディオデータを取得するためのオリジナルオーディオ取得モジュール２０１と、
予め設定されたディープラーニングモデルを利用して前記オリジナルオーディオデータをトラック分けし、複数のトラック分けオーディオデータを取得するためのトラック分けモジュール２０２と、
前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するするための占有率計算モジュール２０３と、
前記エネルギー占有率によって対応する各前記トラック分けオーディオデータの重みを決定するための重み計算モジュール２０４と、
予め設定された重み付け規則によって、全ての前記トラック分けオーディオデータに対して重み付け計算を行い、時間周波数スペクトルを取得して出力するための重み付け計算モジュール２０５と、
前記時間周波数スペクトルによって前記オリジナルオーディオデータに対応するマッチング振動信号を生成するためのマッチング振動モジュール２０６と、
前記マッチング振動信号をドライバの駆動信号として出力して、触覚フィードバック効果を実現するための触覚フィードバックモジュール２０７と、を含む。

【0044】

本発明の実施例に係る音楽トラック分けマッチング振動の触覚フィードバックシステム２００は、上記の実施例に記載された音楽トラック分けマッチング振動の触覚フィードバック方法の各ステップを実現することができ、且つ同じ技術的効果を実現することができる。具体的には、上記の実施例の説明を参照し、ここでは繰り返して説明する必要がない。

【0045】

本発明の実施例では、さらにコンピュータ装置を提供する。図８に示すように、図８は、本発明の実施例に係るコンピュータ装置の構成を示す図である。前記コンピュータ装置３００は、プロセッサ３０１と、メモリ３０２と、メモリ３０２に記憶されかつ前記プロセッサ３０１にて実行可能であるコンピュータプログラムとを含む。

【0046】

図１に示すように、前記プロセッサ３０１は、前記メモリ３０２に記憶されたコンピュータプログラムを呼び出して、前記コンピュータプログラムを実行する時に、上記の実施例における前記音楽トラック分けマッチング振動の触覚フィードバック方法におけるステップを実現し、具体的に、
オリジナルオーディオデータを取得することと、
予め設定されたディープラーニングモデルを利用して前記オリジナルオーディオデータをトラック分けし、複数のトラック分けオーディオデータを取得することと、
前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するすることと、
前記エネルギー占有率によって、対応する各前記トラック分けオーディオデータの重みを決定することと、
予め設定された重み付け規則によって、全ての前記トラック分けオーディオデータに対して重み付け計算を行い、時間周波数スペクトルを取得して出力することと、
前記時間周波数スペクトルによって、前記オリジナルオーディオデータに対応するマッチング振動信号を生成することと、
前記マッチング振動信号をドライバの駆動信号として出力して、触覚フィードバック効果を実現することと、を含む。

【0047】

好ましくは、前記オリジナルオーディオデータにおける各前記トラック分けオーディオデータの対応するエネルギー占有率を計算するするステップは、具体的に、
各前記トラック分けオーディオデータに対して短時間フーリエ変換処理を行い、対応する変換トラック分けオーディオデータを取得することと、
前記オリジナルオーディオデータにおける前記変換トラック分けオーディオデータの前記エネルギー占有率を計算することと、を含む。

【0048】

好ましくは、前記時間周波数スペクトルによって、前記オリジナルオーディオデータに対応するマッチング振動信号を生成するステップは、具体的に、
前記時間周波数スペクトルを正規化処理して、時間周波数曲線を取得することと、
前記時間周波数曲線のうちの、予め設定された周波数閾値より大きい部分に対して、対応的に振動情報を設定することと、
前記振動情報を含んだ前記時間周波数曲線を前記マッチング振動信号として出力することと、を含む。

【0049】

好ましくは、前記トラック分けオーディオデータは、少なくともトラックの特徴が異なる第１トラック、第２トラック、第３トラック及び第４トラックを含む。

【0050】

好ましくは、前記予め設定された重み付け規則は、具体的に下記の通りである。

【0051】

前記第１トラックの前記エネルギー占有率が最大であるか否かを判断する。

【0052】

最大である場合、
前記第２トラックのエネルギー占有率が２番目であるか否かを判断する。前記第２トラックの前記エネルギー占有率が２番目である場合、前記第１トラックと前記第２トラックの前記時間周波数スペクトルを重み付けして出力とし、前記第２トラックの前記エネルギー占有率が２番目でない場合、前記第１トラックの前記時間周波数スペクトルのみを出力とする。

【0053】

最大でない場合、
前記第２トラックの前記エネルギー占有率が最大であるか否かを判断する。

【0054】

前記第２トラックの前記エネルギー占有率が最大である場合、前記第１トラックの前記エネルギー占有率が２番目であるか否かを判断する。前記第１トラックの前記エネルギー占有率が２番目である場合、前記第１トラックと前記第２トラックの前記時間周波数スペクトルを重み付けして出力とし、前記第１トラックの前記エネルギー占有率が２番目でない場合、前記第２トラックの前記時間周波数スペクトルのみを出力とする。

【0055】

前記第２トラックの前記エネルギー占有率が最大でない場合、前記第３トラックの前記エネルギー占有率が最大であるか否かを判断する。前記第３トラックのエネルギー占有率が最大でない場合、前記第４トラックの前記時間周波数スペクトルを出力とする。前記第３トラックのエネルギー占有率が最大である場合、前記第３トラックの前記時間周波数スペクトルを出力とする。

【0056】

好ましくは、前記第１トラックはパーカッショントラック、前記第２トラックは他の楽器トラック、前記第３トラックは人声トラック、前記第４トラックは低音トラックである。

【0057】

本発明の実施例に係るコンピュータ装置３００は、上記の実施例における音楽トラック分けマッチング振動の触覚フィードバック方法におけるステップを実現することができ、且つ同じ技術的効果を実現することができる。具体的には、上記の実施例の説明を参照し、ここでは繰り返して説明する必要がない。

【0058】

本発明の実施例では、さらにコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行される時に、本発明の実施例に係る音楽トラック分けマッチング振動の触覚フィードバック方法における各過程とステップを実現し、且つ同じ技術的効果を実現することができる。重複を避けるため、ここでは繰り返して説明する必要がない。

【0059】

以上説明したものは、本発明の一実施形態に過ぎず、当業者であれば、本発明の創造的思想を逸脱することなく改良も行うが可能であるが、これらはいずれも本発明の保護範囲に含まれることをここで指摘すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】