特表 2025-500091 振動フィードバック信号の生成方法、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-09

(54)【発明の名称】振動フィードバック信号の生成方法、電子機器及び記憶媒体

(51)【国際特許分類】

   H04R 3/00 20060101AFI20241226BHJP

   H04R 1/00 20060101ALI20241226BHJP

   G10L 25/51 20130101ALI20241226BHJP

   G06F 3/01 20060101ALI20241226BHJP

【ＦＩ】

H04R3/00 310

H04R1/00 310G

G10L25/51 300

G06F3/01 560

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023532303

(86)(22)【出願日】2023-03-07

(11)【特許番号】

(45)【特許公報発行日】2024-12-25

(85)【翻訳文提出日】2023-05-26

(86)【国際出願番号】 CN2023080095

(87)【国際公開番号】W WO2024119638

(87)【国際公開日】2024-06-13

(31)【優先権主張番号】202211564092.7

(32)【優先日】2022-12-07

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】523182360

【氏名又は名称】エーエーシー アコースティック テクノロジーズ （シャンハイ） カンパニー リミテッド

(74)【代理人】

【識別番号】100199819

【弁理士】

【氏名又は名称】大行 尚哉

(74)【代理人】

【識別番号】100087859

【弁理士】

【氏名又は名称】渡辺 秀治

(72)【発明者】

【氏名】裴詩雨

(72)【発明者】

【氏名】マァン ズァン イォウ

(72)【発明者】

【氏名】鄭亜軍

(72)【発明者】

【氏名】曹夢雅

【テーマコード（参考）】

5D017

5D220

5E555

【Ｆターム（参考）】

5D017AA11

5D220AA34

5E555AA08

5E555BA06

5E555BA88

5E555BB06

5E555BC09

5E555DC84

5E555EA07

5E555FA00

(57)【要約】

【課題】本発明には、振動フィードバック信号の生成方法、電子機器及び記憶媒体が提供される。
【解決手段】振動フィードバック信号の生成方法は、オーディオデータによってオーディオのエネルギー変動傾向曲線（横軸がフレーム数、縦軸がエネルギー変動値）を生成することと、エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値を比較することと、比較結果（各オーディオセグメントに対応するテンポ変化傾向を示す）によってオーディオを複数のオーディオセグメントに分割することと、各オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を各オーディオセグメントにマッチングすることと、全ての前記振動フィードバック信号に対してスプライス処理を行い、目標振動フィードバック信号を取得することと、を含む。本願では、各オーディオセグメントに最終的にマッチングされる振動フィードバック信号をスプライスして得られた目標振動フィードバック信号がオーディオ全体のテンポ変化傾向に適合し、オーディオと振動フィードバック信号とのマッチング合理性を効果的に高めた。
【選択図】図１

【特許請求の範囲】

【請求項1】

オーディオデータによってオーディオのエネルギー変動傾向曲線を生成することであって、前記エネルギー変動傾向曲線は、その横軸がフレーム数、縦軸がエネルギー変動値であることと、
前記エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値を比較することと、
比較結果によってオーディオを複数のオーディオセグメントに分割することであって、前記比較結果は、各前記オーディオセグメントに対応するテンポ変化傾向を示すことと、
各前記オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を各前記オーディオセグメントにマッチングすることと、
全ての前記振動フィードバック信号に対してスプライス処理を行い、目標振動フィードバック信号を取得することと、を含む、
ことを特徴とする振動フィードバック信号の生成方法。

【請求項2】

オーディオデータによってオーディオのエネルギー変動傾向曲線を生成することは、
オーディオデータによってオーディオのエネルギー累積曲線を生成することであって、前記エネルギー累積曲線は、その横軸がフレーム数、縦軸がエネルギー累積値であることと、
前記エネルギー累積曲線によってオーディオのエネルギー変動傾向曲線を生成することと、を含む、
ことを特徴とする請求項１に記載の振動フィードバック信号の生成方法。

【請求項3】

オーディオデータによってオーディオのエネルギー累積曲線を生成することは、
オーディオのフレーム数、時間長、１分間あたりの拍数およびエネルギー曲線によってオーディオのエネルギー累積曲線を生成することであって、前記エネルギー曲線は、その横軸がフレーム数、縦軸がエネルギー値であることを含む、
ことを特徴とする請求項２に記載の振動フィードバック信号の生成方法。

【請求項4】

前記エネルギー曲線は、メルスペクトログラムのエネルギー曲線であり、ここで、前記メルスペクトログラムのエネルギー曲線は、その横軸がフレーム数、縦軸がメルスペクトログラムのエネルギー値である、
ことを特徴とする請求項３に記載の振動フィードバック信号の生成方法。

【請求項5】

オーディオデータによってオーディオのエネルギー変動傾向曲線を生成することは、さらに、
オーディオデータのオリジナルスペクトルエネルギーのエネルギーエンベロープを取得することと、
前記エネルギーエンベロープによって前記エネルギー変動傾向曲線を修正することと、を含む、
ことを特徴とする請求項３に記載の振動フィードバック信号の生成方法。

【請求項6】

前記エネルギーエンベロープによって前記エネルギー変動傾向曲線を修正した後、さらに、
修正後の前記エネルギー変動傾向曲線における最大エネルギー変動値によって予め設定されたエネルギー変動閾値を調整することを含む、
ことを特徴とする請求項５に記載の振動フィードバック信号の生成方法。

【請求項7】

比較結果によってオーディオを複数のオーディオセグメントに分割することは、
比較結果によってオーディオを少なくとも１つの第１オーディオセグメントまたは少なくとも１つの第２オーディオセグメントに分割することを含み、ここで、前記第１オーディオセグメントは、前記エネルギー変動傾向曲線において対応するエネルギー変動値が予め設定されたエネルギー変動閾値以上であることを示し、前記第２オーディオセグメントは、前記エネルギー変動傾向曲線において対応するエネルギー変動値が予め設定されたエネルギー変動閾値より小さいことを示し、前記第１オーディオセグメントに対応するテンポ変化傾向は前記第２オーディオセグメントよりも大きい、
ことを特徴とする請求項１に記載の振動フィードバック信号の生成方法。

【請求項8】

各前記オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を各前記オーディオセグメントにマッチングすることは、
各前記オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を予め作成された信号ライブラリから各前記オーディオセグメントにマッチングすることを含む、
ことを特徴とする請求項１に記載の振動フィードバック信号の生成方法。

【請求項9】

各前記オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を各前記オーディオセグメントにマッチングする前に、さらに、
時間長が予め設定された時間長閾値以下である前記オーディオセグメントを前の前記オーディオセグメントまたは次の前記オーディオセグメントに組み込むこと、または、
時間長が予め設定された時間長閾値以下である前記オーディオセグメントを２つのサブオーディオセグメントに分割し、そして、前記２つのサブオーディオセグメントをそれぞれ前の前記オーディオセグメントと次の前記オーディオセグメントに組み込むことを含む、
ことを特徴とする請求項１に記載の振動フィードバック信号の生成方法。

【請求項10】

メモリと、少なくとも１つのプロセッサーとを備え、ここで、前記メモリは、少なくとも１つのプログラムを記憶するために使われ、かつ、前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサーによって実行される時、前記少なくとも１つのプロセッサーに請求項１～９のいずれかの１項に記載の振動フィードバック信号の生成方法を実行させる、
ことを特徴とする電子機器。

【請求項11】

さらに、振動フィードバックデバイスを含み、前記振動フィードバックデバイスは、オーディオ再生中に前記プロセッサーから出力された目標振動フィードバック信号によって同期振動するために使われる、
ことを特徴とする請求項１０に記載の電子機器。

【請求項12】

コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体には、実行可能な命令が記憶され、前記実行可能な命令が実行された時に、請求項１～９のいずれか１項に記載の振動フィードバック信号の生成方法を実行する、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は触覚フィードバックの技術分野に関し、特に振動フィードバック信号の生成方法、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

科学技術の発展と時代の進歩に伴い、振動フィードバックは携帯電話、タブレットＰＣ、ゲームパッド、スマートウォッチなどの消費者向け電子機器に応用されるようになり、その応用シーンも最初の単純な振動提示からオーディオ、ゲーム、ビデオなどとの組み合わせまで発展しており、例えば、ゲーム中にユーザーの入力した異なるトリガコマンド（例えばクリック、長押し、スライドなど）に応じて異なる振動効果を提供することができ、オーディオ再生中にオーディオの再生に応じて強弱の異なる振動効果を提供することができ、ユーザーに没入型感覚体験をもたらしている。

【0003】

従来技術では、オーディオの振動フィードバックを行うには、あらかじめ相応する振動フィードバック信号を生成しておく必要があり、当該振動フィードバック信号は最終的に電子機器の振動フィードバックデバイスに入力され、振動フィードバックデバイスがオーディオ再生中に振動フィードバック信号によって同期振動を行い、期待される振動効果を得ることができる。ただし、現在、ほとんどのオーディオは同じ振動フィードバック信号によって振動フィードバックを実現しており、同じ振動フィードバック信号では異なるタイプ（主にテンポの速さが異なる）のオーディオを合理的にマッチングすることが困難である。これは、オーディオと振動フィードバック信号とのマッチング合理性が悪く、異なるタイプのオーディオがユーザーに全く新しい感覚体験を与えることができないことを示していると同時に、振動フィードバック信号に対応する振動効果があまりにも単一で豊かさが高くないことを裏付けている。

【0004】

したがって、上記の振動フィードバック信号の生成方法を改善する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、オーディオと振動フィードバック信号とのマッチング合理性が悪いという従来技術の問題を解決するための振動フィードバック信号の生成方法、電子機器及び記憶媒体を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の技術的課題を解決するために、本願実施例の第１面では、振動フィードバック信号の生成方法が提供され、オーディオデータによってオーディオのエネルギー変動傾向曲線を生成することであって、エネルギー変動傾向曲線は、その横軸がフレーム数、縦軸がエネルギー変動値であることと、エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値を比較することと、比較結果によってオーディオを複数のオーディオセグメントに分割することであって、比較結果は、各オーディオセグメントに対応するテンポ変化傾向を示すことと、各オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を各オーディオセグメントにマッチングすることと、全ての振動フィードバック信号に対してスプライス処理を行い、目標振動フィードバック信号を取得することと、を含む。

【0007】

本願実施例の第２面では、電子機器が提供され、メモリと、少なくとも１つのプロセッサーとを備え、ここで、メモリは、少なくとも１つのプログラムを記憶するために使われ、かつ、少なくとも１つのプログラムが少なくとも１つのプロセッサーによって実行される時、少なくとも１つのプロセッサーに本願実施例第１面に記載の振動フィードバック信号の生成方法を実行させる。

【0008】

本願実施例の第３面では、コンピュータ読み取り可能な記憶媒体が提供され、コンピュータ読み取り可能な記憶媒体には、実行可能な命令が記憶され、実行可能な命令が実行された時に、本願実施例第１面に記載の振動フィードバック信号の生成方法を実行する。

【発明の効果】

【0009】

上記の説明からわかったように、従来技術と比べて、本願の有益な効果は、以下の通りである。

【0010】

まず、オーディオデータによってオーディオのエネルギー変動傾向曲線を生成し、エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値を比較し、次に、比較結果によってオーディオを複数のオーディオセグメントに分割し、ここで、比較結果は、各オーディオセグメントに対応するテンポ変化傾向を示し、最後に、各オーディオセグメントに相応するテンポの変化傾向によって、相応する振動フィードバック信号を各オーディオセグメントにマッチングし、全ての振動フィードバック信号をスプライス処理し、目標振動フィードバック信号を取得し、また、電子機器における振動フィードバックデバイスがオーディオ再生中に目標振動フィードバック信号に応じて同期振動して、相応する振動効果を達成させることができる。これからわかるように、本願では、エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値との比較結果によって、オーディオのテンポ変化傾向を示しているとともに、オーディオのテンポ変化傾向によってオーディオを複数のオーディオセグメントに分割しているが、テンポ変化傾向の異なるオーディオセグメントの場合、それらに最終的にマッチングされる振動フィードバック信号が異なり、即ち、それらに最終的にマッチングされる振動フィードバック信号は異なる振動効果を備える。これは、各オーディオセグメントに最終的にマッチングされる振動フィードバック信号をスプライスして得られた目標振動フィードバック信号がオーディオ全体のテンポ変化傾向に適合し、オーディオと振動フィードバック信号とのマッチング合理性を効果的に高めたことを示している。また、異なるタイプのオーディオはそれぞれ異なるテンポ変化傾向を備えるが、本願では、異なるタイプのオーディオの場合、それらに対応する目標振動フィードバック信号は、それぞれのテンポ変化傾向に適合する前提で、それぞれ異なる振動効果を持っており、振動フィードバック信号の豊かさを向上させているだけでなく、異なるタイプ向けのオーディオもユーザーに全く新しい感覚体験をもたらすことができる。

【図面の簡単な説明】

【0011】

従来技術または本願の実施例における技術案をより明確に説明するために、以下、従来技術または本願の実施例の説明に必要な図面を簡単に説明し、明らかに、以下説明された図面は、本願のいくつかの実施例に過ぎず、すべての実施例ではなく、当業者であれば、進歩的な労働をしなくても、これらの図面に基づいて他の図面を取得することができる。

【図1】図１は、本願の実施例によって提供された振動フィードバック信号の生成方法のフローチャートである。

【図2】図２は、本願の実施例によって提供された修正前のエネルギー変動傾向曲線の概略図である。

【図3】図３は、本願の実施例によって提供されたエネルギー累積曲線の概略図である。

【図4】図４は、本願の実施例によって提供されたエネルギー曲線の概略図である。

【図5】図５は、本願の実施例によって提供された修正後のエネルギー変動傾向曲線の概略図である。

【図6】図６は、本願の実施例によって提供されたオーディオセグメントのパーティションをフローチャートである。

【図7】図７は、本願の実施例によって提供された振動フィードバック信号の生成から利用までのプロセスである。

【図8】図８は、本願の実施例によって提供された電子機器のモジュールブロック図であるである。

【図9】図９は本願の実施例によって提供されるコンピュータ読み取り可能な記憶媒体のモジュールブロック図である。

【発明を実施するための形態】

【0012】

本願の目的、技術案及び利点をより明確にかつ理解しやすくするために、以下では、本願の実施例及び対応する図面を組み合わせて本願を明確かつ完全に説明する。ここで、最初から最後まで同一又は類似の符号が同一又は類似の要素又は同一又は類似の機能を有する要素を表す。以下に説明する本願の様々な実施例は、本願を説明するためだけに使用され、本願を限定するために使用されないこと、すなわち、本願の様々な実施例に基づいて、当業者が創造的な労働を行うことなく取得した他の実施例は、本願の保護範囲に属することを理解すべきである。また、以下に説明する本願の様々な実施例に係る技術的特徴は、互いに衝突が形成されていない限り互いに組み合わされてもよい。

【0013】

図１を参照して、図１は、本願の実施例によって提供された振動フィードバック信号の生成方法のフローチャートであり、前記振動フィードバック信号の生成方法は、下記のステップ１０１～１０５を含む。

【0014】

ステップ１０１：オーディオデータによってオーディオのエネルギー変動傾向曲線を生成すること。

【0015】

本願の実施例では、オーディオのテンポ変化傾向に適合する振動フィードバック信号を生成するには、オーディオのオーディオデータを取得し、取得したオーディオデータによってオーディオのエネルギー変動傾向曲線を生成する必要がある。当該エネルギー変動傾向曲線の概略図は、図２を参照することができる。横軸がフレーム数、縦軸がエネルギー変動値であり、オーディオのエネルギー変動値とフレーム数との対応関係を確立しており、即ちフレーム数によるオーディオのエネルギーの動的な変化を示している。なお、オーディオデータに対してメルスペクトログラムのエネルギー解析を行う時の一連の標準化操作（例えば、対数化、整流、差分など）により、直接生成されるエネルギー変動傾向曲線にはある程度の偏差がある可能性が高いため、エネルギー変動傾向曲線を修正する必要がある。図２はエネルギー変動傾向曲線の修正前の概略図を示しただけであり、具体的な修正過程について、以下に詳しく説明する。

【0016】

ステップ１０２：エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値を比較すること。

【0017】

本願の実施例では、オーディオのエネルギー変動傾向曲線を生成した後、エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値を比較し、即ち、この後比較結果によってオーディオの分割を行うために、エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値との大きさを比較する必要がある。

【0018】

ステップ１０３：比較結果によってオーディオを複数のオーディオセグメントに分割すること。

【0019】

本願の実施例では、エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値を比較した後、比較結果によってオーディオを複数のオーディオセグメントに分割する必要がある。この場合、まず比較結果によってエネルギー変動傾向曲線を複数の互いにつながる領域に分割し、その後、これら複数の互いにつながる領域を基準としてオーディオを時系列的に連続した複数のオーディオセグメント（複数の互いにつながる領域と、時系列的に連続する複数のオーディオセグメントとの間は１対１で対応している）に分割することができる。なお、比較結果は、各オーディオセグメントに対応するテンポの変化傾向を実質的に示している。比較結果によってエネルギー変動傾向曲線を領域Ａと領域Ｂに分割し、かつ比較結果として領域Ａにおける各エネルギー変動値が予め設定されたエネルギー変動閾値以上であり、領域Ｂにおける各エネルギー変動値が予め設定されたエネルギー変動閾値より小さいとすると、オーディオは、領域Ａに対応するオーディオセグメントａと、領域Ｂに対応するオーディオセグメントｂとに分割され、かつオーディオセグメントａのテンポ変化が顕著であり（即ちテンポ変化が速い）、オーディオセグメントｂのテンポ変化が目立たない（即ちテンポ変化が遅い）。これは、エネルギー変動値が予め設定されたエネルギー変動閾値以上である場合、オーディオセグメントのテンポ変化が目立ち、エネルギー変動値が予め設定されたエネルギー変動閾値より小さい場合、オーディオセグメントのテンポ変化が目立たないことを意味している。

【0020】

ステップ１０４：各オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を各オーディオセグメントにマッチングすること。

【0021】

本願の実施例では、比較結果によってオーディオを時系列的に連続する複数のオーディオセグメントに分割した後、各オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を各オーディオセグメントにマッチングする必要がある。なお、ステップ１０３で示された例を踏襲すると、オーディオセグメントａのテンポ変化が顕著であるため、間隔が短くかつ周波数が高い振動フィードバック信号をオーディオセグメントａにマッチングする必要がある一方、オーディオセグメントｂのテンポ変化が目立たないため、間隔が長くかつ周波数が低い振動フィードバック信号をオーディオセグメントｂにマッチングする必要がある。好ましくは、複数タイプの振動フィードバック信号を含む信号ライブラリを予め作成し、当該信号ライブラリにおける各振動フィードバック信号がそれぞれ異なるテンポ変化傾向に対応するようにする。このような場合、各オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を当該信号ライブラリから各オーディオセグメントにマッチングすればよく、各オーディオセグメントに対してそれぞれのテンポ変化傾向に適合する振動フィードバック信号を新たに設計する必要はない。

【0022】

ステップ１０５：全ての振動フィードバック信号に対してスプライス処理を行い、目標振動フィードバック信号を取得すること。

【0023】

本願の実施例では、オーディオを複数のオーディオセグメントに分割しているが、オーディオは再生時に連続しており、即ち、いずれかの隣接する２つのオーディオセグメントの間にブレークポイントが発生しない。これは、分割された複数のオーディオセグメントが時系列的に連続している理由でもある。このゆえに、各オーディオセグメントに対応するテンポ変化傾向によって対応する振動フィードバック信号を各オーディオセグメントにマッチングした後、全ての振動フィードバック信号をスプライス処理して、完全かつ連続的な目標振動フィードバック信号を取得する必要があり、その後、目標振動フィードバック信号を電子機器内の振動フィードバックデバイスに入力することができ、これによって、振動フィードバックデバイスがオーディオ再生中に目標振動フィードバック信号によって同期振動して、相応する振動効果を取得することができる。

【0024】

理解できるように、予め設定されたエネルギー変動閾値は１つに限定されるものではなく、予め設定されたエネルギー変動閾値がｎ（ｎが１より大きい正の整数）個である場合、ｎ個の予め設定されたエネルギー変動閾値は、ｎ＋１個の閾値範囲を構成することができる。予め設定されたエネルギー変動閾値がｘ、ｙおよびｚの３つを含み、かつｘ＜ｙ＜ｚであるとすると、４つの閾値範囲を構成することができ、それぞれｘ未満、ｘ以上かつｙ未満、ｙ以上かつｚ未満、ｚ以上である。このような場合、エネルギー変動傾向曲線におけるエネルギー変動値が位置する閾値範囲によって、エネルギー変動傾向曲線を少なくとも４つの互いにつながる領域に分割でき、分割された４つの領域におけるエネルギー変動値はそれぞれ４つの閾値範囲内にある。この場合、オーディオも少なくとも時系列的に連続する４つのオーディオセグメントに分割され、分割された４つのオーディオセグメントはそれぞれ異なるテンポ変化傾向を持ち、これらに最終的にマッチングする振動フィードバック信号も互いに異なる。これは、最終的にこれら互いに異なる４つの振動フィードバック信号をスプライスした目標振動フィードバック信号は、その振動効果が少なくとも４つの振動効果の組み合わせであることを示している。このゆえに、予め設定されたエネルギー変動閾値の数が多いほど、分割されるオーディオセグメントの数が多くなり、最終的に各オーディオセグメントにマッチングする振動フィードバック信号の種類が多くなり、最終的に各振動フィードバック信号によってスプライスされた目標振動フィードバック信号の振動効果が豊かになる。

【0025】

以上のことからわかるように、本願の実施例では、エネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値との比較結果によって、オーディオのテンポ変化傾向を示しているとともに、オーディオのテンポ変化傾向によってオーディオを複数のオーディオセグメントに分割しているが、テンポ変化傾向の異なるオーディオセグメントの場合、それらに最終的にマッチングされる振動フィードバック信号が異なり、即ち、それらに最終的にマッチングされる振動フィードバック信号は異なる振動効果を備える。これは、各オーディオセグメントに最終的にマッチングされる振動フィードバック信号をスプライスして得られた目標振動フィードバック信号がオーディオ全体のテンポ変化傾向に適合し、オーディオと振動フィードバック信号とのマッチング合理性を効果的に高めたことを示している。また、異なるタイプのオーディオはそれぞれ異なるテンポ変化傾向を備えるが、本願の実施例では、異なるタイプのオーディオの場合、それらに対応する目標振動フィードバック信号は、それぞれのテンポ変化傾向に適合する前提で、それぞれ異なる振動効果を持っており、振動フィードバック信号の豊かさを向上させているだけでなく、異なるタイプ向けのオーディオもユーザーに全く新しい感覚体験をもたらすことができる。

【0026】

一実施形態として、ステップ１０１は、具体的には、オーディオデータによってオーディオのエネルギー累積曲線を生成することと、エネルギー累積曲線によってオーディオのエネルギー変動傾向曲線を生成することと、を含むことができる。図３は本実施形態におけるエネルギー累積曲線の概略図であり、その横軸はフレーム数、縦軸はエネルギー累積値であり、オーディオのエネルギー累積値とフレーム数との対応関係を確立しており、オーディオ全体のテンポ変化傾向をよく反映している。

【0027】

１つの具体的な実現では、「オーディオデータによってオーディオのエネルギー累積曲線を生成する」ことは、具体的には、オーディオのフレーム数、時間長、１分間あたりの拍数およびエネルギー曲線によってオーディオのエネルギー累積曲線を生成することを含むことができる。図４は本具体的な実現におけるエネルギー曲線の概略図であり、その横軸はフレーム数、縦軸はエネルギー値であり、オーディオのエネルギー値とフレーム数との対応関係を確立している。好ましくは、エネルギー曲線は、オーディオデータのオリジナルスペクトルエネルギーを示すためのメルスペクトログラムのエネルギー曲線（横軸はフレーム数、縦軸はメルスペクトログラムのエネルギー値）を採用することができる。理解できるように、フレーム数、時間長、１分間あたりの拍数およびエネルギー曲線はいずれもオーディオデータの一種である。もちろん、上記に記載された項目の他、さらにオーディオのスペクトル（フレーム数を横軸とするか時間を横軸とする）及び対応するサンプリングレートなどの、当分野でよく使われる他のオーディオデータも含まれてもよい。本具体的な実現では一々列挙しない。また、オーディオデータを入力する過程には、オーディオのシングル／デュアルチャネルに対していくつかのデータ処理を行う必要がある。つまり、オーディオがデュアルチャネル入力の場合、そのデュアルチャネルデータの平均値を読み取って最終的に入力されたオーディオデータとする必要がある。

【0028】

さらに、上記のように、オーディオデータに対してメルスペクトログラムのエネルギー解析を行う時の一連の標準化操作（例えば、対数化、整流、差分など）によって、直接生成されるエネルギー変動傾向曲線にはある程度の偏差がある可能性が高いため、本実施形態では、オーディオデータのオリジナルスペクトルエネルギーのエネルギーエンベロープを取得し、そしてエネルギーエンベロープによってエネルギー変動傾向曲線を修正し、修正後のエネルギー変動傾向曲線の概略図は図５に示す通りである。理解できるように、ステップ１０２、１０３は実際には、修正後のエネルギー変動傾向曲線によって行われるもので、即ち修正後のエネルギー変動傾向曲線におけるエネルギー変動値と予め設定されたエネルギー変動閾値を比較し、そして比較結果によって修正後のエネルギー変動傾向曲線を互いにつながる複数の領域に分割し、その後、これら互いにつながる複数の領域を参照してオーディオを時系列的に連続した複数のオーディオセグメントに分割する。ここで、比較結果による修正後のエネルギー変動傾向曲線の分割図は図６に示す通りである。図６において、矩形ボックスに選択された領域における各エネルギー変動値は、いずれも予め設定されたエネルギー変動閾値（対応するオーディオセグメントのテンポ変化が目立つ）以上であり、矩形ボックスに選択されていない領域における各エネルギー変動値はいずれも予め設定されたエネルギー変動閾値（対応するオーディオセグメントのテンポ変化が目立たない）より小さい。

【0029】

さらに、エネルギーエンベロープによってエネルギー変動傾向曲線を修正した後、本実施形態では、修正後のエネルギー変動傾向曲線における最大エネルギー変動値によって予め設定されたエネルギー変動閾値を調整する。理解できるように、予め設定されたエネルギー変動閾値は、実質的に予め設定されたエネルギー変動値であり、オーディオのタイプによって予め設定されたエネルギー変動閾値が違う。予め設定されたエネルギー変動閾値が修正前／修正後のエネルギー変動傾向曲線における最大エネルギー変動値よりもはるかに小さいか、はるかに大きいまたはそれに近似する場合があり、また、予め設定されたエネルギー変動閾値が、修正後のエネルギー変動傾向曲線での適正閾値ではなく、修正前のエネルギー変動傾向曲線での適正閾値である場合もある。これにより、本実施形態では、修正後のエネルギー変動傾向曲線における最大エネルギー変動値によって、予め設定されたエネルギー変動閾値を調整する必要があり、予め設定されたエネルギー変動閾値が比較的適正な値になるようにし、この後のオーディオの順調な分割を容易にする。

【0030】

一実施形態として、予め設定されたエネルギー変動閾値が１つしかない場合、ステップ１０３は、具体的には、比較結果によってオーディオを少なくとも１つの第１オーディオセグメントまたは少なくとも１つの第２オーディオセグメントに分割することを含むことができる。ここで、第１オーディオセグメントは、エネルギー変動傾向曲線において対応するエネルギー変動値が予め設定されたエネルギー変動閾値以上であることを示し、第２オーディオセグメントは、エネルギー変動傾向曲線において対応するエネルギー変動値が予め設定されたエネルギー変動閾値より小さいことを示し、第１オーディオセグメントに対応するテンポ変化傾向は第２オーディオセグメントよりも大きく、即ち、第１オーディオセグメントのテンポ変化が目立ち、第２オーディオセグメントのテンポ変化が目立たない。

【0031】

また、上記のように、予め設定されたエネルギー変動閾値がｎ個である場合、ｎ個の予め設定されたエネルギー変動閾値は、ｎ＋１個の閾値範囲を構成することができる。この場合、エネルギー変動傾向曲線におけるエネルギー変動値が位置する閾値範囲によって、エネルギー変動傾向曲線を少なくとも互いにつながるｎ＋１個の領域に分割し、さらにオーディオを少なくとも時系列的に連続するｎ＋１個のオーディオセグメントに分割してもよいが、本実施形態では、これについて繰り返して説明する必要がない。

【0032】

なお、上記の実施形態は、本願の実施例の好ましい実現のみであり、エネルギー変動傾向曲線の修正、予め設定されたエネルギー変動閾値の適切な調節およびステップ１０１～１０５における各ステップの具体的な流れに対する唯一の限定ではない。これに対して、当業者は、本願の実施例をもとに、実際の応用シーンに応じて柔軟に設定することができる。

【0033】

いくつかの実施形態では、対応する振動フィードバック信号を各オーディオセグメントにマッチングするプロセスを簡素化するために、時間長の短いオーディオセグメントをキャンセルして、振動フィードバック信号をマッチングするプロセスにかかる時間を短縮し、マッチングの難易度を低下させることができる。

【0034】

一実施形態として、「時間長の短いオーディオセグメントをキャンセルする」ことは、具体的には、時間長が予め設定された時間長閾値以下であるオーディオセグメントを前のオーディオセグメントに組み込むことと、または、時間長が予め設定された時間長閾値以下であるオーディオセグメントを次のオーディオセグメントに組み込むことと、を含むことができる。

【0035】

もう１つの実施形態として、「時間長の短いオーディオセグメントをキャンセルする」ことは、具体的には、時間長が予め設定された時間長閾値以下であるオーディオセグメントを２つのサブオーディオセグメントに分割し、そして、２つのサブオーディオセグメントをそれぞれ前のオーディオセグメントと次のオーディオセグメントに組み込むことを含むことができる。

【0036】

なお、上記の実施形態は、本願の実施例の好ましい実現のみであり、時間長の短いオーディオセグメントをキャンセルすることに対する唯一の限定ではない。これに対して、当業者は、本願の実施例をもとに、実際の応用シーンに応じて柔軟に設定することができる。

【0037】

以上のように、本願の実施例は振動フィードバック信号の生成と利用に関するものであり、振動フィードバック信号の生成から利用までのプロセスは図７に示す通りであり、前記プロセスは、具体的に、
入力されたオーディオデータを受信するステップ７０１と、
オーディオのフレーム数、時間長、１分あたりの拍数及びエネルギー曲線によってオーディオのエネルギー累積曲線を生成し、そして、オーディオデータのオリジナルスペクトルエネルギーのエネルギーエンベロープを取得するステップ７０２と、
エネルギー累積曲線によってオーディオのエネルギー変動傾向曲線を生成し、そして、オリジナルスペクトルエネルギーのエネルギーエンベロープによってエネルギー変動傾向曲線を修正するとともに、修正後のエネルギー変動傾向曲線における最大エネルギー変動値によって予め設定されたエネルギー変動閾値を調整するステップ７０３と、
修正後のエネルギー変動傾向曲線におけるエネルギー変動値と調整後の予め設定されたエネルギー変動閾値を比較し、そして、比較結果によってオーディオを複数のオーディオセグメントに分割すし、ここで、比較結果が各オーディオセグメントに対応するテンポ変化傾向を示すステップ７０４と、
時間長が予め設定された時間長閾値以下であるオーディオセグメントを前／次のオーディオセグメントに組み込むか、または時間長が予め設定された時間長閾値以下であるオーディオセグメントを２つに分割してから、それぞれ前のオーディオセグメントおよび次のオーディオセグメントに組み込むステップ７０５と、
各オーディオセグメントに対応するテンポ変化傾向によって、対応する振動フィードバック信号を各オーディオセグメントにマッチングし、そして、目標振動フィードバック信号を取得するように、全ての振動フィードバック信号に対してスプライス処理を行い、ここで、目標振動フィードバック信号を振動フィードバックデバイスに入力することで、電子機器がオーディオを再生する過程に、振動フィードバックデバイスは目標振動フィードバック信号によって同期振動し、対応する振動効果を達成することができるステップ７０６と、を含む。

【0038】

ステップ７０１～７０６における各ステップのより詳しい流れは、上記に示された関連部分の説明を参照すればよい。本実施例では繰り返して説明する必要がない。

【0039】

図８は本願の実施例によって提供された電子機器のモジュールブロック図である。

【0040】

図８に示すように、本願の実施例では、メモリ８２０と、少なくとも１つのプロセッサー８１０とを備える電子機器８００をさらに提供し、前記メモリ８２０は、少なくとも１つのプログラムを記憶するために使われ、かつ、少なくとも１つのプログラムが少なくとも１つのプロセッサー８１０によって実行される時、少なくとも１つのプロセッサー８１０に本願の実施例によって提供される振動フィードバック信号の生成方法を実行させる。

【0041】

さらに、電子機器８００は、振動フィードバックデバイス８３０を含み、前記振動フィードバックデバイス８３０は、オーディオ再生中にプロセッサー８１０から出力された目標振動フィードバック信号によって同期振動し、対応する振動効果を達成するために使われる。

【0042】

図９は本願の実施例によって提供されるコンピュータ読み取り可能な記憶媒体のモジュールブロック図である。

【0043】

図９に示すように、本願の実施例では、さらにコンピュータ読み取り可能な記憶媒体９００を提供し、前記コンピュータ読み取り可能な記憶媒体９００には実行可能な命令９１０が記憶されており、前記実行可能な命令９１０が実行された時に、本願の実施例によって提供される振動フィードバック信号の生成方法を実行する。

【0044】

本明細書によって開示された実施例に記載された方法またはアルゴリズムのステップは、直接ハードウェア、プロセッサーによって実行されるソフトウェアモジュールまたは両者の組み合わせで実施することができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、メモリ、読み取り専用メモリ（ＲＯＭ）、電気的プログラム可能なＲＯＭ、電気的消去可能なプログラム可能なＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭまたは技術分野で周知された他のいかなる形態の記憶媒体に搭載することができる。

【0045】

上記の実施例では、全部または一部は、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組み合わせによって実現することができる。ソフトウェアを利用して実現する場合、全部または一部はコンピュータプログラム製品の形で実現することができる。コンピュータプログラム製品には、１つまたは複数のコンピュータ命令が含まれる。コンピュータに前記コンピュータプログラム命令をロードしたり、実行したりする場合、本願に記載されたフローまたは機能を全部または部分的に生成する。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワークまたは他のプログラマブルデバイスであってもよい。コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶してもよいし、あるコンピュータ読み取り可能な記憶媒体から他のコンピュータ読み取り可能な記憶媒体に送信してもよい。例えば、コンピュータ命令は、あるウェブサイト、コンピュータ、サーバまたはデータセンターから有線（同軸ケーブル、光ファイバ、デジタル加入者線など）または無線（赤外線、無線、マイクロ波など）によって、他のウェブサイト、コンピュータ、サーバまたはデータセンターに送信することができる。コンピュータ読み取り可能な記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体であってもよいし、１つまたは複数の利用可能な媒体を統合したサーバ、データセンターなどのデータ記憶デバイスであってもよい。利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学メディア（例えば、ＤＶＤ）または半導体媒体（ソリッドステートディスクＳｏｌｉｄＳｔａｔｅＤｉｓｋ）などであってもよい。

【0046】

なお、本願の各実施例ではいずれも漸進的な方式で説明し、各実施例では他の実施例との相違点を中心に説明しており、各実施例間で共通する部分は互いに参照すればよい。製品類の実施例は、方法類の実施例と類似しているため、説明は比較的簡単であり、関連する点については方法類の実施例の一部の説明を参照すればよい。

【0047】

なお、本願の内容では、第１および第２のような用語は、ある実体または操作を他の実体または操作から区別するためにのみ使われ、これらの実体または操作の間にそのような実際の関係または順序が存在することを必ずしも要求したり示唆したりするわけではない。さらに、「含む」「含める」またはこれらのいかなる他のバリエーションは、排他的でない包含をカバーすることを意味する。したがって、一連の要素を含むプロセス、方法、物品または設備には、それらの要素だけでなく、明示的に列挙されていない他の要素またはそのようなプロセス、方法、物品または設備自体が有する要素も含まれる。それ以上の制限がない場合、「…を１つ含む」というセンテンスに限定された要素は、その要素を含んだ過程、方法、物品または設備に他の同じ要素が存在することを排除するものではない。

【0048】

開示された実施例の上記の説明によれば、当業者が本願の内容を実現または使用できるようにする。これらの実施例の様々な変更は、当業者にとっては明らかなものであり、本願の内容において定義される一般的な原理が、本願の内容の精神または範囲から逸脱することなく他の実施例において実現されることができる。したがって、本願の内容は、本願の内容に示されるこれらの実施例に限定されることはなく、本願の内容に開示されている原理および新規な特徴と一致する最も広い範囲に適合しなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】