特表 2024-532635 触覚フィードバック効果の生成方法、システム及び関連機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】触覚フィードバック効果の生成方法、システム及び関連機器

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240903BHJP

   G10L 21/16 20130101ALI20240903BHJP

   G10L 25/30 20130101ALI20240903BHJP

【ＦＩ】

G06F3/01 560

G10L21/16

G10L25/30

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022577179

(86)(22)【出願日】2022-09-27

(85)【翻訳文提出日】2022-12-13

(86)【国際出願番号】 CN2022121723

(87)【国際公開番号】W WO2024036708

(87)【国際公開日】2024-02-22

(31)【優先権主張番号】202210999900.6

(32)【優先日】2022-08-19

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522235216

【氏名又は名称】エーエーシー アコースティック テクノロジーズ （シャンハイ） カンパニー リミテッド

(74)【代理人】

【識別番号】100199819

【弁理士】

【氏名又は名称】大行 尚哉

(74)【代理人】

【識別番号】100087859

【弁理士】

【氏名又は名称】渡辺 秀治

(72)【発明者】

【氏名】向征

(72)【発明者】

【氏名】蒋亮

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA76

5E555BA02

5E555BA87

5E555BA88

5E555BB02

5E555BC09

5E555CC03

5E555DA24

5E555DD06

5E555EA19

5E555EA27

5E555FA00

(57)【要約】

【課題】本発明には、人工知能技術応用分野に関し、特に触覚フィードバック効果の生成方法、システム及び関連機器に関するものである。
【解決手段】当該方法は、ビデオまたはオーディオ情報を含むトレーニングデータセットを取得するステップと、トレーニングデータセットに対してデータ分割を行い、分割されたデータを取得するステップと、予め設定された人工知能を利用して、ネットワーク係数に基づいて分割されたデータを触覚フィードバック情報としてマッピングするステップと、触覚フィードバック情報に基づいて触覚フィードバック効果を出力するステップと、を含む。従来技術と比べて、本発明に係る触覚フィードバック効果の生成方法では、人工知能に基づく触覚フィードバック情報の生成を組み合わせ、触覚フィードバック効果の生成過程において手動操作を減らすことができ、既存の人工結果をトレーニングセットとした上で、最適化されたネットワーク係数によって所望の触覚フィードバック結果を取得し、実際応用時の振動フィードバック体験を高めることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオまたはオーディオ情報を含むトレーニングデータセットを取得するステップと、
前記トレーニングデータセットに対してデータ分割を行い、分割されたデータを取得するステップと、
予め設定された人工知能を利用して、ネットワーク係数に基づいて前記分割されたデータを触覚フィードバック情報としてマッピングするステップと、
前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するステップと、を含む、
ことを特徴とする触覚フィードバック効果の生成方法。

【請求項2】

前記トレーニングデータセットに対してデータ分割を行う方法は、前記トレーニングデータセットの時間長に応じて、予め設定されたフレーム長で前記トレーニングデータセットをフレーム分割することである、
ことを特徴とする請求項１に記載の触覚フィードバック効果の生成方法。

【請求項3】

前記触覚フィードバック情報は、振動強度情報と振動周波数情報とを含む、
ことを特徴とする請求項１に記載の触覚フィードバック効果の生成方法。

【請求項4】

前記予め設定された人工知能を利用して前記分割されたデータを触覚フィードバック情報としてマッピングするというステップの前に、さらに、
マニュアルアノテーションの方式で、前記分割されたデータに対して前記触覚フィードバック情報をアノテーションし、プレトレーニングデータを得るステップと、
前記プレトレーニングデータに基づいて前記予め設定された人工知能をトレーニングし、トレーニング完了後の前記予め設定された人工知能のパラメータを保存し、前記予め設定された人工知能が前記触覚フィードバック情報を生成するための前記ネットワーク係数を出力するステップと、を含む、
ことを特徴とする請求項３に記載の触覚フィードバック効果の生成方法。

【請求項5】

前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するステップの後に、さらに、前記触覚フィードバック効果が予め設定された触覚フィードバック要求を満たすか否かを判断するステップを含み、ここで、
満たしている場合、現在の前記ネットワーク係数に基づいて、前記予め設定された人工知能を利用して次のセグメントの前記分割されたデータをマッピングし、
満たしていない場合、マニュアルキャリブレーション方式を採用し、かつ、ネットワーク係数を同期に更新する、
ことを特徴とする請求項４に記載の触覚フィードバック効果の生成方法。

【請求項6】

ビデオとオーディオ情報を含むトレーニングデータセットを取得するためのデータ取得モジュールと、
前記トレーニングデータセットに対してデータ分割を行い、分割されたデータを取得するためのデータ分割モジュールと、
予め設定された人工知能を利用して、ネットワーク係数に基づいて前記分割されたデータを触覚フィードバック情報としてマッピングするためのデータマッピングモジュールと、
前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するための触覚フィードバック出力モジュールと、を含む、
ことを特徴とする触覚フィードバック効果の生成システム。

【請求項7】

プロセッサーと、メモリと、前記メモリに記憶されかつ前記プロセッサー内で実行可能なコンピュータープログラムと、を含み、前記プロセッサーは、前記コンピュータープログラムを実行する時に、請求項１～５のいずれか１項に記載の触覚フィードバック効果の生成方法におけるステップを実現する、
ことを特徴とするコンピューター装置。

【請求項8】

コンピュータープログラムが記憶されており、前記コンピュータープログラムは、プロセッサーによって実行される時に、請求項１～５のいずれか１項に記載の触覚フィードバック効果の生成方法におけるステップを実現する、
ことを特徴とするコンピューター読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能技術応用分野に関し、特に触覚フィードバック効果の生成方法、システム及び関連機器に関するものである。

【背景技術】

【0002】

科学技術の進歩に伴い、人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は徐々に人々の生活に入ってきた。現在、人工知能は言語、画像、文字に基づいて、巨大なデータベースを構築し、深く自主的に学習し、このモデルによって深層学習を行い、結果を推定している。人工知能はセンサーで環境情報と入力された既知情報を認識かつ選別して、実際の応用にフィードバックする。

【0003】

従来技術では、モーターをキャリアとする触覚フィードバックシステムは携帯電話、スマートウォッチ、タブレット、車載デバイスなどの応用シーンで振動モーターを広く使用しており、振動モーターをどのように駆動して所望の体験効果を得るかが触覚フィードバック効果生成の肝心な動作となっている。触覚フィードバックは「強度＋周波数」方式を利用して所望の効果を記述する。通常、デザイナーはあるセグメントのオーディオやビデオに基づいて、手動操作で異なる時間帯の「振幅＋位相」情報を与え、この２つの抽象化されたパラメータによってモーターを制御し、所望の振動効果を達成する。ただし、この方式の場合、オーディオデザイナーに対する要求が比較的高く、オーディオとビデオを手動で効果ファイルに変換する必要があり、時間がかかるとともに、人によって得られた結果が大きく異なる可能性がある。

【0004】

したがって、設計者の人件費を節約し、実際の生活環境における様々なオーディオやビデオをもとに触覚フィードバックに異なる効果を生じさせるため、新しい触覚フィードバック生成方法を提供する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、人件費を節約し、実際の生活環境に基づいて異なる触覚フィードバック効果を生じさせる方法を提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、第１態様では、本発明は、触覚フィードバック効果の生成方法を提供し、前記生成方法は、ビデオまたはオーディオ情報を含むトレーニングデータセットを取得するステップと、前記トレーニングデータセットに対してデータ分割を行い、分割されたデータを取得するステップと、予め設定された人工知能を利用して、ネットワーク係数に基づいて前記分割されたデータを触覚フィードバック情報としてマッピングするステップと、前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するステップと、を含む。

【0007】

好ましくは、前記トレーニングデータセットに対してデータ分割を行う方法は、前記トレーニングデータセットの時間長に応じて、予め設定されたフレーム長で前記トレーニングデータセットをフレーム分割することである。

【0008】

好ましくは、前記触覚フィードバック情報は、振動強度情報と振動周波数情報とを含む。

【0009】

好ましくは、前記予め設定された人工知能を利用して前記分割されたデータを触覚フィードバック情報としてマッピングするというステップの前に、さらに、マニュアルアノテーションの方式で、前記分割されたデータに対して前記触覚フィードバック情報をアノテーションし、プレトレーニングデータを得るステップと、前記プレトレーニングデータに基づいて前記予め設定された人工知能をトレーニングし、トレーニング完了後の前記予め設定された人工知能のパラメータを保存し、前記予め設定された人工知能が前記触覚フィードバック情報を生成するための前記ネットワーク係数を出力するステップと、を含む。

【0010】

好ましくは、前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するステップの後に、さらに、前記触覚フィードバック効果が予め設定された触覚フィードバック要求を満たすか否かを判断するステップを含み、ここで、満たしている場合、現在の前記ネットワーク係数に基づいて、前記予め設定された人工知能を利用して次のセグメントの前記分割されたデータをマッピングし、満たしていない場合、マニュアルキャリブレーション方式を採用し、かつ、ネットワーク係数を同期に更新する。

【0011】

第２態様では、本発明は、触覚フィードバック効果の生成システムをさらに提供し、ビデオとオーディオ情報を含むトレーニングデータセットを取得するためのデータ取得モジュールと、前記トレーニングデータセットに対してデータ分割を行い、分割されたデータを取得するためのデータ分割モジュールと、予め設定された人工知能を利用して、ネットワーク係数に基づいて前記分割されたデータを触覚フィードバック情報としてマッピングするためのデータマッピングモジュールと、前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するための触覚フィードバック出力モジュールと、を含む。

【0012】

第３態様では、本発明は、コンピューター装置をさらに提供し、プロセッサーと、メモリと、前記メモリに記憶されかつ前記プロセッサー内で実行可能なコンピュータープログラムと、を含み、前記プロセッサーは、前記コンピュータープログラムを実行する時に、上記のいずれか１項に記載の触覚フィードバック効果の生成方法におけるステップを実現する。

【0013】

第４態様では、本発明は、コンピューター読み取り可能な記憶媒体をさらに提供し、コンピューター読み取り可能な記憶媒体は、コンピュータープログラムが記憶されており、前記コンピュータープログラムは、プロセッサーによって実行される時に、上記のいずれか１項に記載の触覚フィードバック効果の生成方法におけるステップを実現する。

【発明の効果】

【0014】

従来技術と比べて、本発明に係る触覚フィードバック効果の生成方法では、人工知能に基づく触覚フィードバック情報の生成を組み合わせているため、一定数量のビデオまたはオーディオからなるオーディオデータを分割して、触覚フィードバック情報のキャリブレーションを行い、トレーニングの過程を完了し、これによって、触覚フィードバック効果の生成過程において手動操作を減らすことができ、既存の人工結果をトレーニングセットとした上で、サンプルデータとイタレーション回数が十分である場合、最適化されたネットワーク係数によって所望の触覚フィードバック結果を取得し、実際応用時の振動フィードバック体験を高めることができる。

【図面の簡単な説明】

【0015】

本発明の実施例における技術案をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明し、明らかに、以下説明された図面は、本発明のいくつかの実施例に過ぎず、当業者であれば、進歩的な労働をしなくても、これらの図面に基づいて他の図面を取得することができ、そのうち、

【図1】図１は、本発明の実施例に係る触覚フィードバック効果の生成方法のフローチャートである。

【図2】図２は、本発明の実施例が提供する触覚フィードバック情報の模式図である。

【図3】図３は、本発明の実施例に係る触覚フィードバック効果の生成システム２００の構成を示す図である。

【図4】図４は、本発明の実施例が提供するコンピューター装置の構成を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施例における図面を参照しながら本発明の実施例における技術案を明確かつ完全に説明する。明らかに、記載された実施例は、全ての実施例ではなく、本発明の一部の実施例に過ぎない。当業者が本発明における実施例に基づいて進歩的な労働をしない前提に得られた他の全ての他の実施例は、本発明の保護範囲に含まれるものとする。

【0017】

図１は、本発明の実施例に係る触覚フィードバック効果の生成方法のフローチャートであり、図１に示すように、前記生成方法は、以下のステップＳ１～Ｓ４を含む。

【0018】

Ｓ１：ビデオまたはオーディオ情報を含むトレーニングデータセットを取得する。

【0019】

具体的には、情報を含んだデータは、ビデオデータであってもよいし、オーディオデータであってもよく、前記オーディオ情報は前記トレーニングデータセット内で時間の増加に伴って連続し、かつ例えば周波数などの音響学的特徴を有する。本発明の実施例において、前記トレーニングデータセットを取得するための方式は、既存のオーディオデータからインターセプトしてもよいし、録音、撮影などでリアルタイムに収集してもよい。

【0020】

Ｓ２：前記トレーニングデータセットに対してデータ分割を行い、分割されたデータを取得する。

【0021】

好ましくは、前記トレーニングデータセットに対してデータ分割を行う方法は、前記トレーニングデータセットの時間長に応じて、予め設定されたフレーム長で前記トレーニングデータセットをフレーム分割することである。

【0022】

前記予め設定されたフレーム長は、実際のニーズに応じて設定されることができ、異なる種類のオーディオデータについて、テンポの速さ、オーディオデータの入力方式などに応じて、相応的に異なる前記予め設定されたフレーム長を設定することができる。

【0023】

好ましくは、前記触覚フィードバック情報は、振動強度情報と振動周波数情報とを含む。

【0024】

好ましくは、前記予め設定された人工知能を利用して前記分割されたデータを触覚フィードバック情報としてマッピングするというステップの前に、さらに、マニュアルアノテーションの方式で、前記分割されたデータに対して前記触覚フィードバック情報をアノテーションし、プレトレーニングデータを得るステップと、前記プレトレーニングデータに基づいて前記予め設定された人工知能をトレーニングし、トレーニング完了後の前記予め設定された人工知能のパラメータを保存し、前記予め設定された人工知能が前記触覚フィードバック情報を生成するための前記ネットワーク係数を出力するステップと、を含む。

【0025】

具体的には、図２に示すように、図２は、本発明の実施例に係る触覚フィードバック情報の模式図であり、前記触覚フィードバック情報については、本発明の実施例では２次元の形式で示され、図２におけるＩの２次元データを例とすると、第１セグメントのオーディオデータは１つのセグメントの周波数で示されることができる。このセグメントのオーディオデータが示す前記触覚フィードバック情報を得るために、空間座標において、横座標によってオーディオデータの前記振動強度情報を示し、縦座標によってオーディオデータの前記振動周波数情報を示し、最終的に対応する前記触覚フィードバック情報をＩで示される低強度、低周波数の効果とアノテーションする。一方、周波数の比較的高い第２セグメントのオーディオデータについて、アノテーションする時に対応する前記振動周波数情報を高くして、異なるオーディオの特徴を示すことができる。マニュアルアノテーション方式によって前記予め設定された人工知能のための初歩的なトレーニングを取得することは、人為的介入方式によって、前記予め設定された人工知能による前記触覚フィードバック情報の生成の指向性を制御し、ユーザの体験に適合したフィードバック効果を得ることである。

【0026】

Ｓ３：予め設定された人工知能を利用して、ネットワーク係数に基づいて前記分割されたデータを触覚フィードバック情報としてマッピングする。

【0027】

前記予め設定された人工知能は、ニューラルネットワークモデルに基づいて実現されてもよいし、パラメータの更新とイタレーションを有する自動化プログラムであってもよい。前記ネットワーク係数は、ニューラルネットワークモデルにおけるモデルパラメータ、または自動化プログラムにおける制御パラメータに相当し、１回のトレーニングが完了したときに、前記ネットワーク係数を出力することで、前記予め設定された人工知能により前記触覚フィードバック情報を生成する流れを固定化し、繰り返しのイタレーションで前記予め設定された人工知能の生成能力を徐々に向上させることができる。

【0028】

Ｓ４：前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力する。

【0029】

前記触覚フィードバック効果は、具体的には、前記触覚フィードバック情報における前記振動強度情報と前記振動周波数情報に基づいて発生し、１回の前記触覚フィードバック効果は、前記触覚フィードバック情報を生成する時のオーディオデータと唯一の対応関係を有する。本発明の実施例では、前記触覚フィードバック効果は、モーターを主とする振動フィードバックシステムによって実現される必要がある。

【0030】

好ましくは、前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するステップの後に、さらに、前記触覚フィードバック効果が予め設定された触覚フィードバック要求を満たすか否かを判断するステップを含み、ここで、満たしている場合、現在の前記ネットワーク係数に基づいて、前記予め設定された人工知能を利用して次のセグメントの前記分割されたデータをマッピングし、満たしていない場合、マニュアルキャリブレーション方式を採用し、かつ、ネットワーク係数を同期に更新する。

【0031】

具体的には、前記予め設定された触覚フィードバック要求は、前記触覚フィードバック効果が対応するオーディオデータと良好な対応関係を有するか否かを示すためのフィードバックメカニズムである。前記触覚フィードバック効果が前記予め設定された触覚フィードバック要求を満たさない場合、前記触覚フィードバック情報をマニュアルキャリブレーションの方式で処理し、かつ既存の前記ネットワーク係数をアップデートすることで、最終的にマッピングされた前記触覚フィードバック情報はオーディオデータに対応する効果に近づくようになる。

【0032】

従来技術と比べて、本発明に係る触覚フィードバック効果の生成方法では、人工知能に基づく触覚フィードバック情報の生成を組み合わせているため、一定数量のビデオまたはオーディオからなるオーディオデータを分割して、触覚フィードバック情報のキャリブレーションを行い、トレーニングの過程を完了し、これによって、触覚フィードバック効果の生成過程において手動操作を減らすことができ、既存の人工結果をトレーニングセットとした上で、サンプルデータとイタレーション回数が十分である場合、最適化されたネットワーク係数によって所望の触覚フィードバック結果を取得し、実際応用時の振動フィードバック体験を高めることができる。

【0033】

図３は、本発明の実施例に係る触覚フィードバック効果の生成システム２００の構成を示す図であり、図３に示すように、本発明の実施例は、触覚フィードバック効果の生成システムをさらに提供し、前記生成システムは、ビデオとオーディオ情報を含むトレーニングデータセットを取得するためのデータ取得モジュール２０１と、前記トレーニングデータセットに対してデータ分割を行い、分割されたデータを取得するためのデータ分割モジュール２０２と、予め設定された人工知能を利用して、ネットワーク係数に基づいて前記分割されたデータを触覚フィードバック情報としてマッピングするためのデータマッピングモジュール２０３と、前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するための触覚フィードバック出力モジュール２０４と、を含む。

【0034】

本発明の実施例に係る触覚フィードバック効果の生成システム２００は、上記の実施例における触覚フィードバック効果の生成方法におけるステップを実現することができ、且つ同じ技術的効果を達成できる。上記の実施例の説明を参照できるため、ここでは繰り返して説明しない。

【0035】

図４は、本発明の実施例が提供するコンピューター装置の構成を示す図であり、図４に示すように、本発明の実施例は、コンピューター装置をさらに提供する。前記コンピューター装置３００は、プロセッサー３０１と、メモリ３０２と、メモリ３０２に記憶されかつプロセッサー３０１内で実行可能なコンピュータープログラムと、を含む。

【0036】

図１に示すように、前記プロセッサー３０１は、前記メモリ３０２に記憶されたコンピュータープログラムを呼び出し、コンピュータープログラムを実行する時に、上記の実施例における前記触覚フィードバック効果の生成方法におけるステップを実現し、前記ステップは、ビデオとオーディオ情報を含むトレーニングデータセットを取得することと、前記トレーニングデータセットに対してデータ分割を行い、分割されたデータを取得することと、予め設定された人工知能を利用して、ネットワーク係数に基づいて前記分割されたデータを触覚フィードバック情報としてマッピングすることと、前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力することと、を含む。

【0037】

好ましくは、前記トレーニングデータセットに対してデータ分割を行う方法は、前記トレーニングデータセットの時間長に基づいて、予め設定フレーム長で前記トレーニングデータセットをフレーム分割することである。

【0038】

好ましくは、前記触覚フィードバック情報は、振動強度情報と、振動周波数情報と、を含む。

【0039】

好ましくは、予め設定された人工知能を利用して前記分割されたデータを触覚フィードバック情報としてマッピングするステップの前に、さらに、マニュアルアノテーションの方式で、前記分割されたデータに対して前記触覚フィードバック情報をアノテーションし、プレトレーニングデータを得るステップと、前記プレトレーニングデータに基づいて前記予め設定された人工知能をトレーニングし、トレーニング完了後の前記予め設定された人工知能のパラメータを保存し、前記予め設定された人工知能が前記触覚フィードバック情報を生成するための前記ネットワーク係数を出力するステップと、を含む。

【0040】

好ましくは、前記触覚フィードバック情報に基づいて触覚フィードバック効果を出力するステップの後に、さらに、前記触覚フィードバック効果が予め設定された触覚フィードバック要求を満たすか否かを判断するステップを含み、ここで、満たしている場合、現在の前記ネットワーク係数に基づいて、前記予め設定された人工知能を利用して次のセグメントの前記分割されたデータをマッピングし、満たしていない場合、マニュアルキャリブレーション方式を採用し、かつ、ネットワーク係数を同期に更新する。

【0041】

本発明の実施例に係るコンピューター装置３００は、上記の実施例における触覚フィードバック効果の生成方法におけるステップを実現することができ、且つ同じ技術的効果を達成できる。上記の実施例の説明を参照できるため、ここでは繰り返して説明しない。

【0042】

本発明の実施例は、コンピュータープログラムが記憶されたコンピューター読み取り可能な記憶媒体をさらに提供し、前記コンピュータープログラムは、プロセッサーによって実行される時に、本発明の実施例に係る触覚フィードバック効果の生成方法における各プロセス及びステップを実現し、且つ同じ技術的効果を達成することができる。重複を避けるため、ここでは繰り返して説明しない。

【0043】

以上は、本発明の実施形態に過ぎない。当業者にとって、本発明の創造思想から逸脱することなく、改良を行うこともできるが、これらの改良はいずれも本発明の保護範囲に含まれるとここで指摘すべきである。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】