特表 2022-521398 オーディオ信号パターンを用いたハプティック信号発生方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-07

(54)【発明の名称】オーディオ信号パターンを用いたハプティック信号発生方法および装置

(51)【国際特許分類】

   G10L 25/51 20130101AFI20220331BHJP

   G06F 3/01 20060101ALI20220331BHJP

【ＦＩ】

G10L25/51

G06F3/01 560

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021548643

(86)(22)【出願日】2020-02-19

(85)【翻訳文提出日】2021-08-18

(86)【国際出願番号】 KR2020002437

(87)【国際公開番号】W WO2020171614

(87)【国際公開日】2020-08-27

(31)【優先権主張番号】10-2019-0019182

(32)【優先日】2019-02-19

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】518086871

【氏名又は名称】ドンウン アナテック カンパニー リミテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】イ、チョンフン

(72)【発明者】

【氏名】ハン、インウ

(72)【発明者】

【氏名】チョン、カンソン

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA80

5E555BA01

5E555BB01

5E555BC04

5E555DA24

5E555FA00

(57)【要約】

本発明は、ハプティック信号発生方法に関し、受信されるオーディオ信号を分析し、時間および周波数帯域別信号の大きさで構成された信号パターンを生成するステップ、ターゲットオーディオ信号パターンと前記生成された信号パターンとを比較するステップ、および前記比較の結果、マッチング率が閾値を越える場合、前記ターゲットオーディオ信号パターンに対応するハプティック信号を発生させるステップを含むことを特徴とし、様々なオーディオ信号中にハプティック信号として出力されたいとする特定のオーディオ信号が存在する場合、特定のオーディオ信号パターンを検知し、それに適宜なハプティック信号を出力に連結することができる。

【特許請求の範囲】

【請求項1】

受信されるオーディオ信号を分析し、時間および周波数帯域別信号の大きさで構成された信号パターンを生成するステップと、
ターゲットオーディオ信号パターンと前記生成された信号パターンとを比較するステップと、
前記比較の結果、マッチング率が閾値を越える場合、前記ターゲットオーディオ信号パターンに対応するハプティック信号を発生させるステップと、
を含む、ハプティック信号発生方法。

【請求項2】

前記生成された信号パターンの特徴点と前記ターゲットオーディオ信号パターンの特徴点との大きさの差を考慮し、前記生成された信号パターンをスケーリングするステップをさらに含むことを特徴とする、
請求項１に記載のハプティック信号発生方法。

【請求項3】

前記ターゲットオーディオ信号パターンおよび前記生成された信号パターンの特徴点を抽出し、特徴点間の差に基づいてマッチング率を計算することを特徴とする、
請求項１に記載のハプティック信号発生方法。

【請求項4】

受信されるオーディオ信号を分析し、時間および周波数帯域別信号の大きさで構成された信号パターンを生成する信号パターン生成部と、
ターゲットオーディオ信号パターンと前記生成された信号パターンとを比較するパターン比較部と、
前記比較の結果、マッチング率が閾値を越える場合、前記ターゲットオーディオ信号パターンに対応するハプティック信号を発生させるハプティック信号発生部と、
を含む、ハプティック信号発生装置。

【請求項5】

前記生成された信号パターンの特徴点と前記ターゲットオーディオ信号パターンの特徴点との大きさの差を考慮し、前記生成された信号パターンをスケーリングするスケーリング部をさらに含むことを特徴とする、
請求項４に記載のハプティック信号発生装置。

【請求項6】

前記パターン比較部は、前記ターゲットオーディオ信号パターンおよび前記生成された信号パターンの特徴点を抽出し、特徴点間の差に基づいてマッチング率を計算することを特徴とする、
請求項４に記載のハプティック信号発生装置。

【請求項7】

請求項１～３のいずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ハプティック信号発生方法に関し、より詳しくは、様々なオーディオ信号中にハプティック信号として出力されたいとする特定のオーディオ信号が存在する場合、特定のオーディオ信号パターンを検知し、それに適宜なハプティック信号を出力に連結することができる、オーディオ信号パターンを用いたハプティック信号発生方法および装置に関する。

【背景技術】

【0002】

ハプティック技術を支援する製品は、ユーザに触覚という情報を追加することに伴い、より多い現場感および没入を可能にする。しかし、既存の触覚情報が含まれていないコンテンツを用いてハプティック技術を実現するためには、コンテンツの再生時に特定の時間および目的に合わせて振動パターンが事前に当該コンテンツに植えられていなければならないため、非常に多くの時間と努力および費用が必要となる。それに対する解決のために、既存のオーディオ信号が存在する場合、このオーディオ信号をハプティック信号に自動で変換するハプティック技術が必要な状況である。

【0003】

既存の技術を察すると、最も代表的には、オーディオ信号をハプティック信号に変換する際、オーディオ信号を時間領域あるいは周波数領域で分析し、それをフィルタを用いて特定の領域に集中する信号を引っ張って来て、それをハプティックに連結した。しかし、オーディオ信号の時間および周波数のパターンを用いてハプティック信号を発生させる方式は、従来技術では使用されたことがなく、主にオーディオ信号を時間領域あるいは周波数領域で分析した結果を用いる方式を使用した。

【0004】

先行技術１（韓国公開特許第１０－２０１１－００７６２８３号）は、ユーザの入力パターンに応じたフィードバック提供方法および装置に関する技術であって、入力オーディオパターンは、ユーザの入力パターンに対応して発生する音源の種類および発生維持時間、音量などからなる。

【0005】

先行技術２（韓国公開特許第１０－２０１２－０１２６４４６号）は、入力されたオーディオ信号から振動フィードバックを生成するための装置に関する技術であって、オーディオ信号から振動強さおよび振動粗さのうち少なくとも一つを含むパラメータを導出してハプティック信号を発生させる。

【0006】

先行技術１または先行技術２は、オーディオ信号の時間および周波数のパターンを用いてハプティック信号を発生させる方式とは全く異なる方式でハプティック信号を発生させている。

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、本発明が解決しようとする第１課題は、様々なオーディオ信号中にハプティック信号として出力されたいとする特定のオーディオ信号が存在する場合、特定のオーディオ信号パターンを検知し、それに適宜なハプティック信号を出力に連結することができるハプティック信号発生方法を提供することにある。

【0008】

本発明が解決しようとする第２課題は、出力ハプティック信号が事前に指定しておいたオーディオ信号パターンに合わせられるため、高い適中率を有することが可能であり、背景音および人の声のような望まないハプティック信号の生成に対して根本的な遮断が可能なハプティック信号発生装置を提供することにある。

【0009】

また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。

【課題を解決するための手段】

【0010】

本発明は、前記第１課題を達成するために、受信されるオーディオ信号を分析し、時間および周波数帯域別信号の大きさで構成された信号パターンを生成するステップと、ターゲットオーディオ信号パターンと前記生成された信号パターンとを比較するステップと、前記比較の結果、マッチング率が閾値を越える場合、前記ターゲットオーディオ信号パターンに対応するハプティック信号を発生させるステップとを含む、ハプティック信号発生方法を提供する。

【0011】

本発明の一実施形態によれば、前記生成された信号パターンの特徴点と前記ターゲットオーディオ信号パターンの特徴点との大きさの差を考慮し、前記生成された信号パターンをスケーリングするステップをさらに含んでもよい。

【0012】

また、前記ターゲットオーディオ信号パターンおよび前記生成された信号パターンの特徴点を抽出し、特徴点間の差に基づいてマッチング率を計算してもよい。

【0013】

本発明は、前記第２課題を達成するために、受信されるオーディオ信号を分析し、時間および周波数帯域別信号の大きさで構成された信号パターンを生成する信号パターン生成部と、ターゲットオーディオ信号パターンと前記生成された信号パターンとを比較するパターン比較部と、前記比較の結果、マッチング率が閾値を越える場合、前記ターゲットオーディオ信号パターンに対応するハプティック信号を発生させるハプティック信号発生部とを含む、ハプティック信号発生装置を提供する。

【0014】

本発明の一実施形態によれば、前記生成された信号パターンの特徴点と前記ターゲットオーディオ信号パターンの特徴点との大きさの差を考慮し、前記生成された信号パターンをスケーリングするスケーリング部をさらに含んでもよい。

【0015】

また、前記パターン比較部は、前記ターゲットオーディオ信号パターンおよび前記生成された信号パターンの特徴点を抽出し、特徴点間の差に基づいてマッチング率を計算することが好ましい。

【0016】

前記他の技術的課題を解決するために、本発明は、前記ハプティック信号発生方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。

【発明の効果】

【0017】

本発明によれば、様々なオーディオ信号中にハプティック信号として出力されたいとする特定のオーディオ信号が存在する場合、特定のオーディオ信号パターンを検知し、それに適宜なハプティック信号を出力に連結することができる。

【0018】

また、本発明によれば、出力ハプティック信号が事前に指定しておいたオーディオ信号パターンに合わせられるため、高い適中率を有することが可能であり、背景音および人の声のような望まないハプティック信号の生成に対して根本的な遮断が可能である。

【0019】

さらに、本発明によれば、信号パターンから特徴点を抽出してマッチング率を比較するため、迅速に比較することができ、ノイズがある場合であっても信号パターンの特徴点が一致すれば、ハプティック信号が発生されるため、多様で且つノイズが混ざっている状況であっても、均一な形態のハプティック出力を保障することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の好ましい一実施形態によるハプティック信号発生装置の構成図である。

【図2】時間に応じたオーディオ信号の波形を示したものである。

【図3】本発明の一実施形態により入力される図２のオーディオ信号を時間および周波数帯域別に分析した信号パターンを示したものである。

【図4】本発明の好ましい一実施形態によるハプティック信号発生方法のフローチャートである。

【発明を実施するための形態】

【0021】

本発明は、前記課題を達成するために、受信されるオーディオ信号を分析し、時間および周波数帯域別信号の大きさで構成された信号パターンを生成するステップと、ターゲットオーディオ信号パターンと前記生成された信号パターンとを比較するステップと、前記比較の結果、マッチング率が閾値を越える場合、前記ターゲットオーディオ信号パターンに対応するハプティック信号を発生させるステップとを含む、ハプティック信号発生方法を提供する。

【0022】

以下、添付図面を参照し、本発明が属する技術分野における通常の知識を有する者が本発明を容易に実施できる好ましい実施形態を詳しく説明する。但し、これらの実施形態は本発明をより具体的に説明するためのものであって、本発明の範囲がこれによって制限されないことは当業界の通常の知識を有する者に明らかであろう。

【0023】

本発明が解決しようとする課題の解決方案を明らかにするための発明の構成を本発明の好ましい実施形態に基づいて添付図面を参照して詳しく説明するが、図面の構成要素に参照番号を付する際、同一の構成要素に対しては他の図面上に表示する際にも同一の参照番号を付しており、当該図面に関する説明の際、必要な場合、他の図面の構成要素を引用できることを予め明らかにしておく。なお、本発明の好ましい実施形態に対する動作原理を詳しく説明するにおいて、本発明と関連した公知の機能あるいは構成に関する具体的な説明、そしてそれ以外の諸事項が本発明の要旨を不要に濁す恐れがあると判断される場合には、その詳細な説明は省略する。

【0024】

図１は、本発明の好ましい一実施形態によるハプティック信号発生装置の構成図である。

【0025】

図１を参照すれば、本実施形態によるハプティック信号発生装置は、信号パターン生成部１１０、ターゲットパターン格納部１２０、スケーリング部１３０、パターン比較部１４０、ハプティック信号発生部１５０、およびモータ駆動部１６０で構成される。

【0026】

信号パターン生成部１１０は、受信されるオーディオ信号を分析し、時間および周波数帯域別信号の大きさで構成された信号パターンを生成する。

【0027】

信号パターン生成部１１０は、オーディオ信号を時間領域で分析するかまたは周波数領域に変換して分析することができる。周波数領域に変換する際、高速フーリエ変換（ＦＦＴ、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いて、オーディオ信号を周波数帯域別に変換することが好ましい。

【0028】

ターゲットパターン格納部１２０は、ハプティック信号を発生しようとするオーディオ信号パターンをターゲットオーディオ信号パターンとして格納する。また、格納されたターゲットオーディオ信号パターンに対応するハプティック信号を格納することができる。

【0029】

図２は、時間に応じたオーディオ信号の波形を示したものである。

【0030】

図３は、本発明の一実施形態により入力される図２のオーディオ信号を時間および周波数帯域別に分析した信号パターンを示したものである。

【0031】

図３を参照すれば、横軸は時間軸、縦軸は周波数軸を示し、時間と周波数の交差点は信号の大きさを示す。

【0032】

青色が当該時間に当該周波数の信号大きさが小さいものであり、赤色が信号大きさが大きいものである。

【0033】

図３に示すように、オーディオ信号を時間および周波数帯域別に分析すれば固有のオーディオ信号パターンを生成することができ、生成された信号パターンが、ユーザーが望むターゲットオーディオ信号パターンとマッチングする程度を分析した際、閾値以上のマッチング率が出れば、対応するハプティック信号を発生するようにする。オーディオ信号から生成された信号パターンと事前に格納された信号パターンとを比較するものであるため、マッチング率に応じて相当に高いレベルの適中率を有するようになる。

【0034】

スケーリング部１３０は、信号パターン生成部１１０により生成された信号パターンの特徴点と、ターゲットパターン格納部１２０に格納されたターゲットオーディオ信号パターンの特徴点との大きさの差を考慮し、前記生成された信号パターンをスケーリングする。

【0035】

パターン比較部１４０は、前記ターゲットオーディオ信号パターンおよび前記生成された信号パターンの特徴点を抽出し、前記特徴点間の差に基づいてマッチング率を計算することができる。二つの信号パターンの特徴点を抽出し、対応する特徴点間の差に基づいてマッチング率を計算する場合、信号パターン全体を比較する場合よりもマッチング率の計算時間を短縮させることができる。

【0036】

図２を再び参照すれば、パターン比較部１４０は、図２に示された信号パターンの特定の時間の間の特定の周波数帯域に対して信号パターン同士で比較することができる。

【0037】

パターン比較部１４０が信号パターンを比較した結果、信号パターンの特定の時間の間の特定の周波数帯域が、ターゲットオーディオ信号を他のオーディオ信号と区別する特徴がある信号パターンの領域であると判断されれば、前記ターゲットオーディオ信号パターンでの時間および周波数帯域を前記特定の時間および特定の周波数帯域に減らすことが好ましい。

【0038】

ハプティック信号発生部１５０は、パターン比較部１４０の比較の結果、マッチング率が閾値を越える場合、ターゲットオーディオ信号パターンに対応するハプティック信号を発生させる。

【0039】

一方、ハプティック信号の発生回数をカウントし、一つのターゲットオーディオ信号パターンに対応するハプティック信号が一定回数以上過度に発生する場合、マッチングエラーが発生した可能性が高いため、マッチング率の閾値を高めることが好ましい。

【0040】

モータ駆動部１６０は、ハプティック信号発生部１５０からハプティック信号を受信してハプティックモータを駆動する。

【0041】

図４は、本発明の好ましい一実施形態によるハプティック信号発生方法のフローチャートである。

【0042】

図４を参照すれば、本実施形態によるハプティック信号発生方法は、図１に示されたハプティック信号発生装置において、時系列的に処理されるステップで構成される。よって、以下では省略された内容であっても、図１に示されたハプティック信号発生装置に関して以上で記述された内容は、本実施形態によるハプティック信号発生方法にも適用される。

【0043】

（４１０）ステップにおいて、ハプティック信号発生装置は、受信されるオーディオ信号を分析し、時間および周波数帯域別信号の大きさで構成された信号パターンを生成する。

【0044】

受信されるオーディオ信号を時間領域で分析するかまたは周波数領域に変換して分析することができる。周波数領域に変換する際、高速フーリエ変換（ＦＦＴ、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いて、オーディオ信号を周波数帯域別に変換することができる。

【0045】

（４２０）ステップにおいて、ハプティック信号発生装置は、（４１０）ステップで生成された信号パターンの特徴点と、ターゲットパターン格納部１２０に格納されたターゲットオーディオ信号パターンの特徴点との大きさの差を考慮し、前記生成された信号パターンをスケーリングする。

【0046】

（４３０）ステップにおいて、ハプティック信号発生装置は、前記ターゲットオーディオ信号パターンと前記生成された信号パターンとを比較する。

【0047】

前記ターゲットオーディオ信号パターンおよび前記生成された信号パターンの特徴点を抽出し、特徴点間の差に基づいてマッチング率を計算することによって、信号パターン同士で比較可能となるようにすることができる。二つの信号パターンの特徴点を抽出し、対応する特徴点間の差に基づいてマッチング率を計算する場合、信号パターン全体を比較する場合よりも、マッチング率の計算時間を従来技術よりも短縮させることができる。

【0048】

一方、信号パターンを比較した結果、信号パターンの特定の時間の間の特定の周波数帯域が、ターゲットオーディオ信号を他のオーディオ信号と区別する特徴がある信号パターンの領域であると判断されれば、前記ターゲットオーディオ信号パターンでの時間および周波数帯域を前記特定の時間および特定の周波数帯域に減らすことが好ましい。

【0049】

（４４０）ステップにおいて、ハプティック信号発生装置は、マッチング率が閾値を越える場合には（４５０）ステップに進行し、マッチング率が閾値を越えない場合には終了する。

【0050】

（４５０）ステップにおいて、ハプティック信号発生装置は、（４４０）ステップでの判断の結果、マッチング率が閾値を越える場合、前記ターゲットオーディオ信号パターンに対応するハプティック信号を発生させる。

【0051】

一方、ハプティック信号の発生回数をカウントし、前記ターゲットオーディオ信号パターンに対応するハプティック信号が一定回数以上過度に発生する場合、マッチングエラーが発生した可能性が高いため、マッチング率の閾値を高めることが好ましい。

【0052】

前記ターゲットオーディオ信号パターンに対応するハプティック信号は、ターゲットパターン格納部１２０に格納され、その後、ハプティック信号発生部１５０に伝達されることができうる。

【0053】

本発明の実施形態は、様々なコンピュータ手段を介して行われるプログラム命令の形態で実現され、コンピュータ読み取り可能な媒体に記録されてもよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光気録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記ハードウェア装置は本発明の動作を実行するために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

【0054】

以上、具体的な構成要素などのような特定の事項と限定された実施形態および図面により本発明を説明したが、これは本発明のより全般的な理解のために提供されたものにすぎず、本発明は前記実施形態に限定されるものではなく、本発明が属する技術分野における通常の知識を有する者であれば、このような記載から様々な修正および変形が可能である。

【0055】

したがって、本発明の思想は説明された実施形態に限定して定められてはならず、後述の特許請求の範囲だけでなく、この特許請求の範囲と均等または等価的な変形を有するものはいずれも本発明の思想の範疇に属するといえる。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】