知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-22
(45)【発行日】2023-05-30
(54)【発明の名称】ユーザの入力信号を考慮したハプティックモータ駆動方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20230523BHJP
G10L 25/21 20130101ALI20230523BHJP
H04R 3/00 20060101ALI20230523BHJP
【ＦＩ】
G06F3/01 560
G10L25/21
H04R3/00 310
【請求項の数】
5
(21)【出願番号】P 2021548626
(86)(22)【出願日】2020-02-19
(65)【公表番号】
(43)【公表日】2022-04-13
(86)【国際出願番号】 KR2020002435
(87)【国際公開番号】W WO2020171612
(87)【国際公開日】2020-08-27
【審査請求日】2021-08-18
(31)【優先権主張番号】10-2019-0019171
(32)【優先日】2019-02-19
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】518086871
【氏名又は名称】ドンウン アナテック カンパニー リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】イ、チョンフン
(72)【発明者】
【氏名】ハン、インウ
(72)【発明者】
【氏名】チュ、トンピル
【審査官】木村 慎太郎
(56)【参考文献】
【文献】特開２００２－０７８０６６（ＪＰ，Ａ）
【文献】特開２０１４－０１０８３１（ＪＰ，Ａ）
【文献】特開２０１８－０１１２０１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ１０Ｌ ２５／２１
Ｈ０４Ｒ ３／００
(57)【特許請求の範囲】
【請求項1】
受信されるオーディオ信号を分析するステップと、前記分析された結果が特定の閾値以上である場合に対応するハプティックイベント信号を抽出するステップと、
前記抽出されたハプティックイベント信号に相応するハプティック信号を発生させるステップと、
第１ユーザ入力信号が受信されると、事前に格納されたハプティックデータと前記発生されたハプティック信号とを多重化してハプティックモータを駆動する駆動信号を出力するステップと、
を含み、
前記ハプティックイベント信号を抽出するステップは、前記ハプティックイベント信号の発生回数をカウントした結果、前記ハプティックイベント信号が一定回数以上発生した場合、前記特定の閾値を増加させるか、又は特定周波数区間を細分化して限定し、前記ハプティックイベント信号の発生回数を周波数毎にカウントし、一定回数以上発生したハプティックイベント信号に対応する周波数の周波数ゲインを増加させ、
前記駆動信号を出力するステップは、前記ハプティック信号が前記ハプティックモータのモータ駆動部に出力されている場合、前記第１ユーザ入力信号が受信されると、前記格納されたハプティックデータをマルチプレクサを介して前記モータ駆動部に出力し、前記格納されたハプティックデータの出力が完了すると、元のオーディオ信号をハプティック信号に変換して、得られたハプティック信号を前記モータ駆動部に出力する、
ハプティックモータ駆動方法。
【請求項2】
前記分析されたオーディオ信号の大きさまたは前記ハプティックイベント信号の大きさを考慮し、前記事前に格納されたハプティックデータのゲインを制御するステップをさらに含む、請求項１に記載のハプティックモータ駆動方法。
【請求項3】
受信されるオーディオ信号を分析するオーディオ信号分析部と、前記分析された結果が特定の閾値以上である場合に対応するハプティックイベント信号を抽出するハプティックイベント抽出部と、
前記抽出されたハプティックイベント信号に相応するハプティック信号を発生させるハプティック信号発生部と、
ユーザから入力信号を受けるユーザ入力部と、
前記ユーザ入力部から第１ユーザ入力信号を受信すると、事前に格納されたハプティックデータと前記発生されたハプティック信号とを多重化してハプティックモータを駆動する駆動信号を出力するマルチプレクサと、
前記マルチプレクサから出力された駆動信号を用いてハプティックモータを駆動するモータ駆動部と、
を含み、
前記ハプティックイベント抽出部は、前記ハプティックイベント信号の発生回数をカウントした結果、前記ハプティックイベント信号が一定回数以上発生した場合、前記特定の閾値を増加させるか、又は特定周波数区間を細分化して限定し、前記ハプティックイベント信号の発生回数を周波数毎にカウントし、一定回数以上発生した前記ハプティックイベント信号に対応する周波数の周波数ゲインを増加させ、
前記マルチプレクサは、前記ハプティック信号が前記ハプティックモータのモータ駆動部に出力されている場合、前記第１ユーザ入力信号を受信すると、前記格納されたハプティックデータを前記モータ駆動部に出力し、格納された前記ハプティックデータの出力が完了すると、元の音声信号を前記ハプティック信号に変換して、得られたハプティック信号を前記モータ駆動部に出力する、
ハプティックモータ駆動装置。
【請求項4】
前記分析されたオーディオ信号の大きさまたは前記ハプティックイベント信号の大きさを考慮し、前記事前に格納されたハプティックデータのゲインを制御する制御部をさらに含む、請求項３に記載のハプティックモータ駆動装置。
【請求項5】
請求項１又は請求項２に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ハプティックモータ駆動方法に関し、より詳しくは、オーディオサウンドからハプティック信号を生成するが、ユーザの入力に合わせて反応する形態でシステムが構成されるため、より現実感のあるハプティック結果物を出せるハプティックモータ駆動方法および装置に関する。
【背景技術】
【0002】
ハプティック技術を支援する製品は、ユーザに触覚という情報を追加することに伴い、より多い現場感および没入を可能にする。しかし、既存の触覚情報が含まれていないコンテンツを用いてハプティック技術を実現するためには、コンテンツの再生時に特定の時間および目的に合わせて振動パターンが事前に当該コンテンツに植えられていなければならないため、非常に多くの時間と努力および費用が必要となる。それに対する解決のために、既存のオーディオ信号が存在する場合、このオーディオ信号をハプティック信号に自動で変換するハプティック技術が必要な状況である。
【0003】
既存の技術を察すると、最も代表的には、オーディオ信号をハプティック信号に変換する際、オーディオ信号を時間領域あるいは周波数領域で分析し、それをフィルタを用いて特定の領域に集中する信号を引っ張って来て、それをハプティックに連結した。この場合、音を単にハプティックに変換する形態のアルゴリズムであるため、全ての音のイベントがハプティックイベントに連結されるしかない。
【0004】
先行技術１（韓国登録特許第１０－１１２１７８５号）は、音源データの変化量に応じて変化類型を決め、それに基づいてハプティック効果を生成する技術であり、先行技術２（韓国登録特許第１０－１４２７９９３号）は、オーディオ信号の認知的な特性情報に相応するハプティック信号を出力するものである。
【0005】
先行技術１または先行技術２は、音源データの変化量や認知的な特性情報だけに基づいてハプティック効果を生成するだけであって、予め格納されたハプティックデータの出力、およびオーディオ信号から抽出されたハプティック信号をユーザの入力信号に応じて選択して出力することを開示してはいない。
【0006】
したがって、既存の方式は、音を単にハプティックに変換する形態のアルゴリズムであるため、ユーザの入力に応じて相互補完的な動作が不可能であり、一律的にオーディオ信号からハプティック信号を検出して出力する場合、ユーザごとに異なる触覚環境を最適化し難いという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、本発明が解決しようとする第１課題は、基本的にオーディオサウンドからハプティック信号を生成するが、ユーザの入力に合わせて反応する形態でシステムが構成されるため、より現実感のあるハプティック結果物を出せるハプティックモータ駆動方法を提供することにある。
【0008】
本発明が解決しようとする第２課題は、ユーザの入力を優先的に考慮してハプティック信号を出力すれば、望まないオーディオ信号に対しては根本的に反応しない動作が可能なハプティックモータ駆動装置を提供することにある。
【0009】
また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【0010】
本発明は、前記第１課題を達成するために、受信されるオーディオ信号を分析するステップ；前記分析された結果が特定の閾値以上である場合に対応するハプティックイベント信号を抽出するステップ；前記抽出されたハプティックイベント信号に相応するハプティック信号を発生させるステップ；および第１ユーザ入力信号の受信可否を考慮し、事前に格納されたハプティックデータと前記発生されたハプティック信号とを多重化してハプティックモータを駆動する駆動信号を出力するステップを含む、ハプティックモータ駆動方法を提供する。
【0011】
本発明の一実施形態によれば、前記分析されたオーディオ信号の大きさまたは前記ハプティックイベント信号の大きさを考慮し、前記事前に格納されたハプティックデータのゲインを制御することが好ましい。
【0012】
また、第２ユーザ入力信号の受信可否を考慮し、前記ハプティックモータを前記ハプティックデータまたは前記ハプティック信号に応じて駆動するか否かを決めてもよい。
【0013】
本発明は、前記第２課題を達成するために、受信されるオーディオ信号を分析するオーディオ信号分析部；前記分析された結果が特定の閾値以上である場合に対応するハプティックイベント信号を抽出するハプティックイベント抽出部；前記抽出されたハプティックイベント信号に相応するハプティック信号を発生させるハプティック信号発生部；ユーザから入力信号を受けるユーザ入力部；前記ユーザ入力部から受信された第１ユーザ入力信号を考慮し、事前に格納されたハプティックデータと前記発生されたハプティック信号とを多重化してハプティックモータを駆動する駆動信号を出力するマルチプレクサ；および前記マルチプレクサから出力された駆動信号を用いてハプティックモータを駆動するモータ駆動部を含む、ハプティックモータ駆動装置を提供する。
【0014】
本発明の一実施形態によれば、前記分析されたオーディオ信号の大きさまたは前記ハプティックイベント信号の大きさを考慮し、前記事前に格納されたハプティックデータのゲインを制御する制御部をさらに含むことが好ましい。
【0015】
また、第２ユーザ入力信号の受信可否を考慮し、前記ハプティックモータを前記ハプティックデータまたは前記ハプティック信号に応じて駆動するか否かを決めてもよい。
【0016】
前記他の技術的課題を解決するために、本発明は、前記ハプティックモータ駆動方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【0017】
本発明によれば、基本的にオーディオサウンドからハプティック信号を生成するが、ユーザの入力に合わせて反応する形態でシステムが構成されるため、より現実感のあるハプティック結果物を出せる。
【0018】
また、本発明によれば、ユーザの入力を優先的に考慮してハプティック信号を出力すれば、望まないオーディオ信号に対しては根本的に反応しない動作が可能となる。
【0019】
さらに、本発明によれば、オーディオ信号のハプティック出力がユーザの入力との相互作用により出る場合、オーディオ信号のみに依存せず、ユーザの入力情報も追加的に受けることができるようになる。よって、２つの情報を両方とも用いてハプティック信号への変換をすれば、より満足度の高い振動を得ることができる。
【図面の簡単な説明】
【0020】
【図1】本発明の好ましい一実施形態によるハプティックモータ駆動装置の構成図である。
【図2】本発明の好ましい他の実施形態によるハプティックモータ駆動装置の構成図である。
【図3】本発明の好ましいまた他の実施形態によるハプティックモータ駆動装置の構成図である。
【図4】本発明の好ましい一実施形態によるハプティックモータ駆動方法のフローチャートである。
【図5】本発明の好ましい他の実施形態によるハプティックモータ駆動方法のフローチャートである。
【発明を実施するための形態】
【0021】
本発明は、前記課題を達成するために、受信されるオーディオ信号を分析するステップ；前記分析された結果が特定の閾値以上である場合に対応するハプティックイベント信号を抽出するステップ；前記抽出されたハプティックイベント信号に相応するハプティック信号を発生させるステップ；および第１ユーザ入力信号の受信可否を考慮し、事前に格納されたハプティックデータと前記発生されたハプティック信号とを多重化してハプティックモータを駆動する駆動信号を出力するステップを含む、ハプティックモータ駆動方法を提供する。
【0022】
以下、添付図面を参照し、本発明が属する技術分野における通常の知識を有する者が本発明を容易に実施できる好ましい実施形態を詳しく説明する。但し、これらの実施形態は本発明をより具体的に説明するためのものであって、本発明の範囲がこれによって制限されないことは当業界の通常の知識を有する者に明らかであろう。
【0023】
本発明が解決しようとする課題の解決方案を明らかにするための発明の構成を本発明の好ましい実施形態に基づいて添付図面を参照して詳しく説明するが、図面の構成要素に参照番号を付する際、同一の構成要素に対しては他の図面上に表示する際にも同一の参照番号を付しており、当該図面に関する説明の際、必要な場合、他の図面の構成要素を引用できることを予め明らかにしておく。なお、本発明の好ましい実施形態に対する動作原理を詳しく説明するにおいて、本発明と関連した公知の機能あるいは構成に関する具体的な説明、そしてそれ以外の諸事項が本発明の要旨を不要に濁す恐れがあると判断される場合には、その詳細な説明は省略する。
【0024】
図１は、本発明の好ましい一実施形態によるハプティックモータ駆動装置の構成図である。
【0025】
図１を参照すれば、本実施形態によるハプティックモータ駆動装置は、オーディオ信号分析部１１０、周波数イコライザー部１１５、ハプティックイベント抽出部１２０、ハプティック信号発生部１３０、モータ駆動部１４０、ユーザ入力部１５０、および制御部１８０で構成される。
【0026】
オーディオ信号分析部１１０は、受信されるオーディオ信号を分析する。
【0027】
オーディオ信号分析部１１０は、受信されるオーディオ信号を時間領域で分析するかまたは周波数領域に変換して分析することができる。周波数領域に変換する際、高速フーリエ変換（ＦＦＴ、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いて、オーディオ信号を周波数帯域別に変換することができる。
【0028】
周波数イコライザー部１１５は、前記周波数領域に変換されたオーディオ信号の特定の周波数区間を抑制または増幅する。
【0029】
周波数イコライザー部１１５は、低域を切り出す低域フィルタ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）と高域を切り出す高域フィルタ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ Ｆｉｌｔｅｒ）、特定の周波数だけを無くし残りの部分はそのまま通過するバンドパスフィルタ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）、特定の周波数だけを選択して無くすバンドリジェクトフィルタ（Ｂａｎｄ Ｒｅｊｅｃｔ Ｆｉｌｔｅｒ）として含んでもよく、これらを組み合わせて使用してもよい。
【0030】
ハプティックイベント抽出部１２０は、前記分析された結果が特定の閾値以上である場合に対応するハプティックイベント信号を抽出する。
【0031】
ハプティックイベント信号は、受信されたオーディオ信号の強さ（ｉｎｔｅｎｓｉｔｙ）、ピッチ（ｐｉｔｃｈ）、リズム（ｒｈｙｔｈｍ）、エネルギー（ｅｎｅｒｇｙ）、時間的対比（ｔｅｍｐｏｒａｌ ｃｏｎｔｒａｓｔ）、メロディー（ｍｅｌｏｄｙ）、ハーモニー（ｈａｒｍｏｎｙ）、音色（ｔｉｍｂｒｅ）のうち少なくとも一つ以上を考慮して抽出される。
【0032】
ハプティック信号発生部１３０は、前記抽出されたハプティックイベント信号に相応するハプティック信号を発生させる。
【0033】
一実施形態として、前記オーディオ信号をピッチシフト（ｐｉｔｃｈ ｓｈｉｆｔｉｎｇ）することによって、オーディオ信号の元のピッチをアクチュエータのようなハプティック出力装置の目的ピッチ範囲内の目的ピッチにシフトできる。また、オーディオ信号の元のピッチを目的ピッチにシフトすることによって、オーディオ信号の一つ以上の元の周波数は、一つ以上の目的周波数にシフトできる。
【0034】
モータ駆動部１４０は、ハプティック信号発生部１３０からハプティック信号を受信してハプティックモータを駆動する。
【0035】
ユーザ入力部１５０は、ユーザからモータ駆動部１４０の駆動を制御する入力信号を受け、制御部１８０にユーザの入力信号を出力する。
【0036】
モータ駆動部１４０がハプティック信号発生部１３０のハプティック信号に応じてハプティックモータを駆動している場合、ユーザ入力部１５０からユーザの入力信号が受信されれば、制御部１８０は、モータ駆動部１４０を制御してハプティックモータの駆動を停止することができる。
【0037】
その逆に、ハプティックモータが停止している場合、ユーザ入力部１５０からユーザの入力信号が受信されれば、制御部１８０は、ハプティック信号発生部１３０のハプティック信号に応じてハプティックモータを駆動するようにすることができる。
【0038】
制御部１８０は、ハプティックイベント抽出部１２０により抽出されたハプティックイベント信号の発生回数を周波数別にカウントし、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させる。
【0039】
制御部１８０がハプティックイベント信号の発生回数を周波数別にカウントする際、当該周波数の相応する電力の大きさが一定大きさ以下である場合はカウントから除外できる。
【0040】
一方、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数以外の他の周波数に対しては抑制できる。
【0041】
制御部１８０は、ハプティックイベント抽出部１２０により抽出されたハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、ハプティックイベント抽出部１２０の特定の閾値を増加させることができる。前記特定の閾値を増加させれば、ハプティック信号の発生頻度を下げる効果がある。
【0042】
また、制御部１８０は、一定回数以上発生したハプティックイベント信号に相応する周波数を分析し、周波数イコライザー部１１５の特定の周波数区間をさらに細かく区分することができる。例えば、初期に設定された特定の周波数区間が１，０００Ｈｚ～１，５００Ｈｚである際、ハプティックイベント信号が発生した周波数が１，１００Ｈｚ、１，１５０Ｈｚ、１，１８０Ｈｚ、１，２００Ｈｚであれば、前記特定の周波数区間を１，１００Ｈｚ～１，２００Ｈｚに限定することが好ましい。
【0043】
制御部１８０が、リアルタイムで受信されるオーディオ信号からハプティックイベント信号を抽出し、抽出されるハプティックイベント信号に相応する周波数の増幅ゲインを増加させ、その他の周波数の増幅ゲインを減少させることによって、オーディオ信号の特性に応じて適応的にハプティック信号を発生できるようになる。
【0044】
制御部１８０を介して、オーディオ信号分析部１１０およびハプティックイベント抽出部１２０に必要であったマニュアルチューニングをある程度自動化することができる。また、基本的にゲームのような特定の周波数を有するオーディオ信号に対する頻度が高い場合、より高い適中率を有する出力を有するようになる。
【0045】
オーディオ信号は実生活において様々な形態で存在するため、特定の形態を指定することは事実上不可能であるので、受信されるオーディオ信号を適応的に学習するようにし、この学習結果に応じてオーディオを分析する制御部１８０を制御してハプティックイベント適中率を向上させることができる。
【0046】
図２は、本発明の好ましい他の実施形態によるハプティックモータ駆動装置の構成図である。
【0047】
図２を参照すれば、本実施形態によるハプティックモータ駆動装置は、オーディオ信号分析部２１０、周波数イコライザー部２１５、ハプティックイベント抽出部２２０、ハプティック信号発生部２３０、モータ駆動部２４０、ユーザ入力部２５０、ハプティックデータ格納部２６０、マルチプレクサ２７０、および制御部２８０で構成される。
【0048】
図２に示されたオーディオ信号分析部２１０、周波数イコライザー部２１５、ハプティックイベント抽出部２２０、ハプティック信号発生部２３０、モータ駆動部２４０、ユーザ入力部２５０、および制御部２８０について、図１に示された構成要素と同一の機能に対しては説明を省略し、差異点を中心に以下に説明することにする。
【0049】
ハプティックデータ格納部２６０は、ユーザ入力部２５０を介して受信される入力信号に対応するハプティックデータを格納する。ユーザの入力信号は多様に構成することができ、対応するハプティックデータも様々な形態で構成されることが好ましい。
【0050】
ユーザの入力信号に応じたハプティックデータは重要な形態のハプティック情報とみなし、ユーザに高い満足度を与えるために、事前に格納しておいたハプティックデータを用いて構成することができる。
【0051】
ユーザ入力部２５０は、ユーザからマルチプレクサ２７０を制御する入力信号を受けてマルチプレクサ２７０に出力する。
【0052】
マルチプレクサ２７０は、ユーザ入力部２５０から受信された第１ユーザ入力信号を考慮し、ハプティックデータ格納部２６０に格納されたハプティックデータと、ハプティック信号発生部２３０により発生されたハプティック信号とを多重化してハプティックモータを駆動する駆動信号をモータ駆動部２４０に出力する。
【0053】
例えば、ハプティックデータ格納部２６０に格納されたハプティックデータがマルチプレクサ２７０を介してモータ駆動部２４０に出力されている場合、ユーザ入力部２５０にユーザの入力信号が受信されれば、ハプティック信号発生部２３０により発生されたハプティック信号をマルチプレクサ２７０を介してモータ駆動部２４０に出力するように変更することができる。
【0054】
その逆に、ハプティック信号発生部２３０により発生されたハプティック信号がマルチプレクサ２７０を介してモータ駆動部２４０に出力されている場合、ユーザ入力部２５０にユーザの入力信号が受信されれば、ハプティックデータ格納部２６０に格納されたハプティックデータをマルチプレクサ２７０を介してモータ駆動部２４０に出力するように変更することができる。
【0055】
また他の例として、ハプティックデータ格納部２６０に格納されたハプティックデータまたはハプティック信号発生部２３０により発生されたハプティック信号のいずれか一つのみがマルチプレクサ２７０を介してモータ駆動部２４０に出力されている場合、ユーザ入力部２５０でユーザの入力信号が受信されれば、前記ハプティックデータおよび前記ハプティック信号を両方ともマルチプレクサ２７０を介してモータ駆動部２４０に出力するように変更することができる。
【0056】
本発明の実施形態によるハプティックモータ駆動装置は、オーディオ信号の他に追加的に事前に準備したハプティックデータが出力として出る場合にはユーザの入力命令に基づくようになり、ユーザの入力が印加される場合、オーディオ信号をハプティックに変換する機能は一時停止し、特定のハプティックデータが出力に連結されるようにすることができる。その後、特定のハプティックデータの出力が完了すれば、元のとおりにオーディオ信号をハプティックに変換する形態に変えて動作することができるため、ユーザにさらに現実感のあるハプティック信号の生成が可能となる。
【0057】
モータ駆動部２４０は、マルチプレクサ２７０から出力された駆動信号を用いてハプティックモータを駆動する。
【0058】
図３は、本発明の好ましいまた他の実施形態によるハプティックモータ駆動装置の構成図である。
【0059】
図３を参照すれば、本実施形態によるハプティックモータ駆動装置は、オーディオ信号分析部３１０、周波数イコライザー部３１５、ハプティックイベント抽出部３２０、ハプティック信号発生部３３０、モータ駆動部３４０、ユーザ入力部３５０、ハプティックデータ格納部３６０、マルチプレクサ３７０、制御部３８０、およびゲイン部３９０で構成される。
【0060】
図３に示されたオーディオ信号分析部３１０、周波数イコライザー部３１５、ハプティックイベント抽出部３２０、ハプティック信号発生部３３０、モータ駆動部３４０、ユーザ入力部３５０、ハプティックデータ格納部３６０、マルチプレクサ３７０、および制御部３８０について、図２に示された構成要素と同一の機能に対しては説明を省略し、差異点を中心に以下に説明することにする。
【0061】
制御部３８０は、オーディオ信号分析部３１０により分析されたオーディオ信号の大きさまたはハプティックイベント抽出部３２０により抽出されたハプティックイベント信号の大きさを考慮し、ハプティックデータ格納部３６０に格納されたハプティックデータのゲインをゲイン部３９０を介して制御する。
【0062】
この場合、ハプティックデータ格納部３６０に格納されたハプティックデータは、正規化された（ｎｏｒｍａｌｉｚｅｄ）データとして格納することが好ましい。
【0063】
ゲイン部３９０は、ハプティック信号発生部３３０により発生されたハプティック信号とスケールを合わせるために、ハプティックデータ格納部３６０に格納された正規化ハプティックデータにゲインを適用してマルチプレクサ３７０に出力する。
【0064】
ゲイン部３９０は、予め格納されたハプティックデータの振動の大きさを様々な形態に調節するために、入力として与えられるオーディオ信号の特性を分析した後、それに基づいて予め格納されたハプティックデータのゲイン値を調節して出力として出せる。
【0065】
図４は、本発明の好ましい一実施形態によるハプティックモータ駆動方法のフローチャートである。
【0066】
図４を参照すれば、本実施形態によるハプティックモータ駆動方法は、図２に示されたハプティックモータ駆動装置において、時系列的に処理されるステップで構成される。よって、以下では省略された内容であっても、図２に示されたハプティックモータ駆動装置に関して以上で記述された内容は、本実施形態によるハプティックモータ駆動方法にも適用される。
【0067】
４００ステップにおいて、ハプティックモータ駆動装置は、受信されるオーディオ信号を分析する。受信されるオーディオ信号を時間領域で分析するかまたは周波数領域に変換して分析することができる。周波数領域に変換する際、高速フーリエ変換（ＦＦＴ、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いて、オーディオ信号を周波数帯域別に変換することができる。
【0068】
４１０ステップにおいて、ハプティックモータ駆動装置は、４００ステップで分析された結果が特定の閾値以上である場合に対応するハプティックイベント信号を抽出する。
【0069】
ハプティックイベント信号は、受信されたオーディオ信号の強さ（ｉｎｔｅｎｓｉｔｙ）、ピッチ（ｐｉｔｃｈ）、リズム（ｒｈｙｔｈｍ）、エネルギー（ｅｎｅｒｇｙ）、時間的対比（ｔｅｍｐｏｒａｌ ｃｏｎｔｒａｓｔ）、メロディー（ｍｅｌｏｄｙ）、ハーモニー（ｈａｒｍｏｎｙ）、音色（ｔｉｍｂｒｅ）のうち少なくとも一つ以上を考慮して抽出される。
【0070】
４２０ステップにおいて、ハプティックモータ駆動装置は、４１０ステップで抽出されたハプティックイベント信号に相応するハプティック信号を発生させる。
【0071】
一実施形態として、前記オーディオ信号をピッチシフト（ｐｉｔｃｈ ｓｈｉｆｔｉｎｇ）することによって、オーディオ信号の元のピッチをアクチュエータのようなハプティック出力装置の目的ピッチ範囲内の目的ピッチにシフトできる。また、オーディオ信号の元のピッチを目的ピッチにシフトすることによって、オーディオ信号の一つ以上の元の周波数は、一つ以上の目的周波数にシフトできる。
【0072】
４３０ステップにおいて、ハプティックモータ駆動装置は、ユーザの入力信号が受信されるか否かを判断する。前記判断の結果、ユーザの入力信号が受信されなければ、４４０ステップに進行し、ユーザの入力信号が受信されれば、４５０ステップに進行する。
【0073】
４４０ステップにおいて、ハプティックモータ駆動装置は、ユーザの入力信号が受信されていない場合であるため、既存のハプティック出力方式のとおりに出力する。
【0074】
既存のハプティック出力方式は、ハプティックデータ格納部２６０に格納されたハプティックデータを出力してもよく、ハプティック信号発生部２３０により発生されたハプティック信号を出力してもよく、その他の方式も可能である。
【0075】
４５０ステップにおいて、ハプティックモータ駆動装置は、ユーザの入力信号が受信された場合であって、事前に格納されたハプティックデータと前記発生されたハプティック信号とを多重化してハプティックモータを駆動する駆動信号を出力する。
【0076】
ユーザの入力信号が受信されれば、既存のハプティック出力方式とは異なる方式でハプティック信号を出力する。一実施形態として、既存のハプティックデータ格納部２６０に格納されたハプティックデータを出力する場合、ユーザの入力信号が受信されれば、ハプティック信号発生部２３０により発生されたハプティック信号を出力し、既存のハプティック信号発生部２３０により発生されたハプティック信号を出力する場合、ユーザの入力信号が受信されれば、既存のハプティックデータ格納部２６０に格納されたハプティックデータを出力することができる。
【0077】
本発明に係るハプティックモータ駆動装置は、既存のオーディオ信号をハプティック信号に変換するにおいて有せざるを得ない限界を克服するために、既存のオーディオ信号からのハプティック信号の検出の他に、追加的に事前に準備しておいたハプティックデータも出力に連結されることができるようにする。よって、ユーザと相互作用をする形態であるため、ユーザの入力情報にさらに充実したハプティック出力を保障することができる。
【0078】
図５は、本発明の好ましい他の実施形態によるハプティックモータ駆動方法のフローチャートである。
【0079】
図５を参照すれば、本実施形態によるハプティックモータ駆動方法は、図３に示されたハプティックモータ駆動装置において、時系列的に処理されるステップで構成される。よって、以下では省略された内容であっても、図３に示されたハプティックモータ駆動装置に関して以上で記述された内容は、本実施形態によるハプティックモータ駆動方法にも適用される。
【0080】
５００ステップ～５５０ステップでのハプティックモータ駆動装置は、図４に開示した４００ステップ～４５０ステップの動作を含んで動作する。
【0081】
５３０ステップにおいて、ハプティックモータ駆動装置は、ユーザの入力信号が受信されるか否かを判断する。前記判断の結果、ユーザの入力信号が受信されなければ、５４０ステップに進行し、ユーザの入力信号が受信されれば、５５０ステップに進行する。
【0082】
５４０ステップにおいて、ハプティックモータ駆動装置は、ユーザの入力信号が受信されていない場合であるため、既存のハプティック出力方式のとおりに出力する。
【0083】
既存のハプティック出力方式は、ハプティックデータ格納部３６０に格納されたハプティックデータを出力してもよく、ハプティック信号発生部３３０により発生されたハプティック信号を出力してもよく、その他の方式も可能である。
【0084】
５４５ステップにおいて、ハプティックモータ駆動装置は、５００ステップで分析されたオーディオ信号の大きさまたは５１０ステップでのハプティックイベント信号の大きさを考慮し、前記事前に格納されたハプティックデータにゲインを適用する。
【0085】
５５０ステップにおいて、５４５ステップでゲインが適用されたハプティックデータと、５２０ステップで発生されたハプティック信号とを多重化してハプティックモータを駆動する駆動信号を出力する。
【0086】
一実施形態として、既存のハプティックデータ格納部３６０に格納されたハプティックデータにゲインを適用して出力する場合、ユーザの入力信号が受信されれば、ハプティック信号発生部３３０により発生されたハプティック信号を出力し、既存のハプティック信号発生部３３０により発生されたハプティック信号を出力する場合、ユーザの入力信号が受信されれば、既存のハプティックデータ格納部３６０に格納されたハプティックデータにゲインを適用して出力することができる。
【0087】
本発明の実施形態は、様々なコンピュータ手段を介して行われるプログラム命令の形態で実現され、コンピュータ読み取り可能な媒体に記録されてもよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光気録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記ハードウェア装置は本発明の動作を実行するために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【0088】
以上、具体的な構成要素などのような特定の事項と限定された実施形態および図面により本発明を説明したが、これは本発明のより全般的な理解のために提供されたものにすぎず、本発明は前記実施形態に限定されるものではなく、本発明が属する技術分野における通常の知識を有する者であれば、このような記載から様々な修正および変形が可能である。
【0089】
したがって、本発明の思想は説明された実施形態に限定して定められてはならず、後述の特許請求の範囲だけでなく、この特許請求の範囲と均等または等価的な変形を有するものはいずれも本発明の思想の範疇に属するといえる。
【図1】
【図2】
【図3】
【図4】
【図5】
