知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-05
(45)【発行日】2024-12-13
(54)【発明の名称】触覚刺激提供システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241206BHJP
G06F 3/04847 20220101ALI20241206BHJP
H04R 1/00 20060101ALI20241206BHJP
H04R 3/12 20060101ALI20241206BHJP
【ＦＩ】
G06F3/01 560
G06F3/04847
H04R1/00 310G
H04R3/12 Z
【請求項の数】
15
(21)【出願番号】P 2022533326
(86)(22)【出願日】2020-10-20
(65)【公表番号】
(43)【公表日】2023-03-13
(86)【国際出願番号】 KR2020014330
(87)【国際公開番号】W WO2021141215
(87)【国際公開日】2021-07-15
【審査請求日】2023-08-15
(31)【優先権主張番号】10-2020-0001697
(32)【優先日】2020-01-06
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519437984
【氏名又は名称】ビーハプティクス インコーポレイテッド
【住所又は居所原語表記】（ＫＴ Ｄａｅｄｅｏｋ ２ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ， Ｊｅｏｎｍｉｎ－ｄｏｎｇ） ３Ｄｏｎｇ－５０３Ｈｏ， ７０， Ｙｕｓｅｏｎｇ－ｄａｅｒｏ １６８９ｂｅｏｎ－ｇｉｌ， Ｙｕｓｅｏｎｇ－ｇｕ， Ｄａｅｊｅｏｎ ３４０４７， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110002619
【氏名又は名称】弁理士法人ＰＯＲＴ
(72)【発明者】
【氏名】チェ サン ウォン
(72)【発明者】
【氏名】カク キ ウク
【審査官】宮本 昭彦
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０３７８３８５（ＵＳ，Ａ１）
【文献】特表２０１１－５０５９２１（ＪＰ，Ａ）
【文献】国際公開第２０１９／１３８８６７（ＷＯ，Ａ１）
【文献】特開２０１５－０５３０４５（ＪＰ，Ａ）
【文献】特開２０１４－１５４１２６（ＪＰ，Ａ）
【文献】特開２０１４－０４９１３９（ＪＰ，Ａ）
【文献】特開２０１５－０９５２６４（ＪＰ，Ａ）
【文献】韓国公開特許第２０１８－００５４５２４（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ａ６３Ｆ １３／００ － １３／９８
Ｈ０４Ｒ １／００
Ｈ０４Ｒ ３／１２
(57)【特許請求の範囲】
【請求項1】
第１オーディオデータのｎ個の周波数帯域のそれぞれの代表値に対応する第１アクチュエータ強度値及び第２オーディオデータのｍ個の周波数帯域のそれぞれの代表値に対応する第２アクチュエータ強度値を生成する触覚刺激パターン生成装置と、ｐ個のアクチュエータを含み、上記ｎ個の第１アクチュエータ強度値及び上記ｍ個の第２アクチュエータ強度値に基づいて上記ｐ個のアクチュエータを駆動する触覚刺激提供装置と、を含み、
上記ｎ、ｍ、及びｐは１より大きい整数であり、上記ｐはｎ及びｍを合計した値より小さく、
上記第１オーディオデータは第１方向に関する情報を含み、
上記第２オーディオデータは上記第１方向とは異なる第２方向に関する情報を含み、上記第１方向と対応する第１位置情報に対応するアクチュエータは上記第１アクチュエータ強度値のうち少なくとも１つに基づいて駆動され、
上記第２方向と対応する第２位置情報に対応するアクチュエータは上記第２アクチュエータ強度値のうち少なくとも１つに基づいて駆動されることを特徴とする触覚刺激提供システム。
【請求項2】
上記第１オーディオデータはステレオオーディオデータ（ｓｔｅｒｅｏ ａｕｄｉｏ ｄａｔａ）の第１チャネルのデータに対応し、上記第２オーディオデータはステレオオーディオデータの第２チャネルのデータに対応することを特徴とする請求項１に記載の触覚刺激提供システム。
【請求項3】
上記第１オーディオデータは３つ以上のチャネルを有するサラウンドオーディオデータ（ｓｕｒｒｏｕｎｄ ａｕｄｉｏ ｄａｔａ）の第１チャネルのデータに対応し、上記第２オーディオデータは上記サラウンドオーディオデータの第２チャネルのデータに対応することを特徴とする請求項１に記載の触覚刺激提供システム。
【請求項4】
上記ｐ個のアクチュエータのうち少なくとも１つのアクチュエータは、上記ｎ個の第１アクチュエータ強度値のうち少なくとも１つ及び上記ｍ個の第２アクチュエータ強度値のうち少なくとも１つに基づいて駆動されることを特徴とする請求項１に記載の触覚刺激提供システム。
【請求項5】
上記ｐ個のアクチュエータのうち少なくとも１つのアクチュエータは、上記ｎ個の第１アクチュエータ強度値のうち少なくとも２つに基づいて駆動されることを特徴とする請求項１に記載の触覚刺激提供システム。
【請求項6】
上記周波数帯域の少なくとも２つは少なくとも一部の範囲が重畳することを特徴とする請求項１に記載の触覚刺激提供システム。
【請求項7】
上記触覚刺激パターン生成装置は、時間ドメイン（ｔｉｍｅ ｄｏｍａｉｎ）の上記第１オーディオデータ及び上記第２オーディオデータを周波数ドメイン（ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ）の第１変換データ及び第２変換データにそれぞれ変換するデータ変換部を含むことを特徴とする請求項１ に記載の触覚刺激提供システム。
【請求項8】
上記触覚刺激パターン生成装置は、上記第１変換データ及び上記第２変換データのそれぞれに対し、上記周波数帯域の上記代表値を算出する帯域代表値算出部をさらに含み、
上記代表値は上記周波数帯域のそれぞれの最小閾値より大きくて最大閾値より小さい有効データに基づくことを特徴とする請求項７に記載の触覚刺激提供システム。
【請求項9】
上記触覚刺激パターン生成装置は、上記代表値に対応するアクチュエータ強度値を算出するアクチュエータ強度算出部をさらに含むことを特徴とする請求項８に記載の触覚刺激提供システム。
【請求項10】
上記アクチュエータ強度算出部は、上記代表値がアクチュエータ強度値の最大値に対応する代表値よりも小さいほど上記アクチュエータ強度値が小さくなるように算出し、上記代表値がアクチュエータ強度値の最大値に対応する代表値よりも大きいほど上記アクチュエータ強度値が小さくなるように算出することを特徴とする請求項９に記載の触覚刺激提供システム。
【請求項11】
上記アクチュエータ強度算出部は、上記代表値と上記アクチュエータ強度値との関係が不連続関数を含むことを特徴とする請求項９に記載の触覚刺激提供システム。
【請求項12】
上記周波数帯域のうち第１周波数帯域に対応する第１最小閾値は、上記周波数帯域のうち第２周波数帯域に対応する第２最小閾値と異なり、上記第１周波数帯域に対応する第１最大閾値は、上記第２周波数帯域に対応する第２最大閾値と異なることを特徴とする請求項８に記載の触覚刺激提供システム。
【請求項13】
上記触覚刺激パターン生成装置は、上記アクチュエータ強度値が一定時間以上保持されると、上記アクチュエータ強度値を次第に減衰させるアクチュエータ強度減衰部をさらに含むことを特徴とする請求項９に記載の触覚刺激提供システム。
【請求項14】
上記触覚刺激パターン生成装置は、１つのアクチュエータにマッピングされた２つ以上のアクチュエータ強度値を併合することで１つのアクチュエータ強度値を生成するアクチュエータ強度併合部をさらに含むことを特徴とする請求項１３に記載の触覚刺激提供システム。
【請求項15】
上記触覚刺激パターン生成装置は、上記周波数帯域のそれぞれに対し、時間経過に伴う上記代表値の頻度分布に基づいて上記代表値の有効範囲を算出し、上記有効範囲の最小値に対応するように上記最小閾値を設定し、上記有効範囲の最大値に対応するように上記最大閾値を設定する自動設定部をさらに含むことを特徴とする請求項８に記載の触覚刺激提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は触覚刺激提供システムに関する。
【背景技術】
【0002】
触覚刺激提供装置は複数のアクチュエータ（ａｃｔｕａｔｏｒ）を含み、複数のアクチュエータを選択的に振動させることによってユーザに触覚刺激を提供することができる。モバイル、コンソール、コンピュータ、仮想現実端末などを利用してゲームや動画などの視聴覚ベースのコンテンツを楽しむ際に、当該触覚刺激がユーザに一緒に伝われば、ユーザは楽しみが増えるとともに没入感を味わうことができる。
【0003】
ところが、例えば、ゲームプログラムの開発時から触覚刺激提供機能をゲーム内にビルトイン（ｂｕｉｌｔ－ｉｎ）しないのであれば、外部のプログラムを利用して各々のゲーム状況に適する触覚刺激の提供方法を新たに研究しなければならない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
解決しようとする技術的課題は、外部のプログラムを利用して状況に適する触覚刺激が提供できる触覚刺激提供システムを提供することにある。
【課題を解決するための手段】
【0005】
本発明の一実施例による触覚刺激提供システムは、第１オーディオデータの周波数帯域の代表値に対応するｎ個の第１アクチュエータ強度値及び第２オーディオデータの周波数帯域の代表値に対応するｍ個の第２アクチュエータ強度値を生成する触覚刺激パターン生成装置と、ｐ個のアクチュエータを含み、上記ｎ個の第１アクチュエータ強度値及び上記ｍ個の第２アクチュエータ強度値に基づいて上記ｐ個のアクチュエータを駆動する触覚刺激提供装置と、を含み、上記ｎ、ｍ、及びｐは１より大きい整数であり、上記ｐはｎ及びｍを合計した値より小さく、上記第１オーディオデータは第１方向に関する情報を含み、上記第２オーディオデータは上記第１方向とは異なる第２方向に関する情報を含み、上記第１方向と対応する第１位置情報に対応するアクチュエータは上記第１アクチュエータ強度値のうち少なくとも１つのみに基づいて駆動され、上記第２方向と対応する第２位置情報に対応するアクチュエータは上記第２アクチュエータ強度値のうち少なくとも１つのみに基づいて駆動される
【0006】
上記第１オーディオデータはステレオオーディオデータ（ｓｔｅｒｅｏ ａｕｄｉｏ ｄａｔａ）の第１チャネルのデータに対応し、上記第２オーディオデータはステレオオーディオデータの第２チャネルのデータに対応してもよい。
【0007】
上記第１オーディオデータは３つ以上のチャネルを有するサラウンドオーディオデータ（ｓｕｒｒｏｕｎｄ ａｕｄｉｏ ｄａｔａ）の第１チャネルのデータに対応し、上記第２オーディオデータは上記サラウンドオーディオデータの第２チャネルのデータに対応してもよい。
【0008】
上記ｐ個のアクチュエータのうち少なくとも１つのアクチュエータは、上記ｎ個の第１アクチュエータ強度値のうち少なくとも１つ及び上記ｍ個の第２アクチュエータ強度値のうち少なくとも１つに基づいて駆動されてもよい。
【0009】
上記ｐ個のアクチュエータのうち少なくとも１つのアクチュエータは、上記ｎ個の第１アクチュエータ強度値のうち少なくとも２つに基づいて駆動されてもよい。
【0010】
上記周波数帯域の少なくとも２つは少なくとも一部の範囲が重畳してもよい。
【0011】
上記触覚刺激パターン生成装置は、時間ドメイン（ｔｉｍｅ ｄｏｍａｉｎ）の上記第１オーディオデータ及び上記第２オーディオデータを周波数ドメイン（ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ）の第１変換データ及び第２変換データにそれぞれ変換するデータ変換部を含んでもよい。
【0012】
上記触覚刺激パターン生成装置は、上記第１変換データ及び上記第２変換データのそれぞれに対し、上記周波数帯域の上記代表値を算出する帯域代表値算出部をさらに含み、上記代表値は上記周波数帯域のそれぞれの最小閾値より大きくて最大閾値より小さい有効データに基いてもよい。
【0013】
上記触覚刺激パターン生成装置は、上記代表値に対応するアクチュエータ強度値を算出するアクチュエータ強度算出部をさらに含んでもよい。
【0014】
上記アクチュエータ強度算出部は、上記代表値が小さいほど上記アクチュエータ強度値が小さくなるように算出し、上記代表値が大きいほど上記アクチュエータ強度値が小さくなるように算出することができる。
【0015】
上記アクチュエータ強度算出部は、上記代表値と上記アクチュエータ強度値との関係が不連続関数を含んでもよい。
【0016】
上記周波数帯域のうち第１周波数帯域に対応する第１最小閾値は、上記周波数帯域のうち第２周波数帯域に対応する第２最小閾値と異なり、上記第１周波数帯域に対応する第１最大閾値は、上記第２周波数帯域に対応する第２最大閾値と異なってもよい。
【0017】
上記触覚刺激パターン生成装置は、上記アクチュエータ強度値が一定時間以上保持されると、上記アクチュエータ強度値を次第に減衰させるアクチュエータ強度減衰部をさらに含んでもよい。
【0018】
上記触覚刺激パターン生成装置は、１つのアクチュエータにマッピングされた２つ以上のアクチュエータ強度値を併合することで１つのアクチュエータ強度値を生成するアクチュエータ強度併合部をさらに含んでもよい。
【0019】
上記触覚刺激パターン生成装置は、上記周波数帯域のそれぞれに対し、時間経過に伴う上記代表値の頻度分布に基づいて上記代表値の有効範囲を算出し、上記有効範囲の最小値に対応するように上記最小閾値を設定し、上記有効範囲の最大値に対応するように上記最大閾値を設定する自動設定部をさらに含んでもよい。
【0020】
本発明の一実施例によるコンピュータで読み取り可能な記録媒体は、コンピュータで実行可能なプログラムを記録したコンピュータで読み取り可能な記録媒体であって、上記プログラムはユーザインタフェースを作成し、上記ユーザインタフェースは、２つ以上のオーディオチャネルのうち少なくとも１つのオーディオチャネルの周波数帯域を含むチャネル設定領域と、上記周波数帯域から選択された周波数帯域のローカル設定値を含むローカル設定領域と、を含み、上記ローカル設定値は複数の仮想アクチュエータのうち上記選択された周波数帯域に対応して選択された仮想アクチュエータを含む。
【0021】
上記ローカル設定値は、上記選択された周波数帯域の有効データの上限である最大閾値及び上記有効データの下限である最小閾値を含んでもよい。
【0022】
上記ユーザインタフェースは、上記周波数帯域に共通して適用されるグローバル設定値を含むグローバル設定領域をさらに含んでもよい。
【0023】
上記ユーザインタフェースは、２つのオーディオチャネルを有するステレオオーディオモード及び３つ以上のオーディオチャネルを有するサラウンドオーディオモードのうち１つが選択可能なモード選択領域をさらに含んでもよい。
【0024】
上記ユーザインタフェースは、入力されたオーディオデータに対応して上記仮想アクチュエータの駆動強度を視覚化するシミュレーション領域をさらに含んでもよい。
【発明の効果】
【0025】
本発明による触覚刺激提供システムは、外部のプログラムを利用して状況に適する触覚刺激を提供することができる。
【図面の簡単な説明】
【0026】
【図1】本発明の一実施例による触覚刺激提供システムを説明するための図である。
【図2】本発明の一実施例によるアクチュエータケースを一視点で説明するための図である。
【図4】本発明の一実施例による腕カバー状の触覚刺激提供装置の正面図である。
【図8】本発明の他の実施例によるアクチュエータケースを一視点で説明するための図である。
【図10】本発明の一実施例によるベスト状の触覚刺激提供装置の正面図である。
【図13】本発明の一実施例によるユーザインタフェースを説明するための図である。
【図16】本発明の一実施例による触覚刺激パターン生成装置を説明するための図である。
【図24】触覚刺激パターン生成装置及び触覚刺激提供装置の例示的な関係を説明するための図である。
【図25】本発明の他の実施例による触覚刺激パターン生成装置を説明するための図である。
【図26】本発明の他の実施例によるユーザインタフェースを説明するための図である。
【図27】単位効果である経路効果を説明するための図である。
【図28】単位効果であるドット効果を説明するための図である。
【図29】本発明の一実施例による触覚刺激フレームの配置を説明するための図である。
【発明を実施するための形態】
【0027】
以下、添付の図面を参照して、本発明の様々な実施例について本発明が属する技術分野で通常の知識を有する者が容易に実施できるように詳細に説明する。本発明は様々な相違する形態で具現でき、ここに説明する実施例に限定されない。
【0028】
本発明を明確に説明するために説明と関係のない部分は省略しており、明細書の全体において同じまたは類似する構成要素には同じ参照符号を付す。従って、上述の参照番号は他の図面でも使用できる。
【0029】
また、説明の便宜上、図面に示す各構成のサイズ及び厚さは任意で示しており、本発明は必ずしも図示された内容に限定されない。図面では、複数の層及び領域を明確に表現するために厚さを誇張して示すことができる。
【0030】
図１を参照すると、本発明の一実施例による触覚刺激提供システム８は、触覚刺激パターン生成装置９及び触覚刺激提供装置１０を含む。
【0031】
触覚刺激パターン生成装置９は第１オーディオデータの周波数帯域の代表値に対応するｎ個の第１アクチュエータ強度値、及び第２オーディオデータの周波数帯域の代表値に対応するｍ個の第２アクチュエータ強度値を生成することができる。触覚刺激パターン生成装置９は第１アクチュエータ強度値及び第２アクチュエータ強度値に基づいた触覚刺激パターンＴＳＰを触覚刺激提供装置１０に提供することができる。
【0032】
一実施例によると、第１オーディオデータはステレオオーディオデータの第１チャネルのデータに対応し、第２オーディオデータはステレオオーディオデータの第２チャネルのデータに対応することができる。
【0033】
さらに他の実施例によると、第１オーディオデータは３つ以上のチャネルを有するサラウンドオーディオデータの第１チャネルのデータに対応し、第２オーディオデータはサラウンドオーディオデータの第２チャネルのデータに対応してもよい。サラウンドオーディオデータは既存の５．１チャネルサラウンドオーディオデータ、７．１チャネルサラウンドオーディオデータなどに対応することができる。
【0034】
上述の実施例によると、時間ドメインの元のオーディオデータをそのまま利用するのではなく、周波数ドメインの特定周波数帯域の代表値を利用するため、触覚刺激パターンＴＳＰに含まれている各々のオーディオチャネルに対するデータ量が減少する。即ち、触覚刺激パターン生成装置９から触覚刺激提供装置１０へのデータ伝送率が固定されていると仮定する場合、より多いオーディオチャネルに対するデータを含む触覚刺激パターンＴＳＰの伝送が可能となる。従って、本発明の実施例による触覚刺激提供システム８は２つのチャネルのステレオオーディオモード、５．１チャネルのサラウンドオーディオモード、７．１チャネルのサラウンドオーディオモードなどの様々なオーディオモードに対応可能である。
【0035】
触覚刺激提供装置１０はｐ個のアクチュエータを含み、ｎ個の第１アクチュエータ強度値及びｍ個の第２アクチュエータ強度値に基づいてｐ個のアクチュエータを駆動することができる。
【0036】
このとき、ｎ、ｍ、及びｐは１より大きい整数であってもよい。ｐはｎとｍを合計した値より小さくてもよい。即ち、アクチュエータ強度値がアクチュエータにマッピングされるとき、アクチュエータ強度値の数はアクチュエータの数より多くてもよい。このような場合、少なくとも１つのアクチュエータは少なくとも２つのアクチュエータ強度値に基づいて駆動されてもよい。
【0037】
例えば、ｐ個のアクチュエータのうち少なくとも１つのアクチュエータは、ｎ個の第１アクチュエータ強度値のうち少なくとも１つ及びｍ個の第２アクチュエータ強度値のうち少なくとも１つに基づいて駆動されてもよい。即ち、少なくとも１つのアクチュエータの駆動強度を決める際に、第１オーディオデータと第２オーディオデータの両方に基づくことができる。
【0038】
また、例えば、ｐ個のアクチュエータのうち少なくとも１つのアクチュエータは、ｎ個の第１アクチュエータ強度値のうち少なくとも２つに基づいて駆動されてもよい。即ち、少なくとも１つのアクチュエータの駆動強度を決める際に、第１オーディオデータだけに基づくが、少なくとも２つの周波数帯域の代表値に基づいてもよい。
【0039】
上述の実施例によると、アクチュエータの位置によって音響の方向性を強調したり、アクチュエータに対する音響特性を強調することができる。アクチュエータの位置による方向性の強調効果については図２４を参照して後述する。アクチュエータに対する音響特性の強調効果は図１８を参照して後述する。
【0040】
本発明の実施例において、アクチュエータ強度値または駆動強度はアクチュエータの１回の振動大きさだけを意味するものではない。アクチュエータ強度値または駆動強度は１回の振動大きさ、駆動時間、駆動周波数、駆動パターンなどが適切に調整されることによって多様に具現されてもよい。
【0041】
一実施例によると、触覚刺激パターン生成装置９は、複数のアクチュエータの位置がマッピングされた複数の仮想アクチュエータを含むユーザインタフェースを介して触覚刺激パターンＴＳＰを生成することができる。
【0042】
触覚刺激パターン生成装置９は情報処理のために少なくとも１つのプロセッサ及びメモリを含むコンピュータであってもよい。触覚刺激パターン生成装置９はデータまたはプログラムが記録された記録媒体を読み取ることで目的の機能を実行することができる。
【0043】
記録媒体はコンピュータシステムによって読み取ることができるデータまたはプログラムを保存し得るあらゆる種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置、ハードディスク、外付けハードディスク、ＳＳＤ、ＵＳＢ記憶装置、ＤＶＤ、ブルーレイディスクなどがある。また、コンピュータが読み取り可能な記録媒体は複数のデバイスの組み合わせであってもよく、ネットワークで接続されたコンピュータシステムに分散されていてもよい。当該記録媒体は非一時的なコンピュータで読み取り可能な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）であってもよい。非一時的なコンピュータで読み取り可能な記録媒体とは、レジスタ、キャッシュ、メモリなどの短い間データまたはプログラムを保存する媒体ではなく、半永久的にデータまたはプログラムを保存し、コンピュータで読み取り可能な媒体を意味する。
【0044】
ユーザインタフェースはユーザに視覚的情報を表示するディスプレイ装置及びユーザの入力を受ける入力装置により具現されてもよい。ディスプレイ装置はモニター、ＴＶ、プロジェクタ、モバイルディスプレイなどを含んでもよい。入力装置はマウス、キーボード、タッチパッド、マイクロフォン、ビジョンセンサ（ｖｉｓｉｏｎ ｓｅｎｓｏｒ）などを含んでもよい。ディスプレイ装置と入力装置は必ずしも区別されるものではなく、例えば、ディスプレイ装置と入力装置はタッチディスプレイ装置のように一体で具現されてもよい。ユーザインタフェースは触覚刺激パターン生成装置９によって提供されてもよい。
【0045】
複数のアクチュエータは触覚刺激提供装置１０に物理的に存在する複数の触覚刺激提供モジュールを意味する。複数のアクチュエータは電動式アクチュエータ（ｅｌｅｃｔｒｉｃ ａｃｔｕａｔｏｒ）の１つである振動モータ（ｖｉｂｒａｔｉｏｎ ｍｏｔｏｒ）であってもよい。以下では、複数のアクチュエータが振動モータであることを例に挙げて説明するが、複数のアクチュエータは空圧式（ｐｎｅｕｍａｔｉｃ）、油圧式（ｈｙｄｒａｕｌｉｃ）、ＥＡＰ（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ）、または圧電式（ｐｉｅｚｏｅｌｅｃｔｒｉｃ）アクチュエータであってもよい。複数のアクチュエータは電気刺激または温度伝達機器であってもよい。従って、１種類または複数種類のアクチュエータが本発明に適用されてもよい。
【0046】
ユーザインタフェースは複数のアクチュエータの位置がマッピングされた複数の仮想アクチュエータを含む。ユーザインタフェースは触覚刺激提供装置１０に含まれている複数のアクチュエータの物理的な配列をユーザが直観的に認識できるようにグラフィカルに表示することができる。例えば、触覚刺激提供装置１０が５行５列の複数のアクチュエータを含む場合、ユーザインタフェースは５行５列の複数の仮想アクチュエータを含むことができる。他の例として、触覚刺激提供装置１０が１行５列の複数のアクチュエータを含む場合、ユーザインタフェースは１行５列の複数の仮想アクチュエータを含むことができる。
【0047】
他の実施例において、触覚刺激提供装置１０の複数のアクチュエータとユーザインタフェースの複数の仮想アクチュエータは１対１に対応しなくてもよい。例えば、触覚刺激パターン生成装置９において１行５列の複数の仮想アクチュエータに対して生成された触覚刺激パターンは、触覚刺激提供装置１０の５行５列の複数のアクチュエータのうち１行に対応することができる。従って、複数のアクチュエータと複数の仮想アクチュエータのマッチング方法は実施例に応じて多様に変わってもよい。
【0048】
触覚刺激パターン生成装置９で生成された触覚刺激パターンＴＳＰは、触覚刺激提供装置１０の入力で提供されるデータまたはプログラムであってもよい。
【0049】
触覚刺激提供装置１０は複数のアクチュエータを含み、生成された触覚刺激パターンＴＳＰに応じて複数のアクチュエータを駆動する。触覚刺激パターンに応じて複数のアクチュエータの駆動時間、駆動周波数、駆動強度、駆動間隔などが調整されることによって、触覚刺激提供装置１０のユーザは様々な触覚刺激を感じることができる。
【0050】
【0051】
【0052】
ボトムケースｂｃ１、カバーケースｃｃ１、及びトップケースｔｃ１の位置関係はベースバンドを基準として決まってもよい。ベースバンドはカバーケースｃｃ１とトップケースｔｃ１との間に位置することができる。ベースバンドとアクチュエータケース１の相対的な位置関係は図３及び図４の説明をさらに参照する。
【0053】
アクチュエータ（ａｃｔｕａｔｏｒ）ａｃ１はベースバンドの一面に位置し、駆動部ｍｂ１と偏心質量体（ｅｃｃｅｎｔｒｉｃ ｍａｓｓ）ｅｍ１を含む。駆動部ｍｂ１と偏心質量体ｅｍ１はシャフト（ｓｈａｆｔ）を介して回転可能に連結されてもよい。アクチュエータａｃ１はＥＲＭモータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｏｎ ｍｏｔｏｒ）であってもよい。アクチュエータａｃ１は駆動部ｍｂ１によって回転する偏心質量体ｅｍ１が不均衡な振動子の役割をしながら振動を生成することができる。アクチュエータａｃ１は円筒の直径が約６ｍｍ、全高が約１７ｍｍの円筒状の振動モータであってもよい。コイン型モータは振動子が水平に回転して水平方向の振動を生成するが、本実施例のアクチュエータａｃ１は垂直方向の振動を生成することができる。
【0054】
ボトムケース（ｂｏｔｔｏｍ ｃａｓｅ）ｂｃ１はベースバンドの一面に位置し、駆動部ｍｂ１を収容する第１収容部ｔｈａ１と、偏心質量体ｅｍ１を収容する第２収容部ｔｈｂ１と、を含む。即ち、ボトムケースｂｃ１は配線を除いたアクチュエータａｃ１の全部または一部を収容することができる。実施例に応じて、ボトムケースｂｃ１がアクチュエータａｃ１の一部のみを収容する場合、アクチュエータａｃ１の残りの部分は後述するカバーケースｃｃ１によって収容されてもよい。
【0055】
カバーケース（ｃｏｖｅｒ ｃａｓｅ）ｃｃ１はベースバンドの一面に位置し、第１収容部ｔｈａ１に駆動部ｍｂ１を密着させるようにボトムケースｂｃ１と結合される。
【0056】
図２及び図３を参照すると、カバーケースｃｃ１がアクチュエータａｃ１を覆いながらボトムケースｂｃ１と結合されてもよい。カバーケースｃｃ１の雄締結部ｃｍ１がボトムケースｂｃ１の雌締結部ｂｓｆ１と嵌合してカバーケースｃｃ１がボトムケースｂｃ１と強固に固定されることができる。特に、アクチュエータａｃ１の駆動部ｍｂ１が強固に固定されるように第１収容部ｔｈａ１１と収容部ｃｈａ１を形成されてもよい。カバーケースｃｃ１の雄締結部ｃｍ１はカバーケースｃｃ１がベースバンドと当接する面に平行するように突出してもよい。本実施例における雄締結部ｃｍ１と雌締結部ｂｓｆ１は４対であるが、実施例によってその数は変わってもよい。
【0057】
カバーケースｃｃ１はボトムケースｂｃ１と結合されることによって偏心質量体ｅｍ１をベースバンドの一面から隔離させながら第２収容部ｔｈｂ１とともに偏心質量体ｅｍ１の余裕回転空間を形成することができる。即ち、カバーケースｃｃ１の収容部ｃｈｂ１は第２収容部ｔｈｂ１とマッチングされることによって偏心質量体ｅｍ１の回転を妨げない余裕回転空間を形成することができる。また、カバーケースｃｃ１の収容部ｃｈｂ１は偏心質量体ｅｍ１をベースバンドの一面と隔離させる役割もする。従って、ベースバンドが可撓性のある布やゴム材質であっても、偏心質量体ｅｍ１はベースバンドに当たる恐れがなく確実に回転することができる。
【0058】
トップケース（ｔｏｐ ｃａｓｅ）ｔｃ１はベースバンドの他面に位置し、ボトムケースｂｃ１をベースバンドに固定させる。
【0059】
トップケースｔｃ１の雄締結部ｔｍ１はベースバンドを貫通してボトムケースの雌締結部ｂｆ１に結合されることによって、アクチュエータａｃ１及びアクチュエータケース１をベースバンドに固定させることができる。このとき、ベースバンドは雄締結部ｔｍ１が通過できる形状の開口部を含んでもよい。実施例に応じて、ベースバンドの他面に密着するトップケースｔｃ１の面積はベースバンドの一面に密着するボトムケースｂｃ１の面積より小さくてもよい。このような場合、雄締結部ｔｍ１が位置できる空間が比較的足りないため、本実施例では、雄締結部ｔｍ１及び雌締結部ｂｆ１が２対で形成されている。本実施例に応じて、トップケースｔｃ１の面積がボトムケースｂｃ１の面積より小さいと、複数のアクチュエータが密集して配置されても各々の振動が集中する複数のトップケース間の間隔が十分になり、ユーザが体感する振動の解像度が上げられるというメリットがある。また、本実施例では、トップケースｔｃ１の一面が円形で構成されるため、ユーザに角が感じられずより楽な感じを提供することができる。
【0060】
ボトムケースｂｃ１は突出部ｂｍ１を含み、トップケースｔｃ１は凹部ｔｆ１を含んでもよい。ボトムケースｂｃ１の突出部ｂｍ１がベースバンドを圧迫して凹部ｔｆ１に嵌合されることで、アクチュエータａｃ１及びアクチュエータケース１がベースバンドにさらに強固に固定されることができる。本実施例では、トップケースｔｃ１の面積が比較的小さいため、それに合わせて突出部ｂｍ１及び凹部ｔｆ１が４対で形成されている。
【0061】
【0062】
図４及び図５を参照すると、本発明の一実施例による腕カバー状の触覚刺激提供装置１０ａは、ベースバンド１００、複数のアクチュエータ、複数のボトムケース、複数のカバーケース、及び複数のトップケース５００ｃを含んでもよい。実施例に応じて、触覚刺激提供装置１０は、補助バンド２００、コントローラケース３００、リング４００、コントローラ、信号伝達部材を選択的にさらに含んでもよい。
【0063】
ベースバンド１００の背面には複数のトップケース５００ｃが位置してもよい。ベースバンド１００の前面には複数のボトムケース及びカバーケースが位置してもよい。複数のボトムケース及びカバーケースは保護カバーＣＶ及び着脱部材１１０、１２０によりカバーされてもよい。複数のアクチュエータは対応するボトムケースとカバーケースとの間に介在して位置することができる。従って、ベースバンド１００は複数のアクチュエータを支持することができる。
【0064】
ベースバンド（ｂａｓｅ ｂａｎｄ）１００の構成には、布素材、メッシュ（ｍｅｓｈ）素材、ゴム素材、ネオプレン（Ｎｅｏｐｒｅｎｅ）などの可撓性（ｆｌｅｘｉｂｌｅ）を有する素材を用いてもよい。ユーザは同じ身体部位であってもそれぞれ多様な形状及び大きさを有するため、可撓性のある素材がベースバンド１００として採用されると、ユーザに楽な装着感を提供することができる。ベースバンド１００は一層で構成されてもよいが、好ましい実施例では複数の層で構成されてもよい。複数の層は異なる素材で構成されてもよい。例えば、ベースバンド１００の背面はメッシュ素材の層で構成され、ベースバンド１００の前面はネオプレン素材の層で構成されてもよい。このような場合、メッシュ素材で構成されたベースバンド１００の背面には複数のアクチュエータが位置することができるが、メッシュ素材は複数のアクチュエータの振動を広げず、またその動きを妨げないようにすることができる。また、ネオプレン素材で構成されたベースバンド１００の前面は複数のアクチュエータから発生した振動がコントローラケース３００まで到達することを防止することができる。
【0065】
着脱部材１１０はベースバンド１００の前面に位置してもよい。また、着脱部材１２０はベースバンド１００の前面の他端において着脱部材１１０と離隔して位置し、着脱部材１１０と着脱可能であってもよい。
【0066】
着脱部材１１０はＡ種類（Ａ ｔｙｐｅ）の着脱部材で、着脱部材１２０はＢ種類の着脱部材であってもよい。
【0067】
本実施例において、着脱部材はＡ種類及びＢ種類（Ｂ ｔｙｐｅ）のいずれか１つのタイプであってもよい。Ａ種類とＢ種類は互いに着脱可能である。しかし、Ａ種類とＡ種類は互いに着脱が不可能であってもよい。同様に、Ｂ種類とＢ種類は互いに着脱が不可能であってもよい。このような種類のあらゆる形態の着脱部材を本実施例の着脱部材として用いることができる。この着脱部材には、例えば、ベルクロ（ｖｅｌｃｒｏ）、磁石、電磁石、スナップ（ｓｎａｐ）ボタン、バックル（ｂｕｃｋｌｅ）などを含んでもよい。以下の実施例の図面では、着脱部材がベルクロである場合を仮定して示した。
【0068】
ベースバンド１００の上側縁及び下側縁は流線形であってもよい。ベースバンド１００の広げられた形状は円錐台の展開図のように流線形になることで、ベースバンド１００を巻いたときユーザの腕により一層密着されることができる。
【0069】
補助バンド２００は背面に着脱部材１１０と着脱可能なＢ種類の着脱部材（不図示）を含み、一端がベースバンド１００の一端と連結されてもよい。
【0070】
補助バンド２００はコントローラケース３００をベースバンド１００と分離させることで、ベースバンド１００に位置する複数のアクチュエータの振動がコントローラケース３００に伝達されないようにして騒音を防止することができる。また、補助バンド２００は背面の着脱部材と着脱部材１１０の相対的な付着位置を調整することで、コントローラケース３００がユーザの体型に合うように位置調整されるというメリットがある。
【0071】
着脱部材２１０は補助バンド２００の前面に位置し、着脱部材１２０と着脱可能であってもよい。着脱部材２１０はＡ種類の着脱部材であってもよい。従って、ユーザが触覚刺激提供装置１０を装着する際、着脱部材１２０は着脱部材１１０だけでなく、着脱部材２１０にも着脱できるため、触覚刺激提供装置１０はさらに多様なユーザの体型に合わせることができる。
【0072】
一実施例によると、補助バンド２００の他端の幅はコントローラケース３００の開口部の内周面の幅より大きくてもよい。例えば、補助バンド２００の他端はラッパ状またはフック状であってもよい。このため、コントローラケース３００は補助バンド２００から容易に外れなくなることができる。
【0073】
リング（ｒｉｎｇ）４００はベースバンド１００の一端に連結されてもよい。このとき、ベースバンド１００の他端の幅はリングの内周面の幅より大きくてもよい。例えば、ベースバンド１００の他端はラッパ状またはフック状であってもよい。当該実施例によると、ユーザが触覚刺激提供装置１０を腕から取り外すとき、ベースバンド１００の他端がリング４００に引っ掛かることで装置の急な落下を防止することができる。また、ベースバンド１００の他端がリング４００に引っ掛かった状態を保持することにより、次のユーザが触覚刺激提供装置１０を装着するとき、ベースバンド１００の他端をリング４００に再び挿入する手順を省略することができる。ベースバンド１００は伸縮性があるので、ユーザは触覚刺激提供装置１０を装着するとき、ベースバンド１００の他端を曲げてリング４００に通過させることができる。
【0074】
複数のトップケース５００ｃは外部に露出されてもよく、外部に露出された複数のトップケース５００ｃはユーザの腕と密着されてもよい。複数のトップケース５００ｃは対応するアクチュエータの駆動力をユーザの身体に伝達することで、ユーザが触覚刺激を感じることができる。
【0075】
コントローラはコントローラケース３００の内部に位置し、複数のアクチュエータを制御する駆動信号を生成することができる。コントローラはマイクロコントローラ（ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）、モータドライバ（ｍｏｔｏｒ ｄｉｒｖｉｅｒ）、及び電力管理モジュール（ｐｏｗｅｒ ｍａｎａｇｅｍｅｎｔ ｍｏｄｕｌｅ）などを含むように構成されてもよい。コントローラケース３００の内部にはコントローラを駆動するための別のバッテリがあってもよい。コントローラはＰＣＢ、ＦＰＣＢ、ＩＣなどの形態で構成されてもよい。また、コントローラはブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、ワイファイ（Ｗｉ－Ｆｉ）などの既存の無線通信技術または有線通信技術を通じて触覚刺激パターンの入力を受けてもよい。触覚刺激パターンは多方向触覚刺激パターンであってもよい。コントローラケース３００の内部に別のメモリ素子が位置してもよい。
【0076】
信号伝達部材はコントローラから複数のアクチュエータに駆動信号を伝達することができる。信号伝達部材はＦＰＣＢまたはワイヤ（ｗｉｒｅ）などの素材で構成されてもよい。信号伝達部材は複数のアクチュエータとコントローラを電気的に接続することができる。信号伝達部材が通るために、ベースバンド１００、補助バンド２００、及びコントローラケース３００はそれぞれの開口部を含んでもよい。
【0077】
【0078】
図６を参照すると、ユーザが自分の身体に触覚刺激提供装置１０ａを装着しているところである。図６は、触覚刺激提供装置１０ａがユーザの身体に乗せられ、触覚刺激提供装置１０ａの着脱部材１２０を含む一端がリング４００を通過した状態である。
【0079】
【0080】
図７を参照すると、ユーザは触覚刺激提供装置１０ａの着脱部材１２０を着脱部材２１０に付着することで、触覚刺激提供装置１０をユーザの身体に固定させている。ユーザが装着する身体部位の厚さがさらに厚い場合は、着脱部材１２０を着脱部材１１０に付着してもよい。従って、着脱部材１２０は着脱部材１１０または着脱部材２１０に付着できることで、様々なユーザの身体に対応できる。
【0081】
【0082】
【0083】
ボトムケースｂｃ２、カバーケースｃｃ２、及びトップケースｔｃ２の位置関係はベースバンドを基準として決まってもよい。ベースバンドはカバーケースｃｃ２とトップケースｔｃ２の間に位置してもよい。ベースバンドとアクチュエータケース２の相対的な位置関係は、図１０～図１２の説明をさらに参照する。
【0084】
アクチュエータａｃ２はベースバンドの一面に位置し、駆動部ｍｂ２と偏心質量体ｅｍ２を含む。駆動部ｍｂ２と偏心質量体ｅｍ２はシャフトを介して回転可能に連結されてもよい。アクチュエータａｃ２はＥＲＭモータであってもよい。アクチュエータａｃ２は駆動部ｍｂ２によって回転する偏心質量体ｅｍ２が不均衡な振動子の役割をしながら振動を生成することができる。アクチュエータａｃ２は円筒の直径が約６ｍｍ、全高が約１７ｍｍの円筒状の振動モータであってもよい。コイン型モータは振動子が水平に回転して水平方向の振動を生成するが、本実施例のアクチュエータａｃ２は垂直方向の振動を生成することができる。
【0085】
ボトムケースｂｃ２はベースバンドの一面に位置し、駆動部ｍｂ２を収容する第１収容部ｔｈａ２と、偏心質量体ｅｍ２を収容する第２収容部ｔｈｂ２とを含む。即ち、ボトムケースｂｃ２は配線を除いたアクチュエータａｃ２の全部または一部を収容することができる。実施例に応じて、ボトムケースｂｃ２がアクチュエータａｃ２の一部のみを収容する場合、アクチュエータａｃ２の残りの部分は後述するカバーケースｃｃ２によって収容されてもよい。
【0086】
カバーケースｃｃ２はベースバンドの一面に位置し、第１収容部ｔｈａ２に駆動部ｍｂ２を密着させるようにボトムケースｂｃ２と結合される。
【0087】
図８及び図９を参照すると、カバーケースｃｃ２はアクチュエータａｃ２を覆いながらボトムケースｂｃ２と結合されることができる。カバーケースｃｃ２の雄締結部ｃｍ２がボトムケースｂｃ２の雌締結部ｂｓｆ２と嵌合してカバーケースｃｃ２がボトムケースｂｃ２と強固に固定されることができる。特に、アクチュエータａｃ２の駆動部ｍｂ２が強固に固定されるように第１収容部ｔｈａ２と収容部ｃｈａ２が形成されてもよい。カバーケースｃｃ２の雄締結部ｃｍ２はカバーケースｃｃ２がベースバンドと当接する面に平行するように突出してもよい。本実施例では、雄締結部ｃｍ２と雌締結部ｂｓｆ２は４対であるが、実施例によってその数は変わってもよい。
【0088】
カバーケースｃｃ２はボトムケースｂｃ２と結合されることによって偏心質量体ｅｍ２をベースバンドの一面から隔離させながら第２収容部ｔｈｂ２とともに偏心質量体ｅｍ２の余裕回転空間を形成することができる。即ち、カバーケースｃｃ２の収容部ｃｈｂ２は第２収容部ｔｈｂ２とマッチングされることで、偏心質量体ｅｍ２の回転を妨げない余裕回転空間を形成することができる。また、カバーケースｃｃ２の収容部ｃｈｂ２は偏心質量体ｅｍ２をベースバンドの一面から隔離させる役割もする。このため、ベースバンドが可撓性のある布やゴム材質であっても、偏心質量体ｅｍ２はベースバンドに当たる恐れがなく確実に回転することができる。
【0089】
トップケースｔｃ２はベースバンドの他面に位置し、ボトムケースｂｃ２をベースバンドに固定させる。
【0090】
トップケースｔｃ２の雄締結部ｔｍ２はベースバンドを貫通してボトムケースの雌締結部ｂｆ２に結合されることにより、アクチュエータａｃ２及びアクチュエータケース２をベースバンドに固定させることができる。このとき、ベースバンドは雄締結部ｔｍ２が通過できる形状の開口部を含んでもよい。実施例に応じて、ベースバンドの他面に密着するトップケースｔｃ２の面積はベースバンドの一面に密着するボトムケースｂｃ２の面積に対応してもよい。この場合、雄締結部ｔｍ２が位置できる空間が比較的十分なので、本実施例では、雄締結部ｔｍ２及び雌締結部ｂｆ２が４対で形成されている。このため、アクチュエータａｃ２がより強く振動してもこれに耐えられる。本実施例に応じて、トップケースｔｃ２の面積がボトムケースｂｃ２の面積に対応すると、比較的敏感度の低いユーザの背中にも十分な振動力が伝えられるため、ユーザがより確実に振動を体感できるメリットがある。また、本実施例では、トップケースｔｃ２の一面の角を丸く構成することで、ユーザにより楽な感じを提供することができる。
【0091】
ボトムケースｂｃ２は突出部ｂｍ２を含み、トップケースｔｃ２は凹部ｔｆ２を含んでもよい。ボトムケースｂｃ２の突出部ｂｍ２がベースバンドを圧迫して凹部ｔｆ２に嵌合されることにより、アクチュエータａｃ２及びアクチュエータケース２がベースバンドにさらに強固に固定されることができる。本実施例では、トップケースｔｃ２の面積が比較的十分なので、それに合わせて突出部ｂｍ２及び凹部ｔｆ２が６対で形成され、十分な支持力を提供する。
【0092】
図１０は本発明の一実施例によるベスト型の触覚刺激提供装置の正面図であり、図１１は図１０の触覚刺激提供装置の背面図であり、図１２は図１１の触覚刺激提供装置の前面パネルを開放した場合を説明するための図である。
【0093】
図１０～図１２を参照すると、触覚刺激提供装置１０ｂは、第１前面パネルｒｐ１、第２前面パネルｌｐ１、及び背面パネルｂｐ１を含んでもよい。それぞれのパネルｒｐ１、ｌｐ１、ｂｐ１は複数の層からなってもよく、複数の層のうち少なくとも１層はベースバンドに該当してもよい。ベースバンドの一面はパネルの内側に位置して見えなくてもよい。図１２を参照すると、ベースバンドの他面は内側に露出されてもよい。
【0094】
第１前面パネルｒｐ１は一側と他側の間に配列された複数のアクチュエータを含んでもよい。第２前面パネルｌｐ１は一側と他側の間に配列された複数のアクチュエータを含んでもよい。第２前面パネルｌｐ１は一側が第１前面パネルｒｐ１の他側と締結可能であってもよい。例えば、第２前面パネルｌｐ１の一側と第１前面パネルｒｐ１の他側は、ファスナー、ベルクロ、バックル、ボタンなどで締結可能であってもよい。
【0095】
背面パネルｂｐ１は一側と他側の間に配列された複数のアクチュエータを含み、一側が第１前面パネルｒｐ１の一側と締結可能で、他側が第２前面パネルｌｐ１の他側と締結可能であってもよい。
【0096】
背面パネルｂｐ１は一側に連結された第１リングｒｒ１と、他側に連結された第２リングｌｒ１とを含んでもよい。第１前面パネルｒｐ１は一側に連結された第１ウイングバンドｒｗｂ１を含んでもよい。第２前面パネルｌｐ１は他側に連結された第２ウイングバンドｌｗｂ１を含んでもよい。
【0097】
着脱部材ｒｖ２１は第１ウイングバンドｒｗｂ１の前面の一端に位置してもよい。着脱部材ｒｖ１１は第１前面パネルｒｐ１の前面に位置し、着脱部材ｒｖ２１と着脱可能であってもよい。
【0098】
着脱部材ｌｖ２１は第２ウイングバンドｌｗｂ１の前面の一端に位置してもよい。着脱部材ｌｖ１１は第２前面パネルｌｐ１の前面に位置し、着脱部材ｌｖ２１と着脱可能であってもよい。
【0099】
ユーザは、第１ウイングバンドｒｗｂ１の一端を第１リングｒｒ１に通した後、身体のサイズに合わせて引っ張って着脱部材ｒｖ２１を着脱部材ｒｖ１１に付着することで、第１前面パネルｒｐ１をユーザの胴体に密着させることができる。同様に、ユーザは、第２ウイングバンドｌｗｂ１の一端を第２リングｌｒ１に通した後、身体のサイズに合わせて引っ張って着脱部材ｌｖ２１を着脱部材ｌｖ１１に付着することで、第２前面パネルｌｐ１をユーザの胴体に密着させることができる。
【0100】
一実施例によると、第１ウイングバンドｒｗｂ１の一端の幅は第１リングｒｒ１の内周面の幅より大きく、第２ウイングバンドｌｗｂ１の一端の幅は第２リングｌｒ１の内周面の幅より大きくてもよい。例えば、第１ウイングバンドｒｗｂ１の一端及び第２ウイングバンドｌｗｂ１の一端はラッパ状またはフック状に構成されてもよい。このため、ユーザが触覚刺激提供装置２１を胴体から取り外す際にウイングバンドｒｗｂ１、ｌｗｂ１の一端が各リングｒｒ１、ｌｒ１に引っ掛かった状態を保持することで、次のユーザが触覚刺激提供装置２１を装着するとき、ウイングバンドｒｗｂ１、ｌｗｂ１を各リングｒｒ１、ｌｒ１に再び挿入する手順を省略することができる。
【0101】
背面パネルｂｐ１はバッテリ保管用またはその他の用途用のポケットｂｐｐをさらに含んでもよい。ポケットｂｐｐの一部に開口部があり、バッテリの電線をパネルｌｐ１、ｒｐ１、ｂｐ１の内側に延ばすこともできる。他の実施例では、コントローラは内蔵バッテリを使用することができる。この場合、ポケットｂｐｐが不要となることがある。
【0102】
図１２を参照すると、本発明の他の実施例による触覚刺激提供装置１０ｂの右側前面パネルｒｐ１、背面パネルｂｐ１、及び左側前面パネルｌｐ１はそれぞれ複数のアクチュエータを含んでもよい。
【0103】
図１２のように前面パネルｒｐ１、ｌｐ１を開放した場合、第１前面パネルｒｐ１の複数のトップケースｔｃｒ１、背面パネルｂｐ１の複数のトップケースｔｃｂ１、第２前面パネルｌｐ１の複数のトップケースｔｃｌ１が露出されてもよい。
【0104】
当該複数のトップケースｔｃｒ１、ｔｃｂ１、ｔｃｌ１は、ウイングバンドｌｗｂ１、ｒｗｂ１、着脱部材ｒｖ１１、ｒｖ２１、ｌｖ１１、ｌｖ２１、リングｌｒ１、ｒｒ１によって触覚刺激提供装置１０ｂがユーザの胴体に締められることで、ユーザの胴体に密着することができる。このため、ユーザは、密着した複数のトップケースｔｃｒ１、ｔｃｂ１、ｔｃｌ１を介して内装された複数のアクチュエータの振動を強く感じることができる。
【0105】
他の実施例では、パネルｒｐ１、ｂｐ１、ｌｐ１の裏地の役割をする内皮が複数のトップケースｔｃｒ１、ｔｃｂ１、ｔｃｌ１をカバーすることで複数のトップケースｔｃｒ１、ｔｃｂ１、ｔｃｌ１が外部に露出しなくてもよい。
【0106】
実施例に応じて、第１前面パネルｒｐ１は連結バンドｒｃｂ１により背面パネルｂｐ１と伸縮性をもって連結されてもよい。第２前面パネルｌｐ１は連結バンドｌｃｂ１により背面パネルｂｐ１と伸縮性をもって連結されてもよい。
【0107】
第１前面パネルｒｐ１はトップケースｔｃｒ１に対応するアクチュエータを含んでもよい。例えば、前面アクチュエータの列ＦＣ１は、第１前面パネルｒｐ１の一側に列方向に配列されたアクチュエータａｃ１１、ａｃ１２、ａｃ１３、ａｃ１４、ａｃ１５を含んでもよい。また、前面アクチュエータの列ＦＣ２は、第１前面パネルｒｐ１の他側に列方向に配列されたアクチュエータを含んでもよい。
【0108】
第２前面パネルｌｐ１はトップケースｔｃｌ１に対応するアクチュエータを含んでもよい。例えば、前面アクチュエータの列ＦＣ３は第２前面パネルｌｐ１の一側に列方向に配列されたアクチュエータを含んでもよい。また、前面アクチュエータの列ＦＣ４は第２前面パネルｌｐ１の他側に列方向に配列されたアクチュエータａｃ４１、ａｃ４２、ａｃ４３、ａｃ４４、ａｃ４５を含んでもよい。
【0109】
背面パネルｂｐ１はトップケースｔｃｂ１に対応するアクチュエータを含んでもよい。例えば、背面アクチュエータの列ＢＣ１は背面パネルｂｐ１の一側に列方向に配列されたアクチュエータを含んでもよい。背面アクチュエータの列ＢＣ４は背面パネルｂｐ１の他側に列方向に配列されたアクチュエータを含んでもよい。背面アクチュエータの列ＢＣ２、ＢＣ３は背面アクチュエータの列ＢＣ１、ＢＣ４の間に位置してもよい。
【0110】
ユーザが触覚提供装置１０ｂを装着すると、前面アクチュエータの列ＦＣ１及び背面アクチュエータの列ＢＣ１はユーザの右側に位置し、前面アクチュエータの列ＦＣ４及び背面アクチュエータの列ＢＣ４はユーザの左側に位置するようになる。また、ユーザが触覚提供装置１０ｂを装着すると、前面アクチュエータの列ＦＣ２、ＦＣ３はユーザの前面中央に位置し、背面アクチュエータの列ＢＣ２、ＢＣ４はユーザの背面中央に位置するようになる。
【0111】
図１３は本発明の一実施例によるユーザインタフェースを説明するための図である。
【0112】
ユーザインタフェース７０ａはプログラムによって生成されてもよく、プログラムはコンピュータで実行されてもよい。プログラムはコンピュータで読み取り可能な記録媒体に記録されてもよい。
【0113】
図１３を参照すると、ユーザインタフェース７０ａは、モード選択領域７１、チャネル選択領域７２、グローバル設定領域７３、シミュレーション領域７４、チャネル設定領域７５、及びローカル設定領域７６を含んでもよい。実施例によって、一部の領域はユーザインタフェース７０ａから除外されてもよい。
【0114】
モード選択領域７１は２つのオーディオチャネルを有するステレオオーディオモード及び３つ以上のオーディオチャネルを有するサラウンドオーディオモードのうち１つを選択することができる。図１３では、ステレオオーディオモードに対応するボタン及び７．１チャネルサラウンドオーディオモードに対応するボタンのみが示されているが、他の実施例では、５．１チャネルサラウンドオーディオモードに対応するボタンが追加されてもよい。以下では、モード選択領域７１でステレオオーディオモードが選択された場合を仮定する。
【0115】
チャネル選択領域７２は選択されたオーディオモードのチャネルのうち１つが選択可能な領域であってもよい。例えば、ステレオオーディオモードは第１チャネルｃｈ１ａ及び第２チャネルｃｈ２ａを含んでもよい。以下では、説明の便宜上、第１チャネルｃｈ１ａをユーザの右側に位置するスピーカーのチャネルと仮定し、第２チャネルｃｈ２ａをユーザの左側に位置するスピーカーのチャネルと仮定する。また、第１チャネルｃｈ１ａが選択されたと仮定する。
【0116】
グローバル設定領域７３は周波数帯域に共通して適用されるグローバル設定値を含んでもよい。例えば、グローバル設定値は、グローバル最大閾値ＧＨＴＨ、グローバル最小閾値ＧＬＴＨ、及びグローバルゲイン値ＧＧＡを含んでもよい。ユーザーは、グローバル最大閾値ＧＨＴＨ、グローバル最小閾値ＧＬＴＨ、及びグローバルゲイン値ＧＧＡを調整することで、すべての周波数帯域（または選択された周波数帯域）の最大閾値、最小閾値、ゲイン値を容易に調整できる。
【0117】
シミュレーション領域７４は入力されたオーディオデータに対応して仮想アクチュエータの駆動強度を視覚化することができる。例えば、駆動強度の大きさに応じて仮想アクチュエータに表示されるグラフィックシンボルの大きさが変わってもよい。例えば、駆動強度が大きい場合はグラフィックシンボルが大きく表示され、駆動強度が小さい場合はグラフィックシンボルが小さく表示されてもよい。従って、ユーザは、各仮想アクチュエータに対するグラフィックシンボルの大きさによって対応する実際のアクチュエータの振動力の大きさを直観的に認識することができる。
【0118】
チャネル設定領域７５は２つ以上のオーディオチャネルのうち少なくとも１つのオーディオチャネルの周波数帯域を含んでもよい。例えば、チャネル選択領域７２で第１チャネルｃｈ１ａが選択された場合、第１チャネルｃｈ１ａの周波数帯域ＳＦＴ１１～ＳＦＴ１１５が表示されてもよい。例えば、周波数帯域ＳＦＴ１１～ＳＦＴ１１５のそれぞれの範囲はデフォルト値であってもよく、ユーザが設定した値であってもよい。例えば、ユーザはボタンＳＦＢを利用してそれぞれの周波数帯域を活性化または非活性化することができる。図示されていないが、チャネル設定領域７５はグローバル設定値の該当周波数帯域への適用有無を決めるボタンをさらに含んでもよい。
【0119】
図１３では、チャネル設定領域７５は第１チャネルｃｈ１ａの周波数帯域ＳＦＴ１１～ＳＦＴ１１５のみが表示されているが、他の実施例において、チャネル設定領域７５は第１チャネルｃｈ１ａ及び第２チャネルｃｈ２ａの周波数帯域を全て表示することもできる。このような実施例では、チャネル選択領域７２はユーザインタフェース７０ａから除外されてもよい。
【0120】
ローカル設定領域７６は周波数帯域のうち選択された周波数帯域のローカル設定値を含んでもよい。ローカル設定値は複数の仮想アクチュエータのうち選択された周波数帯域に対応して選択された仮想アクチュエータを含んでもよい。ローカル設定値は選択された周波数帯域の有効データの上限である最大閾値と、有効データの下限である最小閾値とを含んでもよい。また、ローカル設定値は選択された周波数帯域のデータのスケーリングファクタ（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）であるゲイン値を含んでもよい。
【0121】
例えば、ユーザが周波数帯域ＳＦＴ１１～ＳＦＴ１１５から周波数帯域ＳＦＴ１１を選択した場合、ユーザはローカル設定領域７６で周波数帯域ＳＦＴ１１の最大閾値ＳＨＴＨ１１及び最小閾値ＳＬＴＨ１１を設定することができる。また、ユーザは、ローカル設定領域７６で周波数帯域ＳＦＴ１１のゲイン値ＳＦＧ１１を設定することもできる。
【0122】
ユーザーがグローバル設定領域７３でグローバル設定値を設定した場合、グローバル設定値は基準値として適用され、ローカル設定値はオフセット値として適用されてもよい。即ち、グローバル最大閾値ＧＨＴＨと最大閾値ＳＨＴＨ１１を合わせた値が周波数帯域ＳＦＴ１１に対する最終最大閾値であってもよい。同様に、グローバル最小閾値ＧＬＴＨと最小閾値ＳＨＴＨ１１を合わせた値が周波数帯域ＳＦＴ１１に対する最終最小閾値であってもよい。同様に、グローバルゲイン値ＧＧＡとゲイン値ＳＦＧ１１を合わせた値が周波数帯域ＳＦＴ１１に対する最終ゲイン値であってもよい。
【0123】
他の実施例では、ユーザがローカル設定領域７６で周波数帯域ＳＦＴ１１の最大閾値ＳＨＴＨ１１、最小閾値ＳＬＴＨ１１、及びゲイン値ＳＦＧ１１を設定する場合、グローバル設定値は無視されてもよい。このような実施例では、グローバル設定値に関わらず周波数帯域ＳＦＴ１１に対する最終設定値は、最大閾値ＳＨＴＨ１１、最小閾値ＳＬＴＨ１１、及びゲイン値ＳＦＧ１１であってもよい。
【0124】
図１２のアクチュエータａｃ１１～ａｃ４５に対応する仮想アクチュエータｖａ１１～ｖａ４５がローカル設定領域７６に表示されてもよい。仮想アクチュエータの列ＶＦＣ１、ＶＦＣ２、ＶＦＣ３、ＶＦＣ４は、図１２の前面アクチュエータの列ＦＣ１、ＦＣ２、ＦＣ３、ＦＣ４に対応することができる。同様に、仮想アクチュエータの列ＶＢＣ１、ＶＢＣ２、ＶＢＣ３、ＶＢＣ４は、図１２の背面アクチュエータの列ＢＣ１、ＢＣ２、ＢＣ３、ＢＣ４に対応することができる。
【0125】
ユーザは、ローカル設定領域７６で周波数帯域ＳＦＴ１１に対応する仮想アクチュエータｖａ１１～ｖａ４５を選択することができる。選択された仮想アクチュエータｖａ１１、ｖａ１２、ｖａ１３に対応するアクチュエータａｃ１１、ａｃ１２、ａｃ１３は、受信したアクチュエータ強度値に対応する駆動強度で駆動されてもよい。
【0126】
ユーザインタフェース７０ａはその他にもユーザの便宜のための様々な設定値を含んでもよい。例えば、ボタンＡＡＢの状態に応じて、選択された周波数帯域のローカル設定値が他の周波数帯域に同様に適用されるかどうかが決まってもよい。これにより、ユーザは、全ての周波数帯域に対するローカル設定を一々行う必要がなくなり、ユーザの利便性が向上する。
【0127】
【0128】
例えば、ボタンＵＣＢが第１状態（ロック状態）である場合、ローカル設定領域７６の仮想アクチュエータは選択不可能な状態になることができる。この場合、選択された周波数帯域に対してデフォルトとして決まっている仮想アクチュエータが固定的に選択されてもよい。ボタンＵＣＢが第２状態（ロック解除状態）である場合、ローカル設定領域７６の仮想アクチュエータは選択可能な状態であることができる。この場合、上述のように、ユーザは選択された周波数帯域に対する仮想アクチュエータを選択することができる。
【0129】
例えば、ボタンＦＨＢの状態はボタンＵＣＢの状態に従属的であってもよい。例えば、ボタンＵＣＢが第１状態（ロック状態）である場合、ボタンＦＨＢが活性化されることができる。このとき、活性化されたボタンＦＨＢが第１状態である場合、低い周波数帯域であるほど、上位アクチュエータ行にマッピングされ、高い周波数帯域であるほど、下位アクチュエータ行にマッピングされることができる。一方、活性化されたボタンＦＨＢが第２状態である場合、高い周波数帯域であるほど、上位アクチュエータ行にマッピングされ、低い周波数帯域であるほど、下位アクチュエータ行にマッピングされることができる。これにより、ユーザが手動で周波数帯域に対するアクチュエータのマッピングを一々行う必要がなくなり、ユーザの利便性が向上する。ボタンＵＣＢが第２状態（ロック解除状態）である場合、ボタンＦＨＢは非活性化されることができる。
【0130】
図示されていないが、第１チャネルｃｈ１ａの設定値を第２チャネルｃｈ２ａの設定値としてコピーするボタンが追加されてもよい。このとき、第１チャネルｃｈ１ａの設定値に対応する仮想アクチュエータの列は、第２チャネルｃｈ２ａのコピーされた設定値に対応する仮想アクチュエータの列とは異なってもよい。例えば、第１チャネルｃｈ１ａがユーザの右側に位置するスピーカーに対応し、第２チャネルｃｈ２ａがユーザの左側に位置するスピーカーに対応する場合、第１チャネルｃｈ１ａの設定値に対応する仮想アクチュエータの列は、第２チャネルｃｈ２ａのコピーされた設定値に対応する仮想アクチュエータの列と対称（左右反転）してもよい。他の実施例では、このボタンは存在せず、当該機能がユーザインタフェース７０ａの基本的機能として含まれてもよい。
【0131】
上述の実施例によると、１つのチャネルに対する設定値のみを設定しても他のチャネルに対する設定値が設定されるため、ユーザの利便性が向上することができる。
【0132】
【0133】
図１４を参照すると、他の実施例によるシミュレーション領域７４’が示されている。
【0134】
シミュレーション領域７４’は選択されたチャネルの周波数帯域を表示する領域７４２と、各周波数に対する信号強度を表示する領域７４１とを含んでもよい。例えば、各周波数に対する信号強度は、ＰＳＤ（ｐｏｗｅｒ ｓｐｅｃｔｒａｌ ｄｅｎｓｉｔｙ）、マグニチュード（ｍａｇｎｉｔｕｅ）、フェーズ（ｐｈａｓｅ）などで示すことができる。また、領域７４１には各周波数帯域に対する代表値ＲＰＶがグラフで表示されてもよい。
【0135】
本実施例によると、シミュレーション領域７４’は現在再生中のオーディオデータの各フレームをリアルタイムで周波数ドメインに変換してデシベル値で表示することができる。当該情報を参照することで、ユーザは各周波数帯域のゲイン値、最小閾値、及び最大閾値を容易に設定することができる。
【0136】
図１５を参照すると、他の実施例によるシミュレーション領域７４’’が示されている。
【0137】
シミュレーション領域７４’’は、周波数帯域ＳＦＴ１１～ＳＦＴ１１０のそれぞれに対して、時間経過に伴う代表値の頻度分布を視覚化することができる。例えば、各周波数帯域において、明るい部分であるほど、多い数のフレームが該当代表値を有することを意味し、暗い部分であるほど、少ない数のフレームが該当代表値を有することを意味することができる。
【0138】
従って、ユーザは、シミュレーション領域７４’’を参照することで、各周波数帯域のゲイン値、最小閾値、及び最大閾値を容易に設定することができる。
【0139】
図１６は本発明の一実施例による触覚刺激パターン生成装置を説明するための図であり、図１７は図１６の触覚刺激パターン生成装置のデータ変換部を説明するための図であり、図１８は図１６の触覚刺激パターン生成装置の帯域代表値算出部を説明するための図であり、図１９～図２２は図１６の触覚刺激パターン生成装置のアクチュエータ強度算出部を説明するための図であり、図２３は図１６の触覚刺激パターン生成装置のアクチュエータ強度併合部を説明するための図である。
【0140】
図１６を参照すると、本発明の一実施例による触覚刺激パターン生成装置９は、データ変換部９１、帯域代表値算出部９２、アクチュエータ強度算出部９３、アクチュエータ強度減衰部９４、及びアクチュエータ強度併合部９５を含んでもよい。
【0141】
データ変換部９１は、時間ドメインの第１オーディオデータＩＮ１ａ及び第２オーディオデータＩＮ２ａを周波数ドメインの第１変換データ及び第２変換データにそれぞれ変換することができる。
【0142】
一実施例において、第１オーディオデータＩＮ１ａ及び第２オーディオデータＩＮ２ａは触覚刺激パターン生成装置８が直接受信したオーディオデータであってもよい。または、第１オーディオデータＩＮ１ａ及び第２オーディオデータＩＮ２ａは記録媒体に保存されたオーディオデータであってもよい。
【0143】
他の実施例において、第１オーディオデータＩＮ１ａ及び第２オーディオデータＩＮ２ａは、第１プログラム（例えば、ゲームプログラム）からオーディオ機器（例えば、スピーカー、ヘッドセットなど）に送信されるオーディオデータを触覚刺激パターン生成装置９がインターセプトした（ｉｎｔｅｒｃｅｐｔ）データであってもよい。第１プログラムはコンピュータのプログラムであってもよく、触覚刺激パターン生成装置９は該当コンピュータの第２プログラムで具現されてもよい。例えば、触覚刺激パターン生成装置９はコンピュータのオペレーティングシステムから発生するシステムコール（ｓｙｓｔｅｍ ｃａｌｌ）をインターセプトすることで、第１オーディオデータＩＮ１ａ及び第２オーディオデータＩＮ２ａを生成することができる。
【0144】
本実施例では２つのチャネルを有するステレオオーディオモードと仮定しているが、３つ以上のチャネルを有するサラウンドオーディオモードに対する他の実施例ではオーディオデータは３つ以上であってもよい。また、以下では、第１オーディオデータＩＮ１ａに対応する第１変換データＦＦＩについてのみ説明する。第２オーディオデータＩＮ２ａに対応する第２変換データにも同様の内容が適用でき、重複する説明は省略する。
【0145】
図１６及び図１７を参照すると、データ変換部９１はウインドウ長ＷＤＬ及びシフト長ＳＨＦＬに基づいて、第１オーディオデータＩＮ１ａから複数のフレームＦＲ１、ＦＲ２、ＦＲ３、ＦＲ４をサンプリングすることができる。
【0146】
ウインドウ長ＷＤＬは、第１オーディオデータＩＮ１ａにおいてフレームＦＲ１、ＦＲ２、ＦＲ３、ＦＲ４の時間軸に対する長さを決める設定値である。ウインドウ長ＷＤＬが長いほど、各フレームＦＲ１～ＦＲ４はより低い周波数成分を検出及び含むことができ、より高い周波数分解能（ｆｒｅｑｕｅｎｃｙ ｒｅｓｏｌｕｔｉｏｎ）を有することができる。しかし、ウインドウ長ＷＤＬが長いほど、データ量及びサンプリング時間が増えるため、ウインドウ長ＷＤＬを適切に設定する必要がある。また、ウインドウ長ＷＤＬが長すぎるように設定されると、オーディオデータの変化が代表値ＲＰＶに適切に反映されないことがある。例えば、ウインドウ長ＷＤＬが５００ｍｓであり、該当ウインドウの最後の部分（例えば、４５０ｍｓ～５００ｍｓ）で銃声などの効果音によって信号強度が増加したとき、信号が大きく増加したとしても全体ウインドウの１０％でのみ起きた変化であるため、代表値ＲＰＶに適切に反映されないことがある。
【0147】
例えば、歌、演奏曲などの拍子（ｔｉｍｅ ｓｉｇｎａｔｕｒｅ）、テンポ（ｔｅｍｐｏ）、ビート（ｂｅａｔ）などが重要な部分では、ウインドウ長ＷＤＬを相対的に長く設定することができる。また、銃声、破裂音などの効果音が重要な部分では、ウインドウ長ＷＤＬを相対的に短く設定することができる。このようなウインドウ長ＷＤＬはオーディオデータを分析して自動的に設定されるか、またはユーザが直接設定してもよい。実施例によって、１つのオーディオデータにおいてもウインドウ長ＷＤＬが時間に応じて可変してもよい。
【0148】
シフト長ＳＨＦＬは、現在のフレームの時間軸での位置を基準として次のフレームの時間軸での位置を決める設定値である。即ち、シフト長ＳＨＦＬは現在のフレームと次のフレーム間の時間間隔に対する設定値である。ウインドウ長ＷＤＬ及びシフト長ＳＨＦＬによって現在のフレームと次のフレームの重畳程度が決まってもよい。シフト長ＳＨＦＬが長すぎると、ユーザが遅延（ｌａｔｅｎｃｙ）を感じることがあるため、適切な設定値が必要である。
【0149】
図示していないが、データ変換部９１はサンプリング周波数を設定値として含んでもよい。デジタルオーディオデータの場合、システム及びファイルに予め設定されたサンプリング周波数があるため、データ変換部９１は当該サンプリング周波数を使用することができる。しかし、オーディオジャックなどのアナログオーディオデータを受信する場合、データ変換部９１は適切な値のサンプリング周波数を受信する必要がある。このとき、サンプリング周波数は、ウインドウ長ＷＤＬと同様に、処理可能なデータの量とそれに伴う速度、そしてオーディオ信号の特性（細かいメロディのような重要な音の場合は高いサンプリング周波数で詳しく、銃声（ｇｕｎｆｉｒｅ）のように広い帯域に広がっている短い音の場合は低い周波数で速く）に応じて決まってもよい。
【0150】
一実施例によると、データ変換部９１はサンプリングされたフレームＦＲ１に補正ウインドウを適用することができる。補正ウインドウはＨａｎｎ、Ｈａｍｍｉｎｇ、Ｂｌａｃｋｍａｎｎ－ｈａｒｒｉｓウインドウなどのＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）に用いられる従来知られているウインドウを利用してもよい。データ変換部９１はサンプリングされたフレームＦＲ１に補正ウインドウを適用することで、フレームの開始データ及び終了データの不連続性によるＦＦＴスペクトル漏れ（ｌｅａｋａｇｅ）を防止し、より正確な周波数に対する強度情報を取得することができる。
【0151】
データ変換部９１は補正ウインドウが適用されたフレームＦＲ１を周波数ドメインに変換することにより、第１変換データＦＦＩを生成することができる。周波数ドメインへの変換には上述のＦＦＴなどの様々な既存のアルゴリズムが用いられてもよい。
【0152】
帯域代表値算出部９２は、第１変換データＦＦＩ及び第２変換データのそれぞれに対して周波数帯域ＳＦＴ１１～ＳＦＴ１１０の代表値ＲＰＶを算出することができる。帯域代表値算出部９２は最小閾値ＳＬＴＨ、最大閾値ＳＨＴＨ、及びゲイン値ＳＦＧをさらに受信することができる。このとき、代表値ＲＰＶは周波数帯域ＳＦＴ１１～ＳＦＴ１１０のそれぞれの最小閾値ＳＬＴＨより大きくて最大閾値ＳＨＴＨより小さい有効データに基づいてもよい。
【0153】
図１８を参照すると、周波数帯域ＳＦＴ１１、ＳＦＴ１２、ＳＦＴ１３、ＳＦＴ１４のうち少なくとも２つは少なくとも一部の範囲が重畳し得る。例えば、周波数帯域ＳＦＴ１１と周波数帯域ＳＦＴ１２が重畳し、周波数帯域ＳＦＴ１１と周波数帯域ＳＦＴ１３が重畳してもよい。また、周波数帯域ＳＦＴ１４が周波数帯域ＳＦＴ１１、ＳＦＴ１３と一部重畳してもよい。これにより、ドラムビート、ベース音などの相対的に広い周波数範囲の音を効果的にカバーしながら、声のように相対的に狭い周波数範囲の音を強調することができる（音響特性の強調効果）。
【0154】
この構成によると、広い周波数範囲をカバーする周波数帯域ＳＦＴ１１の代表値は相対的に多い数のアクチュエータ強度値に変換され、狭い周波数範囲をカバーする周波数帯域ＳＦＴ１２、ＳＦＴ１３は相対的に少ない数または１つのアクチュエータ強度値に変換されることができる。これにより、ユーザはより大きいスピーカーの前にいるように感じられるため、より強い没入感を感じるようになる。
【0155】
一実施例によると、周波数帯域ＳＦＴ１１～ＳＦＴ１４のうち第１周波数帯域ＳＦＴ１１に対応する第１最小閾値ＳＬＴＨ１１は、周波数帯域ＳＦＴ１１～ＳＦＴ１４のうち第２周波数帯域ＳＦＴ１２に対応する第２最小閾値ＳＬＴＨ１２と異なってもよい。また、第１周波数帯域ＳＦＴ１１に対応する第１最大閾値ＳＨＴＨ１１は、第２周波数帯域ＳＦＴ１２に対応する第２最大閾値ＳＨＴＨ１２と異なってもよい。一実施例によると、周波数帯域ＳＦＴ１１～ＳＦＴ１４のうち第１周波数帯域ＳＦＴ１１に対応する第１ゲイン値ＳＦＧ１１は周波数帯域ＳＦＴ１１～ＳＦＴ１４のうち第２周波数帯域ＳＦＴ１２に対応する第２ゲイン値と異なってもよい。
【0156】
他の実施例では、最小閾値ＳＬＴＨ、最大閾値ＳＨＴＨ、及びゲイン値ＳＦＧは、周波数帯域ＳＦＴ１１～ＳＦＴ１４に対して共通して設定されてもよい（図１３のグローバル設定領域７３を参照）。
【0157】
まず、帯域代表値算出部９２は第１周波数帯域ＳＦＴ１１のデータ（強度値）に第１ゲイン値ＳＦＧ１１を適用することができる。例えば、データ及び第１ゲイン値ＳＦＧ１１がリニアスケール（ｌｉｎｅａｒ ｓｃａｌｅ）の値である場合、データのそれぞれに第１ゲイン値ＳＦＧ１１を乗算することができる。例えば、データ及び第１ゲイン値ＳＦＧ１１が対数スケール（ｌｏｇａｒｉｔｈｍｉｃ ｓｃａｌｅ）の値である場合、データのそれぞれに第１ゲイン値ＳＦＧ１１を合計することができる。図１８では、説明の便宜上、各周波数帯域ＳＦＴ１１～ＳＦＴ１４のゲイン値が０であると仮定する（対数スケール）。同様に、帯域代表値算出部９２は第２周波数帯域ＳＦＴ１２のデータ（強度値）に第２ゲイン値を適用することができる。
【0158】
次いで、帯域代表値算出部９２は、第１周波数帯域ＳＦＴ１１のデータ（強度値）のうち第１最小閾値ＳＬＴＨ１１より大きくて第１最大閾値ＳＨＴＨ１１より小さいデータを第１周波数帯域ＳＦＴ１１の有効データとして決めることができる。同様に、帯域代表値算出部９２は、第２周波数帯域ＳＦＴ１２のデータ（強度値）のうち第２最小閾値ＳＬＴＨ１２より大きくて第２最大閾値ＳＨＴＨ１２より小さいデータを第２周波数帯域ＳＦＴ１２の有効データとして決めることができる。
【0159】
最後に、帯域代表値算出部９２は第１周波数帯域ＳＦＴ１１の有効データに基づいて第１周波数帯域ＳＦＴ１１の代表値ＲＰＶを決めることができる。同様に、帯域代表値算出部９２は第２周波数帯域ＳＦＴ１２の有効データに基づいて第２周波数帯域ＳＦＴ１２の代表値を決めることができる。
【0160】
代表値ＲＰＶは、それぞれの周波数帯域の有効データの平均値、有効データのＲＭＳ（ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅ）、有効データの合計値などで設定されてもよい。有効データはＰＳＤ値、マグニチュード値、及びフェーズ値のうち少なくとも１つであってもよい。
【0161】
アクチュエータ強度算出部９３は、代表値ＲＰＶに対応するアクチュエータ強度値ＭＤＰを算出することができる。図１９～図２２を参照すると、代表値ＲＰＶに対するアクチュエータ強度値ＭＤＰのマッピングカーブＣＣＶの様々な実施例が示されている。
【0162】
一実施例によると、代表値ＲＰＶが大きいほど（音が大きいほど）アクチュエータ強度値ＭＤＰを増加させることはユーザに適切な触覚刺激を提供することができる。しかし、代表値ＲＰＶが上限に近い状態で有効データの大きさがさらに増加すると、帯域代表値算出部９２が出力する代表値ＲＰＶが０になることがある。このとき、強い触覚刺激の提供中に突然触覚刺激の提供が中断されるという問題がある。このような場合、強い触覚刺激が間欠的に提供されることで、ユーザは不便を感じることがある。
【0163】
図１９を参照すると、アクチュエータ強度算出部９３は代表値ＲＰＶが小さいほどアクチュエータ強度値ＭＤＰが小さくなるように算出し、代表値ＲＰＶが大きいほどアクチュエータ強度値ＭＤＰが小さくなるように算出することができる。一実施例では、少なくとも１つの代表値ＲＰＶはアクチュエータ強度値ＭＤＰの最大値ＭＭＸに対応することができる。
【0164】
図２０を参照すると、代表値ＲＰＶとアクチュエータ強度値ＭＤＰとの関係は不連続関数（ｄｉｓｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎ）を含んでもよい。例えば、マッピングカーブＣＣＶは非線形的（ｎｏｎ－ｌｉｎｅａｒ）であってもよい。例えば、機械学習などを用いた分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）アルゴリズムによりマッピングカーブＣＣＶが設定されてもよい。
【0165】
図２１を参照すると、マッピングカーブＣＣＶを曲線状に設定できることが確認できる。例えば、マッピングカーブＣＣＶは最大値ＭＭＸに対応する代表値ＲＰＶを基準として対称する対数関数（ｌｏｇａｒｉｔｈｍｉｃ ｆｕｎｃｔｉｏｎｓ）を含んでもよい。
【0166】
図２２を参照すると、最大値ＭＭＸに対応する代表値ＲＰＶが最小閾値ＳＬＴＨよりも最大閾値ＳＨＴＨに近いようにマッピングカーブＣＣＶが設定されてもよい。本実施例によると、代表値ＲＰＶが大きいほど（音が大きいほど）アクチュエータ強度値ＭＤＰを自然に増加させることができる。さらに、代表値ＲＰＶが最大閾値ＳＨＴＨ付近で提供し続けられる場合、強い触覚刺激の間欠的な提供を防止することができる。
【0167】
アクチュエータ強度減衰部９４はアクチュエータ強度値ＭＤＰが一定時間以上保持されるとき、アクチュエータ強度値ＭＤＰを次第に減衰（ａｔｔｅｎｕａｔｉｏｎ）させることによって、減衰されたアクチュエータ強度値ＡＭＤＰを提供することができる。
【0168】
ユーザは同じ振動が続くと、不快に感じることがある。また、人の触覚は持続的に提供される同じ刺激には反応が小さくなる特性がある。従って、アクチュエータ強度値ＭＤＰが一定時間以上保持されると、アクチュエータ強度値ＭＤＰを次第に減衰させるオプション（ｏｐｔｉｏｎ）がユーザに提供されてもよい。
【0169】
アクチュエータ強度減衰部９４はアクチュエータ強度値ＭＤＰをエクスポネンシャル（ｅｘｐｏｎｅｎｔｉａｌ）に減少させることができる（式１参照）。
【0170】
【数1】
【0171】
このとき、ｙ（ｔ）は現在時点のアクチュエータ強度値ＭＤＰであり、ｙ（ｔ－１）は直前時点のアクチュエータ強度値ＭＤＰであり、ｙ’（ｔ）は現在時点の減衰されたアクチュエータ強度値ＡＭＤＰであり、ｙ’（ｔ－１）は以前時点の減衰されたアクチュエータ強度値ＡＭＤＰであり、ａは変化値に対する重み値であり、ｆは該当周波数帯域の周波数中間値であり、ｔａｕは減衰パラメータであり、ｄｔはサンプリング間隔（例えば、シフト長ＳＨＦＬ）であってもよい。
【0172】
ｆ周波数を有する正弦波（ｓｉｎｅｗａｖｅ）がｔａｕサイクル（ｃｙｃｌｅ）が流れるほどの時間の後、アクチュエータ強度値ＭＤＰは半分になり得る。式１によると、ａの設定値によってｙ’（ｔ）が殆どの状況においてｙ（ｔ）より小さくなることがあるため、ｙ’（ｔ）を周期的にｙ（ｔ）に初期化（ｒｅｓｅｔ）する必要がある。例えば、アクチュエータ強度値ＭＤＰの変化量（ｙ（ｔ）－ｙ（ｔ－１））の絶対値が特定値より大きい場合、ｙ’（ｔ）をｙ（ｔ）に初期化する必要がある。
【0173】
上述の実施例におけるアクチュエータ強度減衰部９４はアクチュエータ強度値ＭＤＰを減衰させるが、他の実施例におけるアクチュエータ強度減衰部９４は代表値ＲＰＶを減衰させることもできる。例えば、アクチュエータ強度減衰部９４は代表値ＲＰＶが一定時間以上保持されると、代表値ＲＰＶを次第に減衰させることができる。
【0174】
アクチュエータ強度併合部９５は、１つのアクチュエータにマッピングされた２つ以上のアクチュエータ強度値を併合することで１つのアクチュエータ強度値を生成することができる。
【0175】
図２３を参照すると、例えば、周波数帯域ＳＦＴ１１のアクチュエータ強度値ＡＭＤＰ１１がアクチュエータａｃ１１、ａｃ１２、ａｃ１３にマッピングされ、周波数帯域ＳＦＴ１２のアクチュエータ強度値ＡＭＤＰ１２がアクチュエータａｃ１１にマッピングされ、周波数帯域ＳＦＴ１３のアクチュエータ強度値ＡＭＤＰ１３がアクチュエータａｃ１２にマッピングされてもよい。
【0176】
【0177】
一実施例によると、アクチュエータ強度値ＡＭＤＰ１１及びアクチュエータ強度値ＡＭＤＰ１２の平均値を併合されたアクチュエータ強度値としてアクチュエータａｃ１１に提供することができる。他の実施例によると、アクチュエータ強度値ＡＭＤＰ１１及びアクチュエータ強度値ＡＭＤＰ１２に異なる重み値を乗算し、乗算した値の合計値を併合されたアクチュエータ強度値としてアクチュエータａｃ１１に提供することができる。さらに他の実施例によると、アクチュエータ強度値ＡＭＤＰ１１及びアクチュエータ強度値ＡＭＤＰ１２のうち最も大きい値を併合されたアクチュエータ強度値としてアクチュエータａｃ１１に提供することができる。
【0178】
アクチュエータ強度値ＡＭＤＰがデシベルなどの対数スケールの値であれば、エクスポネンシャル関数によりアクチュエータ強度値ＡＭＤＰをリニアスケールに先ず変換することができる。リニアスケールのアクチュエータ強度値ＡＭＤＰを併合した後、併合したアクチュエータ強度値を再び対数スケールに変換してアクチュエータに提供することができる。この過程により、ユーザは併合されたアクチュエータ強度値を自然に感じることができる。
【0179】
図２４は触覚刺激パターン生成装置及び触覚刺激提供装置の例示的な関係を説明するための図である。
【0180】
図２４を参照すると、７．１サラウンドオーディオモードのように、オーディオモードが８つのチャネルｃｈ１ｂ～ｃｈ８ｂを含む場合、アクチュエータ列ＦＣ１～ＦＣ４、ＢＣ１～ＢＣ４にどのようにマッピングされるかが例示的に示されている。
【0181】
例えば、触覚刺激提供装置１０ｂはそれぞれのアクチュエータに対応する位置情報を提供することができる。位置情報はそれぞれのアクチュエータが触覚刺激提供装置１０ｂのどの部位に位置するかに関する情報であってもよい。例えば、触覚刺激パターン生成装置９はそれぞれの仮想アクチュエータに対応する位置情報を提供することができる。実施例に応じて、触覚刺激提供装置１０ｂ及び触覚刺激パターン生成装置９のうち少なくとも１つは上述した位置情報を提供することができる。
【0182】
例えば、チャネルｃｈ１ｂ～ｃｈ８ｂのオーディオデータは対応するチャネルに関する方向情報を含んでもよい。
【0183】
一実施例によると、チャネルｃｈ６ｂに対する第１オーディオデータは第１方向（右側方向）に関する情報を含み、チャネルｃｈ５ｂに対する第２オーディオデータは第１方向とは異なる第２方向（左側方向）に関する情報を含んでもよい。
【0184】
このとき、第１方向と対応する第１位置情報に対応するアクチュエータ（前面アクチュエータの列ＦＣ１及び背面アクチュエータの列ＢＣ１のアクチュエータのうち１つ）は、第１オーディオデータの第１アクチュエータ強度値のうち少なくとも１つのみ（ｏｎｌｙ）に基づいて駆動されてもよい（第２オーディオデータに基づかない）。また、第２方向と対応する第２位置情報に対応するアクチュエータ（前面アクチュエータの列ＦＣ４及び背面アクチュエータの列ＢＣ４のアクチュエータのうち１つ）は、第２オーディオデータの第２アクチュエータ強度値のうち少なくとも１つのみに基づいて駆動されてもよい（第１オーディオデータに基づかない）。
【0185】
同様に、第１方向と対応する第１位置情報に対応するアクチュエータ列（前面アクチュエータの列ＦＣ１及び背面アクチュエータの列ＢＣ１のうち１つ）は、第１オーディオデータの第１アクチュエータ強度値のうち少なくとも１つのみに基づいて駆動されてもよい。また、第２方向と対応する第２位置情報に対応するアクチュエータ列（前面アクチュエータの列ＦＣ４及び背面アクチュエータの列ＢＣ４のうち１つ）は、第２オーディオデータの第２アクチュエータ強度値の少なくとも１つのみに基づいて駆動されてもよい。
【0186】
例えば、サブウーファーに対応するチャネルｃｈ１ｂは前面アクチュエータの列ＦＣ１、ＦＣ２、ＦＣ３、ＦＣ４にマッピングされてもよい。前面の左側方向に対応するチャネルｃｈ２ｂは前面アクチュエータの列ＦＣ３にマッピングされてもよい。前面の中央方向に対応するチャネルｃｈ３ｂは前面アクチュエータの列ＦＣ２、ＦＣ３にマッピングされてもよい。前面の右側方向に対応するチャネルｃｈ４ｂは前面アクチュエータの列ＦＣ１にマッピングされてもよい。
【0187】
また、左側方向に対応するチャネルｃｈ５ｂは前面アクチュエータの列ＦＣ４及び背面アクチュエータの列ＢＣ４にマッピングされてもよい。右側方向に対応するチャネルｃｈ６ｂは前面アクチュエータの列ＦＣ１及び背面アクチュエータの列ＢＣ１にマッピングされてもよい。背面の左側方向に対応するチャネルｃｈ７ｂは背面アクチュエータの列ＢＣ３にマッピングされてもよい。背面の右側方向に対応するチャネルｃｈ８ｂは背面アクチュエータの列ＢＣ２にマッピングされてもよい。
【0188】
上述した方向は触覚刺激提供装置１０を装着したユーザを基準とする。上述の実施例によると、アクチュエータの位置によって音響の方向性を強調することができる。特に、７．１サラウンドオーディオシステムを特定の空間に備えても、ユーザが移動したり方向を変えると、固定された位置の７．１サラウンドオーディオシステムはきちんとした音響の方向性を提供することができない。本実施例によると、ユーザが直接装着する触覚刺激提供装置１０を介して音響の方向性を強調するため、ユーザが移動したり方向を変えても音響の方向性が間違うことはない。
【0189】
図２５は本発明の他の実施例による触覚刺激パターン生成装置を説明するための図である。
【0190】
図２５の触覚刺激パターン生成装置９’は、自動設定部９６をさらに含むという点で図１６の触覚刺激パターン生成装置９と相違する。触覚刺激パターン生成装置９’の帯域代表値算出部９２は、自動設定部９６が提供する最大閾値ＳＨＴＨ、最小閾値ＳＬＴＨ、及びゲイン値ＳＦＧを用いるという点で触覚刺激パターン生成装置９の帯域代表値算出部９２と相違する。
【0191】
例えば、自動設定部９６は、周波数帯域のそれぞれに対し、時間経過に伴う代表値ＲＰＶの頻度分布に基づいて代表値ＲＰＶの有効範囲を算出し、有効範囲の最小値に対応するように最小閾値ＳＬＴＨを設定し、有効範囲の最大値に対応するように最大閾値ＳＨＴＨを設定することができる（図１５のヒストグラム参照）。
【0192】
例えば、最小閾値ＳＬＴＨと最大閾値ＳＨＴＨとの間隔が広すぎると、該当アクチュエータが無駄に持続的な振動を提供するため、触覚刺激の精度が低下することがある。また、最小閾値ＳＬＴＨと最大閾値ＳＨＴＨとの間隔が狭すぎると、対象効果音などの検出ができず、有意味な触覚刺激が提供できない可能性がある。従って、本実施例によると、適切な最小閾値ＳＬＴＨ及び最大閾値ＳＨＴＨを提供することで、有意味な触覚刺激を提供するだけでなく、ユーザの利便性も提供することができる。また、本実施例によると、最小閾値ＳＬＴＨ及び最大閾値ＳＨＴＨがリアルタイムで適応的に変動することができる。
【0193】
一実施例によると、ユーザが予め設定した最小閾値ＳＬＴＨ及び最大閾値ＳＨＴＨにより制限された範囲内において自動設定部９６が最小閾値ＳＬＴＨ及び最大閾値ＳＨＴＨを変更することができる。これにより、ユーザが意図した静かすぎる音（例えば、小さな背景音）及び大きすぎる音（例えば、近いところの爆発音）などは触覚刺激に変換しないようにすることができる。
【0194】
その他にも、自動設定部９６は様々なアルゴリズムを介して最大閾値ＳＨＴＨ、最小閾値ＳＬＴＨ、及びゲイン値ＳＦＧのうち少なくとも１つを提供することができる。
【0195】
例えば、直前５秒間の周波数帯域の代表値ＲＰＶの平均またはＲＭＳなどの統計的な値を、基準値と比較してその差または比率に合わせて最大閾値ＳＨＴＨ及び最小閾値ＳＬＴＨを調整するアルゴリズムが具現されてもよい。例えば、直前５秒間の周波数帯域のＰＳＤ値の平均が－５０ｄＢであり、基準値が－４０ｄＢであれば、これに合わせて最大閾値ＳＨＴＨを１０ｄＢだけ下げることができる。
【0196】
また、この平均値の信頼区間（ｃｏｎｆｉｄｅｎｃｅ ｉｎｔｅｒｖａｌ、ＣＩ）を求め、これを基準として最大閾値ＳＨＴＨ及び最小閾値ＳＬＴＨを設定するアルゴリズムが具現されてもよい。例えば、この平均値の９５％信頼区間を求めたところ、－４５ｄＢ～－５５ｄＢと計算され、基準平均値が－４０ｄＢで、基準９５％信頼区間の範囲が２０ｄＢであれば、計算された信頼区間の範囲が１０ｄＢと基準範囲より２倍狭いため、最大閾値ＳＨＴＨと最小閾値ＳＬＴＨの差を２倍狭め、基準平均より１０ｄＢ低いため、最大閾値ＳＨＴＨと最小閾値ＳＬＴＨを１０ｄＢだけ下げることができる。
【0197】
また、平均値の分布を示す信頼区間ではなく、個々のサンプル値に対する分布が推定できるようにする予測区間（Ｐｒｅｄｉｃｔｉｏｎ Ｉｎｔｅｒｖａｌ、ＰＩ）を使用するアルゴリズムが具現されてもよい。特に、入力信号の統計的分布が予め予測できない場合は、非パラメトリック（ｎｏｎ－ｐａｒａｍｅｔｒｉｃ）ＰＩ推定が用いられてもよい。非パラメトリックＰＩ方式を用いると、各周波数帯域の過去代表値ＲＰＶを利用して９５％の確率で現在の入力が位置できる区間を計算することができる。例えば、ｎ個の過去の代表値がある場合、ｐ（例えば、９５％を意味する０．９５）のＰＩを計算するとき、ｎ個のサンプルを小さいものから順に整列（ｓｏｒｔｉｎｇ）した後、次の式２及び式３のようにｊ及びｋを求めることができる。
【0198】
【数2】
【0199】
【数3】
【0200】
このようにｊとｋを求めると、ｊ番目とｋ番目の値がそれぞれｐ％の予測区間の下限及び上限になる。これをそのまま最小閾値ＳＬＴＨ及び最大閾値ＳＨＴＨとして使用することもでき、これらの値とｎ個のサンプルの平均との差などを利用して最小閾値ＳＬＴＨ及び最大閾値ＳＨＴＨをスケーリングすることもできる。
【0201】
例えば、自動設定部９６はゲイン値ＳＦＧを自動的に生成することもできる。例えば、アクチュエータは特定範囲（０％～１００％）の強度で駆動することができるが、一定期間の間より狭い範囲（３０％～７０％）の強度で駆動した場合、ゲイン値ＳＦＧを調整することで、アクチュエータをより広い範囲の強度で駆動させることができる。
【0202】
例えば、ゲイン値ＳＦＧの増加は最低閾値ＳＬＴＨ及び最大閾値ＳＨＴＨを減少させるのと実質的に同じ効果をもたらすことができる。さらに、ゲイン値ＳＦＧの減少は最低閾値ＳＬＴＨ及び最大閾値ＳＨＴＨを増加させるのと実質的に同じ効果をもたらすことができる。即ち、ユーザが設定した最低閾値ＳＬＴＨ及び最大閾値ＳＨＴＨの範囲外にデータが主に分布する場合、自動設定部９６はゲイン値ＳＦＧを調整することで、範囲外のデータを最低閾値ＳＬＴＨ及び最大閾値ＳＨＴＨの範囲内に調整することができる。これにより、有効データが増加することができる。但し、このような実施例では、ユーザが予め設定した最小閾値ＳＬＴＨ及び最大閾値ＳＨＴＨは無視されてもよい。
【0203】
図２６は本発明の他の実施例によるユーザインタフェースを説明するための図である。
【0204】
ユーザインタフェース８０ａはプログラムによって生成されてもよく、プログラムはコンピュータで実行されてもよい。プログラムはコンピュータで読み取り可能な記録媒体に記録されてもよい。
【0205】
図２６を参照すると、ユーザインタフェース８０ａは、プロジェクト管理領域８１、効果管理領域８２、配列領域８３、レファレンスコンテンツ領域８４、タイムライン領域８５を含んでもよい。
【0206】
プロジェクト管理領域８１はプロジェクト管理のための複数のメニューを含んでもよい。例えば、プロジェクト管理領域８１はプロジェクト削除（ｄｅｌｅｔｅ ｐｒｏｊｅｃｔ）、プロジェクト保存（ｓａｖｅ ｐｒｏｊｅｃｔ）、プロジェクト名変換（ｒｅｎａｍｅ ｐｒｏｊｅｃｔ）、及び触覚刺激パターン抽出（ｅｘｐｏｒｔ ｈａｐｔｉｃｓ）メニューを含んでもよい。抽出された触覚刺激パターンは触覚刺激提供装置１０で用いられてもよい。
【0207】
効果管理領域８２は、経路効果（ｐａｔｈ ｅｆｆｅｃｔ）、ドット効果（ｄｏｔ ｅｆｆｅｃｔ）、触覚刺激フレームコピー（ｄｕｐｌｉｃａｔｅ）、効果名変換（ｒｅｎａｍｅ ｅｆｆｅｃｔ）、効果削除（ｄｅｌｅｔｅ ｅｆｆｅｃｔ）メニューを含んでもよい。
【0208】
配列領域８３は複数の仮想アクチュエータを含んでもよい。図２には４行５列の複数の仮想アクチュエータが示されているが、一実施例によると、メニューの操作により仮想アクチュエータの数及び配列を変更することもできる。一実施例によると、ユーザはそれぞれの仮想アクチュエータをドラッグアンドドロップ（ｄｒａｇ ａｎｄ ｄｒｏｐ）して配列の形態を変更してもよい。このような場合、四角配列とは異なり、円形配列や別の形状の配列が具現されてもよい。
【0209】
レファレンスコンテンツ領域８４はレファレンスコンテンツ（ｒｅｆｅｒｅｎｃｅ ｃｏｎｔｅｎｔｓ）を含んでもよい。レファレンスコンテンツは映像データ、サウンドデータ、映像及びサウンドの複合データなどであってもよい。レファレンスコンテンツは時系列情報を有してもよい。プロジェクトにより生成された触覚刺激パターンの時系列情報は、リファレンスコンテンツの時系列情報と対応することができる。
【0210】
タイムライン領域８５にはレファレンスコンテンツの時系列情報を基準として整列された複数の触覚刺激フレームｌ１、ｌ２、ｌ３、ｌ４、ｒ１、ｒ２、ｒ３が表示される。それぞれの触覚刺激フレームの大きさは該当触覚刺激フレームの効果が提供される時間の大きさと比例することができる。
【0211】
タイムライン領域８５は少なくとも１つのトラック（ｔｒａｃｋ）を有し、実施例に応じて複数のトラックを有してもよい。複数のトラックはそれぞれ複数の触覚刺激提供装置に対応することができる。例えば、ユーザが左腕に１つの触覚刺激提供装置１０を装着し、右腕に他の１つの触覚刺激提供装置１０を装着することが予想される場合、タイムライン領域８５は２つのトラックを有するように構成されてもよい。このような場合、第１トラック１ｔｒａｃｋ １はユーザの左腕に装着される触覚刺激提供装置に対応することができる。第２トラックｔｒａｃｋ ２はユーザの右腕に装着される触覚刺激提供装置に対応することができる。
【0212】
それぞれの触覚刺激フレームは特定のトラックに従属的であってもよい。例えば、触覚刺激フレームｌ１、ｌ２、ｌ３、ｌ４は第１トラックｔｒａｃｋ １に従属し、触覚刺激フレームｒ１、ｒ２、ｒ３は第２トラックｔｒａｃｋ ２に従属してもよい。
【0213】
図２７は単位効果である経路効果を説明するための図である。
【0214】
図２７を参照すると、ユーザインタフェース８０ａは経路効果設定領域８６をさらに含む。経路効果設定領域８６はユーザが効果管理領域８２で経路効果メニューを選択した場合に表示されることができる。経路効果メニューを選択した場合、それに対応するようにタイムライン領域８５に触覚刺激フレームｌ１が生成されてもよい。
【0215】
ユーザは効果管理領域８２で経路効果メニューを選択し、配列領域８３に経路８３ｐを描くことができる。一実施例において、ユーザは入力装置であるマウスを利用して地点８３ｐ１、地点８３ｐ２、及び地点８３ｐ３を順にクリックすることで経路８３ｐを描くことができる。他の実施例において、ユーザは入力装置であるマウスを利用してドラッグすることで経路８３ｐを一度に描くこともできる。他の実施例において、入力装置がタッチパッドである場合、ユーザは経路８３ｐを指で一度に描くことができる。描かれた経路８３ｐに対応して、経路効果設定領域８６に経路効果ｐａｔｈ １が生成されてもよい。経路効果ｐａｔｈ １は単位効果であり、１つまたは複数の経路効果を組み合わせるか、または後述するドット効果を組み合わせることで、応用効果を生成してもよい。
【0216】
触覚刺激パターン生成装置９は、ユーザインタフェース８０ａ上の経路８３ｐに対応する複数の仮想アクチュエータに駆動値を設定することで触覚刺激パターンを生成することができる。駆動値は、駆動強度、駆動周波数、駆動時間、駆動間隔などの要素を含んでもよい。
【0217】
一実施例によると、経路８３ｐの各時点に対応する地点に最も近い仮想アクチュエータに駆動値を設定することで触覚刺激パターンを生成することができる。例えば、仮想アクチュエータｖ１２、ｖ２２、ｖ３２、ｖ３３、ｖ３４に順に駆動値を設定することで経路効果ｐａｔｈ １を有する触覚刺激パターンを生成することができる。
【0218】
他の実施例によると、経路８３ｐの各時点に対応する地点を囲む三角形を構成する仮想アクチュエータに駆動値を設定することで触覚刺激パターンを生成することができる。例えば、地点８３ｐ３に触覚刺激を与えるために仮想アクチュエータｖ３４、ｖ３５、ｖ４４に同時に駆動値を設定することができる。このとき、三角形を構成する仮想アクチュエータの駆動値は互いに異なってもよい。地点８３ｐ３に最も近い仮想アクチュエータｖ３４には比較的大きい駆動値を設定し、地点８３ｐ３に相対的に遠い仮想アクチュエータｖ３５、ｖ４４には比較的小さい駆動値を設定することもできる。
【0219】
図２７には触覚刺激フレームｌ１が１つの経路効果ｐａｔｈ １を有するように示されているが、ユーザは経路効果設定領域８６で経路効果追加ボタン（プラスボタン）を押して追加の経路効果を触覚刺激フレームｌ１に挿入することもできる。また、経路効果削除ボタン（マイナスボタン）を押して既に生成された経路効果を触覚刺激フレームから削除することもできる。 触覚刺激フレームｌ１が複数の経路効果を有する場合、それぞれの経路効果は開始時点及び終了時点が独立して設定されてもよい。例えば、最初の経路効果は０．０～０．２秒、２番目の経路効果は０．４～０．７秒、３番目の経路効果は０．６～１．０秒と開始時点及び終了時点が設定されてもよい。
【0220】
ユーザは経路効果設定領域８６でパワー（ｐｏｗｅｒ）数値を調整することで、駆動値が設定された複数の仮想アクチュエータの駆動強度を調整することもできる。パワー数値に応じて地点８３ｐ１、８３ｐ２、８３ｐ３に表示されるグラフィックシンボルの大きさは変化してもよい。例えば、パワー数値が高いと、グラフィックシンボルの大きさが大きく表示され、パワー数値が低いと、グラフィックシンボルの大きさが小さく表示されることができる。従って、ユーザは各地点８３ｐ１、８３ｐ２、８３ｐ３のグラフィックシンボルの大きさに応じて対応する振動力の大きさを直観的に認識することができる。
【0221】
ユーザは経路効果設定領域８６で期間（ｄｕｒａｔｉｏｎ）数値を調整することで、経路効果ｐａｔｈ１の時間の長さを調整することもできる。また、ユーザはタイムライン領域８５の対応する触覚刺激フレームｌ１の側面をドラッグして経路効果１の時間の長さを調整することもできる。
【0222】
ユーザは経路効果設定領域８６で再生パターン（ｐｌａｙｉｎｇ ｐａｔｔｅｒｎ）を調整することもできる。一実施例では、一定速度（ｃｏｎｓｔａｎｔ ｓｐｅｅｄ）が再生パターンとして選択された場合、開始地点８３ｐ１から終了地点８３ｐ３まで一定速度で触覚刺激が加えられるように複数の仮想アクチュエータに駆動値が設定されてもよい。他の実施例では、各地点に対する一定時間（ｃｏｎｓｔａｎｔ ｔｉｍｅ ｔｏ ｅａｃｈ ｐｏｉｎｔ）が再生パターンとして選択された場合、地点８３ｐ１から地点８３ｐ２までは遅い速度、地点８３ｐ２から地点８３ｐ３までは速い速度で触覚刺激が加えられるように複数の仮想アクチュエータに駆動値が設定されてもよい。
【0223】
ユーザは経路効果設定領域８６で経路効果ｐａｔｈ １のテクスチャ（ｔｅｘｔｕｒｅ）を調整することができる。テクスチャがソフト（ｓｏｆｔ）に近いほど、複数のアクチュエータ間の連結性が緊密となり、滑らかに駆動され、テクスチャがラフ（ｒｏｕｇｈ）に近いほど、複数のアクチュエータ間の連結性が低下し、途切れ途切れに駆動されることがある。
【0224】
ユーザは経路効果設定領域８６でダイナミック設定（ｄｙｎａｍｉｃ ｓｅｔｔｉｎｇ）を調整することができる。ダイナミック設定値はフェードイン、フェードアウト、設定なしなどを含んでもよい。
【0225】
図２８は単位効果であるドット効果を説明するための図である。
【0226】
図２８を参照すると、ユーザインタフェース８０ａはドット効果設定領域８７をさらに含む。ドット効果設定領域８７はユーザが効果管理領域８２でドット効果メニューを選択した場合に表示されることができる。ドット効果メニューが選択された場合、タイムライン領域８５に触覚刺激フレームｌ３が生成されることができる。
【0227】
ユーザは効果管理領域８２でドット効果メニューを選択し、配列領域８３に少なくとも１つの仮想アクチュエータｖ２２、ｖ３１、ｖ３２、ｖ３３、ｖ４２を選択することができる。一実施例において、ユーザは入力装置であるマウスを利用してアクチュエータｖ２２、ｖ３１、ｖ３２、ｖ３３、ｖ４２をそれぞれクリックすることができる。ユーザの入力に対応して、ドット効果設定領域８７にドット効果ｄｏｔ１が生成されてもよい。ドット効果ｄｏｔ１、ｄｏｔ２は単位効果であり、１つまたは複数のドット効果を組み合わせるか、または、上述した経路効果と組み合わせることで、応用効果を生成してもよい。
【0228】
図２８には触覚刺激フレームｌ３が２つのドット効果ｄｏｔ１、ｄｏｔ２を有することが示されている。ユーザはドット効果設定領域８７でドット効果追加ボタン（プラスボタン）を押して追加のドット効果を触覚刺激フレームｌ３に挿入することもできる。ユーザはドット効果削除ボタン（マイナスボタン）を押して既に生成されたドット効果ｄｏｔ１、ｄｏｔ２を触覚刺激フレームｌ３から削除することもできる。触覚刺激フレームｌ３が複数のドット効果を有する場合、それぞれのドット効果は開始時点及び終了時点が独立して設定されてもよい。例えば、最初のドット効果は０．０～０．２秒、２番目のドット効果は０．４～０．７秒、３番目のドット効果は０．６～１．０秒と開始時点及び終了時点が設定されてもよい。
【0229】
ユーザはドット効果設定領域８７でパワー数値を調整することで、駆動値が設定された複数の仮想アクチュエータｖ２２、ｖ３１、ｖ３２、ｖ３３、ｖ４２の駆動強度を調整することもできる。パワー数値に応じて仮想アクチュエータｖ２２、ｖ３１、ｖ３２、ｖ３３、ｖ４２に表示されるグラフィックシンボルの大きさは変化してもよい。例えば、パワー数値が高いと、グラフィックシンボルの大きさが大きく表示され、パワー数値が低いと、グラフィックシンボルの大きさが小さく表示されることができる。従って、ユーザは各仮想アクチュエータｖ２２、ｖ３１、ｖ３２、ｖ３３、ｖ４２のグラフィックシンボルの大きさに応じて対応する振動力の大きさを直観的に認識することができる。
【0230】
ユーザはドット効果設定領域８７で期間数値を調整することでドット効果ｄｏｔ１、ｄｏｔ２の時間の長さを調整することもできる。また、ユーザはタイムライン領域８５の対応する触覚刺激フレームｌ３の側面をドラッグしてドット効果の時間の長さを調整することもできる。
【0231】
ユーザはドット効果設定領域８７で再生パターンを調整することができる。再生パターンが離散型（ｄｉｓｃｒｅｔｅ）である場合、第１ドット効果ｄｏｔ１と第２ドット効果ｄｏｔ２はそれぞれの仮想アクチュエータに対して連結性がなく分離された駆動値を有することができる。再生パターンが連結型（ｃｏｎｎｅｃｔｉｎｇ ｄｏｔｓ）である場合、第１ドット効果ｄｏｔ１と第２ドット効果ｄｏ２はまるで１つの効果であるかのように時間的連結性を有し、仮想アクチュエータが時間的に連結された駆動値を有することができる。
【0232】
ユーザはドット効果設定領域８７でテクスチャを調整することができる。テクスチャは再生パターンが連結型である場合に意味があり、第１ドット効果ｄｏｔ１と第２ドット効果ｄｏｔ２間の連結性を滑らかに（ｓｏｆｔ）にするか、やや粗く（ｒｏｕｇｈ）することができる。テクスチャが粗く設定されている場合、再生パターンが連結型であっても離散型に近い感じの触覚刺激が提供され得る。
【0233】
図２９は本発明の一実施例による触覚刺激フレームの配置を説明するための図である。
【0234】
上述したように、触覚刺激フレームｌ１、ｌ３はユーザがマウスなどで直接作製したフレームであってもよい。しかし、触覚刺激フレームｌ４はユーザが作成したフレームではなく、第１オーディオデータに基づいて触覚刺激パターン生成装置９が自動的に生成したフレームであってもよい。例えば、銃声が右側から鳴った場合、ユーザの左腕に装着する触覚刺激提供装置１０と連動する第１トラックｔｒａｃｋ１の触覚刺激フレームｌ４には仮想アクチュエータに駆動強度値が与えられなくてもよい。例えば、触覚刺激フレームｌ４における仮想アクチュエータの駆動強度値はすべて０であってもよい。
【0235】
本実施例によると、タイムライン領域８５は第１オーディオデータに基づく第１触覚刺激フレームと、第２オーディオデータに基づく第２触覚刺激フレームとを含んでもよい。このとき、第１触覚刺激フレームは第１トラックに従属し、第２触覚刺激フレームは第２トラックに従属することができる。
【0236】
以上で参照した図面と記載された発明の詳細な説明は本発明の例示に過ぎず、本発明を説明するためにだけに用いられており、意味の限定や特許請求の範囲に記載された本発明の範囲を制限するために用いられたものではない。よって、本技術分野の通常の知識を有する者であれば、これから様々な変形及び均等な他の実施例が可能であることが理解できるであろう。従って、本発明の真の技術的保護範囲は添付の特許請求の範囲の技術的思想によって定められるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】