知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-21
(45)【発行日】2024-03-01
(54)【発明の名称】振動触覚をフィードバックする方法およびデバイス
(51)【国際特許分類】
G06F 3/01 20060101AFI20240222BHJP
H04R 1/00 20060101ALI20240222BHJP
H04R 3/00 20060101ALI20240222BHJP
A63F 13/285 20140101ALI20240222BHJP
【ＦＩ】
G06F3/01 560
H04R1/00 310G
H04R3/00 310
A63F13/285
G06F3/01 514
【請求項の数】
14
(21)【出願番号】P 2020537047
(86)(22)【出願日】2018-09-17
(65)【公表番号】
(43)【公表日】2020-12-24
(86)【国際出願番号】 EP2018075103
(87)【国際公開番号】W WO2019053273
(87)【国際公開日】2019-03-21
【審査請求日】2021-06-10
(31)【優先権主張番号】17191501.0
(32)【優先日】2017-09-15
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】520091111
【氏名又は名称】フォース・ディメンション・エスアーエルエル
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(72)【発明者】
【氏名】ヘルマー，パトリック
(72)【発明者】
【氏名】コンティ，フランソワ
(72)【発明者】
【氏名】グランジュ，セバスチャン
(72)【発明者】
【氏名】ルイエ，パトリス
【審査官】木内 康裕
(56)【参考文献】
【文献】特開２０１５－０９５２６４（ＪＰ，Ａ）
【文献】特表２００５－５０６６１３（ＪＰ，Ａ）
【文献】特開２０１７－０６８８７４（ＪＰ，Ａ）
【文献】特開２０１６－０８２５３６（ＪＰ，Ａ）
【文献】特開２０１２－１６８９４７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８－３／０４８９５
Ｈ０４Ｒ １／００
Ｈ０４Ｒ ３／００
Ａ６３Ｆ １３／２８５
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのアクチュエータを備えているユーザインターフェースデバイスのユーザに振動触覚力フィードバックを提供する方法であって、前記アクチュエータは、前記ユーザに振動触覚力フィードバックと運動感覚力フィードバックとを提供するように適応し、アプリケーションデバイスと通信するように接続している、方法において、前記方法は、－前記アプリケーションデバイスから音声情報および／または音響情報を取得すること；
－前記取得した音声情報および／または音響情報から振動触覚力フィードバック制御情報を生成することであって、前記振動触覚力フィードバック制御情報は、前記ユーザに提供する少なくとも１つの振動触覚力フィードバックを決定する、前記生成すること；
－前記アプリケーションデバイスから運動感覚力フィードバック制御情報を取得することであって、前記運動感覚力フィードバック制御情報は、前記ユーザに提供する少なくとも１つの運動感覚力フィードバックを決定する、前記取得すること；
－前記振動触覚力フィードバック制御情報と前記アプリケーションデバイスから取得した運動感覚力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を生成し、前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報は、前記ユーザに提供する少なくとも１つの振動触覚力フィードバックおよび前記ユーザに提供する少なくとも１つの運動感覚力フィードバックを決定し；
前記運動感覚力フィードバック制御情報および／または前記振動触覚力フィードバック制御情報は、前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報が、少なくとも１つのアクチュエータ出力制限を超えないように修正され、
- 前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を用いて、前記ユーザインターフェースデバイスの前記少なくとも１つのアクチュエータを制御し、前記ユーザに対する少なくとも１つの振動触覚力フィードバックおよび前記ユーザに対する少なくとも１つの運動感覚力フィードバックの両方を生成すること；
を含む、
方法。
【請求項2】
前記少なくとも１つのアクチュエータ出力制限は、以下のうちの少なくとも１つ：- 前記少なくとも１つのアクチュエータが一定期間提供し得る静的な最大アクチュエータ出力、
- 前記少なくとも１つのアクチュエータが動的または瞬間的に提供し得る、動的または瞬間的な最大アクチュエータ出力、
- 前記少なくとも１つのアクチュエータが周期的に提供し得る、周期的な最大アクチュエータ出力、
- 前記少なくとも１つのアクチュエータが時間とともに変化するように提供し得る、時間とともに変化する最大アクチュエータ出力、
である、請求項１に記載の方法。
【請求項3】
前記運動感覚力フィードバック制御情報および／または振動触覚力フィードバック制御情報は、少なくとも以下のうちの１つ：－スケーリング、
－ピッチング、
－周波数シフト、
－フィルタリング、
－帯域幅制限、
－等化、
－切り捨て、
－圧縮、
－遅延、
－畳み込み
によって少なくとも部分的に修正される、請求項１または２に記載の方法。
【請求項4】
振動触覚力フィードバック制御情報の前記生成は、－前記音声情報および／または音響情報の少なくとも一部をスケーリングする、
－前記音声情報および／または音響情報の少なくとも一部をピッチングする、
－前記音声情報および／または音響情報の少なくとも一部を周波数シフトする、
－前記音声情報および／または音響情報の少なくとも一部をフィルタリングする、
－前記音声情報および／または音響情報の少なくとも一部を帯域幅制限する、
－前記音声情報および／または音響情報の少なくとも一部を等化する、
－前記音声情報および／または音響情報の少なくとも一部を切り捨てる、
－前記音声情報および／または音響情報の少なくとも一部を圧縮する、
－前記音声情報および／または音響情報の少なくとも一部を遅延させる、
－前記音声情報および／または音響情報の少なくとも一部を畳み込む、
－前記音声情報および／または音響情報の少なくとも一部をバッファリングする、
－連続性を維持する人工的音声情報および／または音響情報のコンテンツを生成する、
－音声情報および／または音響情報をリサンプリングする、
－所望数の音声情報および／または音響情報をバッファリングするためにリサンプリングレートを変調する、
－音声情報および／または音響情報を暗号化する、
－音声情報および／または音響情報をパケット化する、
の少なくとも１つを含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記音声情報および／または音響情報は、少なくとも２つの異なる音声情報および／または音響情報源からの音声情報および／または音響情報を含み、前記音声情報および／または音響情報の前記取得は、前記少なくとも２つの異なる音声情報および／または音響情報源から音声情報および／または音響情報を選択すること、および／または前記少なくとも２つの異なる音声情報および／または音響情報源からの音声情報および／または音響情報をミキシングすることを含み、前記ミキシングした音声情報および／または音響情報は、前記少なくとも１つのアクチュエータを制御するために使用される、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記少なくとも１つのアクチュエータは、２つのモータを備え、前記少なくとも１つのアクチュエータの前記制御は、間のトルクオフセットが固定しているか可変である前記２つのモータを操作することを含み、前記トルクオフセットは、好ましくは、前記２つのモータのうちの第１のモータが第１の回転方向のトルクオフセットを提供し、前記２つのモータのうちの第２のモータが前記第１の回転方向とは逆の第２の回転方向のトルクオフセットを提供するように制御される、請求項１～５のいずれか一項に記載の方法。
【請求項7】
ユーザに振動触覚力フィードバックおよび運動感覚力フィードバックを提供するように適応した少なくとも１つのアクチュエータを備えているユーザインターフェースデバイスの前記ユーザに、前記振動触覚力フィードバックを提供するための振動触覚力フィードバック提供デバイスであって、前記デバイスは、－制御ユニット、
－前記制御ユニットに通信するように接続された入力部であって、アプリケーションデバイスから音声情報および／または音響情報を取得して前記取得した音声情報および／または音響情報を前記制御ユニットに提供するように適応している、入力部
を有し；
前記制御ユニットは、
－前記取得した音声情報および／または音響情報から振動触覚力フィードバック制御情報を生成し、前記振動触覚力フィードバック制御情報は、前記ユーザに提供する少なくとも１つの振動触覚力フィードバックを決定する
ように適応し；
－アプリケーションデバイスから運動感覚力フィードバック制御情報を取得し、前記運動感覚力フィードバック制御情報は、ユーザに提供されるべき少なくとも１つの運動感覚力フィードバックを決定し、
－前記アプリケーションデバイスから取得した前記振動触覚力フィードバック制御情報と前記運動感覚力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を生成し、
－前記制御ユニットは、前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報がアクチュエータ出力制限を超えないように、前記運動感覚力フィードバック制御情報および振動触覚力フィードバック制御情報を修正する
ように適応し、
－前記制御ユニットが、前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を、前記ユーザインターフェースデバイスの少なくとも１つのアクチュエータに提供するための少なくとも１つの出力を備え、
- 前記制御ユニットは、前記ミキシングした振動触覚力フィードバック制御情報と前記運動感覚力フィードバック制御情報を用いて前記ユーザインターフェースデバイスの前記少なくとも１つのアクチュエータを制御して、前記ユーザに対して少なくとも１つの振動触覚力フィードバックおよび少なくとも１つの運動感覚力フィードバックの両方を生成するよう適応している、デバイス。
【請求項8】
- 前記少なくとも１つのアクチュエータが一定期間提供し得る静的な最大アクチュエータ出力、- 前記少なくとも１つのアクチュエータが動的または瞬間的に提供し得る、動的または瞬間的な最大アクチュエータ出力、
- 前記少なくとも１つのアクチュエータが周期的に提供し得る、周期的な最大アクチュエータ出力、
- 前記少なくとも１つのアクチュエータが時間とともに変化するように提供し得る、時間とともに変化する最大アクチュエータ出力、
である、請求項７に記載のデバイス。
【請求項9】
前記制御ユニットは、運動感覚力フィードバック制御情報および／または振動触覚力フィードバック制御情報を、少なくとも以下のうちの１つ：－スケーリング、
－ピッチング、
－周波数シフト、
－フィルタリング、
－帯域幅制限、
－等化、
－切り捨て、
－圧縮、
－遅延、
－畳み込み
によって少なくとも部分的に修正されるように適応している、請求項７または８に記載のデバイス。
【請求項10】
前記制御ユニットは、－前記取得した音声情報および／または音響情報の少なくとも一部をスケーリングする、
－前記取得した音声情報および／または音響情報の少なくとも一部をピッチングする、
－前記取得した音声情報および／または音響情報の少なくとも一部を周波数シフトする、
－前記取得した音声情報および／または音響情報の少なくとも一部をフィルタリングする、
－前記取得した音声情報および／または音響情報の少なくとも一部を帯域幅制限する、
－前記取得した音声情報および／または音響情報の少なくとも一部を等化する、
－前記取得した音声情報および／または音響情報の少なくとも一部を切り捨てる、
－前記取得した音声情報および／または音響情報の少なくとも一部を圧縮する、
－前記取得した音声情報および／または音響情報の少なくとも一部を遅延させる、
－前記取得した音声情報および／または音響情報の少なくとも一部を畳み込む、
－前記音声情報および／または音響情報の少なくとも一部をバッファリングする、
－連続性を維持する人工的音声情報および／または音響情報のコンテンツを生成する、
－音声情報および／または音響情報をリサンプリングする、
－所望数の音声情報および／または音響情報をバッファリングするためにリサンプリングレートを変調する、
－音声情報および／または音響情報を暗号化する、
－音声情報および／または音響情報をパケット化する、
の少なくとも１つによって前記振動触覚力フィードバック制御情報を生成するように適応している、請求項７～９のいずれか一項に記載のデバイス。
【請求項11】
前記制御ユニットの前記入力は、少なくとも２つの異なる音声情報および／または音響情報源から音声情報および／または音響情報を取得または選択するように、かつ／または前記少なくとも２つの異なる音声情報および／または音響情報源からの音声情報および／または音響情報をミキシングするように適応し、前記ミキシングした音声情報および／または音響情報は、前記少なくとも１つのアクチュエータを制御するために使用され；前記制御ユニットは、少なくとも２つの異なる音声情報および／または音響情報源からの前記取得した音声情報および／または音響情報の各々に対して振動触覚力フィードバック制御情報を生成するように適応し、それによって少なくとも２つの振動触覚力フィードバック制御情報が生成され、前記振動触覚力フィードバック制御情報の各々が前記ユーザに提供する少なくとも１つの振動触覚力フィードバックを決定する、
請求項７～１０のいずれか一項に記載のデバイス。
【請求項12】
請求項７～１１のいずれか一項に記載のデバイス、およびユーザに振動触覚力フィードバックを提供するように適応した少なくとも１つのアクチュエータを備えているユーザインターフェースデバイスを含むシステム。
【請求項13】
前記少なくとも１つのアクチュエータは、２つのモータを備え、前記制御ユニットは、間のトルクオフセットが固定しているか可変である前記２つのモータを操作するように適応し、前記トルクオフセットは、好ましくは、前記２つのモータのうちの第１のモータが第１の回転方向のトルクオフセットを提供し、前記２つのモータのうちの第２のモータが前記第１の回転方向とは逆の第２の回転方向のトルクオフセットを提供するように制御される、請求項１２に記載のシステム。
【請求項14】
コンピュータ可読媒体に保存されている実行可能なソフトウェアコードを含み、コンピューティングデバイスを用いて実行されるときに、請求項１～６のいずれか一項に記載の方法の工程を実行する、コンピュータソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、全般的にユーザインターフェースデバイスに関し、特に、ユーザインターフェースデバイスを用いる振動触覚力フィードバックに関する。
【背景技術】
【0002】
ゲーム環境およびシミュレーション環境は、ユーザインターフェースデバイスを含む環境（以下、ユーザ－マシン相互作用環境と称する）の例であり、ユーザインターフェースデバイスを用いてユーザは、対応するアプリケーションハードウェアおよび／またはソフトウェア（以下、ショートアプリケーションデバイス）と相互作用できる例を含む。
【0003】
当初このようなユーザインターフェースデバイスは、ユーザがアプリケーションデバイスに制御コマンド、データ、音声などを送信（入力）してアプリケーションデバイスと相互作用できるようにする入力デバイスであった。当初アプリケーションデバイスは、音声情報および／または映像情報のみをユーザに提供していた。
【0004】
このようなユーザ－マシン相互作用環境の一例が、コンピュータ運転ゲームの形態であるアプリケーションデバイスであり、この場合のユーザインターフェースは、ステアリングホイールを備えているステアリングホイール構成で、このステアリングホイールを用いてユーザは、コンピュータ運転ゲームによって表示される車両の運転方向を制御（操縦）できる。
【0005】
高度なユーザ－マシン相互作用環境であれば、ユーザには力フィードバックも提供される。そのためには、アプリケーションデバイスは、ユーザに提供する力フィードバックを決定する具体的な力フィードバックデータをユーザインターフェースデバイスに提供する。力フィードバックをユーザに提供するために、ユーザインターフェースデバイスは、アプリケーションデバイスからの力フィードバックデータによって制御される力フィードバック手段を備えている。
【0006】
このようなユーザ－マシン相互作用環境の一例が、コンピュータ運転ゲームの形態であるアプリケーションデバイスであり、この場合のユーザインターフェースは、ステアリングホイールだけでなく力フィードバック手段も備えているステアリングホイール構成である。ステアリングホイール構成を用いると、ユーザは、コンピュータ運転ゲームによって表示される車両の運転方向を制御（操縦）できる。力フィードバック手段は、コンピュータ運転ゲームから受信した具体的な力フィードバックデータを基に、ステアリングホイールに作用する力を発生させて、実際の車両をその実際のステアリングホイールで操縦するときにユーザが感じる力感覚をユーザに提供する。
【発明の概要】
【発明が解決しようとする課題】
【0007】
振動触覚力フィードバックに関する先行技術の解決策の欠点を克服するために、本発明は、独立請求項に記載の主題を提供し、好適な変形例、実施形態、実施例などは従属請求項に記載されている。
【課題を解決するための手段】
【0008】
特に、本発明は、少なくとも１つのアクチュエータを備えているユーザインターフェースデバイスのユーザに振動触覚フィードバックを提供する方法であって、アクチュエータは、ユーザに振動触覚フィードバックを提供するように適応し、アプリケーションデバイスと通信するように接続している、方法において、音声情報および／または音響情報が、アプリケーションデバイスから取得される、方法を提供する。
【0009】
運動感覚力フィードバックは、ユーザ側のフィードバック感覚が（主に）ユーザの筋肉を介して知覚され、ユーザがフィードバックの方向（例えば上向きの力）を知覚するという力フィードバックである。いくつかの実施形態では、周波数が１２Ｈｚ未満の力フィードバックを運動感覚力フィードバックとみなしてよい。
【0010】
これとは対照に、振動触覚力フィードバックは、人間の触覚能力に対して振動力またはトルクの感覚を提供する。例えば、振動触覚力フィードバックは、振動力フィードバックの形態であってよい。いくつかの実施耐形態では、振動触覚力フィードバックは、１２Ｈｚよりも高い周波数で始まることがあり、この場合、人間の感覚器官は方向のフィードバック情報を知覚できない（すなわちユーザはフィードバックが方向を含んでいることを感じられない）。さらに他の実施形態では、周波数は、５０～－１５０Ｈｚの範囲内であってよい。
【0011】
本発明によれば、取得された音声情報および／または映像情報は、以下の周波数閾値のうちの１つを上回る周波数を含んでいてよい。
（１２＋ａ）Ｈｚ
式中、０≦ａ＜４０００
（１２＋ａ）Ｈｚ
式中、０≦ａ＜４０００
【0012】
さらに他の実施形態では、取得された、音声情報および／または映像情報は、以下の周波数閾値のうちの１つを上回る周波数を含んでいてよい。
（５０＋ａ）Ｈｚ
式中、０≦ａ＜１００
（５０＋ａ）Ｈｚ
式中、０≦ａ＜１００
【0013】
特に本発明のユーザインターフェースデバイスは、ユーザインターフェースデバイスのユーザとこのユーザインターフェースデバイスと通信しているアプリケーションデバイスとの間の双方向通信を実現するデバイスであってよい。特に、本発明のユーザインターフェースデバイスは、そのユーザが、ユーザの身体の一部（例えば手、片足／両足、上肢および／または下肢、移動している／動いている全身）を用いてユーザインターフェースデバイスの該当部分（例えばステアリングホイール、ペダル、片手用のジョイスティック、データグローブ、データガーメント）を操作することによって、アプリケーションデバイスに対する制御コマンドを入力できるようにすると同時に、ユーザにフィードバック情報を提供する。フィードバック情報は、振動触覚力フィードバックを含んでいるが、運動感覚力フィードバックも含んでいてよい。
【0014】
ユーザインターフェースデバイスの例には、
－ステアリングホイールアセンブリ、
－コンピュータゲーム入力デバイス、
－コンピュータジョイスティック、
－キーボード、
－ペダルまたはペダルアセンブリ、
－ボタン、
－ハンドル、
－座席、
－クッション、
－ヘルメット、
－ゴーグル、
－ガーメント、
－ウェアラブルデバイス、
－ハンドヘルド入力デバイス、
－グローブ、
－コンピュータゲーム用のスポーツ機器シミュレーション、
－コンピュータゲーム用の武器シミュレーションデバイス、
－コンピュータゲーム用の運転コックピットシミュレーションデバイス、
－コンピュータゲーム用のパイロットコックピット（または操縦翼面）シミュレーションデバイス、
－コンピュータゲーム用の舵手／船長／艦長の舵輪シミュレーションデバイス、
－医療機器
が含まれる。
－ステアリングホイールアセンブリ、
－コンピュータゲーム入力デバイス、
－コンピュータジョイスティック、
－キーボード、
－ペダルまたはペダルアセンブリ、
－ボタン、
－ハンドル、
－座席、
－クッション、
－ヘルメット、
－ゴーグル、
－ガーメント、
－ウェアラブルデバイス、
－ハンドヘルド入力デバイス、
－グローブ、
－コンピュータゲーム用のスポーツ機器シミュレーション、
－コンピュータゲーム用の武器シミュレーションデバイス、
－コンピュータゲーム用の運転コックピットシミュレーションデバイス、
－コンピュータゲーム用のパイロットコックピット（または操縦翼面）シミュレーションデバイス、
－コンピュータゲーム用の舵手／船長／艦長の舵輪シミュレーションデバイス、
－医療機器
が含まれる。
【0015】
少なくとも１つのアクチュエータは、振動触覚力フィードバックのみを提供できるように特別に設計された１つ以上のアクチュエータを含んでいてよい。さらに他の例では、少なくとも１つのアクチュエータは、振動触覚力フィードバックと運動感覚力フィードバックの両方を提供するように適応した１つ以上のアクチュエータを含んでいてよい。さらに他の例では、少なくとも１つのアクチュエータは、振動触覚力フィードバックのみを提供するように適応した１つ以上のアクチュエータと、運動感覚力フィードバックのみを提供するように適応した１つ以上のアクチュエータとを含んでいてよい。
【0016】
アプリケーションデバイスは、少なくとも音声情報および／または音響情報を提供するように適応したハードウェアとソフトウェアの少なくとも一方からなるものであってよい。
【0017】
音声情報は、有線および／または無線の通信リンクを介してアプリケーションデバイスからユーザインターフェースデバイスに通信されるアナログおよび／またはデジタルの音声データ信号の形態で提供されてよい。音響情報は、空気を介してユーザインターフェースデバイスのマイクロフォンなどに送信するために、アプリケーションデバイスのスピーカを用いて提供されてよい。
【0018】
音声情報および／または音響情報を取得することは、概してアプリケーションデバイスによって提供される音声情報および／または音響情報から、その１つ以上の特定部分を選択することを含んでいてよい。例えば、アプリケーションデバイスが様々な（論理および／または物理）チャネル、通信リンク／経路などを介して音声情報および／または音響情報を提供する場合、取得する音声情報および／または音響情報として１つ以上の特定のチャネルの音声情報および／または音響情報が選択されてよく、その一方で、他のチャンネルからの音声情報および／または音響情報は選択されない。換言すると、音声情報および／または音響情報は、少なくとも２つの異なる音源から取得されてよい。
【0019】
音声情報および／または音響情報は、少なくとも２つの異なる音声情報源および／または音響情報源からの音声情報および／または音響情報を含んでいてよい。
【0020】
音声情報および／または音響情報の取得は、少なくとも２つの異なる音声情報源および／または音響情報源から音声情報および／または音響情報を選択する、および／または少なくとも２つの異なる音声情報源および／または音響情報源から音声情報および／または音響情報をミキシングすることを含んでいてよく、ミキシングした音声情報および／または音響情報は、少なくとも１つのアクチュエータを制御するために使用される。
【0021】
アプリケーションデバイスは、映像情報（ここでの映像は静止画も包含する）も提供してよい。このような場合、音声情報は、音声情報と映像情報とを一緒に、音声情報が抽出されるアプリケーションデバイスからユーザインターフェースデバイスに送信することによって取得されてよい。
【0022】
アプリケーションデバイスの例には、
－コンピュータゲーム、
－コンピュータトレーニングシステム、
－運転シミュレーション、
－飛行シミュレーション、
－水上車両操縦シミュレーション、
－スポーツシミュレーション、
－射撃シミュレーション、
－医療シミュレーション、
－ロボット装置を操作するためのアプリケーション、
－遠隔配置されたロボット装置を遠隔操作するためのアプリケーション
が含まれ、この各々がハードウェアおよび／またはソフトウェアとして組み込まれる。
－コンピュータゲーム、
－コンピュータトレーニングシステム、
－運転シミュレーション、
－飛行シミュレーション、
－水上車両操縦シミュレーション、
－スポーツシミュレーション、
－射撃シミュレーション、
－医療シミュレーション、
－ロボット装置を操作するためのアプリケーション、
－遠隔配置されたロボット装置を遠隔操作するためのアプリケーション
が含まれ、この各々がハードウェアおよび／またはソフトウェアとして組み込まれる。
【0023】
特に、音声情報および／または音響情報を取得して振動触覚力フィードバックを提供する本発明の上記の態様は、必要に応じて、どの音声情報および／または音響情報をどのようにアプリケーションデバイスからユーザインターフェースデバイスに通信するかに関するものである。
【0024】
「どのように」に関して注意すべきことは、ユーザインターフェースデバイスは、特にゲームの分野では、特定の通信プロトコル、例えばヒューマンインターフェースデバイス（ＨＩＤ）、またさらに詳細には、その拡張版の物理インターフェースデバイス（ＰＩＤ）と呼ばれるものを用いることが多いということである。このようなユーザインターフェースデバイスは、アプリケーションデバイスからの低レート更新コマンドを基に、力の基本要素および作用をローカルで（すなわちユーザインターフェースデバイス自体によって）レンダリングするように制限される。その結果、ユーザインターフェースデバイスでレンダリングされた力は、不正確さ、待ち時間（遅延）および不連続性（例えば力の段階）がみられることがある。
【0025】
このような場合、音声情報および／または音響情報は、アプリケーションデバイスからユーザインターフェースデバイスへ送信するそのような特定の通信プロトコルを用いることによって取得されてよい。これは、例えば、音または専用音声チャネルを再生するために使用されるアプリケーションデバイスの音声（または音声／映像）チャネルの１つまたは複数を介して、有線（例えばアナログ、デジタル同軸、デジタル光、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ、ＵＳＢ、イーサネット、ＦｉｒｅＷｉｒｅまたはＴｈｕｎｄｅｒｂｏｌｔケーブル）接続か、無線（例えばＢｌｕｅｔｏｏｔｈまたはＷｉ－Ｆｉ）接続のいずれかを用いて達成されてよい。音声情報および／または音響情報は、ユーザインターフェースデバイス、さらに詳細にはその制御部に直接送信されてよく、制御部では、取得した音声情報および／または音響情報が以下に記載するようにさらに処理されてよい。ユーザインターフェースデバイスは、取得した音声情報および／または音響情報を音声レンダリング機器（例えばスピーカシステムまたはヘッドフォン）に提供できるように、音声（または音声／映像）出力接続部（有線または無線）をパススルー機能として有していてよい。
【0026】
他の例では、ユーザインターフェース、および特にその少なくとも１つのアクチュエータは、音声情報および／または音響情報をユーザインターフェースデバイスの特定の通信プロトコルへの制限なしにアプリケーションデバイスから取得するさらに別の制御ユニットによって直接対処され制御されてよい。このようなさらに別の制御ユニットは、ユーザインターフェースデバイスに備わっていてもよいし、あるいはアプリケーションデバイスとユーザインターフェースデバイスとの間で通信するように配置された別の構成要素であってもよい。ここで、音声情報および／または音響情報は、例えば直接ＵＳＢ、ＦｉｒｅＷｉｒｅ、Ｔｈｕｎｄｅｒｂｏｌｔ、Ｅｔｈｅｒｎｅｔを介して高通信レートで送信されてよく、かつ／または低レートでパケット化されてもよい。
【0027】
それに伴い、音声情報および／または音響情報は、
－アプリケーションデバイスの汎用音声出力ポート、
－アプリケーションデバイスの専用音声出力ポートまたはチャネル、
－アプリケーションデバイスとの有線通信リンク、
－アプリケーションデバイスとの無線通信リンク、
－アプリケーションデバイスの力フィードバック出力ポート、
－スピーカ、
－マイクロフォン、
－センサ
の少なくとも１つを介して取得されてよい。
－アプリケーションデバイスの汎用音声出力ポート、
－アプリケーションデバイスの専用音声出力ポートまたはチャネル、
－アプリケーションデバイスとの有線通信リンク、
－アプリケーションデバイスとの無線通信リンク、
－アプリケーションデバイスの力フィードバック出力ポート、
－スピーカ、
－マイクロフォン、
－センサ
の少なくとも１つを介して取得されてよい。
【0028】
本方法はさらに、取得した音声情報および／または音響情報を基に振動触覚力フィードバック制御情報を生成することを含んでいてよく、振動触覚力フィードバック制御情報は、ユーザに提供する少なくとも１つの振動触覚力フィードバックを決定する。振動触覚力フィードバック制御情報の生成は、取得した音声情報および／または音響情報の整形とも呼ぶことがある。
【0029】
振動触覚力フィードバック制御情報の生成（すなわち整形）は、適応的であってよく、さらに他のデータを必要とする可能性がある。
【0030】
振動触覚力フィードバック制御情報の生成は、アプリケーションデバイスによって（部分的に）達成されてよく、その場合、アプリケーションデバイスは、振動触覚力フィードバック制御情報をユーザインターフェースデバイスに提供し、かつ／またはユーザインターフェースデバイスおよびその制御ユニットのそれぞれによって（部分的に）達成されてよく、かつ／または前述したさらに他の制御ユニットによって（部分的に）達成されてよい。
【0031】
振動触覚力フィードバック制御情報の生成は、（同じく、または代わりに）例えば少なくとも１つのアクチュエータを用いて物理的に達成されてよい。例えば、アクチュエータが特定の周波数または特定の周波数範囲を有する信号のみに応答して振動触覚力フィードバックを生成することが可能であってよい。その場合、特定の周波数または特定の周波数範囲を有する取得後の音声情報および／または音響情報のその部分のみがそのアクチュエータを作動させることになる。このような「アクチュエータ固有の整形」は、振動触覚力フィードバック制御情報を物理的に生成するための一例である。
【0032】
そのために、本方法によれば、振動触覚力フィードバック制御情報は、
－取得した音声情報および／または音響情報の少なくとも一部をスケーリングする、
－取得した音声情報および／または音響情報の少なくとも一部をピッチングする、
－取得した音声情報および／または音響情報の少なくとも一部を周波数シフトする、
－取得した音声情報および／または音響情報の少なくとも一部をフィルタリングする、
－取得した音声情報および／または音響情報の少なくとも一部を帯域幅制限する、
－取得した音声情報および／または音響情報の少なくとも一部を等化する、
－取得した音声情報および／または音響情報の少なくとも一部を切り捨てる、
－取得した音声情報および／または音響情報の少なくとも一部を圧縮する、
－取得した音声情報および／または音響情報の少なくとも一部を遅延させる、
－取得した音声情報および／または音響情報の少なくとも一部を畳み込む、
－音声情報および／または音響情報の少なくとも一部をバッファリングする、
－連続性を維持する人工的音声情報および／または音響情報のコンテンツを生成する、
－音声情報および／または音響情報をリサンプリングする、
－所望数の音声情報および／または音響情報をバッファリングするためにリサンプリングレートを変調する、
－音声情報および／または音響情報を暗号化する、
－音声情報および／または音響情報をパケット化する、
の少なくとも１つによって生成されてよい。
－取得した音声情報および／または音響情報の少なくとも一部をスケーリングする、
－取得した音声情報および／または音響情報の少なくとも一部をピッチングする、
－取得した音声情報および／または音響情報の少なくとも一部を周波数シフトする、
－取得した音声情報および／または音響情報の少なくとも一部をフィルタリングする、
－取得した音声情報および／または音響情報の少なくとも一部を帯域幅制限する、
－取得した音声情報および／または音響情報の少なくとも一部を等化する、
－取得した音声情報および／または音響情報の少なくとも一部を切り捨てる、
－取得した音声情報および／または音響情報の少なくとも一部を圧縮する、
－取得した音声情報および／または音響情報の少なくとも一部を遅延させる、
－取得した音声情報および／または音響情報の少なくとも一部を畳み込む、
－音声情報および／または音響情報の少なくとも一部をバッファリングする、
－連続性を維持する人工的音声情報および／または音響情報のコンテンツを生成する、
－音声情報および／または音響情報をリサンプリングする、
－所望数の音声情報および／または音響情報をバッファリングするためにリサンプリングレートを変調する、
－音声情報および／または音響情報を暗号化する、
－音声情報および／または音響情報をパケット化する、
の少なくとも１つによって生成されてよい。
【0033】
運動感覚力フィードバック制御情報および／または振動触覚力フィードバック制御情報は、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とがアクチュエータ出力制限を超えないように修正されてよい。
【0034】
さらに、運動感覚力フィードバック制御情報および／または振動触覚力フィードバック制御情報は、
－スケーリング、
－ピッチング、
－周波数シフト、
－フィルタリング、
－帯域幅制限、
－等化、
－切り捨て、
－圧縮、
－遅延、
－畳み込み
の少なくとも１つによって少なくとも部分的に修正されてよい。
－スケーリング、
－ピッチング、
－周波数シフト、
－フィルタリング、
－帯域幅制限、
－等化、
－切り捨て、
－圧縮、
－遅延、
－畳み込み
の少なくとも１つによって少なくとも部分的に修正されてよい。
【0035】
音声情報および／または音響情報が少なくとも２つの異なる音源から取得される場合、少なくとも２つの異なる音声情報源および／または音響情報源から取得した音声情報および／または音響情報の各々に対して振動触覚力フィードバック制御情報が生成され、それによって少なくとも２つの振動触覚力フィードバック制御情報が生成され、その各々がユーザに提供する少なくとも１つの振動触覚力フィードバックを決定する。
【0036】
さらに、本方法は、ユーザに対して少なくとも１つの振動触覚力フィードバックを生成するために振動触覚力フィードバック制御情報を用いてユーザインターフェースデバイスの少なくとも１つのアクチュエータを制御することを含んでいてよい。
【0037】
少なくとも１つのアクチュエータは、
－電気モータ、
－ステップモータ、
－ブラシレスモータ、
－電気力学的励磁機、
－スピーカ、
－ボイスコイルトランスデューサ、
－可動磁石トランスデューサ、
－圧電トランスデューサ、
－コンデンサ構成、
－電磁石構成、
－摩擦系トランスデューサ、
－粒子ブレーキ、
－偏心回転質量、
－線形共振アクチュエータ、
－流体が入っている可撓性本体（これは例えば、クッションに座っているユーザが振動を感じるように揺らすことができる水／空気を充満させたクッションであってよい）、
の少なくとも１つを含んでいてよい。
－電気モータ、
－ステップモータ、
－ブラシレスモータ、
－電気力学的励磁機、
－スピーカ、
－ボイスコイルトランスデューサ、
－可動磁石トランスデューサ、
－圧電トランスデューサ、
－コンデンサ構成、
－電磁石構成、
－摩擦系トランスデューサ、
－粒子ブレーキ、
－偏心回転質量、
－線形共振アクチュエータ、
－流体が入っている可撓性本体（これは例えば、クッションに座っているユーザが振動を感じるように揺らすことができる水／空気を充満させたクッションであってよい）、
の少なくとも１つを含んでいてよい。
【0038】
少なくとも１つのアクチュエータは、ユーザインターフェースデバイスの一部に接続または連結されてよく、ユーザは、通常または強制的にアクチュエータを使用するためにユーザインターフェースデバイスに接触する。例えば、ステアリングホイール構成の場合、少なくとも１つのアクチュエータは、少なくとも１つのアクチュエータの作動により、ステアリングホイールと接触しているユーザに対して振動触覚力フィードバックを生成するように、ステアリングホイールに構成されてよく、かつ／またはステアリングホイールに接続されてよい。
【0039】
音声情報および／または音響情報が少なくとも２つの異なる音源から取得される場合、およびユーザインターフェースデバイスが少なくとも２つのアクチュエータを備えている場合、本方法はさらに、
－少なくとも２つの振動触覚力フィードバック制御情報のいずれか一方を用いて少なくとも２つのアクチュエータの少なくとも一方を制御すること、および
－少なくとも２つの振動触覚力フィードバック制御情報の残りのうち少なくとも１つを用いて少なくとも２つのアクチュエータの少なくとももう一方を制御すること
を含んでいてよい。
－少なくとも２つの振動触覚力フィードバック制御情報のいずれか一方を用いて少なくとも２つのアクチュエータの少なくとも一方を制御すること、および
－少なくとも２つの振動触覚力フィードバック制御情報の残りのうち少なくとも１つを用いて少なくとも２つのアクチュエータの少なくとももう一方を制御すること
を含んでいてよい。
【0040】
これにより、好ましくはユーザの身体の様々な場所および／または様々な部分に、様々な振動触覚力フィードバック感覚を提供することが可能になる。
【0041】
前述したように、ユーザインターフェースデバイスの少なくとも１つのアクチュエータは、ユーザに力フィードバックを提供するようにも適応していてよく、その場合、本方法はさらに、
－アプリケーションデバイスから取得した振動触覚フィードバック制御情報と力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とを生成し、力フィードバック制御情報は、ユーザに提供する少なくとも１つの力フィードバックを決定すること、
－ユーザに対して少なくとも１つの振動触覚フィードバックおよび少なくとも１つの力フィードバックを生成するために、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とを用いてユーザインターフェースデバイスの少なくとも１つのアクチュエータを制御すること
を含んでいてよい。
－アプリケーションデバイスから取得した振動触覚フィードバック制御情報と力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とを生成し、力フィードバック制御情報は、ユーザに提供する少なくとも１つの力フィードバックを決定すること、
－ユーザに対して少なくとも１つの振動触覚フィードバックおよび少なくとも１つの力フィードバックを生成するために、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とを用いてユーザインターフェースデバイスの少なくとも１つのアクチュエータを制御すること
を含んでいてよい。
【0042】
振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とのミキシングは、アプリケーションデバイスによって（部分的に）達成されてよく、その場合、アプリケーションデバイスは、振動触覚フィードバック制御情報をユーザインターフェースデバイスに提供し、かつ／またはユーザインターフェースデバイスおよびその制御ユニットのそれぞれによって（部分的に）達成されてよく、かつ／または前述したさらに他の制御ユニットによって（部分的に）達成されてよい。
【0043】
ミキシングは、（同じく、または代わりに）例えば、振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報の両方を同時に使用することでアクチュエータを制御して、物理的に達成されてよい。
【0044】
前述したように、ユーザインターフェースデバイスは、ユーザに力フィードバックを提供するように適応した少なくとも１つの力フィードバックアクチュエータを備えていてよく、その場合、本方法はさらに、
－アプリケーションデバイスから力フィードバック制御情報を取得し、力フィードバック制御情報は、ユーザに提供する少なくとも１つの力フィードバックを決定すること、
－ユーザに対して少なくとも１つの力フィードバックを生成するために、力フィードバック制御情報を用いて少なくとも１つの力フィードバックアクチュエータを制御すること
を含んでいてよい。
－アプリケーションデバイスから力フィードバック制御情報を取得し、力フィードバック制御情報は、ユーザに提供する少なくとも１つの力フィードバックを決定すること、
－ユーザに対して少なくとも１つの力フィードバックを生成するために、力フィードバック制御情報を用いて少なくとも１つの力フィードバックアクチュエータを制御すること
を含んでいてよい。
【0045】
いくつかの例では、ユーザインターフェースデバイスは、アクチュエータとして、振動触覚力フィードバックを生成するために協働させて使用する少なくとも２つのモータを備えていてよい。このような事例の一例が、ステアリングホイールアセンブリであり、このアセンブリでは、少なくとも２つのモータが（例えばステアリングシャフトを介して）ステアリングホイールに作用して力／トルクを生成し、ステアリングホイールに振動触覚力フィードバック感覚を生じさせる。一般に、モータとステアリングホイールとの間のドライブトレインには、公差およびその他の機械的欠陥により遊びがみられ、ステアリングホイールに望ましくない影響、例えば鈍い動きおよびバックフラッシュが生じることが予想され得る。
【0046】
これは、間のトルクオフセットが固定しているか可変である少なくとも２つのモータを操作することによって解決され得る。例えばトルクオフセットは、トルクオフセットの結果少なくとも２つのモータによって提供されるトルクが、少なくとも２つのモータと振動触覚力フィードバックが提供される場所との間に、例えばドライブトレインの機械的遊びを取り除く方法でドライブトレイン（例えばギア）に予荷重（バイアス）をかけるように、制御されてよい。
【0047】
好ましくは、トルクオフセットは、少なくとも２つのモータによって提供されて生じるトルクがトルクオフセットによってゼロになるように制御される。モータが２つの場合、これは、２つのモータのうちの第１のモータが第１の回転方向のトルクオフセットを提供し、２つのモータのうちの第２のモータが第１の回転方向とは逆の第２の回転方向のトルクオフセットを提供するように２つのモータを操作することによって達成されてよい。
【0048】
さらに、本発明は、ユーザに振動触覚力フィードバックを提供するように適応した少なくとも１つのアクチュエータを備えているユーザインターフェースデバイスのユーザに、振動触覚力フィードバック情報を提供する振動触覚力フィードバックデバイスを提供する。
【0049】
概して、本発明の方法に関する上記の考察はすべて、本発明のデバイスにも同じように当てはまり、この逆も、本発明の方法に関する以下の考察すべてに当てはまり、以下の考察はすべて、本発明のデバイスにも同じように当てはまる。
【0050】
本発明によるデバイスは、
－制御ユニット、
－制御ユニットに通信するように接続された入力部であって、アプリケーションデバイスから音声情報および／または音響情報の音声情報および／または音響情報を取得し、取得した音声情報および／または音響情報を制御ユニットに提供するように適応している、入力部
を有する。
－制御ユニット、
－制御ユニットに通信するように接続された入力部であって、アプリケーションデバイスから音声情報および／または音響情報の音声情報および／または音響情報を取得し、取得した音声情報および／または音響情報を制御ユニットに提供するように適応している、入力部
を有する。
【0051】
制御ユニットは、
－取得した音声情報および／または音響情報を基に振動触覚フィードバック制御情報を生成し、振動触覚力フィードバック制御情報は、ユーザに提供する少なくとも１つの振動触覚力フィードバックを決定する
ように適応していてよい。
－取得した音声情報および／または音響情報を基に振動触覚フィードバック制御情報を生成し、振動触覚力フィードバック制御情報は、ユーザに提供する少なくとも１つの振動触覚力フィードバックを決定する
ように適応していてよい。
【0052】
制御ユニットは、振動触覚力フィードバック制御情報をユーザインターフェースデバイスの少なくとも１つのアクチュエータに提供するための少なくとも１つの出力部を有していてよい。
【0053】
制御ユニットの少なくとも１つの出力部は、ユーザインターフェースデバイスの少なくとも１つのアクチュエータに通信するように接続されてよく、制御ユニットは、
－ユーザに対して少なくとも１つの振動触覚力フィードバックを生成するために、振動触覚力フィードバック制御情報を用いてユーザインターフェースデバイスの少なくとも１つのアクチュエータを制御する
ように適応していてよい。
－ユーザに対して少なくとも１つの振動触覚力フィードバックを生成するために、振動触覚力フィードバック制御情報を用いてユーザインターフェースデバイスの少なくとも１つのアクチュエータを制御する
ように適応していてよい。
【0054】
ユーザインターフェースデバイスの少なくとも１つのアクチュエータは、ユーザに力フィードバックを提供するようにも適応していてよく、制御ユニットは、
－アプリケーションデバイスから取得した振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を生成し、力フィードバック制御情報は、ユーザに提供する少なくとも１つの力フィードバックを決定する
ように適応していてよい。
－アプリケーションデバイスから取得した振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を生成し、力フィードバック制御情報は、ユーザに提供する少なくとも１つの力フィードバックを決定する
ように適応していてよい。
【0055】
制御ユニットは、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報をユーザインターフェースデバイスの少なくとも１つのアクチュエータに提供するための少なくとも１つの出力部を有していてよい。
【0056】
制御ユニットの少なくとも１つの出力部は、ユーザインターフェースデバイスの少なくとも１つのアクチュエータに通信するように接続されてよく、制御ユニットは、
－ユーザに対して少なくとも１つの振動触覚力フィードバックおよび少なくとも１つの運動感覚力フィードバックを生成するために、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を用いてユーザインターフェースデバイスの少なくとも１つのアクチュエータを制御する
ように適応していてよい。
－ユーザに対して少なくとも１つの振動触覚力フィードバックおよび少なくとも１つの運動感覚力フィードバックを生成するために、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を用いてユーザインターフェースデバイスの少なくとも１つのアクチュエータを制御する
ように適応していてよい。
【0057】
ユーザインターフェースデバイスはさらに、ユーザに運動感覚力フィードバックを提供するように適応した少なくとも１つの運動感覚力フィードバックアクチュエータを備えていてよく、制御ユニットは、
－アプリケーションデバイスから運動感覚力フィードバック制御情報を取得し、運動感覚力フィードバック制御情報は、ユーザに提供する少なくとも１つの運動感覚力フィードバックを決定する
ように適応していてよい。
－アプリケーションデバイスから運動感覚力フィードバック制御情報を取得し、運動感覚力フィードバック制御情報は、ユーザに提供する少なくとも１つの運動感覚力フィードバックを決定する
ように適応していてよい。
【0058】
制御ユニットは、運動感覚力フィードバック制御情報をユーザインターフェースデバイスの少なくとも１つの運動感覚力フィードバックアクチュエータに提供するための少なくとも１つの出力部を備えていてよい。
【0059】
制御ユニットの少なくとも１つの出力部は、ユーザインターフェースデバイスの少なくとも１つの運動感覚力フィードバックアクチュエータに通信するように接続されてよく、制御ユニットは、
－ユーザに対して少なくとも１つの運動感覚力フィードバックを生成するために、運動感覚力フィードバック制御情報を用いて少なくとも１つの運動感覚力フィードバックアクチュエータを制御する
ように適応していてよい。
－ユーザに対して少なくとも１つの運動感覚力フィードバックを生成するために、運動感覚力フィードバック制御情報を用いて少なくとも１つの運動感覚力フィードバックアクチュエータを制御する
ように適応していてよい。
【0060】
制御ユニットの入力部は、
－アプリケーションデバイスの汎用音声出力ポート、
－アプリケーションデバイスの専用音声出力ポートまたはチャネル、
－アプリケーションデバイスとの有線通信リンク、
－アプリケーションデバイスとの無線通信リンク、
－アプリケーションデバイスの力フィードバック出力ポート、
－スピーカ、
－マイクロフォン、
－センサ
の少なくとも１つを介して音声情報および／または音響情報を取得するように適応していてよい。
－アプリケーションデバイスの汎用音声出力ポート、
－アプリケーションデバイスの専用音声出力ポートまたはチャネル、
－アプリケーションデバイスとの有線通信リンク、
－アプリケーションデバイスとの無線通信リンク、
－アプリケーションデバイスの力フィードバック出力ポート、
－スピーカ、
－マイクロフォン、
－センサ
の少なくとも１つを介して音声情報および／または音響情報を取得するように適応していてよい。
【0061】
制御ユニットは、
－取得した音声情報および／または音響情報の少なくとも一部をスケーリングする、
－取得した音声情報および／または音響情報の少なくとも一部をピッチングする、
－取得した音声情報および／または音響情報の少なくとも一部を周波数シフトする、
－取得した音声情報および／または音響情報の少なくとも一部をフィルタリングする、
－取得した音声情報および／または音響情報の少なくとも一部を帯域幅制限する、
－取得した音声情報および／または音響情報の少なくとも一部を等化する、
－取得した音声情報および／または音響情報の少なくとも一部を切り捨てる、
－取得した音声情報および／または音響情報の少なくとも一部を圧縮する、
－取得した音声情報および／または音響情報の少なくとも一部を遅延させる、
－取得した音声情報および／または音響情報の少なくとも一部を畳み込む、
－音声情報および／または音響情報の少なくとも一部をバッファリングする、
－連続性を維持する人工的音声情報および／または音響情報のコンテンツを生成する、
－音声情報および／または音響情報をリサンプリングする、
－所望数の音声情報および／または音響情報をバッファリングするためにリサンプリングレートを変調する、
－音声情報および／または音響情報を暗号化する、
－音声情報および／または音響情報をパケット化する、
の少なくとも１つによって振動触覚フィードバック制御情報を生成するように適応していてよい。
－取得した音声情報および／または音響情報の少なくとも一部をスケーリングする、
－取得した音声情報および／または音響情報の少なくとも一部をピッチングする、
－取得した音声情報および／または音響情報の少なくとも一部を周波数シフトする、
－取得した音声情報および／または音響情報の少なくとも一部をフィルタリングする、
－取得した音声情報および／または音響情報の少なくとも一部を帯域幅制限する、
－取得した音声情報および／または音響情報の少なくとも一部を等化する、
－取得した音声情報および／または音響情報の少なくとも一部を切り捨てる、
－取得した音声情報および／または音響情報の少なくとも一部を圧縮する、
－取得した音声情報および／または音響情報の少なくとも一部を遅延させる、
－取得した音声情報および／または音響情報の少なくとも一部を畳み込む、
－音声情報および／または音響情報の少なくとも一部をバッファリングする、
－連続性を維持する人工的音声情報および／または音響情報のコンテンツを生成する、
－音声情報および／または音響情報をリサンプリングする、
－所望数の音声情報および／または音響情報をバッファリングするためにリサンプリングレートを変調する、
－音声情報および／または音響情報を暗号化する、
－音声情報および／または音響情報をパケット化する、
の少なくとも１つによって振動触覚フィードバック制御情報を生成するように適応していてよい。
【0062】
制御ユニットは、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とがアクチュエータ出力制限を超えないように、運動感覚力フィードバック制御情報および／または振動触覚力フィードバック制御情報を修正するように適応していてよい。
【0063】
制御ユニットは、
－スケーリング、
－ピッチング、
－周波数シフト、
－フィルタリング、
－帯域幅制限、
－等化、
－切り捨て、
－圧縮、
－遅延、
－畳み込み
の少なくとも１つによって少なくとも部分的に、運動感覚力フィードバック制御情報および／または振動触覚力フィードバック制御情報を修正するように適応していてよい。
－スケーリング、
－ピッチング、
－周波数シフト、
－フィルタリング、
－帯域幅制限、
－等化、
－切り捨て、
－圧縮、
－遅延、
－畳み込み
の少なくとも１つによって少なくとも部分的に、運動感覚力フィードバック制御情報および／または振動触覚力フィードバック制御情報を修正するように適応していてよい。
【0064】
制御ユニットは、少なくとも２つの異なる音声情報源および／または音響情報源から音声情報および／または音響情報を取得するように適応していてよい。
【0065】
制御ユニットは、少なくとも２つの異なる音声情報源および／または音響情報源から取得した音声情報および／または音響情報の各々に対して振動触覚力フィードバック制御情報を生成するように適応していよく、それによって少なくとも２つの振動触覚力フィードバック制御情報が生成され、その各々がユーザに提供する少なくとも１つの振動触覚力フィードバックを決定する。
【0066】
ユーザインターフェースは、少なくとも２つのアクチュエータを含んでいてよく、制御ユニットは、
－少なくとも２つの振動触覚力フィードバック制御情報のうちの一方を用いて少なくとも２つのアクチュエータの少なくとも一方を制御し、かつ
－少なくとも２つの振動触覚力フィードバック制御情報の残りのうち少なくとも１つを用いて少なくとも２つのアクチュエータの少なくとももう一方を制御する
ように適応していてよい。
－少なくとも２つの振動触覚力フィードバック制御情報のうちの一方を用いて少なくとも２つのアクチュエータの少なくとも一方を制御し、かつ
－少なくとも２つの振動触覚力フィードバック制御情報の残りのうち少なくとも１つを用いて少なくとも２つのアクチュエータの少なくとももう一方を制御する
ように適応していてよい。
【0067】
さらに、本発明は、本発明によるデバイスを備えているシステム、およびユーザに振動触覚力フィードバックを提供するように適応した少なくとも１つのアクチュエータを備えているユーザインターフェースデバイスを提供する。
【0068】
概して、本発明の方法およびデバイスに関する上記の考察はすべて、本発明のシステムにも同じように当てはまり、この逆も、本発明のシステムに関する以下の考察すべてに当てはまり、以下の考察はすべて、本発明の方法およびデバイスにも同じように当てはまる。
【0069】
システムはさらに、アプリケーションデバイスを備えていてよい。
【0070】
さらに、本発明は、コンピュータ可読媒体に保存されている実行可能なソフトウェアコードを含み、コンピューティングデバイスを用いて実行されるときに本発明による方法の工程を実行するコンピュータソフトウェア製品を提供する。
【0071】
さらに、本明細書では、振動触覚力フィードバックに関して記載した本発明の上記の教示は、運動感覚力フィードバックに関しても当てはまり得ることを開示する。換言すると、上記の考察での「振動触覚力フィードバック」という用語は、「運動感覚力フィードバック」に置き換えることが可能である。
【0072】
上記に指摘したように、運動感覚力フィードバックは、全体的に、ユーザへの方向性の情報を含む。したがって、いくつかの例では、方向性の情報を生成するために追加情報（例えば音声情報および／または音響情報から抽出されたもの）を使用してもよい。
【0073】
次に、本開示の実施例を、例として添付の図面を参照して説明する。
【図面の簡単な説明】
【0074】
【図1】先行技術の構成の概略図である。
【図2】本発明の一例の概略図である。
【図3】振動触覚フィードバックを生成するための音声情報の音声情報源を１つ含む本発明の一例を示す概略図である。
【図4】振動触覚フィードバックを生成するための音声情報の音声情報源を複数含む本発明の一例を示す概略図である。
【図5】振動触覚フィードバックを生成するための音声情報の音声情報源を複数含む本発明の別の一例を示す概略図である。
【図6】一方の力フィードバック制御情報と他方の音声情報または振動触覚フィードバック制御情報とのミキシングを含む本発明の一例を示す概略図である。
【図7】一方の力フィードバック制御情報と他方の音声情報または振動触覚フィードバック制御情報とのミキシングを含む本発明の別の一例を示す概略図である。
【図8】様々な通信プロトコルを使用するための本発明の一例の概略図である。
【図9】内部トルクを有する様々なモータの動作に関する本発明の態様の一例を示す概略図である。
【図10a】モータが２つある場合のトルクを示す概略図である。
【図10b】モータが２つある場合のトルクを示す概略図である。
【図11】例示的な所望の運動感覚トルクがアクチュエータ（モータ）の例示的な可能な最大トルクを超えているという事例で、アクチュエータ（モータ）に命令された例示的な所望の運動感覚トルクを経時的に見た概略図である。
【図12】アクチュエータ（モータ）からの例示的な実際の運動感覚トルクを経時的に見た概略図である。
【図13】アクチュエータ（モータ）に命令された例示的な所望の実際の振動触覚トルクを経時的に見た概略図である。
【図14】例示的な実際の組み合わせの運動感覚トルクと振動触覚トルクがアクチュエータ（モータ）の例示的な可能な最大トルクを超えているという事例で、アクチュエータ（モータ）に命令された例示的な所望の組み合わせの運動感覚トルクと振動触覚トルクを経時的に見た概略図である。
【図15】アクチュエータ（モータ）からの例示的な実際の組み合わせの運動感覚トルクと振動触覚トルクを経時的に見た概略図である。
【図16】アクチュエータ（モータ）に命令してある範囲にわたって修正した例示的な運動感覚トルクの概略図である。
【図17】運動感覚トルクがある範囲にわたって修正されているという事例で、アクチュエータ（モータ）からの例示的な実際の組み合わせの運動感覚トルクと振動触覚トルクを経時的に見た概略図である。
【図18】例示的な実際の組み合わせの運動感覚トルクと振動触覚トルクがアクチュエータ（モータ）の例示的な可能な出力（トルク）を超えているという事例で、アクチュエータ（モータ）に命令した例示的な所望の組み合わせの運動感覚トルクと振動触覚トルクを経時的に見た概略図である。
【図19】アクチュエータ（モータ）からの例示的な実際の組み合わせの運動感覚と振動触覚トルクを経時的に見た概略図である。
【発明を実施するための形態】
【0075】
消費者の力をフィードバックするステアリングホイールは、独特のアーキテクチャを中心に設計されており、ステアリングホイールコントローラの中にあるマイクロコントローラが、精選され事前にプログラムされた力特性をデバイスに対して生成するようにプログラムされている。これらの力の特性は、所望の力の特性をそれに関連する設定（例えば硬さ、減衰、大きさ、周波数など）を用いて識別するコマンドを介してアプリケーションによってパラメータ化され得る。
【0076】
このアーキテクチャは、初期のＵＳＢ技術（１．０）および単一のコアＣＰＵの多くの制限に対処するものであったが、より最近のゲーム開発には深刻な障害となっていた。今日のカーゲームは、車両および道路環境の高解像度のグラフィック表現をレンダリングするだけでなく、車両の動き全体が高度な現実味をもって計算されている進んだ物理モデル（例えば車両の動力学、タイヤの接触、スリップ、衝突など）も取り入れている。車両の動力学をステアリングホイールに反映させるために、これらのシミュレータは、計算したステアリングホイール力を、実際のステアリングホイールがどのように感じるかを模倣しようと試みる事前にプログラムされた触覚効果に変換する。そうすることで生じる問題が２つある。（１）ゲームから慎重に計算された物理学は、現在のステアリングホイール制御プロトコルがサポートしている限られた一連の力の基本要素に変換されるときに簡略化されるため、劣化している。そして（２）これらの制御インターフェースの通信帯域幅が制限され（例えばおよそ１００Ｈｚ）、ソフトウェアインターフェースがリアルタイムの性質ではないということは、力フィードバックはリアルタイムの車の動きとほとんど同期していないということであり、ホイールの安定性は使用しているコンピュータの性能に左右されるということである。
【0077】
アクチュエータであれば、力またはトルクを最大出力レベルまで生成できる。これらの制限は、アクチュエータの特徴、例えばそのサイズ、磁石、配線、最大電流、最大消費電力、静的挙動、動的挙動、および／またはアクチュエータの温度に影響を及ぼす環境への熱抵抗などの外部要因のほか、関連する制御ユニットの特徴によって決まる。
【0078】
運動感覚力と振動触覚力の両方のフィードバック信号が組み合わされ、運動感覚力のフィードバック信号が単独で少なくとも１つのアクチュエータの最大出力レベルに達するとき、振動触覚力のフィードバック信号は失われ、ユーザに知覚されることはできなくなる。この望ましくないアーチファクトは、力フィードバック信号の知覚周波数に不連続性または修正を生じさせる。
【0079】
人間は周波数の変化に非常に敏感だが、力の方向および力の大きさに関しては比較的貧弱な感覚を持っているため、本発明は、運動感覚力フィードバックの強さを弱めて利用可能なアクチュエータの出力範囲に振動触覚力フィードバック信号を部分的または完全に含めることによって振動触覚フィードバックを維持する方法を提供する。
【0080】
図１は、仮想運転ゲームを提供するゲームソフトウェア４とそのソフトウェアを実行するハードウェアＰＣとを含むアプリケーションデバイス２を備えている先行技術の構成を示している。アプリケーションデバイス２は、ゲームをしている間にユーザに提供する音声情報を出力する音声出力部６を有する。そのために、音声出力部は、ユーザの音声出力デバイス１０（例えばスピーカ、ヘッドフォン）の音声入力部８に接続している。
【0081】
さらに、図１のアプリケーションデバイスは、ユーザインターフェースデバイス１２を介してユーザに提供する力フィードバックを決定する運動感覚力フィードバック制御情報ＦＦＣＩを提供する。ここでのユーザインターフェースデバイス１２は、アプリケーションデバイスが運転ゲームを提供しているという理由から、ステアリングホイール構成であり、このステアリングホイール構成は、ステアリングホイール１４と、例えばギアを介してステアリングホイールシャフトに接続しているモータを用いてステアリングホイールに作用する少なくとも１つのアクチュエータを備えている。少なくとも１つのアクチュエータは、アプリケーションデバイス２から受けた力フィードバック制御情報ＦＦＣＩに応答して力を生成し、この力は、ステアリングホイールに作用して対応する力フィードバックをユーザに提供する。力フィードバック制御情報ＦＦＣＩは、アプリケーションデバイス２から力フィードバック制御情報出力部１６を通ってステアリングホイール構成１２の力フィードバック制御情報入力部１８に送信される。
【0082】
完璧を期すため、力フィードバックは、ユーザインターフェースデバイスから返された情報、例えば力フィードバックの生成に加担する構成要素の位置および／または動きを判断するセンサ（例えばステアリングホイールの回転位置を判断するセンサ）から提供された情報も含むことに注意されたい。
【0083】
図２は、ユーザのアプリケーションデバイス２および音声出力デバイス１０を含む本発明の一例を示し、両者はそれぞれ図１のアプリケーションデバイス２および音声出力デバイス１０とそれぞれ同等のものであってよい。したがって、特に明記しない限り、上記のそれぞれの考察がこの場合にも当てはまる。
【0084】
図２の例は、ステアリングホイール２２および少なくとも１つのアクチュエータを備えているステアリングホイール構成２０を含み、アクチュエータは、力フィードバックおよび／または振動触覚フィードバックをステアリングホイール２２に提供することができるようにステアリングホイールに作用するよう適応している。
【0085】
力フィードバック制御情報ＦＦＣＩは、必要に応じて破線で示したように任意のものであってよく、アプリケーションデバイス２から力フィードバック制御情報の出力部１６を通ってステアリングホイール構成２０の力フィードバック制御情報の入力部２４に送信されてよく、図１の先行技術の構成と同じように使用されてよい。
【0086】
ユーザインターフェースデバイス２０は、アプリケーションデバイス２から音声情報を受信するための音声入力部２６も有する。音声入力部２６は、アプリケーションデバイス２の音声出力部６、または、図示したように、アプリケーションデバイス別の音声出力部２８に接続され得る。例えば、音声出力部６は、アナログ音声情報を提供する出力であってよく、音声出力部２８は、デジタル音声情報を提供する出力であってよい。
【0087】
ユーザインターフェースデバイス２０に提供される音声情報ＡＩは、音声出力デバイス１０の音声入力部８に提供される音声情報と同じであってよい。
【0088】
ユーザインターフェースデバイス２０は、力フィードバック制御情報ＦＦＣＩおよび音声情報ＡＩを受信する入力部を有する制御ユニット３０を含む。さらに、制御ユニット３０は、少なくとも１つのアクチュエータと通信するように接続している出力部を備える。
【0089】
音声情報ＡＩを受信すると、制御ユニット３０は、取得した音声情報を基に、ユーザに提供される少なくとも１つの振動触覚力フィードバックを決定する振動触覚力フィードバック制御情報を生成する。
【0090】
振動触覚力フィードバック制御情報を生成した後、制御ユニット３０は、振動触覚力フィードバック制御情報を少なくとも１つのアクチュエータに送信し、アクチュエータがそれに応答して、決定した少なくとも１つの振動触覚力フィードバックをステアリングホイール２２に生成するよう動作するか、あるいは制御ユニット３０は、振動触覚力フィードバック制御情報を基に、少なくとも１つのアクチュエータを直接制御して、決定した少なくとも１つの振動触覚力フィードバックをステアリングホイール２２に生成するようにする。
【0091】
制御ユニット３０が運動感覚力フィードバック制御情報ＦＦＣＩも受信する場合、制御ユニット３０は、運動感覚力フィードバック制御情報ＦＦＣＩを少なくとも１つのアクチュエータに送信し、アクチュエータがそれに応答して、決定した運動感覚力フィードバックをステアリングホイール２２に生成するように動作するか、あるいは制御ユニット３０は、運動感覚力フィードバック制御情報ＦＦＣＩを基に、少なくとも１つのアクチュエータを直接制御して、決定した運動感覚力フィードバックをステアリングホイール２２に生成するようにする。
【0092】
制御ユニット３０は、受信した運動感覚力フィードバック制御情報ＦＦＣＩと生成した振動触覚フィードバック制御情報とをミキシングしてよく、それによって少なくとも１つのアクチュエータが、運動感覚力フィードバック制御情報ＦＦＣＩと振動触覚フィードバック制御情報とのミキシングに従って動作するようにする。
【0093】
さらに他の例では、受信した運動感覚力フィードバック制御情報ＦＦＣＩと生成した振動触覚力フィードバック制御情報とは、別々に使用してよく、同時に使用してもよい。
【0094】
デバイス１０の音声出力部を介して提供される音声情報は、アプリケーションデバイスの音声出力部６および音声出力デバイス１０の音声入力部８を介してデバイスに通信されてよく、かつ／またはユーザインターフェースデバイス２０（またはその一部）の音声入力部２６で取得し、ユーザインターフェースデバイス２２を通って音声出力デバイス１０に向かう音声情報ＡＩであってよい。
【0095】
図３、図４および図５では、簡略化のため、音声情報ＡＩに関係のあるいくつかの構成要素のみを示している。しかしながら、図３、図４および図５の例は、図２に関して前述したいずれかの構成要素または他の全構成要素（例えば構成要素に関する力フィードバック）を含んでいることがある。
【0096】
アプリケーションデバイス２は、図３に示したように、単一の音源３２（例えばアプリケーションデバイスの音声用のハードウェアおよび／またはソフトウェアの一部）および単一の音声出力部２８を介して音声情報ＡＩを提供してよい。
【0097】
単一の音源３２は、アプリケーションデバイス２の音声チャネルであってよく、利用可能な全音声情報またはその特定の一部のみを提供してよい。後者の場合、アプリケーションデバイスは、振動触覚力フィードバックの生成に適した／必要な／所定の部分のみを抽出してユーザインターフェースデバイス２０に提供するために利用可能な音声情報の処理を実行してよい。
【0098】
アプリケーションデバイス２は、図４に示したように、複数の音源３２ａ、３２ｂ、３２ｃ．．．（例えばアプリケーションデバイスの音声用のハードウェアおよび／またはソフトウェアの一部）および単一の音声出力部２８を介して音声情報ＡＩを提供してよい。
【0099】
アプリケーションデバイス２は、図５に示したように、複数の音源３２ａ、３２ｂ、３２ｃ．．．（例えばアプリケーションデバイスの音声用のハードウェアおよび／またはソフトウェアの一部）および複数の音声出力部２８1、２８2、２８3を介して音声情報ＡＩを提供してよい。
【0100】
複数の音源３２ａ、３２ｂ、３２ｃ．．．の各々は、アプリケーションデバイス２の音声チャネルであってよい。複数の音源３２ａ、３２ｂ、３２ｃ．．．の各々は、利用可能な音声情報の特定部分を提供してよい。複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報部分は、合算して利用可能な音声情報の全体を表現するか、あるいは合算して利用可能な音声情報の全体の１つ以上の部分のみを表現することが可能である。
【0101】
図４によれば、複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報部分は、アプリケーションデバイス２のミキサ３４でミキシングされる。ミキサ３４は、受信時の複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報部分を含む音声情報を生成するだけの合算器であり得る。あるいは、ミキサ３４は、複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報部分が（個別または共同で）事前処理されて、複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報が異なる重要性を有して振動触覚力フィードバックの生成に影響し得ることを計算に入れるように適応し、かつ／または動作してよい。このような例では、少なくとも複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報をアプリケーションデバイス２で処理することは、振動触覚力フィードバック生成の一部であると言える。
【0102】
図５によれば、複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報部分は、ユーザインターフェースデバイス２０のミキサ３６でミキシングされる。ミキサ３６は、受信時の複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報部分を含む音声情報を生成するだけの合算器であり得る。あるいは、ミキサ３６は、複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報部分が（個別または共同で）事前処理されて、複数の音源３２ａ、３２ｂ、３２ｃ．．．からの音声情報が異なる重要性を有して振動触覚力フィードバックの生成に影響し得ることを計算に入れるように適応し、かつ／または動作してよい。例えば、ミキサ３６は、図６および図７に関して説明したように、運動感覚力フィードバック制御情報を処理する処理デバイスおよび／または音声情報または振動触覚力フィードバック制御情報のいずれかを処理する処理デバイスによって提供される処理機能を含んでいてよい。
このような例では、振動触覚力フィードバックの生成は、ユーザインターフェースデバイス２０のみで行われると言える。
このような例では、振動触覚力フィードバックの生成は、ユーザインターフェースデバイス２０のみで行われると言える。
【0103】
【0104】
図６の例では、ミキシング３８は、ミキサ４０を用いて実行される。ミキシング３８は、任意で、運動感覚力フィードバック制御情報ＦＦＣＩを処理する処理デバイス４２を用いること、および／または以下に説明するように、音声情報ＡＩまたは上記に説明した音声情報ＡＩを基に生成した振動触覚力フィードバック制御情報ＶＴＦＣＩのいずれかを処理する処理デバイス４４を用いることを伴ってよい。
【0105】
処理デバイス４２および処理デバイス４４の周りに破線の長方形で示したように、両処理デバイスは、別々の構成要素であってもよいし、共通ユニットを用いて統合して用意されてもよい。
【0106】
運動感覚力フィードバック制御情報ＦＦＣＩおよび音声情報Ａｌがミキシングされる場合、ミキサ４０は、アプリケーションデバイス２内に位置しているかこのアプリケーションデバイスによって提供されることができる、あるいは、アプリケーションデバイス２とユーザインターフェースデバイス２０との間に配置された中間処理デバイス内に位置しているかこの中間処理デバイスによって提供されることができる、あるいは、ユーザインターフェースデバイス２０内に位置しているかこのユーザインターフェースデバイスによって提供されることができる。処理デバイス４２と処理デバイス４４の少なくとも一方も使用する場合、処理デバイス４２および／または４４は、ミキサ４０に対してその同じデバイス内に位置するかそのデバイスによって提供されることができる、あるいは、デバイスの「上流」に位置するかこのデバイスによって提供されることができる。
【0107】
ミキサ４０は、運動感覚力フィードバック制御情報ＦＦＣＩと音声情報ＡＩとを合算し、これをユーザインターフェースデバイス２０の制御ユニット３０に転送するだけの合算器であってよい。
【0108】
さらに他の例では、ミキサ４０の前に、運動感覚力フィードバック制御情報ＦＦＣＩが処理デバイス４２によって処理されてよい。処理デバイス４２は、例えば、運動感覚力フィードバック制御情報ＦＦＣＩの一部を強化および／または弱化し、特にそのそれぞれの重要性および運動感覚力フィードバックの生成に対する影響を考慮するようにするために、例えば、運動感覚力フィードバック制御情報ＦＦＣＩに対して重み付け機能を適用してよい。
【0109】
さらに他の例では、ミキサ４０の前に、音声情報ＡＩが処理デバイス４４によって処理されてよい。処理デバイス４４は、例えば、音声情報ＡＩの一部を強化および／または弱化し、特にそのそれぞれの重要性および音声情報ＡＩの生成に対する影響を考慮するようにするために、例えば、音声情報ＡＩに対して重み付け機能を適用してよい。
【0110】
ミキシング３８の出力は、制御ユニット３０に通信され、この制御ユニットが、ミキシングした振動触覚力フィードバック制御情報および運動感覚力フィードバック制御情報を生成する。ミキシングした振動触覚力フィードバック制御情報および運動感覚力フィードバック制御情報は、ユーザインターフェースデバイス２０の少なくとも１つのアクチュエータを制御するために使用され、それによって少なくとも１つのアクチュエータ４６は、ステアリングホイール２２（例えばステアリングホイールシャフト４８を介して）に作用して、運動感覚力フィードバックおよび振動触覚力フィードバックがステアリングホイールに提供されるようにする。
【0111】
音声情報ＡＩを基に生成された運動感覚力フィードバック制御情報ＦＦＣＩおよび振動触覚力フィードバック制御情報がミキシングされる場合、ミキサ４０は、ユーザインターフェースデバイス２０内に位置するかこのユーザインターフェースデバイスによって提供される。処理デバイス４２と処理デバイス４４の少なくとも一方も使用する場合、処理デバイス４２および／または４４は、ミキサ４０の上流（例えばアプリケーションデバイス内または中間処理デバイス内）に位置するかこのミキサ４０によって提供されることができ、処理デバイス４４は、ユーザインターフェースデバイス２０内に位置するかこのユーザインターフェースデバイスによって提供される。
【0112】
前述したミキシング３８、ミキサ４０、処理デバイス４２および処理デバイス４４に関する上記の考察は、ここでも当てはまるため繰り返さない。
【0113】
図７の例では、ミキシング３８は、振動触覚力フィードバック用の少なくとも１つのアクチュエータ５０および運動感覚力フィードバック用の少なくとも１つのアクチュエータ５２を用いて「物理的に」実行され、両アクチェータはステアリングホイールシャフト４８を介してステアリングホイール２２に作用する。
【0114】
図７の例では、任意で、運動感覚力フィードバック制御情報ＦＦＣＩを処理する処理デバイス４２および／または任意で、以下に説明するように音声情報ＡＩまたは音声情報ＡＩを基に生成された振動触覚力フィードバック制御情報ＶＴＦＣＩのいずれかを処理する処理デバイス４４を使用してよい。図７では物理的ミキシングを用いているという理由から、（図示したように）処理デバイス４２および４４は、ミキシングの一部ではなくてよい。それとは別に、処理手段４２および４４に関する上記の考察は、ここでも当てはまるため繰り返さない。
【0115】
処理デバイス４２および処理デバイス４４の周りに破線の長方形で示したように、両処理デバイスは、別々の構成要素であってもよいし、共通ユニットを用いて統合して用意されてもよい。
【0116】
図７の例は、運動感覚力フィードバック部分に対する制御ユニット５４および振動触覚力フィードバック部分に対する制御ユニット５６を備えている。
【0117】
制御ユニット５４および制御ユニット５６の周りに破線の長方形で示したように、両制御ユニットは、別々の構成要素であってもよいし、共通ユニット（例えば制御ユニット３０）を用いて統合して用意されてもよい。
【0118】
制御ユニット５４は、運動感覚力フィードバック制御情報を生成し、この制御情報は、運動感覚力フィードバック用のアクチュエータ５２を少なくとも１つ動作させるために用いられ、制御ユニット５６は振動触覚力フィードバック制御情報を生成し、この制御情報は、振動触覚力フィードバック用のアクチュエータ５０を少なくとも１つ動作させるために用いられる。アクチュエータ５０および５２は同じステアリングホイールシャフトで作動するため、振動触覚および運動感覚の力フィードバックは、共通してステアリングホイール２２に提供される。
【0119】
冒頭に記載したように、アプリケーションデバイスとユーザインターフェースデバイスとの間を通信させるために様々な通信プロトコルを使用できる。図８は、様々な（例えば２つの）通信プロトコルを使用できる一例を示している。特に、１つのプロトコル（例えばプロトコルＡ）がユーザインターフェースデバイス２０の背後の互換性を確保し、別のプロトコル（例えばプロトコルＢ）が高度な（より高速の）通信を可能にすることが含まれている。いくつかの例では、ユーザインターフェースデバイス２０は、制御ユニットＡおよび制御ユニットＢのように（例えば異なるチップ形態の）２つの制御ユニットを含み、一方がプロトコルＡに対するもので、もう一方がプロトコルＢに対するものである。
【0120】
ユーザインターフェースデバイス２０は、使用プロトコルに応じて入ってくる情報を対応する制御ユニットＡまたはＢにルート設定するハブまたはスイッチ５８を備えていてよい。ハブとして、使用プロトコルを自動で検出するＵＳＢハブ、スイッチとして、ユーザが手動操作できる「実際の」スイッチを使用できる。
【0121】
冒頭に記載したように、ユーザインターフェースデバイスは、振動触覚力フィードバックを生成するために協働させて使用する２つのモータを備えていてよい。図９は、ステアリングホイールアセンブリを有するような場合の一例を示しており、２つのモータ１および２は、ギア６０および６２ならびにギア６４を介してステアリングホイールのステアリングシャフト４８に作用して力／トルクを発生させ、ステアリングホイールに振動触覚力フィードバック感覚を生じさせる。
【0122】
ステアリングホイールが回転運動のみを行う特定の場合を明瞭かつ理解しやすくするため、以下の説明ではトルクフィードバックに言及するが、これらは線形（力）および／または回転（トルク）構成要素を含む力フィードバックのより一般的な場合に制限なく当てはまることである。
【0123】
一般に、モータとステアリングホイール（ここではギア６０、６２、６４）との間のドライブトレインには、公差およびその他の機械的欠陥により遊びがみられ、ステアリングホイールに望ましくない影響、例えばコギングおよびバックフラッシュが生じることが予想され得る。
これは、間のトルクオフセットが固定しているか可変である２つのモータ１および２を操作することによって解決され得る。例えばトルクオフセットは、トルクオフセットの結果少なくとも２つのモータによって提供されるトルクが、少なくとも２つのモータと振動触覚力フィードバックが提供される場所との間に、例えばドライブトレインの機械的遊びを取り除く方法でドライブトレイン（例えばギア）に予荷重（バイアス）をかけるように、制御されてよい。
これは、間のトルクオフセットが固定しているか可変である２つのモータ１および２を操作することによって解決され得る。例えばトルクオフセットは、トルクオフセットの結果少なくとも２つのモータによって提供されるトルクが、少なくとも２つのモータと振動触覚力フィードバックが提供される場所との間に、例えばドライブトレインの機械的遊びを取り除く方法でドライブトレイン（例えばギア）に予荷重（バイアス）をかけるように、制御されてよい。
【0124】
好ましくは、少なくとも２つのモータによって提供されるトルクオフセットは、生じるトルクがゼロになるように制御される。モータが２つの場合、これは、２つのモータのうちの第１のモータが第１の回転方向のトルクオフセット（これは図９の－トルク予荷重）を有し、２つのモータのうちの第２のモータが第１の回転方向とは逆の第２の回転方向のトルクオフセット（これは図９の＋トルク予荷重）を有するように２つのモータを操作することによって達成されてよい。
【0125】
換言すると、トルクオフセットは、一方向の第１のアクチュエータおよび逆方向の第２のアクチュエータによって完全に印加されてよく、それによって生じる力がゼロになる。これは、アクチュエータが２つよりも多い場合にも当てはまり、生じる力も同じくゼロとなり得る。
【0126】
記載したように、予荷重トルクを２つのアクチュエータの間に逆方向に印加することで、生じる出力トルクの符号が変化するときに知覚される機械的遊びを除去することが可能になる（すなわち力が不連続になる）。以下では、解決策、特に、２つのアクチュエータを使用する場合に動的アーチファクトを除去して機械的遊びを除去するための制御体系を提示する。
【0127】
機械的遊びは、アクチュエータと出力部との間の様々な種類の機械的伝達で発生し得ることに注意されたい。明瞭にするために歯のあるギアの例示的な事例を提示するが、記載する解決策は、線形運動および／または回転運動（すなわち力および／またはトルク）の伝達における機械的遊びによって影響されるどのような種類の機械的伝達にも制限なく適用される。
【0128】
図１０ａは、水平軸に生じる望ましい出力トルクを達成するのに必要な垂直軸上のアクチュエータ（モータ）１および２に対するトルクを示している。明瞭にするため、両アクチュエータは最大出力トルクおよび最小出力トルクが同じであるとみなすが、これはこの制御体系を適用するのに必要なことではない。各々のアクチュエータトルクが水平（ゼロトルク）軸と交差する所に表記した２つの点には、ギアの歯側から隣接する歯側への接触面の移行があるため、アクチュエータギアと出力ギアとの間に内部の相対的なギア運動がある。この内部のギア運動は、符号の変化によってアクチュエータトルクがゆっくりと移行する間にわずかに知覚できるだけである可能性があるが、より速く移行する間は知覚的に不快な動的「アーチファクト」がある可能性がある。ギアの機械的遊びの量が増すと、アクチュエータトルクの符号が変化するときに、１つの歯側から隣接する歯側へ移行する間の機械的衝突の影響が大きくなる。この動的影響は、振動触覚力フィードバック情報のレンダリングを妨害し、周波数および振幅が非線形の挙動となる可能性がある。予荷重トルクを大きくすると、生じる出力トルク範囲が増し、これらの動的アーチファクトはなくなるが、内部摩擦も増加し、ユーザに伝達される有用な振動触覚力フィードバック情報の量が減少する。
【0129】
図１０ｂは、生じるトルク範囲が広まり動的アーチファクトがなくなり、内部の予荷重トルクを大きくする必要がない洗練された制御体系を示している。提示した制御体系では、本質的には１つの第１のアクチュエータのみが生じる出力トルクの発生に加担し、第２の他方のアクチュエータは予荷重トルクを提供しているだけである。生じるトルクは、主に加担しているアクチュエータの最大トルクよりも高いため、第２のアクチュエータは、トルクの残り部分に加担している。出力トルクどうしは逆方向のため、第１のアクチュエータおよび第２のアクチュエータの役割は入れ替わる。図１０ｂに示したように最大出力トルクおよび最小出力トルクが同じである２つのアクチュエータの場合、生じる出力トルクの範囲は、動的アーチファクトがなく、選択した内部予荷重トルクに関係なく生じる最大出力トルクの半分である。
【0130】
以下では、解決策、特にフィルタリング技術が、アクチュエータ出力に関する制限の問題を解決する。
【0131】
１つのアクチュエータ、またはアクチュエータが２つ以上ある構成が、出力としてトルクおよび／または力および／または振動を提供してよい。以下は、例示のみを目的として、出力としてトルクを提供するアクチュエータについて述べる。しかしながら、この点に関する考察は、トルクに加えて、または代替案として、出力として力および／または振動を提供するアクチュエータにも同じように当てはまる。
【0132】
一般に、アクチュエータは、その出力を特定のレベルまたは閾値まで出してよい。そのような出力制限は、例えばアクチュエータの特徴である飽和、そのサイズ、磁石、配線、最大電流、最大消費電力、静的挙動、動的挙動、および／または環境の温度および湿度などの外部要因から生じることがあるほか、アクチュエータの温度の経時的変化に影響するその環境への熱抵抗、および制御ユニットに関連する特徴からも生じることがある。
【0133】
例えば、以下のアクチュエータの出力制限のうち１つ以上がみられる可能性がある：
静的な最大アクチュエータ出力（例えばアクチュエータが長期間にわたって常時提供し得る最大出力トルク）
動的または瞬間的な最大アクチュエータ出力（例えばアクチュエータが短期間に動的に、瞬間的に提供し得る最大出力トルク）
例えば所与のデューティサイクルに対する周期的な最大アクチュエータ出力（例えばアクチュエータが周期的に提供し得る最大出力トルク）
アクチュエータおよび／またはその制御ユニットの動作特徴（例えば故障を防止するための熱要件または短い動作寿命）を考慮して時間とともに変化する最大アクチュエータ出力
静的な最大アクチュエータ出力（例えばアクチュエータが長期間にわたって常時提供し得る最大出力トルク）
動的または瞬間的な最大アクチュエータ出力（例えばアクチュエータが短期間に動的に、瞬間的に提供し得る最大出力トルク）
例えば所与のデューティサイクルに対する周期的な最大アクチュエータ出力（例えばアクチュエータが周期的に提供し得る最大出力トルク）
アクチュエータおよび／またはその制御ユニットの動作特徴（例えば故障を防止するための熱要件または短い動作寿命）を考慮して時間とともに変化する最大アクチュエータ出力
【0134】
その結果、所望のアクチュエータ出力（例えばアクチュエータが提供するはずのトルク）がアクチュエータによって提供することができないという可能性がある。なぜなら、アクチュエータの出力は、所望のアクチュエータ出力よりも小さいアクチュエータ出力のみを提供できるように制限されているからである。
【0135】
本開示に関して、運動感覚力フィードバックおよび振動触覚力フィードバックをアクチュエータの出力制限の観点で検討する。
【0136】
図１１～図１７は、アクチュエータが出力としてトルクを提供し、一定の最大出力トルク（水平の破線で表記）の形態で一定のアクチュエータの出力制限を有する例を示している。前述したように、アクチュエータの出力は、これに加えて、または代替案として、力および／または振動を含んでいてよい。また、最大のアクチュエータの出力は、一定でなくてもよく、図１８～図１９の例に示したように、時間とともに変化してよい。
【0137】
図１１は、図示した所望の運動感覚トルクの出力信号がアクチュエータに適用されている一例を示している。換言すると、所望の運動感覚トルクの出力信号は、運動感覚力フィードバックまたは運動感覚トルクとして提供されるはずのトルクを示している。
【0138】
しかしながら、アクチュエータの出力制限により、アクチュエータは、所望の運動感覚トルク（運動感覚力フィードバック）を提供することができないが、図１２に示した実際の運動感覚トルク（運動感覚力フィードバック）を提供する。図示したように、アクチュエータの出力制限によって出力トルクをクリッピングしたものになる。
【0139】
図１３は、図示した所望の振動触覚トルク出力信号がアクチュエータに適用されている一例を示している。換言すると、所望の振動触覚トルク出力信号は、振動触覚力フィードバックまたは振動触覚トルクとして提供されるはずのトルクを示している。
【0140】
また、この場合、アクチュエータの出力制限がある。ただし、所望の振動触覚トルク出力信号はアクチュエータ出力制限を超えていないため、アクチュエータは、所望の振動触覚トルクを実際の振動触覚トルクとして提供することができる。換言すると、所望の振動触覚トルクと実際の振動触覚トルクとが一致している。
【0141】
ただし、所望の運動感覚力フィードバック信号（例えば運動感覚力トルク信号）と所望の振動触覚力フィードバック信号（例えば振動触覚トルク信号）の両方が組み合わさって使用されるため（例えば図６を参照）、両方の信号に対するアクチュエータ出力制限の影響が考慮されてよい。
【0142】
人間は周波数の変化により敏感であるが、逆に力の方向および力の大きさにはあまり敏感ではない。振動触覚力フィードバックは、運動感覚力フィードバックよりも周波数が高い。そのため、ユーザは、運動感覚力フィードバックよりも振動触覚力フィードバックの方に敏感になる。そのことから、以下のことが言える。運動感覚力フィードバックと振動触覚力フィードバックの両方が、アクチュエータ出力制限に影響されることなく所望のものとして提供され得る場合、ユーザには、両方の点で不変の力フィードバックを提供することができる。
【0143】
しかしながら、アクチュエータ出力制限により、この所望の運動感覚力フィードバック信号（例えば運動感覚トルク信号）と所望の振動触覚力フィードバック信号（例えば振動触覚トルク信号）の両方が実際のアクチュエータの運動感覚力フィードバック出力および振動触覚力フィードバック出力と一致するようにはならない場合、不変の振動触覚力フィードバックを提供することが好ましいことがある。例えば、所望の運動感覚力フィードバック信号と振動触覚力フィードバック信号の両方を組み合わせる場合、および所望の運動感覚力フィードバック信号のみがアクチュエータの制限に影響されている場合（すなわち、実際の運動感覚力フィードバック出力とは一致していないが、例えばクリッピングされている）、所望の振動触覚力フィードバック信号は、少なくとも部分的に失われることがあり、少なくとも部分的に、実際の振動触覚力フィードバック出力にはならないことがあり、ユーザには振動触覚力フィードバックが提供されない。これにより、知覚した振動触覚力フィードバックに不連続性が生じる。
【0144】
これを図１３に示しており、この図は、所望の組み合わせにした運動感覚力フィードバック信号および振動触覚力フィードバック信号（運動感覚トルク信号および振動触覚トルク信号）を示し、この組み合わせはアクチュエータ出力制限によってクリッピングされている（ここではアクチュエータの最大出力トルク）。後者は、図１４に、「アクチュエータが提供できない所望の組み合わせの運動感覚トルク信号および振動触覚トルク信号の部分」として指定され、斜線で記されている。実際に提供される運動感覚力フィードバックおよび振動触覚力フィードバックは、図１５に示しており、この図では、組み合わせた運動感覚力フィードバック信号および振動触覚力フィードバック信号の一部は失われている。
【0145】
これは、非線形性であるが故に、所望のトルク信号を厳格に制限したクリッピングをすると、実際のトルク信号の振幅が小さくなることがあるだけでなく、元のクリッピングされていない信号にはなかった、妨害の可能性がある望ましくない高周波スペクトラルコンテンツを実際のトルク信号に追加するだけになることがあるということである。
【0146】
人間は周波数の変化にはより敏感であるが、力の方向および力の大きさには比較的鈍感であるため、運動感覚力フィードバックを「断念」し、不変の振動触覚力フィードバックを提供することが好ましい。そのために、生じた所望の組み合わせの運動感覚力フィードバック信号と振動触覚力フィードバック信号がアクチュエータ出力制限に影響されない（または影響が少ない）ように、所望の運動感覚力フィードバック信号を修正することが好ましい。
【0147】
このような修正は、例えば図６の処理デバイス４２で、運動感覚力フィードバック制御情報ＦＦＣＩを修正することによって行うことができる。このような修正は、これに加えて、または代替案として、例えば、図６のミキサ４０および／または制御ユニット３０で行われてよい。図７の実施形態では、そのような修正は、例えば処理デバイス４２および／または制御ユニット５４で行われてよい。
【0148】
このような修正には、時間分野および／または周波数分野で、
－スケーリング
－ピッチング、
－周波数シフト、
－フィルタリング、
－帯域幅制限、
－等化、
－切り捨て、
－圧縮、
－遅延、
－畳み込み
の少なくとも１つが含まれてよい。
－スケーリング
－ピッチング、
－周波数シフト、
－フィルタリング、
－帯域幅制限、
－等化、
－切り捨て、
－圧縮、
－遅延、
－畳み込み
の少なくとも１つが含まれてよい。
【0149】
図１６は、図１１の所望の運動感覚力フィードバック信号の例示的な修正を示している。この例では、所望の組み合わせの運動感覚力フィードバック信号と振動触覚力フィードバック信号がアクチュエータ出力制限（例えば図１５でクリッピングされた所）の影響を受ける範囲（期間）内で、所望の運動感覚力フィードバック信号が修正される。この修正は、上記範囲内で、所望の運動感覚力フィードバック信号が（例えば所望の信号の振幅を圧縮することによって）、所望の振動触覚力フィードバック信号と組み合わせた状態で、アクチュエータ出力制限よりも低い所望の組み合わせの運動感覚力フィードバック信号と振動触覚力フィードバック信号になるレベルまで制限されるように実行される。この状態を図１７に示している。
【0150】
上記のように、アクチュエータ出力制限は一定でないことがある。変化する可能性のある例示的なアクチュエータ出力制限を図１８に示している。図示したように、タイムラインに従って、アクチュエータ出力制限は特定のレベルを有し、その後、低いレベルに下がる。例えば、アクチュエータ出力がトルクの形態である場合、アクチュエータの最大出力トルクは、特定のレベルから始まり、その後、低いレベルに下がる。このように変化するアクチュエータ出力制限の一例が、熱アクチュエータの制御であり得る。例えば、アクチュエータは、図１８の高い方のアクチュエータ出力制限で動作し、例えば損傷やアクチュエータ温度の超過を避けるため、温度が低下してそれ以上上昇しない、かつ／または維持されるレベルまで熱制御機構がアクチュエータ出力制限を下げる。
【0151】
図１８は、所望の組み合わせの運動感覚力フィードバック信号と振動触覚力フィードバック信号も示しており、同信号は、アクチュエータ出力制限のレベルが低い範囲内でアクチュエータ出力制限の影響を受ける。図１８では、所望の組み合わせの運動感覚力フィードバック信号と振動触覚力フィードバック信号のこの部分は、「アクチュエータが提供できない所望の組み合わせの運動感覚トルク信号と振動触覚トルク信号」と表記され、斜線で記されている。実際に提供された運動感覚力フィードバックおよび振動触覚力フィードバックを図１９に示しており、運組み合わせた動感覚力フィードバック信号と振動触覚力フィードバック信号の部分はなくなっている。
【0152】
一般に、運動感覚力フィードバック信号の修正は、アクチュエータ出力制限（またはそのレベル）に従うようにするものであってよい。例えば、運動感覚力フィードバック信号は、修正されて生じる運動感覚力フィードバック信号がそれに対応するアクチュエータ出力制限から特定の距離（例えば図１６に「マージン」と記した距離）を有するように修正されてよい。
【0153】
図１１～図１９で前述した例の場合、設計目標は、ユーザに提供する実際に組み合わせて生じる運動感覚力フィードバックと振動触覚力フィードバックの中で変化していない所望の振動触覚力フィードバック信号を維持することであってよい。場合によっては、振動触覚力フィードバック信号も修正して、または振動触覚力フィードバック信号のみを修正して、ユーザに提供する実際に生じる運動感覚力フィードバックおよび振動触覚力フィードバック内の所望の運動感覚力フィードバックのコンテンツが過度に失われるのを防止することが好ましいことがある。
【0154】
以下では、振動触覚力のアーチファクト（例えば信号のドロップアウト、ジッタリング、クリッピング）を軽減する解決策を提示する。
【0155】
振動触覚力フィードバックに対する人間の感度は、信号の周期性およびユーザへの規則的な配信に影響するアーチファクトにより大きく影響される。これは、運動感覚力フィードバックに対する感度とは異なり、運動感覚力フィードバックは、ユーザの動きを知覚する瞬間と、対応する運動感覚力フィードバック反応を力フィードバックデバイスが適用する瞬間との間の遅延に影響される。回避し得る振動触覚アーチファクトには、例えば以下のものが含まれる。
【0156】
ドロップアウト
ドロップアウトは、振動触覚力フィードバックが一時的に中断されたときに発生することがある。短いドロップアウトでさえ、ユーザが知覚する振動触覚力フィードバックの現実味には多大な影響を及ぼすことがある。ドロップアウトは、触覚デバイスに配信される前に遅延および／または中断される音声情報および／または音響情報の結果である。
ドロップアウトは、振動触覚力フィードバックが一時的に中断されたときに発生することがある。短いドロップアウトでさえ、ユーザが知覚する振動触覚力フィードバックの現実味には多大な影響を及ぼすことがある。ドロップアウトは、触覚デバイスに配信される前に遅延および／または中断される音声情報および／または音響情報の結果である。
【0157】
ジッタ
ジッタは、振動触覚力フィードバックが力フィードバックデバイスによって非周期的にユーザに適用されるときに発生することがある。これは、ユーザの機械的刺激受容器が知覚した周波数コンテンツに影響を及ぼすことがあり、その結果、アプリケーションが意図するフィードバックとは異なる振動触覚フィードバックになる。ジッタは、要求された振動触覚力フィードバック値をアクチュエータに適用するために力フィードバックデバイスが使用する配信機構が、振動触覚コンテンツを中断せず周期的に配信することを確実にするのに十分な優先性を与えられていないときに発生することがある。またジッタは、力フィードバックデバイスの内部のタイミング基準（クロック）がアプリケーションデバイスのタイミング基準と合致していないときにも発生することがある。力フィードバックデバイスとアプリケーションデバイスとの間にこの時間単位の不一致がある結果、力フィードバックデバイスは、振動触覚サンプルを意図したよりもわずかに遅く配信するか（それによって振動触覚力フィードバックを配信するのに遅延が大きくなり、これは望ましくない）、意図したよりもわずかに速く配信するか（それによって振動触覚データが周期的にスキップされ、それがユーザにはジッタとして現れる）のいずれかになることがある。
ジッタは、振動触覚力フィードバックが力フィードバックデバイスによって非周期的にユーザに適用されるときに発生することがある。これは、ユーザの機械的刺激受容器が知覚した周波数コンテンツに影響を及ぼすことがあり、その結果、アプリケーションが意図するフィードバックとは異なる振動触覚フィードバックになる。ジッタは、要求された振動触覚力フィードバック値をアクチュエータに適用するために力フィードバックデバイスが使用する配信機構が、振動触覚コンテンツを中断せず周期的に配信することを確実にするのに十分な優先性を与えられていないときに発生することがある。またジッタは、力フィードバックデバイスの内部のタイミング基準（クロック）がアプリケーションデバイスのタイミング基準と合致していないときにも発生することがある。力フィードバックデバイスとアプリケーションデバイスとの間にこの時間単位の不一致がある結果、力フィードバックデバイスは、振動触覚サンプルを意図したよりもわずかに遅く配信するか（それによって振動触覚力フィードバックを配信するのに遅延が大きくなり、これは望ましくない）、意図したよりもわずかに速く配信するか（それによって振動触覚データが周期的にスキップされ、それがユーザにはジッタとして現れる）のいずれかになることがある。
【0158】
クリッピング
クリッピングは、振動触覚力フィードバックの振幅が力フィードバックデバイスのアクチュエータの出力範囲を超えたときに発生することがある（例えば上記の考察を参照）。これは、ユーザに配信される信号の周波数領域のコンテンツを変化させることがあり、ユーザにとっては、実際の振動触覚フィードバックが、ユーザが感じるはずの所望の力フィードバックとは異なるものになることがある。クリッピングは、振動触覚信号の処理ロジックが、アクチュエータを駆動している力フィードバックソースをすべて合計した出力を正確に計算に入れていない場合に発生することがあり、それによって合計出力は、アクチュエータが生成できる利用可能な最大出力を超えてしまう。
クリッピングは、振動触覚力フィードバックの振幅が力フィードバックデバイスのアクチュエータの出力範囲を超えたときに発生することがある（例えば上記の考察を参照）。これは、ユーザに配信される信号の周波数領域のコンテンツを変化させることがあり、ユーザにとっては、実際の振動触覚フィードバックが、ユーザが感じるはずの所望の力フィードバックとは異なるものになることがある。クリッピングは、振動触覚信号の処理ロジックが、アクチュエータを駆動している力フィードバックソースをすべて合計した出力を正確に計算に入れていない場合に発生することがあり、それによって合計出力は、アクチュエータが生成できる利用可能な最大出力を超えてしまう。
【0159】
提示した本発明は、振動触覚データのデータ送信の欠点を緩和するとともに、、力フィードバックデバイスとアプリケーションデバイスとの間の時間単位の差を考慮して緩和して、ジッタがなくドロップアウトがない周期的な振動触覚力フィードバック体験を維持するための様々な技術を組み合わせたものである。使用する技術は、例えば以下のうちの少なくとも１つを伴ってよい。
【0160】
バッファリング
バッファリングは、力フィードバックデバイスが適用する振動触覚力フィードバックのサンプル数を、力フィードバックデバイスによるそのサンプルの周期的配信を開始する前に保存することを含む。これにより、力フィードバックデバイスは、アプリケーションからの音声情報および／または音響情報の送信の一時的な遅延を（少なくとも部分的に）吸収することができる。バッファのサイズは、生成された振動触覚力フィードバックと運動感覚力フィードバックの両方の性質を合わせたものに左右され得るほか、音声および／または音響の配信の確実性にも左右され得る。
バッファリングは、力フィードバックデバイスが適用する振動触覚力フィードバックのサンプル数を、力フィードバックデバイスによるそのサンプルの周期的配信を開始する前に保存することを含む。これにより、力フィードバックデバイスは、アプリケーションからの音声情報および／または音響情報の送信の一時的な遅延を（少なくとも部分的に）吸収することができる。バッファのサイズは、生成された振動触覚力フィードバックと運動感覚力フィードバックの両方の性質を合わせたものに左右され得るほか、音声および／または音響の配信の確実性にも左右され得る。
【0161】
いくつかの実施形態では、バッファリングは、音声情報および／または音響情報の少なくとも一部をバッファリングすることで達成されてよい。
【0162】
コンテンツ生成
コンテンツ生成により、力フィードバックデバイスの制御ソフトウェアは、ユーザによる継続的な振動触覚力フィードバックの錯覚を壊すことなく、欠落している振動触覚データを埋めるための人工的な置換サンプルを自動的に生成することが可能になる。コンテンツ生成は、アプリケーションが振動触覚力フィードバックデータの一部を配信し損ねた場合、および／または振動触覚サンプル配信の遅延がバッファで吸収できるよりも大きい場合に使用できる。コンテンツ生成は、データ送信が再開されると、振動触覚サンプルの配信に継続的に移行するサンプルを生成することを伴ってよい。
コンテンツ生成により、力フィードバックデバイスの制御ソフトウェアは、ユーザによる継続的な振動触覚力フィードバックの錯覚を壊すことなく、欠落している振動触覚データを埋めるための人工的な置換サンプルを自動的に生成することが可能になる。コンテンツ生成は、アプリケーションが振動触覚力フィードバックデータの一部を配信し損ねた場合、および／または振動触覚サンプル配信の遅延がバッファで吸収できるよりも大きい場合に使用できる。コンテンツ生成は、データ送信が再開されると、振動触覚サンプルの配信に継続的に移行するサンプルを生成することを伴ってよい。
【0163】
いくつかの実施形態では、コンテンツ生成は、連続性を維持する人工的音声情報および／または音響情報のコンテンツ生成によって達成されてよい。
【0164】
リサンプリング
リサンプリングにより、力フィードバックデバイスは、アプリケーションの時間単位で表された振動触覚サンプルを適用することが可能になる。これは、力フィードバックデバイスの動作をアプリケーションに監視させて、力フィードバックデバイスの内部クロックのスキューをアプリケーションのクロックを対照として推測し、力フィードバックデバイスに送信された音声データおよび／または音響データをリサンプリングして振動触覚サンプルがアプリケーションの時間単位での正しい値で適用されるようにすることで達成され得る。リサンプリングにより、アプリケーションは、ユーザに振動触覚コンテンツを適用する際の遅延を正確に制御することが可能になる。
リサンプリングにより、力フィードバックデバイスは、アプリケーションの時間単位で表された振動触覚サンプルを適用することが可能になる。これは、力フィードバックデバイスの動作をアプリケーションに監視させて、力フィードバックデバイスの内部クロックのスキューをアプリケーションのクロックを対照として推測し、力フィードバックデバイスに送信された音声データおよび／または音響データをリサンプリングして振動触覚サンプルがアプリケーションの時間単位での正しい値で適用されるようにすることで達成され得る。リサンプリングにより、アプリケーションは、ユーザに振動触覚コンテンツを適用する際の遅延を正確に制御することが可能になる。
【0165】
いくつかの実施形態では、リサンプリングは、音声情報および／または音響情報をリサンプリングすることで達成されてよい。
【0166】
リサンプリング変調
リサンプリング変調により、アプリケーションは、リサンプリングレートを（好ましくは人間が知覚する周波数変化閾値よりも低く）（わずかに）変更して、バッファリングした所望数の振動触覚サンプルを維持することが可能になる。これにより、アプリケーションが、力フィードバックデバイスのクロックとアプリケーションのクロックとの間のクロックスキューにある何らかの離散化を緩和することが可能になってよい。この機構により、バッファリングアルゴリズムが、音声データおよび／または音響データの送信時に永続的な遅延が発生した後に、バッファリングされた振動触覚サンプルの保存部を補充し、かつ／またはバッファがほぼ満杯になればバッファリングされたサンプル数を減らすことができるようにもしてよい。
リサンプリング変調により、アプリケーションは、リサンプリングレートを（好ましくは人間が知覚する周波数変化閾値よりも低く）（わずかに）変更して、バッファリングした所望数の振動触覚サンプルを維持することが可能になる。これにより、アプリケーションが、力フィードバックデバイスのクロックとアプリケーションのクロックとの間のクロックスキューにある何らかの離散化を緩和することが可能になってよい。この機構により、バッファリングアルゴリズムが、音声データおよび／または音響データの送信時に永続的な遅延が発生した後に、バッファリングされた振動触覚サンプルの保存部を補充し、かつ／またはバッファがほぼ満杯になればバッファリングされたサンプル数を減らすことができるようにもしてよい。
【0167】
いくつかの実施形態では、リサンプリングは、所望数の音声情報および／または音響情報をバッファリングするためにリサンプリングレートを変調することで達成されてよい。
【0168】
さらに、ステアリングホイールを用いる実施形態では、２つのステアリングホイールをコンピュータに作動的に接続してよく、この場合、第１のステアリングホイールは教師が制御し、第２のステアリングホイールは生徒が制御する。
【0169】
車の制御を行う第１のステアリングホイールは、マスターと定義される。第２のステアリングホイールはスレーブと定義される。ただし、ステアリングホイールが３つ以上あってもよく、その場合、１つはマスターで残りはスレーブである。
【0170】
マスターステアリングホイールの位置情報は、ゲームシミュレーション中の車両の動作を制御するために継続的にコンピュータに送り返される。
【0171】
ゲームによって計算される運動感覚力フィードバックは、マスターステアリングホイールに送り返される。ただし、ゲームシミュレーションから来る振動触覚力フィードバックは、ドライバ全員がエンジン音ならびに車およびその環境から来るその他の信号を知覚できるように、全ステアリングホイールに送られる。
【0172】
スレーブステアリングホイールがマスターステアリングホイールからの動きを知覚して修正できるようにするために、マスターステアリングホイールの位置とスレーブステアリングホイールの位置との間に仮想ばねをモデル化する。それによって生じる力は、運動感覚フィードバック力として両方のステアリングホイールに印加され、両ステアリングホイールの間に仮想の接続ができる。
【0173】
Ｘｍ：マスターステアリングホイールの角度位置
Ｘｓ：スレーブステアリングホイールの角度位置
Ｋｍ；マスターステアリングホイールが知覚する仮想ばねの硬さ
Ｋｓ；スレーブステアリングホイールが知覚する仮想ばねの硬さ
Ｆｍ：マスターステアリングホイールが知覚する運動感覚ばね力
Ｆｓ：スレーブステアリングホイールが知覚する運動感覚ばね力
Ｆｍ＝Ｋｍ＊（Ｘｓ－Ｘｍ）
Ｆｓ＝Ｋｓ＊（Ｘｍ－Ｘｓ）
Ｘｓ：スレーブステアリングホイールの角度位置
Ｋｍ；マスターステアリングホイールが知覚する仮想ばねの硬さ
Ｋｓ；スレーブステアリングホイールが知覚する仮想ばねの硬さ
Ｆｍ：マスターステアリングホイールが知覚する運動感覚ばね力
Ｆｓ：スレーブステアリングホイールが知覚する運動感覚ばね力
Ｆｍ＝Ｋｍ＊（Ｘｓ－Ｘｍ）
Ｆｓ＝Ｋｓ＊（Ｘｍ－Ｘｓ）
【0174】
計算された運動感覚ばね力Ｆｓは、スレーブステアリングホイールに印加される。
【0175】
計算された運動感覚ばね力Ｆｍは、ゲームによって計算された運動感覚力に加えてマスターステアリングホイールに印加される。
【0176】
異なる硬さパラメータであるＫｍとＫｓは、知覚された接続を強めたり弱めたりするために調整され得る。Ｋｍをゼロに設定し、Ｋｓを高い硬さ値に設定した場合、スレーブドライバは、マスタードライバがしていることを知覚するが、マスタードライバに影響を与えることはない。ＫｍとＫｓの両方を高い硬さ値に設定した場合、両方のドライバが車両に作用できるようになり、互いの相互作用を左右対称に知覚する。
【0177】
このような実施形態は、隣り合って座っている２人のプレーヤの間、または同時に接続している（例えばインターネットを介して、１つ以上の有線接続または無線接続を介して）遠隔にいる２人のプレーヤの間で実施されてよい。
【0178】
さらに他のこのような実施形態では、１つ以上のスレーブが、事前に記録されたレースをストリーミング配信するコンピュータに接続され、コンピュータにはマスターステアリングホイールの位置が記録されている。このような実施形態では、スレーブドライバは、事前に記録されたレースを体験できることになる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10a】
【図10b】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】