特開 2024-2954 触覚システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002954

(43)【公開日】2024-01-11

(54)【発明の名称】触覚システムおよび方法

(51)【国際特許分類】

   H04R 3/00 20060101AFI20231228BHJP

   H04R 1/00 20060101ALI20231228BHJP

   H04S 1/00 20060101ALI20231228BHJP

【ＦＩ】

H04R3/00 310

H04R1/00 317

H04S1/00 200

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023101443

(22)【出願日】2023-06-21

(31)【優先権主張番号】2209205.0

(32)【優先日】2022-06-23

(33)【優先権主張国・地域又は機関】GB

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ジェイソン クレイグ ミルソン

(72)【発明者】

【氏名】ロイド プレストン ステンプル

(72)【発明者】

【氏名】マンダナ ジェナーブザーデ

(72)【発明者】

【氏名】マリア モンティ

(72)【発明者】

【氏名】クリストファー ジョージ ブキャナン

【テーマコード（参考）】

5D017

5D162

5D220

【Ｆターム（参考）】

5D017AB11

5D162AA07

5D162CA26

5D162CC08

5D162CD07

5D162CD26

5D220AA34

5D220AB01

(57)【要約】      （修正有）

【課題】骨伝導頭部関連伝達関数「ｂＨＲＴＦ」を使って処理された触覚信号を出力するウェアラブル触覚フィードバックシステムおよび方法を提供する。
【解決手段】オーディオプロセッサを含むエンタテインメントシステムにおいて、触覚フィードバック方法は、１つ以上の骨伝導触覚フィードバックユニットを備えたウェアラブル触覚フィードバック装置を与えるステップと、骨伝導頭部関連伝達関数「ｂＨＲＴＦ」を使って処理された第１の信号で１つ以上の骨伝導触覚フィードバックユニットを駆動するステップと、を含む。
【選択図】図８

【特許請求の範囲】

【請求項1】

１つ以上の骨伝導触覚フィードバックユニットを備えたウェアラブル触覚フィードバック装置を与えるステップと、
骨伝導頭部関連伝達関数「ｂＨＲＴＦ」を使って処理された第１の信号で前記１つ以上の骨伝導触覚フィードバックユニットを駆動するステップと、
を含むことを特徴とする触覚フィードバック方法。

【請求項2】

前記１つ以上の骨伝導触覚フィードバックユニットは、
ｉ．触覚振動ドライバ
または
ｉｉ．音声周波数ドライバ
を備えることを特徴とする請求項１に記載の触覚フィードバック方法。

【請求項3】

前記１つ以上の骨伝導触覚フィードバックユニットは、触覚振動ドライバを備え、触覚フィードバックに関連する当該ドライバのための触覚信号を前記第１の信号として受信することを特徴とする請求項２に記載の触覚フィードバック方法。

【請求項4】

前記１つ以上の骨伝導触覚フィードバックユニットは、音声周波数ドライバを備え、骨伝導音声に関連する当該ドライバのための音声信号を前記第１の信号として受信することを特徴とする請求項２または３に記載の触覚フィードバック方法。

【請求項5】

前記第１の信号は、前記骨伝導触覚フィードバックユニットの装着位置または前記骨伝導触覚フィードバックユニットの位置で取得された測定信号と、複数の頭部位置で印加された励振信号と、それぞれの装着位置と頭部位置との間の空間的関係を代表する尺度と、を使って導出されたｂＨＲＴＦを使って処理されることを特徴とする請求項１から４のいずれかに記載の触覚フィードバック方法。

【請求項6】

前記ウェアラブル触覚フィードバック装置は、前記骨伝導触覚フィードバックユニットを、
ｉ．左右の耳の耳珠の前
または
ｉｉ．左右の耳の対珠の後
の位置で、ユーザの頭部に配置することを特徴とする請求項１から５のいずれかに記載の触覚フィードバック方法。

【請求項7】

複数の前記骨伝導触覚フィードバックユニットを、ウェアラブルヘッドバンドの周囲に配置することを特徴とする請求項１から６のいずれかに記載の触覚フィードバック方法。

【請求項8】

複数の前記骨伝導触覚フィードバックユニットを、
ｉ．帽子もしくはキャップ
ｉｉ．四肢用スリーブ、または
ｉｉｉ．胴体用スリーブもしくはジャケット
の上に配置することを特徴とする請求項１から７のいずれかに記載の触覚フィードバック方法。

【請求項9】

骨伝導オーディオを使用するときに、ユーザの可聴周波数範囲外にあるオーディオ信号の一部をマッピングされた信号としてユーザの可聴周波数範囲にマッピングするステップと、
マッピングされた信号を少なくとも第１の信号として与えるステップと、
を含むことを特徴とする請求項１から８のいずれかに記載の触覚フィードバック方法。

【請求項10】

現在のユーザの頭部形態の特徴に関する１つ以上の測定値を取得するステップと、
当該１つ以上の測定値を複数の参照個人の対応する測定値と比較して、最も近く一致する者を識別するステップと、
当該最も近く一致した参照個人について以前に導出されたｂＨＲＴＦを検索するステップと、
当該検索されたｂＨＲＴＦを現在のユーザに提供するステップと、
を含むことを特徴とする請求項１から９のいずれかに記載の触覚フィードバック方法。

【請求項11】

コンピュータで実行可能な命令であって、請求項１から１０のいずれかに記載の触覚フィードバック方法をコンピュータシステムに実行させる命令を備えることを特徴とするコンピュータ・プログラム。

【請求項12】

請求項１から１１のいずれかに記載の方法をコンピュータに実行させるコンピュータ実行命令を含むコンピュータプログラム。

【請求項13】

１つ以上の骨伝導触覚フィードバックユニットを含むウェアラブル触覚フィードバック装置（５４、８０２'）と、
前記１つ以上の骨伝導触覚フィードバックユニットを駆動するために使用される、骨伝導頭部関連伝達関数「ｂＨＲＴＦ」を使って処理された少なくとも第１の信号を出力するオーディオプロセッサ（２０、３０）と、
備えることを特徴とする触覚フィードバックシステム。

【請求項14】

前記１つ以上の骨伝導触覚フィードバックユニットは、
ｉ．触覚振動ドライバ
または
ｉｉ．音声周波数ドライバ
を備えることを特徴とする請求項１３に記載の触覚フィードバックシステム。

【請求項15】

前記第１の信号は、前記骨伝導触覚フィードバックユニットの装着位置または前記骨伝導触覚フィードバックユニットの位置で取得された測定信号と、複数の頭部位置で印加された励振信号と、それぞれの装着位置と頭部位置との間の空間的関係を代表する尺度と、を使って導出されたｂＨＲＴＦを使って処理されることを特徴とする請求項１３または１４に記載の触覚フィードバックシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は触覚システムおよび方法に関する。

【背景技術】

【0002】

既存の触覚システムは、典型的には、手で持つ触覚体験または全身触覚体験のいずれかを提供することに関する。しかしながら、（事前に記録されたものであれ、対話的なものであれ）体験を豊かにし、または体験に関連する情報への理解を促すために、感覚的または注意的ニーズを持つ人を支援できるような、代替的および／または付加的な感覚入力を与える触覚インターフェースには検討の余地がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、この必要性に対処し、またはこの必要性を軽減しようとするものである。

【課題を解決するための手段】

【0004】

本発明の様々な態様および特徴は、添付の特許請求の範囲および詳細な説明の文中で定義される。

【0005】

第１の態様では、請求項１による触覚フィードバック方法が提供される。

【0006】

別の態様では、請求項１３に記載のように、触覚フィードバックシステムが提供される。

【図面の簡単な説明】

【0007】

添付の図面と関連させながら以下の詳細な説明を参照することにより、本開示およびそれに付随する利点の多くのより完全な理解が容易に得られるであろう。

【図1】実施の形態に係るオーディオプロセッサを含むエンタテインメントシステムの概略図である

【図2】図２Ａおよび２Ｂは、耳間のタイミングおよびレベルの差を示す概略図である。

【図3】図３Ａおよび図３Ｂは、仰角依存周波数感度を例示する概略図である。

【図4】時間および周波数領域におけるインパルス応答の概略図である。

【図5】頭部に関連する伝達関数の概略図である。

【図6】実施の形態に係る測定スキームの概略図である。

【図7】図７Ａおよび図７Ｂは、実施の形態に係るウェアラブル触覚フィードバック装置の概略図である。

【図8】実施の形態に係る触覚フィードバック方法のフローチャートである。

【発明を実施するための形態】

【0008】

以下、触覚システムおよび方法が開示される。以下の説明では、本発明の実施の形態に関する十分な理解を与えるために、多数の具体的な詳細を示す。しかしながら、当業者には、これらの特定の詳細を本発明の実施に採用する必要がないことは明らかであろう。逆に、当業者に知られている特定の詳細は、適切な場合には、明瞭化の目的で省略されている。

【0009】

図面を参照するにあたり、複数の図を通して同一または対応する部分を示すのに同様の符号を使う。

【0010】

本明細書の実施の形態では、骨伝導頭部関連伝達関数（ｂＨＲＴＦ）を使って処理された触覚信号を出力するウェアラブル触覚フィードバック装置が与えられる。

【0011】

特にこれは、音声（空気伝送）ＨＲＴＦを使って処理された音声を再生する骨伝導ヘッドホンを利用するのとは異なる。

【0012】

図２および図３を参照すると、従来のＨＲＴＦは、オーディオソースからの各耳間の経路長の違いによって引き起こされるオーディオの耳間タイミングの違い（図２Ａ）、ユーザの頭部の遮蔽や回折/干渉効果によって引き起こされるレベルの耳間差（図２Ｂ）、さらに、入射オーディオ波と、外耳の様々な周波数依存増幅特性との相互作用によって発生する周波数応答の変化（図３Ａおよび図３Ｂ）などを検出していることが理解できるだろう。

【0013】

これとは対照的に、骨伝導ｂＨＲＴＦはまったく異なる特性を持つ。すなわち、ユーザの頭部周辺の（および頭部を通る）減衰は、ユーザの頭部に直接結合された触覚信号ごとに異なる。空気中を通る場合とは対照的に、ユーザの頭部内での音声の伝搬速度が異なるため、タイミング（特に耳間の、より一般的にはユーザの頭部の２点間での）も異なる。

【0014】

しかし、空間的に局在化された音感（しばしば３Ｄオーディオと呼ばれます）を生成する空気伝搬オーディオＨＲＴＦと同様、骨伝導触覚ｂＨＲＴＦは、空間的に局在化された触覚または振動（たとえば、３Ｄ触覚効果）を生成することができる。この場合、ユーザの頭部の皮膚にある触覚受容体によって引き起こされる物理的な触覚や振動と、処理された信号によって生成される仮想的な触覚や振動とが別個に存在する。しかしユーザは、没入感や情報のために仮想的な感覚を使う一方、物理的な感覚に慣れてしまう可能性がある。

【0015】

オーディオＨＲＴＦは、ユーザまたはダミーヘッドの外耳道内にマイクを設置し、そこから得られる信号を、ソースオーディオ信号およびリモートソースの位置とともに使い、伝達関数を計算することによって得ることができる。一般にこれは、複数のソースオーディオ信号の位置、例えばユーザの周りの球における、ユーザの耳内インパルスまたは周波数応答を決定することによって実現される。

【0016】

図４を参照すると、上側のグラフに示されるように、サンプリングされた各位置の音（例えば、シングルデルタやクリックのようなインパルス）に対して、（例えば、外耳道の入り口に配置されたマイクロホンを使って）耳内で記録されたインパルス応答が得られる。このようなインパルス応答をフーリエ変換したものは周波数応答と呼ばれ、図４の下側のグラフに示される。これらのインパルス応答または周波数応答をまとめて、ＨＲＴＦを定義するために利用することができる。このＨＲＴＦは、空間内の特定の位置における受信周波数スペクトルに対する、ユーザの頭部（頭の形状、顔の特徴、外耳の形状など）の各耳で聞いたときの影響を表す。

【0017】

多くの位置で測定することで、完全なＨＲＴＦを計算することができる。左右両方の耳に関し、その一部が図５に示される（ｙ軸に周波数、ｘ軸に方位を示す）。明るさはフーリエ変換値の関数であり、暗い領域はスペクトルのノッチに対応する。

【0018】

ＨＲＴＦは通常、ユーザの頭部を取り囲む球面または部分球面上の一連の位置（例えば方位角と仰角の両方）に対する時間または周波数フィルタ（例えば、インパルスまたは周波数応答に基づく）から構成される。これらのフィルタのそれぞれ１つを通して音を再生すると、対応する位置／方向から音が聞こえてくるように感じられる。フィルタの基準となる測定位置が多ければ多いほど、ＨＲＴＦはよくなる。測定位置と測定位置との間の位置に関しては、フィルタ間の補間を利用することができる。この場合も、測定位置が互いに近ければ近いほど、よりよい（そしてより少ない）補間が行われる。

【0019】

このプロセスは当該技術分野で知られており、本明細書ではこれ以上説明しない。

【0020】

特に、ユーザの代わりにダミーヘッドを使用できるのは、ユーザの頭部の外形以外の構造特性はＨＲＴＦの計算と無関係だからである。

【0021】

しかし、提案されている骨伝導ｂＨＲＴＦの場合、ユーザの頭部（または一般に人の頭部）の構造的特性が関係する。これは、触覚音源からの波が頭部の周囲を伝搬し、頭部を通過する際の挙動は、皮膚、頭蓋骨、脳の特性に依存するからである。

【0022】

特に、左右の耳間（より正確には測定点間）の伝播遅延は、空気中よりも短くなることが予想される。一方、頭部を直接通過する伝搬遅延は、脳を通過する伝搬速度の違いと経路長の違いとの組み合わせにより、場所や方向によって差が生じる可能性が高い。同様に、耳間（より正確には測定点間）レベルも空気中とは異なり、頭蓋骨の伝搬経路および脳の伝搬経路のそれぞれで異なる。これらの違いは、経路長の違いおよび耳による方向知覚レベルの違いとほぼ同じ原理で、方向知覚を可能にする。また、異なる伝搬経路間における周波数に依存した減衰の違いも、方向知覚に寄与する可能性がある。これは、空気に基づく方向知覚により、松果体の構造に起因した異なる周波数応答が可能であるのと同様である。

【0023】

従って、ここで図６を参照すると、本明細書のある実施の形態では、１つ以上の触覚振動センサ（例えば、所望の触覚振動範囲を包含する適切な周波数応答を有するマイクロホンであってもよい）が、３Ｄ触覚効果を生成するために使用される触覚ドライバの後続位置に対応する位置で、ユーザの頭部と物理的に接触するように配置される。

【0024】

センサとそれに続くドライバの両方にとって好ましい（しかし必須ではない）位置は、耳小骨の前方（位置Ａとして示される）であり、典型的には顔に向かって０～２ｃｍの領域である。センサとそれに続くドライバーの両方にとって好ましい（しかし必須ではない）別の位置は、小葉／耳たぶの真後ろにある上あごである（位置Ｂとして示される）。これらのどちらかを後続のドライバシステムで使ってもよいし、どちらも使わなくてもよい（例えば、ヘッドフォンや補聴器スタイルではなく、ヘッドバンドやキャップを使う場合など）。測定は通常、頭部の両側の対応する測定位置で行われると理解されるだろう。

【0025】

次に、ユーザの頭部の異なる位置に励起信号を印加する。非限定的な位置の例を図６に円で示す。より一般的には、サンプル点のほぼ等距離分布が、ユーザの頭部および顔面の任意の領域にわたって使用される。特に、ユーザの骨構造（例えば頭蓋骨、任意に眉、頬、および／または上顎を含む）、下顎、および／または首をトレースすることができる。これらの信号は、任意の適切な周波数範囲（特に、後続のウェアラブル触覚フィードバック装置によって使用されると予想される周波数範囲）に適用することができる。さらにこれらの信号は、触覚信号のみであってもよく、かつ／または骨伝導音声信号を包含してもよい。この周波数範囲については、本明細書で改めて説明する。

【0026】

次に、本明細書で前述した空気伝導ＨＲＴＦに類似した方法で、センサから得られた信号を音源励振信号およびユーザの頭部上の励振の位置とともに使用して、骨伝導ＢＨＲＴＦを計算することができる。

【0027】

その後、触覚ドライバを測定位置（例えば、Ａおよび／またはＢ、および／またはユーザの頭部の他の場所）または各測定位置で使用し、骨伝導ｂＨＲＴＦを使って処理された信号を供給して、ユーザの頭部の１つまたは複数の場所で触覚励起によって励起された場合にその時点で受信された信号に相当する信号を提供することができる。その後ユーザは、知覚された触覚刺激の発生源方向または位置を決定することができる。

【0028】

この方法によれば、聴覚障害のあるユーザも、３Ｄオーディオ方向キューに似た触覚方向キューを受け取れるかもしれない。一方、他のユーザも、没入感を得るため、または（例えば、視覚または聴覚の知覚に余裕がない場合、あるいは圧倒されている場合）別の感覚情報チャネルを持つことから、方向触覚体験の恩恵を受けるかもしれない。

【0029】

ウェアラブルおよび骨伝導触覚フィードバックユニットは、例えば、低周波数および／または高周波数出力を与えるための１つ以上のドライバから構成されてもよい。

【0030】

低周波数ドライバは、概して低周波数の範囲（例えば、非限定的に、１～１０Ｈｚから５～２０Ｈｚの範囲）、および／または概して重低音の範囲（例えば、１５～５０Ｈｚから５０～２５０Ｈｚの範囲）で触覚を与えることができる。このようなドライバは、主に触覚入力を生成するために与えられる。

【0031】

一方、高周波数ドライバは、概して可聴周波数範囲（例えば、非限定的に、５０～２５０Ｈｚから２０００～８０００Ｈｚの範囲）の触覚を与えることができる。このようなドライバは、主に指向性のある骨伝導音声（例えば対話）を生成するために与えられる。

【0032】

従って、任意選択で、ウェアラブル触覚フィードバックユニットは、低周波数ドライバおよび高周波数ドライバの両方を含んでいてもよい。典型的には、触覚ヘッドセットなどのウェアラブル触覚フィードバック装置は、頭部の両側にウェアラブル触覚フィードバックユニットを備える。

【0033】

本明細書に開示するように、このようなウェアラブル触覚フィードバック装置は、（事前に記録されたものであれ、インタラクティブなものであれ）体験を豊かにし、または感覚もしくは注意の必要な人が体験に関連する情報を同化するのを支援する可能性のある代替的および／または追加的な感覚入力を与えることができる。特に、方向的／空間的な触覚入力を提供することで、それらをグラフィカルに表示する必要なく（または、グラフィカルに表示する場合は、ユーザが関連する時間にそれらに注意を向けている（または向けることができる）と仮定する必要なく）、イベントまたはキャラクタのインタラクションの状況認識を提供することができる。同様に、方向/空間触覚入力は、仮想環境の没入感を高めることができる。一方、触覚フィードバックとは別に（または触覚フィードバックと協調して）、指向性／空間骨伝導オーディオも同様に、特に外耳や中耳の聴覚障害を持つユーザや、ヘッドフォンで耳を塞がないことで現実環境の認識を保持したいユーザに、認識と没入感を与えることができる。

【0034】

（変形例）
ユーザは、頭への触覚入力や、指向性のある骨伝導オーディオなどに慣れていない場合がある。そのためユーザは、選択的に、自分が体験している主観的な触覚や骨伝導音声を理解するように訓練されてもよい。

【0035】

例えば骨伝導ヘッドセットを装着しているユーザは、音が特定の場所から来るように感じられるように、骨伝導ｂＨＲＴＦを使って処理された触覚および／または音声を提供され、さらにその場所のグラフィック表示も提供される。例えばバーチャルリアリティヘッドセットの場合、ユーザは周囲を見回して場所を特定することができる。ユーザが頭を動かして場所の相対位置を維持すると、処理された触覚および／または音声は変化する。このときユーザは、音源の位置を視覚的に確認し、頭の位置を変えると音源が頭の上をどのように移動するかを運動感覚的に理解できる。

【0036】

ユーザは、このアプローチを使うことで、触覚および／またはオーディオの効果的な位置の特定を学ぶことができる。このアプローチは、ユーザは、例えば学習により位置特定に自信が得られると、実際に見ることなく場所を効果的に指摘し、その精度をスコア付けすることで、娯楽性を持たせることができる。

【0037】

このような精度スコアは、与えられる方向性情報のタイプを決めるのに使うこともできる。例えば精度が低いユーザに対しては、関連する情報の方に頭を向けるように誘導するような、単純な左または右タイプの触覚が与えられてもよい。一方、精度が高いユーザには、感覚および／または音声に対してより正確な方向性キューを提供できるように、左または右の程度、および／または前後の程度、および／または上下の程度を示す感覚が与えられてもよい。精度または他のユーザフィードバックと、選択された指向性のタイプとの間の正確な関係は、設計者の裁量に任されてもよい。

【0038】

外耳や中耳の問題などで聴覚に障害があるが、人工内耳は正常に機能し、従来のオーディオ周波数範囲に反応するユーザや、聴覚に障害のないユーザには、従来の周波数範囲で骨伝導オーディオを提供することができる。選択的に、より高い周波数では、これらの周波数でより高い減衰率を考慮し、ブーストされることもある。

【0039】

しかし、蝸牛が従来の音声周波数範囲に反応せず、特に従来の音声の周波数範囲で減衰する（例えば、500Hzから8kHzの範囲で、一般的に高い周波数から低い周波数へ段階的に減衰する）ような聴覚障害のあるユーザには、事前に録音された、または他の方法で生成された音声（特にダイアログ）を、ユーザがまだ聞き取ることができる低い周波数にマッピングしてもよい。このようなマッピングは、例えばウェーブレット変換を使って実現できる。このマッピングは、例えばＨＲＴＦ処理の前段階として、音声が生成されるときに実行されることもあれば、事前に処理され、パラレルオーディオデータセットとして供給されることもある。マッピングが現在の処理の一部として実行される場合、選択的に、例えば較正処理の一部として、触覚ドライバを使って行われる聴力検査に応答するようにしてもよい。

【0040】

同様に、上述のように、ウェアラブル骨伝導触覚フィードバックユニット５６は、複数のドライバから構成されてもよく、典型的には、一方は低周波数ドライバであり、他方は高周波数ドライバであってもよい。選択的に、低周波ドライバは独立した触覚信号を受信し、高周波ドライバは独立した音声信号を受信し、これらがまったく別のコンテンツおよびゲーム内イベントに関連する場合もある。しかし、代替的または追加的に、例えば、広いスペクトルのインパルスや音楽などを与えるために、互いを補完する信号を受信してもよい。別個の触覚信号は、特定の触覚フィードバックデータに由来してもよく、および／または音声データの低周波数成分に由来してもよい。

【0041】

本明細書に開示するように、典型的には、各々が１つ以上の触覚ドライバからなるウェアラブル触覚フィードバックユニットは、例えば、眼鏡型ウェアラブルデバイスの一部、またはオーバーヘッド型ヘッドフォン５４の一部（図７Ａでは、ウェアラブル触覚フィードバックユニット５６の位置が、ハッチングされた円で示されている）、ビハインドヘッド型ヘッドフォン、または耳かけ型イヤフォンの一部など、いくつかの形態のうちの１つのヘッドウェアとして、耳の近く（例えば、図６のＡおよびＢの位置）に装着される。しかし、これは必須ではない。

【0042】

従って、代替的または追加的に、１つ、２つ、またはそれより多くのウェアラブル骨伝導触覚フィードバックユニットを、円周ヘッドバンドの形態のヘッドウェアに設けてもよい。このヘッドバンドは、独立したアイテムであってもよいし、仮想現実または拡張現実ヘッドセット８０２の一部であってもよい（図７Ｂでは、ウェアラブル触覚フィードバックユニット５６の位置は、ハッチングされた円によって示されており、この場合、位置Ａにもユニットが含まれる）。ウェアラブル触覚フィードバックユニットは、ヘッドバンドの周囲に一様に分布してもよく、または所定の位置に配置されてもよく、および／またはヘッドバンドまたはヘッドセットの他の動作構成要素が許す場所によって制限されてもよい。

【0043】

同様に、代替的または追加的に、１つ、２つ、またはそれより多くのウェアラブル触覚フィードバックユニットを、キャップ、帽子、または他の頭上構造の形態のヘッドウェアに設けてもよい。この場合も、独立したアイテムであってもよいし、仮想現実拡張現実ヘッドセットの一部であってもよい。装着可能な触覚フィードバックユニットは、構造体上に一様に分布してもよく、所定の位置に配置されてもよく、および／または構造体もしくはヘッドセットの他の動作構成要素が許す場所によって制限されてもよい。

【0044】

注目すべきことに、触覚ヘッドバンドまたは触覚キャップは、それらのウェアラブル触覚フィードバックユニットの物理的な空間的位置決めによって、ある程度改善された指向性を実現できる。しかし、この場合、骨伝導ｂＨＲＴＦ（または潜在的に異なるウェアラブル触覚フィードバックユニットのための複数のｂＨＲＴＦ）は、ユニット自体の位置以上に強化された指向性を提供する。

【0045】

１つ以上のウェアラブル触覚フィードバックユニットを、ユーザの頭蓋骨に音響的に結合させるために、別の方法を用いてもよい。例えば、マウスガードまたはバイトプレート形式の装置を採用してもよい。この場合ユーザは、装置を歯の間にはさむことができる。触覚フィードバックユニットは、ユーザの上顎および／または下顎を通して信号を伝達することができる。このような装置は、舌で操作可能なボタンやグリップセンサなどの制御要素から構成されることもある。ユーザは、このような制御要素を介して、エンターテイメント装置１０に対する入力を生成することができる。

【0046】

この場合、骨伝導ｂＨＲＴＦは、同様のマウスガードまたはバイトプレート型装置に配置されたセンサからのデータに基づく。

【0047】

一般的なＨＲＴＦが適切な空間オーディオを提供するのに対し、空気伝搬オーディオＨＲＴＦでは、パーソナライズされたＨＲＴＦ、または現在のユーザと同じような頭部形態を持つ人のために用意されたＨＲＴＦを使って、これを改善することができる。

【0048】

同じ原理は、骨伝導ｂＨＲＴＦにも当てはまる。しかし、低周波、低周波音、振動のみの触覚信号の場合、信号波長の相対性に起因して、指向性が本来明確でないことがあるため、これはあまり重要でないかもしない。

【0049】

しかしながら、特に指向性のある骨伝導オーディオの場合、一般的なｂＨＲＴＦモデルをユーザ自身の頭部の形態に、より適合するように更新または置き換えることが望ましい場合がある。

【0050】

この場合、本明細書に開示する方法で、個々のユーザをセンサおよび音源で直接テストするのは現実的でない可能性が高い。その結果、本明細書の実施の形態では、ユーザは、任意の適切な手段（例えば、ユーザのアカウントに関連付けられたエンタテインメントデバイス１０またはＨＭＤ５３のいずれかに関連付けられたカメラでキャプチャされた、および／またはユーザのアカウントに関連付けられた電話によってキャプチャされた、正面および側面の写真を使用する）によって得られた自分の頭部の測定値を与えることができる。

【0051】

このような写真は、例えば中央サーバによって、一般的なユーザの頭部の参照テンプレート（図６に示す一般的な頭部テンプレートなど）と比較され、これらに対する差異を特定することができる。次にサーバは、骨伝導ＨＲＴＦが実行された、最も近い対応する差異のセットを有する参照個人を特定し、現在のユーザが使用するために、対応する骨伝導ｂＨＲＴＦを取得することができる。

【0052】

代替的または追加的に、このような写真を参照個体の写真と直接比較して、最も近い形態学的一致点を見出すこともできる。ただしこの場合、例えば両方の写真に写っている髪（顔またはその他の）などの写真に含まれる特徴に起因して、追加的な誤差源または変動源が発生する可能性がある。

【0053】

このような参照個体ｂＨＲＴＦのライブラリは、様々な年齢、性別、民族などを網羅する参照個体の代表的な集団に対して、本明細書に記載したテストを実行することによって生成することができる。

【0054】

このライブラリは、時間の経過とともに増やすことができる。これにより、ユーザの測定値を定期的に再比較し、現在のものよりも優れた形態学的一致、ひいてはより優れた骨伝導ｂＨＲＴＦが追加されたかどうかを特定することができる。

【0055】

本明細書では、ウェアラブル触覚フィードバック装置（ヘッドセット、ヘッドマウントディスプレイ、ヘッドバンド、またはキャップなど）、および頭部に関連する伝達関数を参照して技術を説明する。しかし原理的には、このアプローチは、例えば脚、腕、および／または胴体など、身体の他のどの部分にも使用できる。

【0056】

従って、例えば、頭部にかぶった帽子のようなヘッドウェアが、ウェアラブル触覚フィードバックユニットの分布を頭部に与えるのと同様に、スリーブやジャケットが、ウェアラブル触覚フィードバックユニットの分布を手足や身体に与えることができる。本明細書に開示する骨伝導ｂＨＲＴＦと同様の方法で生成される四肢または身体に関連する伝達関数を使うことにより、このようなスリーブやジャケットも、空間的に微細な解像度の触覚フィードバックをユーザに提供することができる（この場合のウェアラブル触覚フィードバックユニットは、密度が同じ場所で衣服が直接触覚刺激を必要とする場合に比べると少ないが）。これにより、触覚フィードバック衣服のコストおよび重量の両方を低減することができる。

【0057】

従って、より一般的には、触覚フィードバック衣服（ヘッドホン、ヘッドバンド、帽子、四肢または身体用のスリーブ、または、例えばウェットスーツまたは着ぐるみタイプ、あるいはこれらの２つ以上の組み合わせのいずれであっても）は、着用可能な触覚フィードバックユニットを適切に分布させることにより構成され得る。このような衣服は、ウェアラブル触覚フィードバック装置であると理解することもできる。

【0058】

構成の階層を説明したが（１つ以上の音響／触覚フィードバックドライバを順に含む、１つ以上のウェアラブル骨伝導触覚フィードバックユニットを含むウェアラブル触覚フィードバック装置）、本明細書の実施の形態はこれに限定されない。例えば、自己接着型無線触覚フィードバックドライバは、骨伝導頭部関連伝達関数を用いて処理された第１の信号をユーザに同じように出力するという点で、ウェアラブル骨伝導触覚フィードバックユニットまたはウェアラブル触覚フィードバック装置と同等であると考えられる。ウェアラブル骨伝導触覚ユニットおよびウェアラブル触覚フィードバック装置は、ドライバを束ね、または分配するための非限定的な手段をユーザに提供する。

【0059】

次に図８を参照すると、本明細書の要約的な実施の形態において、触覚フィードバック方法は、以下のステップを備える。

【0060】

すなわちこの方法は、１つ以上の骨伝導触覚フィードバックユニットを含むウェアラブル触覚フィードバック装置を与える第１のステップｓ８１０と、本明細書に記載した骨伝導頭部関連伝達関数「ｂＨＲＴＦ」を使って処理された第１の信号で１つ以上の骨伝導触覚フィードバックユニットを駆動する第２のステップｓ８２０と、を含む。

【0061】

当業者に明らかなように、本明細書で開示され特許請求される装置の様々な実施の形態の動作に対応する上記方法の変形も本発明の範囲に含まれるが、それらに限定されない。
－１つ以上の骨伝導触覚フィードバックユニットは、本明細書に開示する触覚振動ドライバまたは音声周波数ドライバの１つ以上を備える。
－この場合選択的に、触覚振動ドライバからなる骨伝導触覚フィードバックユニットは、本明細書に開示する触覚フィードバックに関連する、当該ドライバのための触覚信号を第１の信号として受信する。
－この場合も同様に選択的に、音声周波数ドライバを含む骨伝導触覚フィードバックユニットは、本明細書に開示する骨伝導音声に関連する、当該ドライバのための音声信号を第１の信号として受信する。
－第１の信号は、骨伝導触覚フィードバックユニットの装着位置または骨伝導触覚フィードバックユニットの位置で取得された測定信号と、複数の頭部位置で印加された励振信号と、それぞれの装着位置と頭部位置との間の空間的関係を代表する尺度と、を使って導出されたｂＨＲＴＦを使って処理される。
－ウェアラブル触覚フィードバック装置は、本明細書に開示する骨伝導触覚フィードバックユニットを、左右の耳の耳珠の前（位置「Ａ」）または左右の耳の対珠の後（位置「Ｂ」）の位置で、ユーザの頭部に配置する。
－ウェアラブル触覚フィードバック装置は、本明細書に開示する複数の骨伝導触覚フィードバックユニットを、ウェアラブルヘッドバンドの周囲に配置する。
－ウェアラブル触覚フィードバック装置は、本明細書に開示する複数の骨伝導触覚フィードバックユニットを、帽子またはキャップ、四肢用スリーブ、および胴体用スリーブまたはジャケットのいずれかの上に配置する。
－本方法は、本明細書に開示する骨伝導オーディオを使用するときに、ユーザの可聴周波数範囲外にあるオーディオ信号の一部を、マッピングされた信号としてユーザの可聴周波数範囲にマッピングするステップと、マッピングされた信号を第１の信号として与えるステップと、を含む。
－本方法は、本明細書で開示されるように、現在のユーザの頭部形態の特徴に関する１つ以上の測定値を取得するステップと、当該１つ以上の測定値を複数の参照個人の対応する測定値と比較して、最も近く一致する者を識別するステップと、当該最も近く一致した参照個人について以前に導出されたｂＨＲＴＦを検索するステップと、当該検索されたｂＨＲＴＦを現在のユーザに提供するステップと、を備える。
－本方法は、本明細書に開示するように、「ｂＨＲＴＦ」を使って処理された第１の信号で１つ以上の骨伝導触覚フィードバックユニットを駆動し、ユーザの所定の方向または場所に対応させるステップと、１つ以上の骨伝導触覚フィードバックユニットで生成された触覚および／または音声感覚を認識するように訓練するために、所定の方向または場所をユーザに示すステップと、を含む。

【0062】

上記の方法は、ソフトウェア命令によって実行可能な通常のハードウェア、または専用ハードウェアを含むハードウェア（またはそれに代わるハードウェア）を用いて実施することができる。

【0063】

従って、従来のデバイスの既存部分への必要な適合は、フロッピーディスク（登録商標）、光ディスク、ハードディスク、ソリッドステートディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、またはこれらの任意の組み合わせもしくは他の記憶媒体のような非一過性の機械可読媒体に記憶されたプロセッサ実装可能命令を含むコンピュータプログラム製品の形態で実装されてもよいし、ＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）もしくは従来のデバイスの適合に適した他の構成可能回路としてハードウェアで実現されてもよい。これとは別に、このようなコンピュータ・プログラムは、イーサネット（登録商標）、無線ネットワーク、インターネット、またはこれらの組み合わせもしくは他のネットワークなどのネットワーク上のデータ信号を介して伝送してもよい。

【0064】

従って、本明細書の要約的実施の形態では、触覚フィードバックシステムは、以下のように構成される。

【0065】

第１に、１以上の骨伝導触覚フィードバックユニットを含むウェアラブル触覚フィードバック装置（非限定的な例として、図７Ａ、Ｂに示すヘッドセット５４およびＨＭＤ８０２’）。

【0066】

第２に、１つ以上の骨伝導触覚フィードバックユニットを駆動するために使用される、骨伝導頭部関連伝達関数「ｂＨＲＴＦ」を使って処理された第１の信号を出力するように（例えば、適切なソフトウェア命令によって）適合されたオーディオプロセッサ（例えば、エンタテインメントデバイス１０のＣＰＵ２０、または図示しないＨＭＤの同様のＣＰＵ）。

【0067】

本明細書に開示した（典型的に１つ以上の）骨伝導触覚フィードバックユニットは、触覚振動ドライバまたは音声周波数ドライバのいずれか１つまたは複数から構成される。

【0068】

同様に、本明細書で開示したように、第１の信号は、第１の信号は、骨伝導触覚フィードバックユニットの装着位置または骨伝導触覚フィードバックユニットの位置で取得された測定信号と、複数の頭部位置で印加された励振信号と、それぞれの装着位置と頭部位置との間の空間的関係を代表する尺度と、を使って導出されたｂＨＲＴＦを使って処理される。

【0069】

オーディオプロセッサは、ウェアラブルデバイスの一部（例えばＨＭＤの一部）であってもよいし、ウェアラブル触覚フィードバック装置との間で有線または無線通信を行う別個のデバイスの一部であってもよい。図１は、このような別個の装置の一例を、ソニープレイステーション５（ＰＳ５）（登録商標）などのコンピュータやコンソールなどのエンタテインメントシステム１０の形で示す。

【0070】

エンタテインメントシステム１０は、中央プロセッサ２０から構成される。これは、例えばＰＳ５（登録商標）のように８つのコアからなるシングルコアまたはマルチコアプロセッサであってもよい。エンタテインメントシステムは、グラフィカルプロセッシングユニット（ＧＰＵ）３０も備えている。ＧＰＵは、ＣＰＵと物理的に分離していてもよいし、ＰＳ５（登録商標）のようにシステムオンチップ（ＳｏＣ）としてＣＰＵと統合されていてもよい。上述したように、中央プロセッサは、適切なソフトウェア命令の下で、オーディオプロセッサとして動作するように適合させることができる。ＣＰＵ２０、ＧＰＵ３０、またはその両方をこのように適合させてもよい。

【0071】

エンタテインメントデバイスはまた、ＲＡＭ４０を構成し、ＣＰＵおよびＧＰＵの各々に別々のＲＡＭを有するか、またはＰＳ５（登録商標）のように共有ＲＡＭを有することができる。また、ＲＡＭは物理的に別個のものでも、ＰＳ５（登録商標）のようにＳｏＣの一部として統合されたものでもよい。さらなるストレージは、外付けハードドライブまたは内蔵ハードドライブ、外付けソリッドステートドライブ、またはＰＳ５（登録商標）のような内蔵ソリッドステートドライブとして、ディスク５０によって提供される。

【0072】

エンタテインメントデバイスは、ＵＳＢポート、イーサネット（登録商標）ポート、ＷｉＦｉ（登録商標）ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）ポートなど、適宜、１つ以上のデータポート６０を介してデータを送受信することができる。また選択的に、光学ドライブ７０を介してデータを受信することもできる。

【0073】

システムとのインタラクションは、通常、ＰＳ５（登録商標）の場合はＤｕａｌＳｅｎｓｅ（登録商標）コントローラなど、１つ以上のハンドヘルドコントローラ８０を使って行われる。

【0074】

エンタテインメント機器からのオーディオ／ビジュアル出力は、通常、１つ以上のＡ／Ｖポート９０を介して、または有線もしくは無線データポート６０の１つ以上を介して提供される。ｂＨＲＴＦを使って処理された第１の信号は、この方法で出力されることがある。

【0075】

コンポーネントが統合されていない場合は、専用データリンクまたはバス１００を介して適宜接続することができる。

【0076】

エンタテインメントシステムが出力する画像を表示するための装置の一例として、ユーザ８００が装着するヘッドマウントディスプレイ「ＨＭＤ」８０２がある。

【0077】

前述の議論は、本発明例示的な実施の形態を開示し説明するに過ぎない。当業者には理解されるように、本発明は、その技術思想または本質的な特徴から逸脱することなく、他の具体的な形態で具現化され得る。従って、本発明の開示は、特許請求の範囲と同様に、例示を意図し、本発明の範囲の限定を意図しない。本明細書における教示の容易に識別可能な変形を含む本開示は、発明的主題が公共に献呈されることがないように、前述の請求項の用語の範囲を部分的に定義する。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】