特許 7192813 ユーザインターフェース装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】ユーザインターフェース装置

(51)【国際特許分類】

   H04R 3/12 20060101AFI20221213BHJP

   G06F 3/01 20060101ALI20221213BHJP

   H04R 1/00 20060101ALI20221213BHJP

【ＦＩ】

H04R3/12 Z

G06F3/01 560

H04R1/00 310G

【請求項の数】 6

(21)【出願番号】P 2020042817

(22)【出願日】2020-03-12

(65)【公開番号】P2021145234

(43)【公開日】2021-09-24

【審査請求日】2021-06-29

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】前田 智祐

(72)【発明者】

【氏名】小玉 亮

(72)【発明者】

【氏名】倉橋 哲郎

【審査官】渡邊 正宏

(56)【参考文献】

【文献】特開２０１９－１２１８１３（ＪＰ，Ａ）

【文献】実開昭６０－１２４１８５（ＪＰ，Ｕ）

【文献】特開平０７－００７７７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９

Ｈ０４Ｒ １／００－ １／０８

Ｈ０４Ｒ １／１２－ １／１４

Ｈ０４Ｒ １／２０－ １／４０

Ｈ０４Ｒ １／４２－ １／４６

Ｈ０４Ｒ ３／００－ ３／１４

Ｈ０４Ｓ １／００－ ７／００

(57)【特許請求の範囲】

【請求項1】

ユーザが位置する基準点の周囲に配置されている複数のスピーカと、
前記基準点からみて複数の方向に配置されている複数の振動子であって、前記基準点に位置しているユーザの体表に接触可能な態様で配置されている前記複数の振動子と、
前記複数のスピーカから出力される音波を制御するとともに前記複数の振動子の振動を制御する制御部と、
ユーザの生体情報を取得する生体情報取得部であって、ユーザのまばたきの状態を監視可能なカメラを備えている前記生体情報取得部と、
を備え、
前記生体情報は、前記まばたきの状態に基づいて演算されたユーザの覚醒度であり、
前記制御部は、
前記複数のスピーカから出力する音波の前記基準点からみた音源方向を特定し、
前記複数の振動子のうちから、前記音源方向に対応する特定振動子を選択し、
前記音波の出力時に、出力する音波に基づいた振動を前記特定振動子に出力させ、
前記覚醒度が低くなることに応じて、前記複数の振動子から出力させる振動の強度を高く調整する、
ユーザインターフェース装置。

【請求項2】

ユーザが位置する基準点の周囲に配置されている複数のスピーカと、
前記基準点からみて複数の方向に配置されている複数の振動子であって、前記基準点に位置しているユーザの体表に接触可能な態様で配置されている前記複数の振動子と、
前記複数のスピーカから出力される音波を制御するとともに前記複数の振動子の振動を制御する制御部と、
周波数を変化させた振動覚をユーザの体表に与え、ユーザ体表を振動が伝搬する際の周波数特性を示す伝搬関数を取得する伝搬関数取得部と、
を備え、
前記制御部は、
前記複数のスピーカから出力する音波の前記基準点からみた音源方向を特定し、
前記複数の振動子のうちから、前記音源方向に対応する特定振動子を選択し、
前記音波の出力時に、出力する音波に基づいた振動を前記特定振動子に出力させ、
前記伝搬関数の逆関数のフィルタを用いて、前記複数の振動子から出力させる振動の強度を調整する、
ユーザインターフェース装置。

【請求項3】

前記制御部は、
前記音源方向を時間的に制御し、
前記音源方向の移動に応じて、前記特定振動子の選択を切り替え、
切り替えた前記特定振動子を振動させる、請求項１または２に記載のユーザインターフェース装置。

【請求項4】

前記生体情報は、ユーザの体重であり、
前記制御部は、前記体重が重くなることに応じて、前記複数の振動子から出力させる振動の強度を高く調整する、請求項１に記載のユーザインターフェース装置。

【請求項5】

前記基準点に配置されているシートをさらに備えており、
前記複数の振動子は、前記シートの座面および背面に配置されている、請求項１～４の何れか１項に記載のユーザインターフェース装置。

【請求項6】

前記複数の振動子は、ユーザが装着可能な被服に配置されている、請求項１～４の何れか１項に記載のユーザインターフェース装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示する技術は、立体音響を提供するためのユーザインターフェース装置に関する。

【背景技術】

【0002】

特許文献１には、コンテンツに合わせてライブラリから触覚情報を選択し、選択された触覚に応じた振動覚をユーザに提示する技術が開示されている。複数のスピーカを備えた、立体音響を提示するユーザインターフェース装置が知られている。なお、関連する技術が特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５３０４９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数のスピーカを備えた、立体音響を提示するユーザインターフェースにおいて、スピーカとスピーカとの間の位置では、音源定位が明確にならず、立体音響に不連続感が生じてしまう。

【課題を解決するための手段】

【0005】

本明細書に開示するユーザインターフェース装置は、ユーザが位置する基準点の周囲に配置されている複数のスピーカを備える。ユーザインターフェース装置は、基準点からみて複数の方向に配置されている複数の振動子を備える。複数の振動子は、基準点に位置しているユーザの体表に接触可能な態様で配置されている。ユーザインターフェース装置は、複数のスピーカから出力される音波を制御するとともに複数の振動子の振動を制御する制御部を備える。制御部は、複数のスピーカから出力する音波の基準点からみた音源方向を特定する。制御部は、複数の振動子のうちから、音源方向に対応する特定振動子を選択する。制御部は、音波の出力時に、出力する音波に基づいた振動を特定振動子に出力させる。

【0006】

本明細書のユーザインターフェース装置では、ある音を出力する際に、基準点からみた音源方向を特定する。音源方向に対応する特定振動子を、複数の振動子のうちから選択する。そして、スピーカからの音の出力時に、出力する音に基づいて、特定振動子を振動させる。これにより、特定振動子の存在する方向に音源定位が位置するように、ユーザを認識させることができる。ユーザに振動触覚を提示することで、音源位置を明確にすることができるため、立体音響の空間解像度を高めることが可能となる。

【0007】

制御部は、音源方向を時間的に制御してもよい。制御部は、音源方向の移動に応じて、特定振動子の選択を切り替えてもよい。制御部は、切り替えた特定振動子を振動させてもよい。効果の詳細は、実施例で説明する。

【0008】

ユーザインターフェース装置は、ユーザの生体情報を取得する生体情報取得部をさらに備えていてもよい。制御部は、取得した生体情報に基づいて、複数の振動子から出力させる振動の強度を調整してもよい。効果の詳細は、実施例で説明する。

【0009】

生体情報は、ユーザの体重であってもよい。制御部は、体重が重くなることに応じて、複数の振動子から出力させる振動の強度を高く調整してもよい。効果の詳細は、実施例で説明する。

【0010】

生体情報取得部は、ユーザのまばたきの状態を監視可能なカメラを備えていてもよい。生体情報は、まばたきの状態に基づいて演算されたユーザの覚醒度であってもよい。制御部は、覚醒度が低くなることに応じて、複数の振動子から出力させる振動の強度を高く調整してもよい。効果の詳細は、実施例で説明する。

【0011】

ユーザインターフェース装置は、周波数を変化させた振動覚をユーザの体表に与え、ユーザ体表を振動が伝搬する際の周波数特性を示す伝搬関数を取得する伝搬関数取得部を備えていてもよい。制御部は、伝搬関数の逆関数のフィルタを用いて、複数の振動子から出力させる振動の強度を調整してもよい。効果の詳細は、実施例で説明する。

【0012】

ユーザインターフェース装置は、基準点に配置されているシートをさらに備えていてもよい。複数の振動子は、シートの座面および背面に配置されていてもよい。

【0013】

複数の振動子は、ユーザが装着可能な被服に配置されていてもよい。

【図面の簡単な説明】

【0014】

【図1】立体音響システム１の概略構成を説明する図である。

【図2】立体音響システム１を上方から見たときの配置図である。

【図3】立体音響について説明する図である。

【図4】フィルタ設定処理を説明するフローチャートである。

【図5】伝搬関数および逆伝搬関数の一例である。

【発明を実施するための形態】

【0015】

（立体音響システム１の概略構成）
図１を用いて、立体音響システム１の概略構成を説明する。図２に、立体音響システム１を上方から見たときの配置図を示す。図２では、着座状態のユーザ２を点線で示している。図１および図２では、正面をｙ方向、左右方向をｘ方向、鉛直上方を＋ｚ方向としている。

【0016】

立体音響システム１は、空間において立体的な音響を提示するためのシステムである。立体音響システム１は、スピーカ１１～１４、シート２０、制御部４０、監視カメラ５０を備えている。スピーカ１１～１４は、ユーザ２の基準点ＲＰの周囲に配置されている。基準点ＲＰは、本実施例では、人体の重心位置（へその位置）である。

【0017】

シート２０は、座面２０ｓおよび背面２０ｂを備えている。背面２０ｂには、振動子２１～２４および加速度センサ３２が埋め込まれている。座面２０ｓには、振動子２５～２８、荷重センサ３１、加速度センサ３２が埋め込まれている。図２に示すように、振動子２１～２８は、基準点ＲＰからみて複数の方向に配置されている。振動子２１～２８は、シート２０に埋め込まれていることで、着座しているユーザ２の体表に接触可能な態様で配置されている。荷重センサ３１は、ユーザ２の生体情報である体重を取得する部位である。加速度センサ３２は、ユーザ体表を振動が伝搬する際の周波数特性を示す伝搬関数を取得する部位である。

【0018】

制御部４０は、ＣＰＵ４１とメモリ４２とを備える。ＣＰＵ４１は、メモリ４２に格納されているプログラムに従って、様々な処理を実行する。メモリ４２は、揮発性メモリ、不揮発性メモリ等によって構成される。本実施例では、制御部４０は、スピーカ１１～１４から出力される音波を制御するとともに、振動子２１～２８の振動を制御する。

【0019】

監視カメラ５０は、ユーザの状態を監視するカメラである。監視内容の具体例としては、ユーザ２のまばたきの回数、瞼を閉じている時間、頭部の位置などが挙げられる。

【0020】

（音源位置の高解像度化）
図３を用いて、本実施例の立体音響について説明する。図３は、図２と同様に、立体音響システム１を上方から見たときの配置図である。立体音響システム１では、基準点ＲＰを取り囲むようにスピーカ１１～１４が配置されている。これにより、基準点ＲＰの周囲３６０°の任意の位置の音源定位を行うことが可能である。また立体音響システム１は、ある音源定位を行う際に、基準点ＲＰからみた方向を特定する。そして、音源方向に対応する特定振動子を、振動子２１～２８のうちから１つ以上選択する。選択したスピーカから音を出力すると同時に、出力する音と同様の波形で、特定振動子を振動させる。これにより、特定振動子の存在する方向に音源が存在することを、ユーザに認識させることができる。音源位置を明確にすることができるため、立体音響の空間解像度を高めることが可能となる。

【0021】

これは、ファントムセンセーションという心理物理現象を用いたものである。ファントムセンセーションとは、触知覚において皮膚上２点の振動刺激を与えた場合に刺激が融合し、振動位置を知覚する現象である。また、２点の振動刺激の強度比によって、強度の強い方に知覚位置が偏ることが知られている。そのため少ない振動刺激点を用いる場合においても、強度比を変化させることで、様々な知覚位置をユーザに認識させることができる。また本実施例の立体音響システム１では、音源だけでなく振動を用いて方向を補間することを実施し、立体音響の不連続感を抑制している。以上により、特定振動子の存在する方向に音源位置が存在することを、ユーザに認識させることが可能となる。

【0022】

具体例を用いて説明する。音源位置ＳＬ１の音をスピーカから出力する場合には、基準点ＲＰからみた音源位置ＳＬ１の方向である音源方向Ｄ１が特定される。音源方向Ｄ１に対応する振動子２７および２８が選択され、振動子２７および２８に同一強度の振動が出力される。これにより、基準点ＲＰと、振動子２７および２８の中点と、を結んだ音源方向Ｄ１に音源位置ＳＬ１が位置していることを、ユーザに認識させることができる。

【0023】

同様に、音源位置ＳＬ２の音をスピーカから出力する場合には、音源方向Ｄ２に対応する振動子２６が選択され、振動が出力される。これにより、基準点ＲＰと振動子２６とを結んだ音源方向Ｄ２に音源位置ＳＬ２が位置していることを、ユーザに認識させることができる。

【0024】

また音源位置ＳＬ３の音をスピーカから出力する場合には、音源方向Ｄ３に対応する振動子２４および２６が選択され、振動子２４および２６に同一強度の振動が出力される。これにより、基準点ＲＰと、振動子２４および２６の中点と、を結んだ音源方向Ｄ３に音源位置ＳＬ３が位置していることを、ユーザに認識させることができる。

【0025】

すなわち本実施例の立体音響システム１では、振動子２１～２８を用いて立体音響を実現することで、実際に配置されているスピーカ１１～１４に加えて、仮想的にスピーカ６１～６８を配置したことになる。スピーカ間の間隔を密にすることができるため、立体音響の空間解像度を高めることができる。

【0026】

なお、図３の仮想的なスピーカ６１～６８は一例である。前述したファントムセンセーションの原理により、２点の振動刺激の強度比によって知覚位置は自由に設定できる。従って、仮想的なスピーカで基準点ＲＰの全周を隙間なく取り囲むことが可能である。

【0027】

（音源位置の移動処理）
また、制御部４０は、音源方向を時間的に制御する。音源方向の移動に応じて、特定振動子の選択を切り替え、切り替えた特定振動子を振動させる。これにより、仮想的な音源位置の移動を滑らかに移動させることができる。

【0028】

具体例を用いて説明する。仮想的な音源位置が、音源位置ＳＬ２からＳＬ４へ移動する場合を考える（矢印Ｙ１およびＹ２）。音源位置ＳＬ２では、振動子２６が選択され、振動子２６が振動する。音源位置ＳＬ２からＳＬ３へ移動する場合（矢印Ｙ１）には、振動子２６および２４の両方が選択される。音源位置が、音源位置ＳＬ３に近づくにつれて、振動子２６の振動が弱くなるとともに振動子２４の振動が強くなる。そして、音源位置ＳＬ３に到達すると、振動子２６と２４の振動強度が同一となる。

【0029】

音源位置が、音源位置ＳＬ３からＳＬ４へ移動する場合（矢印Ｙ２）には、音源位置ＳＬ４に近づくにつれて、振動子２４の振動が強くなるとともに振動子２６の振動が弱くなる。そして、音源位置ＳＬ４に到達すると、振動子２４のみが選択され振動するとともに、振動子２６の振動は停止する。これにより、音源位置がＳＬ２からＳＬ４へ移動（矢印Ｙ１およびＹ２）することに応じて、振動覚が振動子２６から振動子２４へ移動する（矢印Ｙ０）。前述したファントムセンセーションにより、音源位置が移動していることを、ユーザに認識させることが可能となる。

【0030】

なお、立体音響の進行方向のベクトル（矢印Ｙ１およびＹ２）と、振動覚の進行方向のベクトル（矢印Ｙ０）とが近い（同位相）である必要がある。換言すると、両ベクトルの内積が大きいことが望ましい。これにより、仮想的な音源位置が滑らかに移動しているように、ユーザに認識させることが可能となる。

【0031】

（フィルタ設定処理）
振動覚を用いた立体音響では、ユーザの認識に個人差が生じてしまう。本実施例の立体音響システム１では、この個人差を埋めるために、振動子の振動強度やスピーカの音響出力を調整するフィルタ設定を備えている。図４のフローチャートを用いて、フィルタ設定処理を説明する。この処理は、制御部４０のＣＰＵ４１が、メモリ４２内のプログラムに従って実行する。図４のフローは、立体音響システム１のスイッチをオンにすることで、開始される。

【0032】

Ｓ１０において、スイープ測定を用いた振動子のフィルタ設定を行う。具体的に説明する。第１段階として、周波数を変化させたスイープ振動覚（例：正弦波状の振動刺激の周波数をスイープする）をユーザ２の体表に与え、体表を伝搬した振動を加速度センサ３２で計測する。振動覚は、振動子２１～２８を用いて与えることができる。これにより、ユーザ体表を振動が伝搬する際の周波数特性を示す、伝搬関数を取得することができる。換言すると、低音域から高音域まで振動子を振動させた場合の、体表の振動の伝わり具合をグラフ化する。図５に、伝搬関数ＰＦの一例を示す。横軸が振動周波数であり、縦軸が振動の伝搬強度である。周波数の変化範囲は、可聴域（約２０～２００００Ｈｚ）であってもよい。

【0033】

第２段階として、伝搬関数ＰＦの逆関数である逆伝搬関数ＢＦを求める（図５点線）。逆伝搬関数ＢＦは、伝搬関数ＰＦの逆形状のグラフである。第３段階として、逆伝搬関数ＢＦに従って、振動子から振動を与える。これにより、可聴域の全周波数帯域において、一定出力の振動覚をユーザに与えることができる。また逆伝搬関数ＢＦを、振動子２１～２８の各々ごとに設定することで、身体の様々な部位に、一定出力の振動覚を提示することができる。

【0034】

Ｓ２０において、生体情報（身長）を用いたスピーカのフィルタ設定を行う。身長が異なると、着座したユーザの耳の位置とスピーカとの相対位置も異なる。そのため、両者間の相対位置に合わせて、スピーカからの音響出力を調整する。例えば、座高が高くなるほどスピーカと耳との距離が大きくなるため、座高が高くなるほど音響出力を大きくするようにフィルタを設定してもよい。座高は、監視カメラ５０で検出した頭部の位置に基づいて算出してもよい。

【0035】

Ｓ３０において、生体情報（体重）を用いた振動子のフィルタ設定を行う。具体的に説明する。体重によって、振動伝搬が変化する。そのため、体重に応じて、振動子の振動強度を調整する。例えば、体重が重くなるほど振動が伝搬しにくくなるため、体重が重い人ほど振動強度が高くなるようにフィルタを設定してもよい。ユーザ２の体重は、荷重センサ３１によって測定することができる。

【0036】

Ｓ４０において、バイオフィードバックを用いた、振動子およびスピーカのフィルタ設定を行う。ユーザ２の覚醒度が低い状態（眠気を感じている状態）では、聴覚や触覚が低下する。そのため、覚醒度に応じて音響出力や振動強度を調整するためのフィルタ設定を行う。

【0037】

具体的に説明する。監視カメラ５０を用いて、ユーザのまばたきの状態を常に監視する。例えば、所定時間で目を閉じている時間の割合（閉眼率）、まばたきの回数、などを監視する。そして、監視結果に基づいて、ユーザの覚醒度を算出する。例えば、閉眼率が高いほど、覚醒度が低いと算出する。覚醒度が低いほど、振動子の振動強度を高くするとともに、スピーカの音響出力を大きくするように、フィルタ設定を行う。

【0038】

Ｓ６０において、Ｓ１０～Ｓ４０で設定したフィルタ設定に基づいて、振動子２１～２８から振動を出力するとともに、スピーカ１１～１４から音響を出力する。

【0039】

Ｓ７０において、監視カメラ５０で監視中の覚醒度に、変化が発生したか否かを判断する。肯定判断される場合（Ｓ７０：ＹＥＳ）には、Ｓ８０へ進み、変化後の覚醒度に基づいてフィルタ設定を再調整する。そしてＳ６０へ戻る。一方、否定判断される場合（Ｓ７０：ＮＯ）には、Ｓ９０へ進む。

【0040】

Ｓ９０において、立体音響システム１のスイッチがオフにされたか否かを判断する。否定判断される場合（Ｓ９０：ＮＯ）にはＳ６０へ戻り、肯定判断される場合（Ｓ９０：ＹＥＳ）にはフローを終了する。

【0041】

（効果）
立体音響システムにおいて、スピーカ間の距離が離れてしまうと、仮想的な音源位置が移動する場合に滑らかに移動しない場合がある。これを、立体音響の不連続感と定義する。本実施例の立体音響システム１では、音源位置の移動に追従するように、ユーザに与える振動覚を移動させることができる（図３、矢印Ｙ０、Ｙ１、Ｙ２参照）。前述したファントムセンセーションの原理により、音源位置の移動を滑らかにユーザに認識させることができる。立体音響の不連続感を抑制することが可能となる。

【0042】

立体音響システムにおいて、スピーカとユーザとの間に物体が存在していると、その物体によって音響伝搬が阻害されるため、立体音響の効果が低減してしまう（オクルージョン問題）。例えば図３に示す空間において、基準点ＲＰの左側（－ｘ方向側）に、点線で示す物体ＯＢが存在する場合を考える。物体ＯＢは、例えば空間が車室内である場合には、助手席に着座している同乗者である。この場合、スピーカ１２および１３から基準点ＲＰへの音響伝搬が、物体ＯＢによって阻害されてしまう。するとオクルージョン問題により、例えば、仮想的な音源位置が前後や左右に移動する際に、音源位置の移動が不連続的にユーザに認識されてしまう場合がある。しかし本明細書の技術では、スピーカ１２および１３から出力される音波と同様の波形およびタイミングで、物体ＯＢが存在している方向の振動子２１、２３、２５、２７を振動させることができる。すなわち、振動触覚により、仮想的な音源の移動方向をユーザに提示することができる。これにより、物体ＯＢにより阻害されることなく、仮想的な音源位置の移動をユーザに認識させることができるため、音源位置の移動の不連続感を緩和することが可能となる。

【0043】

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

【0044】

（変形例）
本実施例では、振動子がシート２０に配置されている形態を説明したが、この形態に限られない。振動子は、ユーザの体表に接触可能な態様で配置されていれば、どのような配置態様であってもよい。例えば、ユーザが装着可能な被服に振動子が配置されている態様においても、本実施例で説明した効果を発揮することが可能である。

【0045】

本実施例における、スピーカおよび振動子の配置数や配置位置は一例である。

【0046】

本実施例では、水平方向（図１～図２のｘｙ平面方向）の音源位置について説明したが、この形態に限られない。高さ方向（ｚ方向）へ複数のスピーカや振動子を配置することで、高さ方向の音源位置についても、本実施例で説明した効果を発揮することが可能である。

【0047】

身長、座高、体重などの生体情報は、センサによって取得する形態に限られない。ユーザによる生体情報の入力を受け付けることで取得したり、不図示のサーバ等から通信によって取得する形態であってもよい。

【0048】

バイオフィードバック（Ｓ４０）のための測定対象は、まばたき状態に限られない。例えば、心拍数、体温、血圧、などの各種の生体情報を測定してもよい。

【0049】

本実施例の立体音響システム１を適用する空間は、車両に限られず、様々な空間に適用可能である。

【符号の説明】

【0050】

１：立体音響システム １１～１４：スピーカ ２０：シート ２１～２８：振動子 ３１：荷重センサ ３２：加速度センサ ４０：制御部 ４１：ＣＰＵ ４２：メモリ ５０：監視カメラ

【図1】

【図2】

【図3】

【図4】

【図5】