(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024072983
(43)【公開日】2024-05-29
(54)【発明の名称】動揺病抑制システム、方法、および、プログラム
(51)【国際特許分類】
H04S 7/00 20060101AFI20240522BHJP
G10K 15/04 20060101ALI20240522BHJP
【FI】
H04S7/00 340
G10K15/04 302M
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022183917
(22)【出願日】2022-11-17
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】梅澤 弥来
(72)【発明者】
【氏名】柴田 由之
(72)【発明者】
【氏名】松本 崇
【テーマコード(参考)】
5D162
【Fターム(参考)】
5D162AA00
5D162CC04
5D162CD25
5D162DA04
5D162EG06
(57)【要約】
【課題】動揺病を予防する。
【解決手段】動揺病抑制システムは、ユーザが携帯するコンピュータと、ユーザが装着する一対のイヤホンおよび一対のヘッドホンの少なくともいずれかを含み、供給された音声信号に基づく音声を再生する音声再生装置と、を備える。動揺病抑制システムは、ユーザの頭部の姿勢を推定する姿勢推定部と、仮想的な音源である音像の位置に対応させて立体音響処理を施した音声を音声再生装置に出力する音声出力部と、頭部の姿勢の変化に応じて、音像の位置を更新する更新部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザが携帯するコンピュータと、前記ユーザが装着する一対のイヤホンおよび一対のヘッドホンの少なくともいずれかを含み、供給された音声信号に基づく音声を再生する音声再生装置と、を備える、動揺病抑制システムであって、
前記ユーザの頭部の姿勢を推定する姿勢推定部と、
仮想的な音源である音像の位置に対応させて立体音響処理を施した音声信号を前記音声再生装置に出力する音声出力部と、
前記頭部の姿勢の変化に応じて、前記音像の位置を更新する更新部と、
を備える、動揺病抑制システム。
【請求項2】
請求項1に記載の動揺病抑制システムであって、
前記ユーザの視線方向を推定する視線方向推定部、
をさらに備え、
前記更新部は、
推定された前記視線方向が、前記ユーザが近くにある対象を視認していることを示す場合、前記頭部の姿勢の変化にかかわらず、水平面と平行となるように設定された基準面内に前記音像の位置を維持し、
推定された前記視線方向が、前記ユーザが遠くにある対象を視認していることを示す場合、前記ユーザの体の傾きが変化した方向に沿って、前記ユーザの前記体の傾きの大きさより大きく、または、前記ユーザの前記体の傾きの大きさより小さく、前記音像の位置を変化させる、
動揺病抑制システム。
【請求項3】
請求項2に記載の動揺病抑制システムであって、
前記ユーザのまぶたの開閉を検出できるまぶた検出部をさらに備え
前記更新部は、
前記まぶたが少なくともあらかじめ設定された期間閉じられたままであることが検出された場合、前記頭部の姿勢の変化にかかわらず、前記基準面内に前記音像の位置を維持する、
動揺病抑制システム。
【請求項4】
動揺病を抑制する方法であって、
ユーザが携帯するコンピュータが、
前記ユーザの頭部の姿勢を推定するステップと、
仮想的な音源である音像の位置に対応させて立体音響処理を施した音声信号を前記ユーザが装着する一対のイヤホンおよび一対のヘッドホンの少なくもいずれかを含む音声再生装置に出力するステップと、
前記頭部の姿勢の変化に応じて、前記音像の位置を更新するステップと、
前記音像の位置が更新された場合、更新後の前記音像の位置に対応させて立体音響処理を施した音声信号を前記音声再生装置に出力するステップと、
を含む方法。
【請求項5】
ユーザが携帯するコンピュータが実行するプログラムであって、
前記コンピュータに、
前記ユーザの頭部の姿勢を推定する機能と、
仮想的な音源である音像の位置に対応させて立体音響処理を施した音声を、前記ユーザが装着する一対のイヤホンおよび一対のヘッドホンの少なくともいずれかを含む音声再生装置に出力する機能と、
前記頭部の姿勢の変化に応じて、前記音像の位置を更新する機能と、
前記音像の位置が更新された場合、更新後の前記音像の位置に対応させて立体音響処理を施した音声信号を前記音声再生装置に出力する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、動揺病抑制システム、方法、および、プログラムに関する。
【背景技術】
【0002】
特許文献1に記載されている乗り物酔いを低減する装置は、車両に乗っている対象者の姿勢をあらかじめ決められた方向に傾けさせるため、人が反射的に避ける姿勢を取る音声が、決められた位置から聞こえるように音像定位処理を用いて音声の出力を行う。音声は、車両に備えられているスピーカから出力される。
【0003】
また、内耳からの情報と視覚情報との不一致を解消することにより、乗り物酔いを抑制するメガネ「シートロエン」(登録商標)が知られている(https://www.citroen.jp/seetroen/)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載されている装置が出力する音声は、人が反射的に避ける姿勢を取る音声であるので、音声を聞く人に不快感を与える。また、車両に乗っているすべての人が、本人の意思とは関係なく音声を聞かされるので、音声を聞く人に不快感を与える。
【0006】
乗り物酔いを抑制するメガネについては、メガネをかけた状態で、スマートフォン、本等の動かない物体に視線を一定期間固定しておく必要がある。
【0007】
よって、不快感および煩わしさを感じさせることなく、乗り物酔いを抑制できる技術が望まれていた。
【課題を解決するための手段】
【0008】
本開示は、以下の形態として実現することが可能である。
【0009】
(1)本開示の第一形態によれば、動揺病抑制システムが提供される。この動揺病抑制システムは、ユーザが携帯するコンピュータと、ユーザが装着する一対のイヤホンおよび一対のヘッドホンの少なくともいずれかを含み、供給された音声信号に基づく音声を再生する音声再生装置と、を備える。動揺病抑制システムは、前記ユーザの頭部の姿勢を推定する姿勢推定部と、仮想的な音源である音像の位置に対応させて立体音響処理を施した音声信号を前記音声再生装置に出力する音声出力部と、前記頭部の姿勢の変化に応じて、前記音像の位置を更新する更新部と、を備える。
上記の形態によれば、ユーザの頭部の姿勢についての推定結果を用いて仮想的な音源である音像の位置が調整されるため、ユーザに姿勢を傾けさせる必要がない。よって、人が反射的に避ける姿勢を取る音声を出力する必要がないので、ユーザに不快感を与えない。さらに、イヤホンまたはヘッドホンにより音声が再生されるので、ユーザ以外の人に音を聞かせない。よって、ユーザ以外の人に不快感を与えない。さらに、特殊なメガネを使用する必要もない。
(2)上記形態の動揺病抑制システムにおいて、前記ユーザの視線方向を推定する視線方向推定部、をさらに備えてもよい。前記更新部は、推定された前記視線方向が、前記ユーザが近くにある対象を視認していることを示す場合、前記頭部の姿勢の変化にかかわらず、水平面と平行となるように設定された基準面内に前記音像の位置を維持し、推定された前記視線方向が、前記ユーザが遠くにある対象を視認していることを示す場合、前記ユーザの体の傾きが変化した方向に沿って、前記ユーザの前記体の傾きの大きさより大きく、または、前記ユーザの前記体の傾きの大きさより小さく、前記音像の位置を変化させてもよい。
ユーザが近くにある対象を視認している場合、ユーザの視界に変化がない、あるいはユーザの視界の変化が小さい。一般的に、乗り物酔いは、内耳にある前庭器官からの情報と視覚情報との不一致により発生すると考えられている。上記の形態によれば、ユーザが近くにある対象を視認しており、ユーザの姿勢が変化した場合に、姿勢が傾いているユーザは、音像の位置が変化したかのように感じる。よって、ユーザが自身の姿勢が傾いていることを認識できる。これにより、前庭器官からの情報に基づいて認識されている姿勢の傾きと視覚情報に基づいて認識されている姿勢の傾きとのズレの量を小さくすることができる。従って、乗り物酔いを抑制することができる。また、ユーザが遠くにある対象を視認しており、ユーザの姿勢が変化した場合に、姿勢が傾いているユーザに、自身の姿勢の傾きが実際の傾きより小さいと錯覚させる。これにより、乗り物酔いを抑制することができる。
(3)上記形態の動揺病抑制システムにおいて、前記ユーザのまぶたの開閉を検出できるまぶた検出部をさらに備えてもよい。前記更新部は、前記まぶたが少なくともあらかじめ設定された期間閉じられたままであることが検出された場合、前記頭部の姿勢の変化にかかわらず、前記基準面内に前記音像の位置を維持してもよい。
上記の形態によれば、ユーザの姿勢が変化すると、ユーザは音像の位置が変化したかのように感じるので、ユーザが自身の姿勢が傾いていることを認識できる。これにより、前庭器官からの情報に基づいた認識と深部感覚および内臓感覚に基づいた認識とのズレの量を小さくすることができる。従って、乗り物酔いを抑制することができる。
(4)本開示の第二形態によれば、動揺病を抑制する方法が提供される。この方法は、ユーザが携帯するコンピュータが、前記ユーザの頭部の姿勢を推定するステップと、仮想的な音源である音像の位置に対応させて立体音響処理を施した音声信号を前記ユーザが装着する一対のイヤホンおよび一対のヘッドホンの少なくもいずれかを含む音声再生装置に出力するステップと、前記頭部の姿勢の変化に応じて、前記音像の位置を更新するステップと、前記音像の位置が更新された場合、更新後の前記音像の位置に対応させて立体音響処理を施した音声信号を前記音声再生装置に出力するステップと、を含む。
上記の形態によれば、ユーザの頭部の姿勢についての推定結果を用いて音像の位置が調整されるため、ユーザに姿勢を傾けさせる必要がない。よって、人が反射的に避ける姿勢を取る音声を出力する必要がないので、ユーザに不快感を与えない。さらに、イヤホンまたはヘッドホンにより音声が再生されるので、ユーザ以外の人に音を聞かせない。よって、ユーザ以外の人に不快感を与えない。さらに、特殊なメガネを使用する必要もない。
(5)本開示の第三形態によれば、ユーザが携帯するコンピュータが実行するプログラムが提供される。このプログラムは、前記コンピュータに、前記ユーザの頭部の姿勢を推定する機能と、仮想的な音源である音像の位置に対応させて立体音響処理を施した音声を前記ユーザが装着する一対のイヤホンおよび一対のヘッドホンの少なくともいずれかを含む前記音声再生装置に出力する機能と、前記頭部の変化に応じて、前記音像の位置を更新する機能と、前記音像の位置が更新された場合、更新後の前記音像の位置に対応させて立体音響処理を施した音声信号を前記音声再生装置に出力する機能と、を実現させる。
上記の形態によれば、ユーザの頭部の姿勢についての推定結果を用いて音像の位置が調整されるため、ユーザに姿勢を傾けさせる必要がない。よって、人が反射的に避ける姿勢を取る音声を出力する必要がないので、ユーザに不快感を与えない。さらに、イヤホンまたはヘッドホンにより音声が再生されるので、ユーザ以外の人に音を聞かせない。よって、ユーザ以外の人に不快感を与えない。さらに、特殊なメガネを使用する必要もない。
【図面の簡単な説明】
【0010】
【
図2】第1実施形態にかかる音声出力処理のフローチャートである。
【
図4】上からみたときのユーザと音像との位置関係を表した図である。
【
図5】後ろから見たときのユーザと音像との位置関係を表した図である。
【
図6】ユーザの姿勢を推定する方法の説明図である。
【
図7】上から見たときのユーザと更新後の音像との位置関係を示す図である。
【
図8】後ろから見たときのユーザと更新後の音像との位置関係を表した図である。
【
図9】後ろから見たときのユーザと更新後の音像との位置関係を示す図である。
【
図10】第2実施形態にかかる音声出力処理のフローチャートである。
【
図11】第2モードによる音像の位置の更新方法の説明図である。
【
図12】他の実施形態1にかかる音像の位置の更新方法の説明図である。
【発明を実施するための形態】
【0011】
A.第1実施形態:
図1は、第1実施形態に係る動揺病抑制システム10の構成を示す図である。動揺病とは、いわゆる、乗り物酔いである。動揺病抑制システム10は、音声の出力により、ユーザが乗り物に酔うことを抑制する。乗り物は、例えば、車、電車、船、飛行機である。本実施形態において、動揺病抑制システム10は、イヤホン100と、携帯端末200とを含む。本実施形態においては、ユーザが、イヤホン100を耳に装着し、携帯端末200を携帯して、他人が運転する車両に乗る例を説明する。携帯端末200をコンピュータともよぶ。イヤホン100を音声再生装置ともよぶ。なお、ユーザは、イヤホンの代わりに、ヘッドホンあるいは骨伝導のイヤホンを耳に装着してもよい。
【0012】
イヤホン100は、一対のイヤホン100A、100Bを含み、携帯端末200から供給された音声信号に基づく音声を再生する。以下、イヤホン100Aおよび100Bをひとまとめにしてイヤホン100ということがある。以下、イヤホン100Aを例に説明するが、イヤホン100Bも同様の構成を備える。イヤホン100Aは、ドライバユニット101と、通信部102と、センサ103と、DSP(Digital Signal Processor)104とを備える。ドライバユニット101と、通信部102と、センサ103とは、内部バス109を介してDSP104に接続されている。
【0013】
ドライバユニット101は、DSP104から供給された音声信号を音波に変換して出力する。通信部102は、ネットワークインタフェース回路を含み、DSP104の制御に従って外部の装置と通信する。通信部102は、例えば、Bluetooth(登録商標)規格に則って、携帯端末200と無線通信する。
【0014】
センサ103は、加速度センサ、および、角速度センサを含む。例えば、加速度センサとして、3軸加速度センサが使用される。角速度センサとして、3軸角速度センサが使用される。センサ103は、決められた時間毎に測定を実施し、測定した加速度の測定値および角速度の測定値をDSP104に出力する。例えば、センサ103は、0.1秒ごとに測定を実施する。
【0015】
DSP104は、通信部102と、センサ103と、ドライバユニット101とを制御する。DSP104は、携帯端末200から受信した音声信号をドライバユニット101に出力する。また、DSP104は、センサ103から測定値が供給されるたびに、測定値を携帯端末200に送信する。
【0016】
携帯端末200は、ユーザが携帯するスマートフォンである。携帯端末200には、乗り物酔い抑制用のアプリケーションソフトウェアがインストールされている。例えば、ユーザは乗り物に乗る前に、乗り物酔い抑制用のアプリケーションソフトウェアを起動する。ユーザは、動揺病抑制システム10から乗り物酔い抑制のための音声の提供を受けることができる。
【0017】
携帯端末200は、通信部201と、メモリ202と、位置情報取得部203と、プロセッサ204とを備える。メモリ202と、通信部201とは、位置情報取得部203とは、内部バス209を介してプロセッサ204に接続されている。
【0018】
通信部201は、ネットワークインタフェース回路を含み、プロセッサ204の制御に従って他の装置と無線通信する。第1実施形態においては、通信部201は、例えば、Bluetooth(登録商標)規格に則って、イヤホン100と無線通信する。メモリ202は、プロセッサ204が実行する各種プログラムおよび種々のデータを記憶する。
【0019】
位置情報取得部203は、GNSS(Global Navigation Satellite System)受信機を備え、プロセッサ204の制御に従って測位衛星から信号を受信する。動揺病抑制システム10においては、GNSSとして、GPS(Global Positioning System)が利用されるものとする。位置情報取得部203は、準天頂衛星システムといった他の衛星測位システムを利用して位置情報を取得してもよい。なお、携帯端末200は、必ずしも位置情報取得部203を備えている必要はない。プロセッサ204が、メモリ202に格納されている各種プログラムを実行することにより、携帯端末200の各機能が実現される。
【0020】
携帯端末200は、機能的には、姿勢推定部220と、音声出力部230と、音像位置設定部240とを備える。姿勢推定部220と、音声出力部230と、音像位置設定部240との機能は、プロセッサ204がメモリ202に格納されているプログラムA1を実行することにより実現される。
【0021】
姿勢推定部220は、加速度、角速度、および、角度の測定値を用いてユーザの頭部の姿勢を推定する。加速度、角速度は、センサ103を用いて測定される。角度は、角速度から算出される。姿勢推定部220の処理の詳細は後述する。本実施形態においては、頭部の姿勢についての推定結果を用いて、ユーザの姿勢が推定される。
【0022】
音声出力部230は、音像位置設定部により設定された音像の位置に対応させて立体音響処理を施した音声信号をイヤホン100に出力する。音声出力部230の処理の詳細は後述する。
【0023】
音像位置設定部240は、推定されたユーザの姿勢に応じて、音像の位置を設定する。また、音像位置設定部240は、ユーザの頭部の姿勢の変化に応じて、音像の位置を更新する。音像位置設定部240の処理の詳細は後述する。音像位置設定部240を更新部ともよぶ。
【0024】
図2は、動揺病抑制システム10が、乗り物酔いを抑制するため、イヤホン100を介して音声を出力する音声出力処理のフローチャートである。
図2の処理により、動揺病を抑制する方法が実現される。例えば、ユーザは、車両のシートに座った状態で、走行の開始前に携帯端末200を操作して、乗り物酔い抑制用のアプリケーションソフトウェアを起動する。すると、プロセッサ204により
図2に示す音声出力処理が開始される。なお、車両が走行を開始する前に、ユーザは車両の進行方向を向いていることを前提とする。
【0025】
ステップS10において、音像の位置が設定される。ここで、音像とは仮想的な音源のことである。音像の位置を定めることを、音像定位という。音像定位の処理が行われることにより、イヤホン100から出力される音声を聞いたユーザに、音像定位により定められた位置に音源が存在するかのように知覚させる。本実施形態においては、ユーザと音源との相対的な位置関係が変化しないように、音像の位置が調整される。仮に音像の位置が調整されないとすると、ユーザは、絶対座標系によって表される固定された位置に音源が存在するかのように知覚する。本実施形態においては、ユーザの姿勢の変化に応じて音像の位置が調整されるので、ユーザは、相対座標系によって表される一定の距離だけ離れた位置に音源が存在するかのように知覚する。
【0026】
図3は、音像の位置についての説明図である。以下、ユーザUの当初の前後方向をX軸方向、ユーザUの当初の左右方向をY軸方向、重力方向をZ軸方向と設定する。原点は、ユーザUの左側の耳に装着されているイヤホン100AとユーザUの右側の耳に装着されているイヤホン100Bとを直線で結んだときの中点である。なお、
図3においては、イヤホン100Bは図示されていない。音像SSは基準面P1内に配置される。基準面P1は、水平面に平行な平面であって、ユーザUが左側の耳に装着しているイヤホン100Aの当初の位置を通る平面である。当初とは、ステップS10が実行されるときである。水平方向として、イヤホン100Aが備えるセンサ103を用いて検出される重力方向に対して垂直な方向が設定される。紙面の都合上、基準面P1を円形で表しているが、基準面P1の範囲を限定するものではない。基準面P1は、ユーザUの頭部の位置が変化した場合であっても、変更されない。
【0027】
図4は、上からみたときのユーザと音像との位置関係を表した図である。
図4において、破線で表した直線L1は、ユーザUの顔が向いている正面方向を示す。
図5は、後ろから見たときのユーザと音像との位置関係を表した図である。音像SSは、基準面P1内において、ユーザの左斜め前方の位置に配置される。より具体的には、音像SSは、ユーザUを中心とした回転軸まわりに、ユーザUの正面方向から反時計まわりに60度回転した方向であって、ユーザUから1メートル離れた位置に設定される。
【0028】
ステップS20において、音声の再生が開始される。再生される音声の音源は、例えば、ユーザにより指定された音楽のデジタルデータである。音源のデータは、携帯端末200のメモリ202にあらかじめ保存されている。あるいは、音源のデータは、クラウドサーバに保存されていてもよい。この場合、携帯端末200はネットワークを介した通信により、クラウドサーバから音源のデータを取得する。本実施形態において、立体音響処理を施した音声信号がイヤホン100に出力される。一般的に、立体音響処理とは、イヤホン100Aおよび100Bにより、右耳および左耳から再生される音声に、音量差、時間差、周波数特性の変化、位相の変化、残響の変化、の少なくとも一つ以上の処理を取り入れることにより音環境を立体的に再現させる処理である。立体音響処理には、例えば、既存の立体音響の生成のためのアルゴリズムが使用される。ユーザは、
図4、
図5に示すように設定された音像SSから音声が出力されているように感じることができる。
【0029】
ステップS30において、ユーザの頭部の姿勢が推定される。
【0030】
図6は、ユーザの姿勢を推定する方法の説明図である。本実施形態においては、ユーザの頭部の姿勢が回転角で表される。ユーザの前後方向に沿った回転軸をロール軸、ユーザの左右方向に沿った回転軸をピッチ軸、重力方向に沿った回転軸をヨー軸と定義する。以下、ロール軸まわりの回転角の変位量をロール角、ピッチ軸まわりの角度の変位量をピッチ角、ヨー軸まわりの角度の変位量をヨー角とよぶことがある。
【0031】
本実施形態において、頭部の姿勢は、ロール角、ピッチ角、および、ヨー角により表される。ロール角、ピッチ角、ヨー角は、センサ103を用いて検出される。
【0032】
図6に示すように、上半身を起こして、正面を向いている姿勢を基準姿勢とする。基準姿勢では、ロール角が0度、ピッチ角が0度、ヨー角が0度であるとする。前述したように、頭部の姿勢についての推定結果を用いて、ユーザの姿勢が推定される。例えば、頭部の姿勢として検出されたロール角が+5度以上である場合、ユーザの体が左に傾いていると推定される。検出されたロール角が-5度以下である場合、ユーザの体が右に傾いていると推定される。頭部の姿勢として検出されたピッチ角が+5度以上である場合、ユーザの体が後ろに傾いていると推定される。検出されたピッチ角が-5度以下である場合、ユーザの体が前に傾いていると推定される。本実施形態においては、ユーザの体は、少なくともユーザの上半身を含むものとする。上半身は、腰より上の部分である。また、例えば、頭部の姿勢として検出されたヨー角が+10度以上である場合、ユーザが左を向いていると推定される。検出されたヨー角が-10度以下である場合、ユーザが右を向いていると推定される。ユーザが右を向く動作は、ユーザが顔だけを右側に向ける動作と、ユーザが体ごと右側に向ける動作とを含む。ユーザが左を向く動作についても同様である。
【0033】
ステップS40において、頭部の姿勢が変化したことが検出されると(ステップS40;YES)、ステップS50の処理が実行される。一方、頭部の姿勢が変化していない場合(ステップS40;NO)、ステップS60の処理が実行される。
【0034】
ステップS50において、ユーザの姿勢の変化に応じて音像の位置が更新される。前述のように、音像は、ユーザを中心とした回転軸まわりに、ユーザの正面方向から反時計まわりに60度回転した方向に設定される。
【0035】
例えば、正面を向いていたユーザが右を向いたと推定されたとする。
図7は、上から見たときのユーザと音像との位置関係を示す図である。
図7において、姿勢が変化する前のユーザを破線で、姿勢が変化した後のユーザを実線で表す。位置が更新される前の音像SS_bを破線で、位置が更新された後の音像SS_aを実線で表す。破線で表した直線L2は、ユーザUの顔が向いている方向を示す。破線で表した直線L1は、ユーザUの顔の向きが変わる前に、ユーザUが向いていた方向を示す。
図8は、後ろから見たときのユーザと更新後の音像SS_bとの位置関係を表した図である。後ろから見たときのユーザと音像との位置関係は、
図5に示すとおりである。
図7、
図8に示すように、正面を向いていたユーザが右を向いたため、音像SSの平面内における位置は、ユーザを中心とした回転軸まわりに、ユーザUの正面方向から反時計まわりに60度回転した方向に設定し直される。ユーザUと音像SSとの間の距離は1メートルである。このように、ユーザUの顔の向きが変わった場合、ユーザUの顔の向きに対する音像SSの相対的な方向と、ユーザUと音像SSとの相対的な距離と、が変わらないように、音像SSの位置が調整される。ただし、
図5、
図8に示すように、音像SSの位置は基準面P1内に維持される。
【0036】
また、例えば、ユーザの体が右側に傾いたと推定されたとする。
図9は、後ろから見たときのユーザと音像との位置関係の他の例を示す図である。
図9において、姿勢が変化する前のユーザを破線で、姿勢が変化した後のユーザを実線で表す。ユーザの顔は前を向いたままであることを前提とする。
図9に示す例では、ロール軸まわりに回転するように、ユーザの姿勢が変化した。ユーザの姿勢が変化した場合、ユーザUの顔の向きに対する音像SSの相対的な方向と、ユーザUと音像SSとの相対的な距離と、が変わらないように、音像SSの平面上の位置が調整される。ただし、音像SSの位置は基準面P1内に維持される。よって、ユーザにとって音像SSの位置がずれたように感じられる。これにより、ユーザは、自身の姿勢が傾いていることを認識できる。
【0037】
ステップS60において、終了条件が満たされているか否かが判定される。終了条件が満たされている場合(ステップS60;YES)、ステップS70が実行される。終了条件は、ユーザから乗り物酔い抑制用のアプリケーションの終了が指示されたことである。ステップS70において、音声の再生が停止される。その後、音声出力処理が終了される。一方、ステップS60において、終了条件が満たされていない場合(ステップS70;NO)、再びステップS30が実行される。
【0038】
以上説明したように、第1実施形態においては、ユーザの姿勢の変化にかかわらず、音像の位置を、水平面と平行な面であって、ユーザの左耳に装着されたイヤホン100Aの当初の位置を通る平面である基準面P1内に維持する。ユーザの姿勢が変化すると、ユーザは音像の位置が変化したかのように感じるので、ユーザが自身の姿勢が傾いていることを認識できる。
【0039】
例えば、ユーザの脳内において視覚情報に基づいてユーザの姿勢に変化がないと認識されているとする。この場合に、ユーザの脳内において、基準面P1内に維持されている音像の位置に基づいて姿勢の傾きが認識されることにより、視覚情報に基づいた認識が修正される。このように、内耳にある前庭器官からの情報に基づいて認識されている姿勢の傾きと視覚情報に基づいて認識されている姿勢の傾きとのズレの量を小さくすることができる。従って、乗り物酔いを抑制することができる。一般的に、前庭器官からの情報と視覚情報との不一致により、乗り物酔いが発生すると考えられているためである。第1実施形態にかかる構成は、ユーザが近くにある対象を視認しており、ユーザの視界に変化がない、あるいはユーザの視界の変化が小さい場合に、乗り物酔いを効果的に抑制できる。
【0040】
また、本実施形態によれば、ユーザの頭部の姿勢についての推定結果を用いて仮想的な音源である音像の位置が調整されるため、ユーザに姿勢を傾けさせる必要がない。よって、人が反射的に避ける姿勢を取る音声を出力する必要がないので、ユーザに不快感を与えない。さらに、イヤホンまたはヘッドホンにより音声が再生されるので、ユーザ以外の人に音を聞かせない。よって、ユーザ以外の人に不快感を与えない。
【0041】
また、乗り物酔いを抑制する特殊なメガネをかけた状態で一定期間、動かない物体に視線を固定する態様に比べて煩わしさがない。さらに、乗り物酔いを抑制するメガネについては、内耳が十分に発達していない年齢の子どもには効果が出ないため、使用できるユーザの年齢が限定される。一方、本実施形態にかかる動揺病抑制システム10は、ユーザの年齢にかかわらず動揺病の症状の発生を予防することができる。
【0042】
B.第2実施形態:
第1実施形態においては、ユーザの姿勢の変化にかかわらず、音像の位置を水平面と平行な基準面P1内に維持することにより、ユーザの視界に変化がない、あるいはユーザの視界の変化が小さい場合に、乗り物酔いの抑制に効果的であることを説明した。
【0043】
第2実施形態においては、ユーザの姿勢の変化にかかわらず、音像の位置を水平面と平行な基準面P1内に維持する第1モードと、ユーザの姿勢の変化に応じて音像の位置を変更される第2モードと、のいずれかが選択される。第1モードによる音像の位置の制御の方法は、第1実施形態と同様である。
【0044】
図10は、第2実施形態にかかる音声出力処理のフローチャートである。プロセッサ204がメモリ202に格納されているプログラムを実行することにより、音声出力処理が実現される。
図10において、第1実施形態にかかる音声出力処理(
図2を参照)と同様の処理については、同じステップ番号を付している。以下、第1実施形態にかかる構成と異なる構成を中心に説明する。
【0045】
ステップS10において、音像の位置が設定される。ステップS10においては、第1モードによる方法で、音像が配置される。音像SSは、基準面P1内においてユーザの左斜め前方の位置に配置される。基準面P1は、水平面に平行な平面であって、ユーザUが左側の耳に装着しているイヤホン100Aの当初の位置を通る平面である。水平方向として、イヤホン100Aが備えるセンサ103を用いて検出される重力方向に対して垂直な方向が設定される。より具体的には、音像SSは、ユーザUを中心とした回転軸まわりに、ユーザUの正面方向から反時計まわりに60度回転した方向であって、ユーザUから1メートル離れた位置に設定される。
【0046】
ステップS20において、音声の再生が開始される。本実施形態においても、立体音響処理を施した音声信号がイヤホン100に出力される。
【0047】
ステップS22において、ユーザの頭部の姿勢の変化についての推定結果を用いてユーザの視線方向が下向きであるか否かが推定される。視線方向の推定の処理は、姿勢推定部220として機能するプロセッサ204により行われる。姿勢推定部220を視線方向推定部ともよぶ。本実施形態では、検出されたピッチ角が-5度以下である状態が、あらかじめ決められた期間以上継続されている場合、ユーザが下を向いていると判定される。前述したように、検出されたピッチ角を用いてユーザの体が前後方向のいずれかに傾いているかが判定される。よって、本実施形態においては、検出されたピッチ角が-5度以下である状態が、あらかじめ決められた期間以上継続されていない場合、ユーザの体が傾いていると判定される。乗り物の揺れによりユーザの姿勢が変化する場合、ユーザの体が前後方向に、任意の角度で傾いている状態がある程度の期間継続されることは想定されにくいからである。ユーザが下を向いているとき、ユーザは近くの対象を視認していると考えられる。ユーザが下を向いている場合(ステップS22;YES)、ステップS24において、音像の位置の設定方法として第1モードが設定される。一方、ユーザが下を向いていない場合(ステップS22;NO)、ステップS26において、音像の位置の設定方法として第2モードが設定される。
【0048】
ステップS30において、ユーザの頭部の姿勢が推定される。
【0049】
ステップS40において、頭部の姿勢が変化したことが検出されると(ステップS40;YES)、ステップS55の処理が実行される。一方、頭部の姿勢が変化していない場合(ステップS40;NO)、ステップS60の処理が実行される。
【0050】
ステップS55において、音像の位置が更新される。第1モードが設定されている場合は、第1実施形態と同様の方法で音像の位置が更新される。ユーザUの顔の向きに対する音像SSの相対的な方向と、ユーザUと音像SSとの相対的な距離と、が変わらないように、音像SSの位置が調整される。第1モードにおいては、基準面P1内における位置は変更されるものの、音像の位置は基準面P1内に維持される。
【0051】
図11は、第2モードにおける音像の位置の更新方法の説明図である。第2モードが設定されている場合は、以下のように音像の位置が更新される。
図11において、ユーザUの体がX軸方向に沿ったロール軸を中心として時計まわりに傾いた様子を表す。ユーザUの基準面P1に対する傾きはθ1、即ち、ユーザUの水平面に対する傾きは角度θ1である。技術の理解を容易にするため、ユーザUの体はピッチ軸およびヨー軸まわりには傾いていないことを前提とする。第2モードにおいては、音像SSを、ユーザUの傾いた方向に合わせて、回転させるように移動する。
【0052】
図11に示す例において、ユーザUが、ロール軸を中心として時計まわりに角度θ1傾いたことに合わせて、音像SSをロール軸を中心として時計まわりに角度(θ1+θ2)回転移動させる。角度θ2は、例えば、角度θ1を0.5倍した角度に設定される。位置の更新後においても、ユーザと音像SSとの距離は1メートルのままである。なお、移動の最中も音声の出力は継続されている。よって、ユーザUには、回転移動する音像SSから音声が聞こえる。
【0053】
位置の更新前においては、音像SSは、水平面と平行な基準面P1内に配置されている。ユーザUが基準面P1に対して角度θ1傾いたことに合わせて、音像SSの位置が更新される。位置の更新により、音像SSは、基準面P1をロール軸まわりに角度(θ1+θ2)回転させた面(以下、面P2)内に配置される。面P2は、原点Oを中心として基準面P1を時計まわりに回転させたものである。原点Oは、ユーザUの左側の耳に装着されているイヤホン100AとユーザUの右側の耳に装着されているイヤホン100Bとを直線で結んだときの中点である。基準面P1をロール軸まわりに角度θ1回転させた面を面P3とする。面P3は、原点Oを中心として基準面P1を時計まわりに回転させたものである。
【0054】
例えば、角度θ1が20度、θ2が10度であるとする。仮に、ユーザUが基準面P1に対して20度傾いても、音像SSを基準面P1内に配置したままであると、ユーザUは、水平面と平行な基準面P1に対して20度傾いていると感じる。これに対し、音像SSが、回転移動により基準面P1内から面P2内へ動かされると、ユーザUは、面P2内に配置されている音像SSから、面P2が水平面であると錯覚する。よって、ユーザUは、基準面P1に対して時計まわりに20度傾いているのではなく、面P2に対して反時計まわり10度傾いているように感じる。角度θ2は、角度θ1より小さいため、ユーザUに、自身の姿勢の傾きが実際の傾きより小さいと錯覚させることができる。
【0055】
また、ユーザが、ロール軸まわりに半時計まわりに傾いた場合、ユーザUの傾いた方向に合わせて、半時計まわりに回転させるように音像SSの位置を移動すればよい。このとき、音像SSを回転移動させる角度は、ユーザの傾き角度より大きくする。また、ユーザが、ピッチ軸まわりに傾いた場合も同様である。
【0056】
ステップS60において、終了条件が満たされているか否かが判定される。終了条件が満たされている場合(ステップS60;YES)、ステップS70が実行される。終了条件は、ユーザから乗り物酔い抑制用のアプリケーションの終了が指示されたことである。ステップS70において、音声の再生が停止される。その後、音声出力処理が終了される。一方、ステップS60において、終了条件が満たされていない場合(ステップS70;NO)、再びステップS22が実行される。
【0057】
以上説明したように、本実施形態においては、ユーザの視線方向が下向きである場合には、ユーザが近くにある対象を見ていると考えられるので、第1モードが設定される。近くの対象とは、ユーザ自身の手元、ユーザが手に持っているスマートフォン、本等である。第1実施形態で説明したように、第1モードによる音像の位置を更新する方法は、ユーザが近くにある対象を視認しており、ユーザの視界に変化がない、あるいはユーザの視界の変化が小さい場合に、乗り物酔いを効果的に抑制できる。
【0058】
また、本実施形態においては、ユーザの視線方向が下向きでない場合には、ユーザが遠くにある対象を見ていると考えられるので、第2モードが設定される。遠くの対象は、車外にある建物、看板、公園等を含む遠くの景色である。第2モードが設定されているときには、音像の位置が、ユーザの体が傾いた方向に沿って、ユーザの体の傾きより大きく傾けるように、移動される。よって、姿勢が傾いているユーザは、自身の姿勢の傾きが実際の傾きより小さいと認識する。
【0059】
例えば、ユーザの脳内において、前庭器官からの情報に基づいて認識されているユーザの姿勢の傾きより、筋、腱、関節等に起こる深部感覚および内臓感覚に基づいて認識されているユーザの姿勢の傾きが大きいとする。このような場合、ユーザの脳内において、ユーザの体の揺れについての感覚が混乱する。この場合に、ユーザの脳内において、音像の位置が動くことにより、自身の姿勢の傾きが実際の傾きより小さいと認識させる。これにより、ユーザの脳内における感覚の混乱の度合いを小さくする。従って、乗り物酔いを抑制することができる。ユーザが遠くを見ており、視界に変化がある場合であっても、前庭器官からの情報に基づいた認識と、筋、腱、関節等に起こる深部感覚および内臓感覚に基づいた認識と、の不一致により、乗り物酔いが発生すると考えられているためである。第2モードにおける音像の位置を更新する方法は、ユーザが遠くにある対象を視認しており、ユーザの視界に変化がある場合に、乗り物酔いを効果的に抑制できる。
【0060】
本実施形態においては、視線方向に応じて、第1モードと第2モードとが自動的に切り替えられる。このように、ユーザの状態に応じて、音像の位置の調整する方法が適切に切り替えられる。よって、動揺病の症状の発生を適切に予防できる。
【0061】
C1.他の実施形態1:
第2実施形態においては、第2モードが設定されているときに、音像の位置を、ユーザの傾き角度より大きく傾けるように移動する例を説明した。あるいは、音像の位置を、ユーザの傾き角度より小さく傾けるように移動してもよい。
【0062】
図12は、他の実施形態1にかかる第2モードにおける音像の位置の更新方法の説明図である。他の実施形態1において、第2モードにおける音像の位置は以下のように更新される。
図12において、ユーザUの体がX軸方向に沿ったロール軸を中心として時計まわりに傾いた様子を表す。ユーザUの基準面P1に対する傾きはθ3、即ち、ユーザUの水平面に対する傾きは角度θ3である。技術の理解を容易にするため、ユーザUの体はピッチ軸およびヨー軸まわりには傾いていないことを前提とする。第2モードにおいては、音像SSを、ユーザUの傾いた方向に合わせて、回転させるように移動する。
【0063】
図12に示す例において、ユーザUが、ロール軸を中心として時計まわりに角度θ3傾いたことに合わせて、音像SSをロール軸を中心として時計まわりに角度(θ3-θ4)回転移動させる。角度θ4は、例えば、角度θ3を0.25倍した角度に設定される。位置の更新後においても、ユーザと音像SSとの距離は1メートルのままである。なお、移動の最中も音声の出力は継続されている。よって、ユーザUには、回転移動する音像SSから音声が聞こえる。
【0064】
位置の更新前においては、音像SSは、水平面と平行な基準面P1内に配置されている。ユーザUが基準面P1に対して角度θ3傾いたことに合わせて、音像SSの位置が更新される。位置の更新により、音像SSは、基準面P1をロール軸まわりに角度(θ3-θ4)回転させた面(以下、面P4)内に配置される。面P4は、原点Oを中心として基準面P1を時計まわりに回転させたものである。原点Oは、ユーザUの左側の耳に装着されているイヤホン100AとユーザUの右側の耳に装着されているイヤホン100Bとを直線で結んだときの中点である。基準面P1をロール軸まわりに角度θ3回転させた面を面P5とする。面P5は、原点Oを中心として基準面P1を時計まわりに回転させたものである。
【0065】
例えば、角度θ3が20度、θ4が5度であるとする。仮に、ユーザUが基準面P1に対して20度傾いても、音像SSを基準面P1内に配置したままであると、ユーザUは、水平面と平行な基準面P1に対して20度傾いていると感じる。これに対し、音像SSが、回転移動により基準面P1内から面P4内へ動かされると、ユーザUは、面P4内に配置されている音像SSから、面P4が水平面であると錯覚する。よって、ユーザUは、基準面P1に対して時計まわりに20度傾いているのではなく、面P4に対して時計まわり5度傾いているように感じる。角度θ4は、角度θ3より小さいため、ユーザUに、自身の姿勢の傾きが実際の傾きより小さいと錯覚させることができる。従って、乗り物酔いを抑制することができる。
【0066】
また、ユーザが、ロール軸まわりに半時計まわりに傾いた場合、ユーザUの傾いた方向に合わせて、半時計まわりに回転させるように音像SSの位置を移動すればよい。このよき、音像SSを回転移動させる角度は、ユーザの傾き角度より小さくする。また、ユーザが、ピッチ軸まわりに傾いた場合も同様である。
【0067】
上記の構成により第2実施形態と同様に、ユーザの視界に変化がある場合であっても、前庭器官からの情報に基づいた認識と、筋、腱、関節等に起こる深部感覚および内臓感覚に基づいた認識と、の不一致による、ユーザの脳内における感覚の混乱の度合いを小さくする。従って、乗り物酔いを抑制することができる。
【0068】
C2.他の実施形態2:
第2実施形態においては、ユーザの視線方向が下向きであるか否かに応じて(
図10のステップS22~S26を参照)、第1モードと第2モードとが切り替えられる例を説明した。あるいは、ユーザの視線方向が下向きである場合に加えて、ユーザが目を閉じている場合にも、第1モードが選択されてもよい。ユーザが目を開けている場合には、第2モードが選択される。
【0069】
他の実施形態2において、動揺病抑制システム10は、ユーザのまぶたの開閉を検出できるまぶた検出部をさらに備える。まぶた検出部は、例えば、ユーザがかけているメガネのパッド(鼻あて)およびブリッジの部分に備えられた眼電位センサである。ブリッジは、左右のレンズをつなぐ、鼻にかかる部分である。他の実施形態2においては、ユーザのまぶたが少なくともあらかじめ設定された期間閉じられていることが検出された場合、第1モードが設定される。
【0070】
このような形態によれば、ユーザがまぶたを閉じており、ユーザの視界に変化がない場合に、ユーザの姿勢の変化にかかわらず、音像の位置を水平面と平行な基準面P1内に維持する。ユーザの姿勢が変化すると、ユーザは音像の位置が変化したかのように感じる。よって、ユーザが自身の姿勢が傾いていることを認識できる。これにより、第1実施形態と同様に、前庭器官からの情報に基づいた認識と深部感覚および内臓感覚に基づいた認識とのズレの量を小さくすることができる。従って、乗り物酔いを抑制することができる。
【0071】
C3.他の実施形態3:
第2実施形態においては、姿勢推定部220は、ユーザの頭部の姿勢の変化についての推定結果を用いて、ユーザの視線方向を推定する例を用いた。あるいは、姿勢推定部220は、ユーザがかけているメガネに備えられた眼電位センサによる検出結果を用いて、ユーザの視線方向を推定してもよい。
【0072】
C4.他の実施形態4:
第2実施形態においては、ユーザの視線方向に応じて、第1モードと第2モードとを自動的に切り替える例を説明した。あるいは、ユーザ自身が、第1モードと第2モードとのうちいずれかを選択してもよい。例えば、動揺病抑制システム10は、ユーザが乗り物酔い抑制用のアプリケーションソフトウェアを起動した後であって、音声出力処理を開始する前に、携帯端末200の表示部にモードの選択を行う画面を表示してもよい。
【0073】
C5.他の実施形態5:
また、あるいは、第1モードと第2モードとのいずれを設定するかは、以下のように決定されてもよい。複数の被験者が動揺病抑制システム10を利用した場合の、動揺病の症状の発生の状況について、あらかじめデータが収集される。さらに、被験者の属性情報として、例えば、性別、年齢層についてのデータも収集される。収集したデータに基づいて、性別および年齢層に応じて、第1モードと第2モードとのうちいずれが最適であるかが決定される。動揺病抑制システム10は、ユーザの性別および年齢層に応じて、最適なモードを設定する。
【0074】
C6.他の実施形態6:
第1実施形態および第2実施形態の第1モードにおいては、音像の位置が、ユーザの斜め前方であって、1メートル離れた位置に設定される例を説明した。あるいは、GPS衛星から受信したGPS信号に基づいて取得された携帯端末200の現在の緯度および経度を用いて、音像の位置が設定されてもよい。音像の位置の緯度は、携帯端末200の現在の緯度+Laとして求められる。音像の位置の経度は、携帯端末200の現在の緯度+Loとして求められる。La、Loは、ユーザと音像との間の距離をNメートルとする場合、N=√(La2+Lo2)の式より求められる。
【0075】
C7.他の実施形態7:
第1実施形態、第2実施形態の第1モードにおいては、音像が1カ所に配置される例を説明した。例えば、音像がユーザの正面に設定されているとする。この場合、ユーザがロール軸まわりに傾いた姿勢を取っているときに、音像の位置からユーザは水平方向を認識することができない。また、音像の位置がユーザの真横に設定されているとする。この場合、ユーザは、ロール軸まわりに傾いた姿勢を取っているときに、真横に設定されている音像の位置から水平方向を認識することができない。よって、音像が2カ所に配置されることにより、上記のような問題の発生を防ぐことができる。このとき、ユーザから見た一方の音像が配置されている方向に対して直角な方向に、他方の音像が配置されることが望ましい。
【0076】
C8.他の実施形態8:
また、動揺病抑制システム10は、ユーザの視線方向にかかわらず、第2実施形態の第2モードのみを使用して、音像の位置を更新する構成であってもよい。
【0077】
第1実施形態、第2実施形態においては、ユーザに携帯されるコンピュータである携帯端末200がスマートフォンである例について説明した。あるいは、携帯端末200は、携帯電話、タブレット端末等であってもよい。また、あるいは、携帯端末200は、ウェアラブルコンピュータであってもよい。ウェアラブルコンピュータは、例えば、スマートウォッチ、ヘッドマウンドディスプレイ等である。
【0078】
第1実施形態、第2実施形態においては、イヤホン100が備える加速度センサおよび角速度センサによる測定値を用いて、音像の位置を制御する例を説明した。あるいは、イヤホン100が備える加速度センサおよび角速度センサによる測定値と、車両が備える加速度センサおよび角速度センサによる測定値とを併用してもよい。この場合、ユーザの体が揺れる前に生じる、車両の揺れを検出する。ユーザの体の実際の揺れの前に、ユーザの体の揺れを予測できる。予測したユーザの体の揺れに基づいて、音像の位置の制御を行いつつ、実際のユーザの体の傾きに基づいて音像の位置の制御を行うことができる。よって、乗り物酔い抑制により効果的である。
【0079】
第1実施形態、第2実施形態においては、動揺病抑制システム10が、イヤホン100と、携帯端末200とを含み、ユーザが携帯するコンピュータが携帯端末200である例を説明した。あるいは、イヤホン100は、音声再生装置としての機能と、コンピュータとしての機能を備えるものであってもよい。この場合、イヤホン100は、メモリ、プロセッサを備え、第1実施形態において携帯端末200が備える各機能を実現する。
【0080】
本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【0081】
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0082】
10…動揺病抑制システム、100,100A,100B…イヤホン、101…ドライバユニット、102…通信部、103…センサ、109…内部バス、120…位置方向取得部、140…頭部動作検出部、160…情報出力部、200…携帯端末、201…通信部、202…メモリ、203…位置情報取得部、204…プロセッサ、209…内部バス、220…姿勢推定部、230…音声出力部、240…音像位置設定部、A1…プログラム、L1…直線、L2…直線、P1…基準面、P2,P3,P4,P5…面、SS…音像、U…ユーザ