特開 2024-51366 頭方向情報の決定方法、音処理装置、および、決定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051366

(43)【公開日】2024-04-11

(54)【発明の名称】頭方向情報の決定方法、音処理装置、および、決定プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240404BHJP

   H04S 7/00 20060101ALI20240404BHJP

   H04R 1/10 20060101ALI20240404BHJP

【ＦＩ】

G06F3/01 510

H04S7/00 340

H04R1/10 101B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022157497

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000001247

【氏名又は名称】株式会社ジェイテクト

(71)【出願人】

【識別番号】518236513

【氏名又は名称】ｃｏｎｎｅｃｔｏｍｅ．ｄｅｓｉｇｎ株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】梅澤 弥来

(72)【発明者】

【氏名】柴田 由之

(72)【発明者】

【氏名】佐藤 聡

【テーマコード（参考）】

5D005

5D162

5E555

【Ｆターム（参考）】

5D005BB01

5D162AA13

5D162CD07

5D162CD25

5D162DA04

5D162EG06

5E555AA15

5E555AA62

5E555AA76

5E555BA06

5E555BA17

5E555BA24

5E555BA38

5E555BB06

5E555BB17

5E555BB24

5E555BB38

5E555BC01

5E555CA10

5E555CA44

5E555CA45

5E555CB19

5E555CB21

5E555CB66

5E555CB82

5E555DA23

5E555DD06

5E555EA03

5E555EA05

5E555EA09

5E555EA19

5E555FA00

(57)【要約】

【課題】センサによって検出したユーザの頭の向きと実際の頭の向きとの誤差を補正する。
【解決手段】ユーザの頭の向きを示す頭方向情報の決定方法は、ユーザの頭部に装着される音再生装置が有するセンサを介して頭方向情報を取得する頭方向取得工程と、予め定められた期間におけるユーザの頭の各向きの頻度を示す頻度情報と、ユーザの端末装置の操作に関する操作情報との少なくとも一方を含む行動情報を取得する行動取得工程と、行動情報を用いて頭方向情報を決定する決定工程と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの頭の向きを示す頭方向情報の決定方法であって、
前記ユーザの頭部に装着される音再生装置が有するセンサを介して前記頭方向情報を取得する頭方向取得工程と、
予め定められた期間における前記ユーザの頭の各向きの頻度を示す頻度情報と、前記ユーザの端末装置の操作に関する操作情報との少なくとも一方を含む行動情報を取得する行動取得工程と、
前記行動情報を用いて前記頭方向情報を決定する決定工程と、を含む、頭方向情報の決定方法。

【請求項2】

請求項１に記載の頭方向情報の決定方法であって、
前記頻度情報は、前記ユーザの移動速度に対応づけられており、
前記決定工程は、前記移動速度が予め定められた閾値速度以上であって前記頻度が予め定められた閾値以上である場合の前記ユーザの頭の向きを、前記ユーザが正面を向いている場合を基準として前記頭方向情報を決定する工程を含む、頭方向情報の決定方法。

【請求項3】

請求項１または請求項２に記載の頭方向情報の決定方法であって、
前記行動情報は、前記頻度情報を含む情報であり、
前記決定工程は、横軸を前記ユーザの頭の向きの仰角を正方向として表し俯角を負方向として表し、縦軸を前記頻度として表すグラフにおいて、前記頻度が予め定められた閾値以上である極大値が２つある場合に、前記２つの極大値のうち前記仰角が大きい方の前記極大値が示す前記ユーザの頭の向きを、前記ユーザが正面を向いている場合を基準として前記頭方向情報を決定する工程を含む、頭方向情報の決定方法。

【請求項4】

請求項１または請求項２に記載の頭方向情報の決定方法であって、
前記行動情報は、前記操作情報を含み、
前記決定工程は、前記ユーザが前記端末装置を操作している場合の前記ユーザの頭の向きを、前記ユーザが正面よりも下方を向いている場合を基準として前記頭方向情報を決定する工程を含む、頭方向情報の決定方法。

【請求項5】

ユーザの頭の向きを示す頭方向情報を決定する音処理装置であって、
前記ユーザの頭部に装着される音再生装置が有するセンサを介して前記頭方向情報を取得する頭方向取得部と、
予め定められた期間における前記ユーザの頭の向きの頻度を示す頻度情報と、前記ユーザの端末装置の操作に関する操作情報との少なくとも一方を含む行動情報を取得する行動取得部と、
前記行動情報を用いて前記頭方向情報を決定する決定部と、を含む、音処理装置。

【請求項6】

ユーザの頭の向きを示す頭方向情報を決定する決定プログラムであって、
前記ユーザの頭部に装着される音再生装置が有するセンサを介して前記頭方向情報を取得する頭方向取得機能と、
予め定められた期間における前記ユーザの頭の向きの頻度を示す頻度情報と、前記ユーザの端末装置の操作に関する操作情報との少なくとも一方を含む行動情報を取得する行動取得機能と、
前記行動情報を用いて前記頭方向情報を決定する決定機能と、をコンピュータに実現させる、決定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、頭方向情報の決定方法、音処理装置、および、決定プログラムに関する。

【背景技術】

【0002】

例えば、特許文献１に記載されているように、モーションセンサによりユーザの頭の向きを検出し、音源との相対方位角に基づいた立体音響処理を施した音声を再生する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－７９３１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

イヤホンに設けられたモーションセンサによってユーザの頭の向きを検出する場合、イヤホンの装着の仕方やユーザの耳の形状によって、実際の頭の向きと検出した頭の向きとの誤差が大きくなるという課題があった。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

（１）ユーザの頭の向きを示す頭方向情報の決定方法が提供される。この決定方法は、前記ユーザの頭部に装着される音再生装置が有するセンサを介して前記頭方向情報を取得する頭方向取得工程と、予め定められた期間における前記ユーザの頭の各向きの頻度を示す頻度情報と、前記ユーザの端末装置の操作に関する操作情報との少なくとも一方を含む行動情報を取得する行動取得工程と、前記行動情報を用いて前記頭方向情報を決定する決定工程と、を含む。
この頭方向情報の決定方法によれば、音再生装置が有するセンサによって検出されたユーザの頭の向きと実際の頭の向きとの誤差を、行動情報を用いて補正して、頭方向情報を決定できる。
（２）上記形態の頭方向情報の決定方法において、前記頻度情報は、前記ユーザの移動速度に対応づけられており、前記決定工程は、前記移動速度が予め定められた閾値速度以上であって前記頻度が予め定められた閾値以上である場合の前記ユーザの頭の向きを、前記ユーザが正面を向いている場合を基準として前記頭方向情報を決定する工程を含んでもよい。
この頭方向情報の決定方法によれば、例えば、歩行しており、正面を向いている可能性が高い場合の頭方向情報を用いて、検出されたユーザの頭の向きと実際の頭の向きとの誤差を、補正して、頭方向情報を決定できる。
（３）上記形態の頭方向情報の決定方法において、前記行動情報は、前記頻度情報を含む情報であり、前記決定工程は、横軸を前記ユーザの頭の向きの仰角を正方向として表し俯角を負方向として表し、縦軸を前記頻度として表すグラフにおいて、前記頻度が予め定められた閾値以上である極大値が２つある場合に、前記２つの極大値のうち前記仰角が大きい方の前記極大値が示す前記ユーザの頭の向きを、前記ユーザが正面を向いている場合を基準として前記頭方向情報を決定する工程を含んでもよい。
この頭方向情報の決定方法によれば、正面を向いている可能性が高い場合の頭方向情報を用いて、検出されたユーザの頭の向きと実際の頭の向きとの誤差を、補正して、頭方向情報を決定できる。
（４）上記形態の頭方向情報の決定方法において、前記行動情報は、前記操作情報を含み、前記決定工程は、前記ユーザが前記端末装置を操作している場合の前記ユーザの頭の向きを、前記ユーザが正面よりも下方を向いている場合を基準として前記頭方向情報を決定する工程を含んでもよい。
この頭方向情報の決定方法によれば、正面よりも下方を向いている可能性が高い場合の頭方向情報を用いて、検出されたユーザの頭の向きと実際の頭の向きとの誤差を、補正して、頭方向情報を決定できる。

【図面の簡単な説明】

【0007】

【図1】情報提供システムの構成を示す図である。

【図2】ユーザの頭部の動作を検出する方法を説明するための図である。

【図3】情報提供処理の一例を示したフローチャートである。

【図4】音再生処理の一例を示したフローチャートである。

【図5】頭方向情報決定処理の一例を示したフローチャートである。

【図6】頻度情報の一例を示した図である。

【図7】頻度情報の他の例を示した図である。

【図8】第４実施形態における頭方向情報決定処理の一例を示したフローチャートである。

【図9】位置情報の一例を示す情報である。

【発明を実施するための形態】

【0008】

Ａ．第１実施形態：
図１は、本実施形態に係る情報提供システム１００の構成を示す図である。情報提供システム１００は、ユーザの位置に応じて、案内や説明を行う情報を音声によりユーザに提供する。本実施形態において、情報提供システム１００が、観光地を回るユーザに、観光スポットに関する情報を提供する例を説明する。情報提供システム１００は、音処理装置１１０と、サーバ１２０と、音再生装置１３０とを含む。

【0009】

音処理装置１１０は、中央音処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭといった記憶装置により構成されたマイクロコンピュータである。音処理装置１１０は、音処理装置１１０の記憶領域に予めインストールされたプログラムをマイクロコンピュータが実行することによって、位置取得部１０と頭方向取得部３０と行動取得部４０と決定部５０と音再生部６０との、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウエア回路で実現してもよい。本実施形態においては、音処理装置１１０は、ユーザが保有するスマートフォンである。本実施形態において、音処理装置１１０には、ユーザに音により観光地に関する情報を提供するためのプログラムがインストールされている。ユーザは、プログラムを実行することにより、情報提供システム１００から観光地に関する情報の提供を受けることができる。音処理装置１１０は、ユーザが持ち歩くことで観光地を移動する。

【0010】

位置取得部１０は、現在のユーザの位置であるユーザ位置を示す位置情報を取得する。位置情報は、例えばユーザ位置を示す経緯度を含む。位置取得部１０は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅm）などの汎地球航法衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ（ｓ）（ＧＮＳＳ））が検出した位置情報を取得する。本実施形態において、位置取得部１０は、音処理装置１１０が備えるＧＰＳアンテナ（図示せず）から位置情報を取得する。

【0011】

頭方向取得部３０は、ユーザの頭の向きを示す頭方向情報を取得する。「ユーザの頭の向き」は、ロール角とピッチ角とヨー角とにより表すことができる。本実施形態において、頭方向取得部３０は、音再生装置１３０が有するセンサ１３１を介して頭方向情報を取得する。より具体的には、頭方向取得部３０は、センサ１３１により測定された加速度の測定値と角速度の測定値とから、ロール角、ピッチ角、および、ヨー角を検出し、ユーザの頭の向きを取得する。

【0012】

図２は、ユーザの頭部の動作を検出する方法を説明するための図である。ユーザの前後方向に沿った回転軸をロール軸、ユーザの左右方向に沿った回転軸をピッチ軸、重力方向に沿った回転軸をヨー軸と定義する。ユーザが首を傾げる動作をロール軸回りの回転として表すことができる。ユーザが頷く動作をピッチ軸回りの回転として表すことができる。ユーザが振り向く動作をヨー軸回りの回転として表すことができる。本実施形態においては、ユーザの頭部の動作が３軸の回転角で表される。

【0013】

ロール軸回りの回転角の変位量をロール角、ピッチ軸回りの角度の変位量をピッチ角、ヨー軸回りの角度の変位量をヨー角ともいう。本実施形態において、ロール角の範囲は、ユーザが正面を向いて立っているときを０度とすると、＋３０度から－３０度までである。ピッチ角の範囲は、ユーザが正面を向いて立っているときを０度とすると、＋４５度から－４５度までである。ヨー角の範囲は、真北を０度として初期設定し、０度から３６０度までの全ての値を取り得る。

【0014】

行動取得部４０（図１参照）はユーザの行動を示す行動情報を取得する。本実施形態において、行動情報は、予め定められた期間におけるユーザの頭の各向きの頻度を示す頻度情報を含む情報である。頻度情報は、例えば、予め定められた期間において、ユーザが向いていた、ロール角とピッチ角とヨー角とにより表される頭の各向きの時間の累計によって表される頻度を示す情報である。

【0015】

決定部５０は、行動取得部４０が取得した行動情報を用いて、頭方向取得部３０が取得した頭方向情報を補正し、頭方向情報を決定する。より具体的には、決定部５０は、行動情報を用いて基準となる頭方向情報を定め、基準となる頭方向情報が示す頭の向きと予め定められた頭の向きとの誤差に応じて、頭方向取得部３０が取得した頭方向情報を補正し、ユーザが実際に向いている頭の向きを推定する。頭方向情報の補正の詳細については後述する。

【0016】

音再生部６０は、ユーザ位置に対応づけられた音を選択して、再生する。より具体的には、音再生部６０は、後述する音群情報を参照して、ユーザ位置を含む範囲を表す範囲情報を選択し、その範囲情報に対応付けられている音情報を音再生装置１３０に出力し、音を再生させる。音再生部６０は、ユーザ位置とユーザの頭の向きと音源の位置とに応じて音情報に立体音響処理を施した音を再生する。一般的に、立体音響処理とは、音再生装置１３０により右耳および左耳から再生される音声に、音量差、時間差、周波数特性の変化、位相の変化、残響の変化、の少なくとも一つ以上の処理を取り入れることにより音環境を立体的に再現させる処理である。これにより、ユーザに対する所望の位置に音源があるように表現できる。立体音響処理の詳細については後述する。本実施形態において、音再生部６０は、位置取得部１０が取得した位置情報が表すユーザ位置を含む範囲を表す範囲情報が１以上存在する場合に、１つの範囲情報に対応する音を再生する。音再生部６０は、例えば、複数の範囲情報のうち、範囲の面積が最も広い範囲情報に対応する音を選択する。なお、音再生部６０は、ユーザ位置を含む範囲を表す範囲情報が１以上存在する場合に、複数の範囲情報に対応する音を再生してもよい。

【0017】

サーバ１２０は、記憶部２０を有する。記憶部２０は、例えば、ＲＡＭ、ＲＯＭ、ハードディスクドライブ（ＨＤＤ）である。記憶部２０は、複数の音群情報を記憶している。音群情報は、地図上の予め定められた範囲を表す範囲情報と、範囲情報と対応づけられている音を表す音情報と、音の発生源である音源の位置を示す音源情報とを含む情報である。範囲情報は、範囲の境界の位置を示す座標を含む情報である。範囲情報は、表す範囲が円形形状である場合、中心を示す座標と半径の長さとを含む情報でもよい。音情報は、例えば、対応づけられた範囲内に存在する建築物や歴史の解説音声や、環境音を表す。音源情報は、例えば、音源の位置を示す経緯度を含む。

【0018】

音再生装置１３０は、音処理装置１１０から受信した信号が表す音を出力する携帯型の装置である。音再生装置１３０は、ユーザの頭部に装着される装置であり、例えば、両耳に装着されるイヤホンやヘッドホン等である。ユーザは、音再生装置１３０を頭部に装着して、観光地を移動する。本実施形態において、音再生装置１３０は、音再生装置１３０を装着しているユーザの頭部の動作を検出するセンサ１３１を有する。センサ１３１は、加速度と角度と角速度を検出する。

【0019】

図３は、情報提供処理の一例を示したフローチャートである。情報提供処理は、情報提供システム１００が音によりユーザに情報を提供する処理である。この処理は情報提供システム１００の動作中、繰り返し実行される処理である。例えば、情報提供システム１００は、２秒毎に情報提供処理を繰り返す。位置取得部１０は、ステップＳ１００において位置情報を取得する。この工程を「位置取得工程」ともいう。本実施形態において、位置取得部１０は、ＧＰＳアンテナからユーザ位置の座標を示す位置情報を取得する。

【0020】

ステップＳ１１０において、音再生部６０は、ステップＳ１００で取得したユーザ位置が、記憶部２０に記憶された音群情報のいずれかの音群情報が含む範囲情報が表す範囲に含まれるか否かを判定する。音再生部６０は、ユーザ位置がいずれかの範囲に含まれる場合、ステップＳ１２０の処理に進む。一方、音再生部６０は、ユーザ位置がいずれの範囲にも含まれない場合、情報提供処理を終了する。

【0021】

音再生部６０は、ステップＳ１２０において、ステップＳ１００で取得した位置情報を用いて、記憶部２０に記憶された複数の音群情報を参照して再生する音情報を取得し、立体音響処理された音情報を音再生装置１３０より再生する。より具体的には、音再生部６０は、ステップＳ１１０においてユーザ位置を含むと判定した範囲に、対応づけられた音を選択し、再生する。この工程を「音再生工程」ともいう。なお、音処理装置１１０は、ユーザ位置周辺の位置を含む範囲を表す範囲情報を含む音群情報を予め記憶部２０から取得して、音処理装置１１０の記憶領域に記憶してもよい。この工程を「情報準備工程」ともいう。

【0022】

図４は、音再生処理の一例を示したフローチャートである。音再生処理は、図３に示すステップＳ１２０において、音再生部６０が音情報を再生する一連の処理である。ステップＳ２００において、音再生部６０は、ユーザ位置を含む１個の範囲情報に対応付けられている音情報を選択する。より具体的には、音再生部６０は、ステップＳ１１０（図３参照）においてユーザ位置を含むと判定した範囲に、対応づけられた音情報を選択する。

【0023】

ステップＳ２１０（図４参照）において、決定部５０は、頭方向情報を決定する。この工程を「頭方向決定工程」ともいう。頭方向情報の決定方法の詳細については後述する。なお、ステップＳ２００とステップＳ２１０とは、この順に限らず、任意の順序で行うことができ、並行して行ってもよい。

【0024】

ステップＳ２２０において、音再生部６０は、ステップＳ２００で選択した音情報の音にステップＳ２１０で決定した頭方向情報を用いて立体音響処理を施す。より具体的には、音再生部６０は、音源位置とユーザ位置とユーザの頭の向きを用いてユーザの頭の向きに対するユーザからみた音源が位置する方向の相対的な角度である相対角度を求め、相対角度と、音波が頭部や身体、耳介などでの反射や回折を経てユーザの外耳道入口に到来するまでの伝達特性を記述した関数である頭部伝達関数とを用いて、立体音響処理を行う。立体音響処理には、例えば、既存の立体音響の生成のためのアルゴリズムが使用される。音再生部６０は、例えば、音処理装置１１０の記憶領域に記憶された立体音響処理プログラムを実行して、立体音響処理を施す。音情報に立体音響処理を施すことにより、右耳に再生される音のタイミングおよび音圧と、左耳に再生される音のタイミング及び音圧とに差異を生じさせることができる。例えば、音源に近い側の耳に再生される音のタイミングを、音源に遠い側の耳に再生される音のタイミングより早くし、音源に近い側の耳に再生される音の音圧を、音源に遠い側の耳に再生される音の音圧より大きくする。

【0025】

ステップＳ２３０において、音再生部６０は、ステップＳ２２０で立体音響処理を施された音を音再生装置１３０で再生する。なお、音再生部６０は、再生していた音情報に対応づけられている範囲情報が表す範囲にユーザ位置が含まれなくなった場合、その音情報の再生を停止してもよい。また、音処理装置１１０は、音の再生中にステップＳ２１０～Ｓ２３０の処理を繰り返し実行してもよい。すなわち、ステップＳ２００で選択した音の再生が終わるまで、立体音響処理を随時行い、その立体音響処理を施した音を再生してもよい。

【0026】

図５は、頭方向情報決定処理の一例を示したフローチャートである。この処理は、図４に示すステップＳ２１０において、決定部５０が頭方向情報を決定する一連の処理である。ステップＳ３００において、頭方向取得部３０は、頭方向情報を取得する。この工程を「頭方向取得工程」ともいう。

【0027】

ステップＳ３１０において、行動取得部４０は、行動情報を取得する。この工程を「行動取得工程」ともいう。本実施形態において、行動取得部４０は、予め定められた期間におけるユーザの頭の各向きの頻度を示す頻度情報を取得する。頻度情報は、ユーザの移動速度に対応付けられている。なお、ステップＳ３００とステップＳ３１０とは、この順に限らず、任意の順序で行うことができ、並行して行ってもよい。本実施形態において、頭方向取得部３０は、ステップＳ３００を実行するタイミングにおいて、センサ１３１を介してロール角、ピッチ角、およびヨー角を検出し、ユーザの頭の向きを取得する。

【0028】

ステップＳ３２０において、決定部５０は、ステップＳ３００で取得した頭方向情報を、ステップＳ３１０で取得した行動情報を用いて補正し、頭方向情報を決定する。この工程を「決定工程」ともいう。本実施形態において、決定部５０は、移動速度が予め定められた閾値速度以上であって頻度が予め定められた閾値以上である場合の最も頻度の高いユーザの頭の向きを、ユーザが正面を向いている場合を基準として頭方向情報を決定する。

【0029】

図６は頻度情報の一例を示した図である。図６に示す頻度情報は、対応付けられている移動速度が予め定められた閾値速度以上である。閾値速度は、例えば、通常の歩行をしている場合の移動速度であり、４ｋｍ／ｈである。図６に示すグラフは、横軸が頭の向きであるピッチ軸回りの角度を表している。この角度は、水平方向を０度として、仰角が正の値で表され、俯角が負の値で表される。本実施形態において、頻度情報は、ロール角およびヨー角に関する情報を含まない。縦軸は頻度を表している。頻度は、ユーザの頭の向きである各ピッチ軸回りの角度毎の割合である。最も頻度が高いピッチ角は角度ｄｘである。

【0030】

図６に示す頻度情報の場合、決定部５０は、位置取得部１０が取得した頭方向情報を、角度ｄｘがユーザが正面を向いている場合の頭の向きとして補正し、頭方向情報を決定する。ユーザは、所定の速度以上で歩行している場合、正面を見ている傾向がある。そのため、決定部５０は、角度ｄｘをユーザが正面を向いている場合の頭の向きとして、位置取得部１０が取得した頭方向情報を補正して、頭方向情報を決定することで、位置取得部１０が取得したユーザの頭の向きと実際の頭の向きとの誤差を補正できる。

【0031】

以上で説明した本実施形態の頭方向情報の決定方法によれば、決定部５０は、音再生装置１３０が有するセンサ１３１によって検出されたユーザＰの頭の向きと実際の頭の向きとの誤差を、行動情報を用いて補正して、頭方向情報を決定できる。

【0032】

また、決定部５０は、移動速度が閾値速度以上であって、頻度が閾値以上である頭の向きを、正面を向いている場合を基準として頭方向情報を補正し、決定している。そのため、例えば、歩行しており、正面を向いている可能性が高い場合の頭方向情報を用いて、検出されたユーザの頭の向きと実際の頭の向きとの誤差を、補正して、頭方向情報を決定できる。

【0033】

Ｂ．第２実施形態：
第２実施形態は、頻度情報がユーザの移動速度に対応づけられていない点が、第１実施形態と異なる。第２実施形態の情報提供システム１００の構成は、第１実施形態の情報提供システム１００の構成と同一であるため、情報提供システム１００の構成の説明は省略する。

【0034】

第２実施形態において、決定部５０は、横軸をユーザの頭の向きの仰角を正方向として表し俯角を負方向として表し、縦軸を頻度として表すグラフにおいて、頻度が予め定められた閾値以上である極大値が２つある場合に、２つの極大値のうち仰角が大きい方の極大値が示すユーザの頭の向きを、ユーザが正面を向いている場合を基準として頭方向情報を決定する。

【0035】

図７は、頻度情報の他の例を示した図である。図７に示すグラフは、横軸が頭の向きであるピッチ軸回りの角度を表している。この角度は、水平方向を０度として、仰角が正の値で表され、俯角が負の値で表される。本実施形態において、頻度情報は、ロール角およびヨー角に関する情報を含まない。縦軸は頻度を表している。頻度は、ユーザの頭の向きである各ピッチ軸回りの角度毎の割合である。図７に示すように、頻度が予め定められた閾値Ｆｔｈ以上である極大値が２つある。第１極大値ｍ１の頭の向きである角度ｄ１は、第２極大値ｍ２の頭の向きである角度ｄ２よりも小さい。

【0036】

図７に示す頻度情報の場合、決定部５０は、第１極大値ｍ１、第２極大値ｍ２のうち、仰角が大きい方の第２極大値ｍ２が示すユーザの頭の向きを、ユーザが正面を向いている場合を基準として頭方向情報を補正し、決定する。すなわち、決定部５０は、位置取得部１０が取得した頭方向情報を、角度ｄ２がユーザが正面を向いている場合の頭の向きとして補正し、頭方向情報を決定する。

【0037】

以上で説明した第２実施形態の頭方向情報の決定方法によれば、決定部５０は極大値ｍ１、ｍ２のうち、仰角が大きい方の第２極大値ｍ２が示すユーザの頭の向きを、正面を向いている場合を基準として頭方向情報を補正し、決定している。そのため、例えば地図やパンフレット等を見るために下方を向いている頻度が高くても、正面を向いている可能性が高い場合の頭方向情報を用いて、検出されたユーザの頭の向きと実際の頭の向きとの誤差を、補正して、頭方向情報を決定できる。また、ユーザの移動速度に対応付けられた頻度情報を用いることなく、検出されたユーザの頭の向きと実際の頭の向きとの誤差を、補正して、頭方向情報を決定できる。

【0038】

Ｃ．第３実施形態：
第３実施形態は、行動情報がユーザの音処理装置１１０の操作に関する操作情報を含む点が、第１実施形態と異なる。第３実施形態の情報提供システム１００の構成は、第１実施形態の情報提供システム１００の構成と同一であるため、情報提供システム１００の構成の説明は省略する。

【0039】

第３実施形態において、決定部５０は、操作情報がユーザが音処理装置１１０を操作していることを示す場合におけるユーザの頭の向きを、ユーザが正面よりも下方を向いている場合を基準として頭方向情報を補正する。ユーザが音処理装置１１０を操作している場合、ユーザは正面よりも下方を向いている傾向がある。そのため、決定部５０は、頭方向情報を、現実に即した頭の向きに補正して、決定することができる。決定部５０は、例えば、ユーザが音処理装置１１０を操作している場合における位置取得部１０が取得したユーザの頭の向きを俯角１５度として、頭方向情報を補正し、決定する。

【0040】

以上で説明した第３実施形態の頭方向情報の決定方法によれば、決定部５０は、ユーザが音処理装置１１０を操作していることを示す場合におけるユーザの頭の向きを、ユーザが正面よりも下方を向いている場合を基準として頭方向情報を補正する。そのため、正面よりも下方を向いている可能性が高い場合の頭方向情報を用いて、検出されたユーザの頭の向きと実際の頭の向きとの誤差を、補正して、頭方向情報を決定できる。

【0041】

Ｄ．第４実施形態：
図８は、第４実施形態における頭方向情報決定処理の一例を示したフローチャートである。第４実施形態における頭方向情報決定処理は、決定部５０が、ステップＳ３２５において、位置取得部１０がステップＳ３１５において取得した位置情報を用いて頭方向情報を補正し決定する点が、第１実施形態と異なる。第４実施形態の情報提供システム１００の構成は、第１実施形態の情報提供システム１００の構成と同一であるため、情報提供システム１００の構成の説明は省略する。

【0042】

ステップＳ３１５において、位置取得部１０は、ユーザ位置と、ユーザが見ていると推定される位置とを含む位置情報を取得する。ユーザの位置は、例えば、ユーザの目線の高さとユーザが位置する経緯度である。また、ユーザが見ていると推定される位置は、例えば、ユーザが解説音声を聞いている場合に、その解説音声が示す対象の高さと経緯度である。位置取得部１０は、音処理装置１１０が備えるＧＰＳアンテナ（図示せず）からユーザの位置を取得し、音処理装置１１０の記憶領域に記憶されたユーザの目線の高さを取得する。また、位置取得部１０は、例えば、記憶部２０に予め記憶された解説音声が示す対象の高さと経緯度を取得する。なお、位置取得部１０が、ステップＳ１００（図３参照）において、ユーザ位置と、ユーザが見ていると推定される位置とを含む位置情報を取得する場合、ステップＳ３１５の処理は省略してもよい。

【0043】

ステップＳ３２５（図８参照）において、決定部５０は、ステップＳ３１５で位置取得部１０が取得した位置情報を用いて、ステップＳ３００で頭方向取得部３０が取得した頭方向情報を補正し、頭方向情報を決定する。より具体的には、決定部５０は、ユーザ位置とユーザが見ていると推定される位置とを用いてユーザの頭の向きを算出し、算出したユーザの頭の向きに基づいて頭方向情報を補正し、決定する。

【0044】

図９は、位置情報の一例を示す情報である。ユーザＰは位置Ｐ１に位置しており、解説音声が塔の先端部の説明をしている場合、ユーザが見ていると推定される位置Ｐ２は対象物Ｔｇの先端部分である。位置Ｐ１と位置Ｐ２との直線距離は距離Ｌであり、ユーザＰの目線の高さは高さｈｔであり、位置Ｐ２の高さは高さｈｓである。決定部５０は、次の式で、ユーザＰの頭の向きを示す仰角ｄ３を求めることができる。

【0045】

ｄ３＝ａｒｃｔａｎ（（ｈｓ－ｈｔ）／Ｌ）…（１）

【0046】

図９に示す場合、決定部５０は、頭方向取得部３０が取得した頭方向情報が示す頭の向きを、仰角ｄ３に補正し、頭方向情報を決定する。

【0047】

以上で説明した第４実施形態の頭方向情報の決定方法によれば、決定部５０は、位置情報を用いて、ユーザの頭方向情報を求める。そのため、検出されたユーザの頭の向きと実際の頭の向きとの誤差を、補正して、頭方向情報を決定できる。

【0048】

Ｅ．他の実施形態：
（Ｅ１）上述した実施形態において、ユーザの頭の向きは、ロール角とピッチ角とヨー角とにより表されている。これに限らず、ユーザの頭の向きは、ロール角とピッチ角とヨー角との内の１つ以上の角度により表されてもよい。

【0049】

（Ｅ２）上述した実施形態において、情報提供システム１００は、ユーザの位置に応じて、案内や説明を行う情報を音声によりユーザに提供する。これに限らず、情報提供システム１００は、ユーザの位置に関わらず音楽を提供するシステムでもよい。

【0050】

（Ｅ３）上述した実施形態において、音群情報は、サーバ１２０に記憶されている。これに限らず、音群情報は音処理装置１１０に記憶されていてもよい。すなわち、音処理装置１１０が記憶部２０を備えていてもよい。

【0051】

（Ｅ４）上述した実施形態において、音再生装置１３０が音再生部６０を備えていてもよい。また、音再生装置１３０がセンサ１３１を備えていなくてもよい。この場合、センサ１３１は、情報提供システム１００が備える他の装置に備えられている。

【0052】

（Ｅ５）上述した実施形態において、音再生部６０は、立体音響処理を施している。これに限らず、情報提供システム１００が備える他の構成が立体音響処理を施してもよい。

【0053】

（Ｅ６）上述した実施形態において、決定部５０は、頭方向情報と行動情報との関係を機械学習によって学習したモデルを用いて、頭方向情報を決定してもよい。

【0054】

（Ｅ７）上述した実施形態において、決定部５０は、行動取得部４０を用いて頭方向情報を補正した際の値を音処理装置１１０の記憶領域に記憶し、再度頭方向情報を決定する場合に、頭方向取得部３０が取得した頭方向情報を記憶した値を用いて補正して、頭方向情報を決定してもよい。

【0055】

（Ｅ８）上述した第１実施形態において、決定部５０は、移動速度が閾値速度以上であって頻度が最も高いユーザの頭の向きを、ユーザが正面を向いている場合を基準として頭方向情報を決定している。これに限らず、決定部５０は、移動速度に関わらず、頻度が最も高いユーザの頭の向きを、ユーザが正面を向いている場合を基準として頭方向情報を決定してもよい。

【0056】

（Ｅ９）上述した第１実施形態において、決定部５０は、移動速度が閾値速度以上であって頻度が最も高いユーザの頭の向きを、ユーザが正面を向いている場合を基準として頭方向情報を決定している。これに限らず、移動速度が予め定められた閾値速度以上であって頻度が閾値以上である頭の各向きの平均値や中央値等の統計的手法によって求められる値を、ユーザが正面を向いている場合を基準として頭方向情報を決定してもよい。

【0057】

（Ｅ１０）上述した第１実施形態において、閾値速度は、通常の歩行をしている場合の移動速度である。これに限らず、閾値速度は、ユーザの年齢や性別、天候等に応じて、定められてもよい。

【0058】

（Ｅ１１）上述した第１実施形態および第２実施形態において、音処理装置１１０は、ヨー軸回りにおけるユーザの頭の方向が進行方向と反対を示す予め定められた範囲内である場合には、例えば、ユーザに音再生装置１３０の装着が左右逆であると警告してもよい。また、この場合、決定部５０は、頭方向情報決定処理を行わなくてもよい。

【0059】

（Ｅ１２）上述した第３実施形態において、操作情報は、ユーザの音処理装置１１０の操作に関する情報である。これに限らず、操作情報は、音処理装置１１０とは異なる端末装置の操作に関する情報であってもよい。端末装置は、例えば、スマートウォッチや、タブレット端末等が採用できる。

【0060】

（Ｅ１３）上述した第３実施形態において、ユーザが見ていると推定される位置は、ユーザが解説音声を聞いている場合に、その解説音声が示す対象の高さと経緯度である。これに限らず、ユーザが見ていると推定される位置は、例えば、ユーザが聞いている音の音源の位置でもよい。

【0061】

（Ｅ１４）上述した第４実施形態において、決定部５０は、解説音声の再生前からユーザの頭の向きが変化しない場合、ユーザが見ていると推定される位置が、解説音声の解説対象でない可能性が高いため、頭方向情報決定処理を行わなくてもよい。

【0062】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0063】

１０…位置取得部、２０…記憶部、３０…頭方向取得部、４０…行動取得部、５０…決定部、６０…音再生部、１００…情報提供システム、１１０…音処理装置、１２０…サーバ、１３０…音再生装置、１３１…センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】