特開 2023-37510 情報処理システム、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023037510

(43)【公開日】2023-03-15

(54)【発明の名称】情報処理システム、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20230308BHJP

【ＦＩ】

H04R3/00 310

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021144316

(22)【出願日】2021-09-03

(71)【出願人】

【識別番号】719005770

【氏名又は名称】株式会社ＧＡＴＡＲＩ

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】竹下 俊一

(72)【発明者】

【氏名】佐藤 来

【テーマコード（参考）】

5D220

【Ｆターム（参考）】

5D220AA03

5D220AA50

5D220AB01

5D220AB08

(57)【要約】

【課題】測位衛星による測位が困難な状況においても空間に配置されたコンテンツを実行できるとともに、空間に応じた音源の提供コストの低減を図る。
【解決手段】利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得し、取得された距離に基づき対象物の空間における座標情報を算出し、算出された座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、アンカーを検出し、空間における残響特性を算出し、算出部された残響特性に基づき、音源を調整し、アンカーが検出されたときに、調整された音源に係るコンテンツの利用者に対する提供を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

利用者に対して音源に係るコンテンツを提供するための情報処理システムであって、
利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得する取得部と、
前記取得部において取得された前記距離に基づき前記対象物の空間における座標情報を算出する座標情報算出部と、
前記座標情報算出部において算出された前記座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、前記アンカーを検出するアンカー検出部と、
空間における残響特性を算出する残響特性算出部と、
前記残響特性算出部において算出された残響特性に基づき、音源を調整する音源調整部と、
前記アンカー検出部においてアンカーが検出されたときに、前記音源調整部において調整された音源に係るコンテンツの利用者に対する提供を制御するコンテンツ制御部と
を備える、情報処理システム。

【請求項2】

残響特性算出部は、インパルス音源において利用者が知覚する音の強さが所定量まで減衰するまでの特性を前記残響特性として算出し、
前記音源調整部は、前記残響特性に基づき、音源自体の残響特性を調整する、請求項１に記載の情報処理システム。

【請求項3】

残響特性算出部は、前記座標情報に基づき算出された利用者の位置に対応して予め記録された前記残響特性を読み出すことにより前記残響特性を算出する、請求項１または２に記載の情報処理システム。

【請求項4】

残響特性算出部は、前記座標情報に基づき算出された利用者の位置において予め実測されたインパルス音源に対するインパルス応答の実測値に基づき前記残響特性を算出する、請求項１から３のいずれか一項に記載の情報処理システム。

【請求項5】

前記対象物の表面に係る音響特性を予め記憶する音響特性記憶部をさらに備え、
残響特性算出部は、前記音響特性記憶部に記憶された音響特性にさらに基づき、空間における残響特性を算出する、請求項１から４のいずれか一項に記載の情報処理システム。

【請求項6】

残響特性算出部は、時間重心を前記残響特性として算出する、請求項１から５のいずれか一項に記載の情報処理システム。

【請求項7】

残響特性算出部は、音源から直接聞こえる直接音と、音源から対象物での反射により聞こえる残響音とのエネルギー比に基づき前記残響特性を算出する、請求項１から６のいずれか一項に記載の情報処理システム。

【請求項8】

残響特性算出部は、音源から直接聞こえる直接音と、音源から対象物での反射により聞こえる残響音と前記直接音の総和である全音とのエネルギー比に基づき前記残響特性を算出する、請求項１から７のいずれか一項に記載の情報処理システム。

【請求項9】

残響特性算出部は、左耳から聞こえる音圧と、右耳から聞こえる音圧との相互相関関数に基づき前記残響特性を算出する、請求項１から８のいずれか一項に記載の情報処理システム。

【請求項10】

利用者に対して音源に係るコンテンツを提供するための情報処理方法であって、
利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得する取得ステップと、
前記取得ステップにおいて取得された前記距離に基づき前記対象物の空間における座標情報を算出する座標情報算出ステップと、
前記座標情報算出ステップにおいて算出された前記座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、前記アンカーを検出するアンカー検出ステップと、
空間における残響特性を算出する残響特性算出ステップと、
前記残響特性算出ステップにおいて算出された残響特性に基づき、音源を調整する音源調整ステップと、
前記アンカー検出ステップにおいてアンカーが検出されたときに、前記音源調整ステップにおいて調整された音源に係るコンテンツの利用者に対する提供を制御するコンテンツ制御ステップと
を含む、情報処理方法。

【請求項11】

コンピュータに、
利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得する取得処理と、
前記取得処理において取得された前記距離に基づき前記対象物の空間における座標情報を算出する座標情報算出処理と、
前記座標情報算出処理において算出された前記座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、前記アンカーを検出するアンカー検出処理と、
空間における残響特性を算出する残響特性算出処理と、
前記残響特性算出処理において算出された残響特性に基づき、音源を調整する音源調整処理と、
前記アンカー検出処理においてアンカーが検出されたときに、前記音源調整処理において調整された音源に係るコンテンツの利用者に対する提供を制御するコンテンツ制御処理と
を実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

従来、地理的な座標位置から所定の距離内にある範囲をジオフェンスとして設定し、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の測位衛星によって位置情報を取得できるモバイル端末が設定されたジオフェンス内に入った場合にモバイル端末にコンテンツの提供等のイベントを開始する技術がある。例えば、特許文献１には、モバイルクライアント装置がＧＰＳ受信機を有し、ジオフェンスにより定義される地理的ポジションの閾値距離内にモバイルクライアント装置が入った場合に広告等の印刷データを提供する技術が開示されている。

【0003】

また、カメラ等により撮影された映像に画像を重畳させるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）において空間に配置されたイベントを実行する技術があった。例えば、特許文献２には、カメラで撮影された撮影画像に予め登録されたオブジェクトを配置して再生する装置に関する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－２０８０７７号公報

【特許文献2】特開２０１９－１８６９２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１の技術においては、測位衛星からの電波の受信状態によって測位の精度が変化して、例えば、上空の見晴らしの悪い場所や屋内においては測位衛星による測位精度が低下し、あるいは測位不能となる場合があった。このため、測位衛星による測位結果に応じてイベントが実行されるシステムにおいては、端末がジオフェンスに入ったか否かの検出精度が低下して、イベント開始のタイミングがずれる等、イベント開始の精度が低下する場合があった。

【0006】

また、特許文献２においては、利用者の位置を精度良く検出するためには、複数のセンサを設置する必要があり、空間に仮想的に配置されたイベントが開始される開始条件の精度を向上させるためにはシステムを構築するコストが上昇してしまう場合があった。

【0007】

また、イベントとして実行される音源の再生においては、音源が再生される空間の形状等によって残響特性が異なるため、コンテンツを提供する提供者は、個別の空間の残響特性に応じてそれぞれの音源の調整をする必要があり、コンテンツを提供するためのコストが上昇してしまう場合があった。

【0008】

本発明は上記事情に鑑みてなされたものであり、測位衛星による測位が困難な状況においても空間に配置されたコンテンツを実行できるとともに、空間に応じた音源の提供コストの低減を図ることができる、情報処理システム、情報処理方法および情報処理プログラムを提供することを一つの目的とする。

【課題を解決するための手段】

【0009】

上記の課題を解決するため、情報処理システムは、利用者に対してコンテンツを提供するための情報処理システムであって、利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得する取得部と、取得部において取得された距離に基づき対象物の空間における座標情報を算出する座標情報算出部と、座標情報算出部において算出された座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、アンカーを検出するアンカー検出部と、空間における残響特性を算出する残響特性算出部と、残響特性算出部において算出部された残響特性に基づき、音源を調整する音源調整部と、アンカー検出部においてアンカーが検出されたときに、音源調整部において調整された音源に係るコンテンツの利用者に対する提供を制御するコンテンツ制御部とを備える。

【発明の効果】

【0010】

本発明の一つの実施形態によれば、利用者によって保持されて、空間をスキャンして空間に存在する対象物までの距離を取得し、取得された距離に基づき対象物の空間における座標情報を算出し、算出された座標情報と、予め空間に仮想的に配置されたアンカーの位置情報とに基づき、アンカーを検出し、算出された座標情報に基づき、空間における残響特性を算出し、算出部された残響特性に基づき、音源を調整し、アンカーが検出されたときに、調整された音源に係るコンテンツの利用者に対する提供を制御することにより、測位衛星による測位が困難な状況においても空間に配置されたコンテンツを実行できるとともに、空間に応じた音源の提供コストの低減を図ることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態における情報処理システムのシステム構成の一例を示すブロック図である。

【図2】実施形態におけるアンカーの設置方法を説明する図である。

【図3】実施形態におけるアンカーの設置方法を説明する図である。

【図4】実施形態におけるアンカーの設置方法を説明する図である。

【図5】実施形態におけるアンカーの設置方法を説明する図である。

【図6】実施形態における空間における音の反射の一例を説明する図である。

【図7】実施形態における、（Ａ）インパルス音源、（Ｂ）インパルス音源による音の減衰、および（Ｃ）インパルス応答の一例を説明する図である。

【図8】実施形態における情報処理端末のハードウェア構成の一例を示すブロック図である。

【図9】実施形態における情報処理システムの動作の第１の例を示すフローチャートである。

【図10】実施形態における情報処理システムの動作の第２の例を示すフローチャートである。

【図11】実施形態における測定空間の点群データの一例を示す図である。

【図12】実施形態における点群データのｘ座標軸のヒスとグラムの一例を示す図である。

【図13】実施形態におけるヒストグラムの正の値に対して曲線当てはめを行った場合の算出例を示す図である。

【図14】実施形態における測定空間に対して利用者の位置とアンカーの位置をプロットした一例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の一実施形態における情報処理システム、情報処理方法および情報処理プログラムについて詳細に説明する。

【0013】

先ず、図１を用いて、情報処理システムの構成を説明する。図１は、実施形態における情報処理システムのシステム構成の一例を示すブロック図である。

【0014】

図１において、情報処理システム１は、情報処理端末１０、情報処理端末２０、情報処理装置３０およびコンテンツ実行装置４０を有する。

【0015】

情報処理端末１０は、空間に仮想的に配置されて実行されるコンテンツ（イベントという場合がある。）を設定するための端末である。情報処理端末２０は、利用者に保持されて、空間に仮想的に配置されたコンテンツの提供を利用者が受けるための端末である。情報処理装置３０は、情報処理端末１０において配置されたコンテンツの設定を記憶し、記憶したコンテンツの設定に基づき、情報処理端末２０を保持する利用者に対してコンテンツを提供させるための装置である。また、コンテンツ実行装置４０は、利用者に対してコンテンツを提供する装置である。

【0016】

本実勢形態におけるコンテンツとは、情報処理端末２０の移動によって実行される、情報処理システム１において装置を動作させる情報である。情報処理システム１における装置とは、例えば、情報処理端末２０（または情報処理端末１０）、または、コンテンツ実行装置４０等である。

【0017】

情報処理システム１における装置の動作とは、例えば、コンテンツの再生、データ通信、またはアクチュエータの動作等である。コンテンツの再生とは、例えば、音源の再生、画像（動画または静止画）の表示、または３Ｄオブジェクトの表示等である。データ通信とは、例えば、情報処理端末２０と情報処理装置３０との通信、または情報処理装置３０とコンテンツ実行装置４０との通信である。データ通信においては、例えば、情報処理端末２０の端末情報（例えば、機器ＩＤ、位置情報、加速度センサ計測値またはカメラ撮影画像等）を情報処理装置３０に提供する。また、データ通信において、例えば、情報処理端末２０からのデータ通信によってコンテンツ実行装置４０（例えば、音響機器または映像機器等）を制御してもよい。また、アクチュエータの動作とは、モータまたはエアシリンダ、エアバルブ等のアクチュエータの動作であり、例えば、モータ等によって駆動される動物形状のオブジェクトもしくはドア等を動かしたり、空気によって膨らむバルーンを膨らませたりする動作である。情報処理システム１においては、これらの装置が動作することにより利用者にコンテンツが提供される。

【0018】

なお、以下の実施例においては、コンテンツの実行として、情報処理端末２０およびコンテンツ実行装置４０における音源の再生を例示する。しかし、情報処理システム１におけるコンテンツの実行はこれに限定されるものではない。

【0019】

情報処理端末１０および情報処理端末２０は、利用者によって保持されて可搬（携帯）される装置であって、例えば、スマートフォン、タブレットＰＣまたはヘッドマウント型、メガネ型もしくは腕時計型のウエアラブル装置等である。また、情報処理装置３０は、ネットワーク９を介して情報処理端末１０および情報処理端末２０と通信可能に接続される装置であって、例えば、サーバ装置である。なお、本実施形態における利用者とは、情報処理端末１０、情報処理端末２０または情報処理装置３０の利用者であって、それぞれ別の利用者であっても、あるいは同一の利用者であってもよい。また、利用者は専用のオペレータであっても、あるいは専用のオペレータ以外の一般の利用者であってもよい。

【0020】

情報処理端末１０は、取得部１１、表示部１２、アンカー配置部１３、アンカー情報提供部１４、コンテンツ設定部１５およびコンテンツ情報提供部１６を有する。情報処理端末２０は、取得部２１、座標情報算出部２２、座標情報提供部２３およびコンテンツ実行部２４を有する。また、情報処理装置３０は、アンカー情報記憶部３１、アンカー検出部３２、音響特性記憶部３３、残響特性算出部３４、音源調整部３５およびコンテンツ制御部３６を有する。また、コンテンツ実行装置４０は、コンテンツ実行部４１を有する。本実施形態における情報処理システム１の上記各機能部は、本実施形態における情報処理プログラム（ソフトウェア）によって実現される機能モジュールであるものとして説明する。

【0021】

取得部１１および取得部２１は、空間をスキャンするセンサにおいてスキャンされたスキャンデータを取得する。空間をスキャンするセンサとは、空間に存在する物体の形状をスキャンするセンサであり、例えば、空間に存在する物体までの距離を測距する測距センサである。測距センサとしては、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）技術を用いたセンサを用いることができる。ＬｉＤＡＲにおいては、例えば、レーザー光が用いられる。ＬｉＤＡＲは、紫外線、赤外線、または近赤外線を用いるものであってもよい。ＬｉＤＡＲは、センサから物体までの距離を計測（測距）することによって空間に存在する物体の形状を３次元で計測することができる。物体の形状を３次元で計測するとは、空間に存在する物体の形状を空間における座標情報として表現することである。空間における座標情報とは、空間における基準となる点（座標）からの相対的な２次元または３次元の座標値である。例えば、空間に存在する物体の表面形状は、座標値の集合（点群データ）として表現することができる。座標値の集合は、例えば、線、面または立体として表現されてもよい。座標情報は空間の表面形状を示す情報であり、空間情報という場合がある。

【0022】

なお、空間をスキャンしたスキャンデータは、例えば、情報処理端末１０または情報処理端末２０が有する図示しないステレオカメラで撮影された撮影画像等であってもよい。また、空間をスキャンしたスキャンデータは、情報処理端末１０または情報処理端末２０が有する図示しない位置センサまたは加速度センサによって取得される情報を含んでいてもよい。

【0023】

表示部１２は、カメラにおいて撮影された撮影画像を表示器（例えば、液晶等のディスプレイ）に表示させる。表示部１２は、例えば、スマートフォンのカメラにおいて撮影された撮影画像をスマートフォンのディスプレイに表示させることにより、利用者が撮影結果を確認出来るようにする。また、表示部１２は、取得部１１において取得されたスキャンデータに基づき算出された座標情報に基づく物体の形状を表示するようにしてもよい。

【0024】

アンカー配置部１３は、取得部１１において取得されたスキャンデータに基づき、表示部１２において表示された撮影画像に仮想的なアンカーを配置する操作（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を利用者に提供する。仮想的なアンカーとは、空間に仮想的に設置（配置）されたマーク（目印）であり、空間内の特定の位置を表す位置情報（座標値）を有する。本実施形態におけるアンカーは、例えば、音源等のコンテンツを配置する位置を示すマーク等である。マークの形状は、例えば、球体、立方体、またはアイコン画像等であり、表示部１２において表示されて、利用者が目視できるものであればよい。利用者は、アンカー配置部１３から提供されたＵＩを操作してアンカーを配置することができる。なお、本実施形態においては、情報処理端末１０のアンカー配置部１３がアンカーを配置するためのＵＩを提供する場合を例示したが、アンカーを配置するためのＵＩは、情報処理端末２０において提供するようにしてもよい。すなわち、情報処理端末２０の利用者がアンカーを配置できるようにしてもよい。

【0025】

空間に存在する物体は、カメラにおいて撮影されるとともに取得部１１において取得されたスキャンデータに基づきその形状が取得される。したがって、表示部１２に表示された撮影画像に含まれる物体は、その形状を示す座標情報が特定されている。アンカー配置部１３は、撮影画像を表示部１２に表示して、利用者が撮影画像にアンカーを配置できるＵＩを提供することにより、利用者が空間の座標値を意識することなく、アンカーが設置された座標値を取得することができる。利用者は、表示部１２に表示された撮影画像を確認しながら、アンカーを配置する位置を設定することが可能となる。

【0026】

アンカー配置部１３は、表示部１２において表示された撮影画像を用いてアンカーを配置する位置を修正する操作を利用者にさらに提供する。アンカーの配置位置は表示部１２に表示される２次元の撮影画像を確認しながら決定されるため、表示画面の奥行き方向においては、配置位置が不明瞭となる場合がある。例えば、アンカー配置部１３は、一度配置されたアンカーの位置を、奥行き方向に予め定められた距離（例えば、１ｍまたは５０ｃｍ等）移動させることにより、アンカーを配置する位置を修正することが可能となる。アンカーを配置する位置を修正することにより、再度アンカーを配置し直す場合に比べてアンカー配置の効率化を図ることが可能となる。

【0027】

アンカー情報提供部１４は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を情報処理装置３０に提供する。アンカーに係るアンカー情報には、例えば、空間における座標情報が含まれる。空間における座標情報とは、空間をスキャンしたスキャンデータに基づく座標情報であり、例えば、空間に存在する特徴量の大きい物体からの相対的な位置を示す座標情報である。空間の特徴量とは、例えば、空間に存在する色データの分布（ヒストグラム）、物体の形状または色データのベクトルデータである。空間を認識する場合において、特徴量が近似している場所は、同一の場所であると認識することができる。特徴量が大きい物体の位置は周辺との特徴量の差異が大きくなるため、座標情報における物体の位置の誤差を小さくすることができる。一方、特徴量の少ない物体の位置は周辺との特徴量の差異が小さくなるため、座標情報における物体の位置の誤差が大きくなる。空間に存在する特徴量の大きい物体からの相対的な位置を座標情報とすることにより、例えば、特徴量の小さい物体の位置にアンカーを配置する場合においても座標情報における物体の位置の誤差を小さくすることが可能となる。なお、上述した座標情報は、空間をスキャンしたスキャンデータに基づく座標情報であるため、空間に存在する物体からの相対的な位置情報となる。しかし、座標情報には、例えば、電波を発する基準点（ビーコン）からの相対距離から算出される座標情報、測位衛星から取得される電波から算出される経度、緯度および高度からなる絶対的な座標情報等が含まれていてもよい。例えば、２つの算出方法に基づく座標情報を用いることにより、座標情報を二重にチェックすることができるので座標情報の信頼性を向上させることができる。

【0028】

なお、本実施形態において、「提供」という場合、プッシュ型の送信であってもプル型の送信であってもよい。また、本実施形態において、「取得」という場合、プル型の受信であってもプッシュ型の受信であってもよい。

【0029】

コンテンツ設定部１５は、情報処理装置３０に提供されたアンカー情報に対してコンテンツを配置するコンテンツ配置操作の操作画面（ＵＩ）を利用者に提供する。また、コンテンツ設定部１５は、コンテンツ配置操作において配置されるコンテンツが開始されるための開始条件を設定する開始条件設定操作の操作画面（ＵＩ）を利用者に提供する。利用者は、コンテンツ設定部１５から提供されたＵＩを操作してコンテンツ配置操作をすることができる。なお、本実施形態においては、情報処理端末１０のコンテンツ設定部１５がコンテンツ配置操作をするためのＵＩを提供する場合を例示したが、コンテンツ配置操作をするためのＵＩは、情報処理端末２０において提供するようにしてもよい。すなわち、情報処理端末２０の利用者がコンテンツを配置できるようにしてもよい。

【0030】

コンテンツ配置操作とは、アンカー情報に対して実行されるコンテンツ（イベント）を配置する操作であって、例えば、配置されたアンカーに対して、再生するコンテンツを割り当てる操作である。コンテンツの割り当てには、例えば、予め作成されているまたは新たに作成された音源のプレイリストを選択して割り当てる（対応付ける）操作等が含まれる。プレイリストとは、１または複数の音源ファイルを用いて、再生される音源を決めておくことであり、プレイリスト名を付与しておくことにより再生される音源を識別しやすくすることができる。コンテンツ配置操作を利用者に提供することにより、例えば、アンカーに対するコンテンツの割り当てを変更するだけで実行されるコンテンツの内容を変更することが可能となり、コンテンツ配置の操作性を向上させることが可能となる。なお、配置するコンテンツは、上述の通り、画像の再生等のコンテンツの再生、データ通信、またはアクチュエータの動作等であってもよい。コンテンツ配置操作においては、例えば、動物形状のオブジェクトの近傍に配置されたアンカーに対して、オブジェクトを駆動するアクチュエータを動作させるコンテンツを配置してもよい。

【0031】

コンテンツが実行されるための開始条件とは、情報処理端末２０等においてコンテンツの提供が実行されるための条件であり、本実施形態においては、情報処理端末２０が設置されたアンカーのジオフェンスに入ったか否かを判断するための条件である。ジオフェンスは、例えば、アンカーと情報処理端末２０の距離、情報処理端末２０のカメラの撮影方向、情報処理端末２０の高度（アンカーとの相対的な高度差、または海面を基準とする絶対高度等）、アンカーの表示時間、または情報処理端末２０の停止時間等によって設定することができる。また、ジオフェンスには、アンカーと情報処理端末２０の距離が近付いているのか、あるいは遠ざかっているのか等の条件が含まれていてもよい。また、ジオフェンスには、複数の情報処理端末２０においてアンカーが撮影されていることが含まれていてもよい。また、ジオフェンスには、図示しない加速度センサ等から取得される利用者の挙動が含まれていてもよい。

【0032】

コンテンツ設定部１５は、コンテンツとしての音源の配置に際して、音源の調整をするためのＵＩを利用者に提供する。音源の調整とは、音源から再生される音の再生態様を空間に応じて調整（設定）することをいう。音源の再生態様とは、例えば、音量、周波数特性、または残響特性である。

【0033】

＜ラウドネス調整＞
空間において音源から発せられて利用者が聴覚する音の大きさ（ラウドネス）は、音源から利用者までの距離、または空間に存在する対象物による音の反射等に影響を受ける。したがって、音源の再生においては適切な音の大きさとなるように音源を調整する必要がある。コンテンツ設定部１５は、適切な音の大きさを設定するためのＵＩを提供する。

【0034】

＜周波数特性調整＞
空間において音源から発せられて利用者が聴覚する音の周波数特性は、空間に存在する対象物による音の反射等によって変化する。したがって、より良い表現のためには適切な周波数特性となるように音源を調整することが望ましい。周波数特性調整とは、音源から発せられる音の周波数分布を調整することである。周波数特定調整には、例えば、特定の周波数を境より高い（または低い）音域をまとめて調整するシェルビング型の調整、または特定の周波数を中心としてその付近の音域を調整するピークディップ型の調整が含まれる。コンテンツ設定部１５は、適切な周波数特性を設定するためのＵＩを提供する。

【0035】

＜残響特性調整＞
空間において音源から発せられて利用者が聴覚する音の残響特性は、空間に存在する対象物による音の反射等によって異なる。したがって、音源の再生においては適切な残響特性となるように音源を調整する必要がある。コンテンツ設定部１５は、適切な残響特性を設定するためのＵＩを提供する。なお、残響特性の具体的な調整方法は後述する。

【0036】

なお、コンテンツ設定部１５は、上記以外の音源の再生態様を設定出来るようにしてもよい。例えば、コンテンツ設定部１５は、音源の再生時間、再生速度等を設定出来るようにしてもよい。また、コンテンツがアクチュエータの動作である場合、コンテンツ設定部１５は、アクチュエータの動作範囲または動作速度等を設定出来るようにしてもよい。

【0037】

また、コンテンツの実行態様には、上述した、アンカーと情報処理端末２０の距離、情報処理端末２０のカメラの撮影方向、情報処理端末２０の高度、アンカーの表示時間、または情報処理端末２０の停止時間等によってコンテンツの実行態様が変化するものが含まれていてもよい。再生条件を設定することにより、音源を用いて様々な演出をすることが可能となる。

【0038】

コンテンツ情報提供部１６は、コンテンツ設定部１５においてコンテンツの配置操作がされたコンテンツの配置情報と、開始条件設定操作において設定された開始条件とを情報処理装置３０に提供する。配置情報と開始条件を情報処理装置３０に提供することにより、情報処理装置３０においてこれらの情報を記憶しておくことが可能となる。情報処理装置３０においてこれらの情報を記憶しておくことにより、記憶された情報を読み出して利用することが可能となる。なお、アンカーの配置またはコンテンツの設定は複数の情報処理端末１０において実行されてもよい。複数の情報処理端末１０においてアンカーの配置等が実行された場合、一の情報処理端末１０におけるアンカーの配置等の実行結果は情報処理装置３０に保存されて他の情報処理端末１０にも反映される。

【0039】

座標情報算出部２２は、取得部２１において取得された対象物までの距離に基づき対象物の空間における座標情報を算出する。取得部２１は、上述のように空間をスキャンして空間に存在する対象物までの距離を取得する。座標情報算出部２２は、対象物の表面までの複数の距離から対象物の表面の座標情報を算出することにより、対象物の形状を測定することができる。

【0040】

ここで、座標情報算出部２２における座標情報の具体的な算出例を図１１～図１４を用いて説明する。図１１は、取得部１１または取得部２１において取得された測定空間における点群データを示している。図１１は、測定空間が箱形（立方体）である場合を例示している。箱形の測定空間は６つの面において構成される。測定空間における面は、点群データの三次元におけるそれぞれの座標軸において密集点を計算することにより算出することができる。それぞれの座標軸における密集点は、点群データのそれぞれの座標軸における分布を得ることにより算出することができる。

【0041】

＜ヒストグラムの算出＞
図１２は、図１１における点群データのｘ座標軸におけるヒスとグラムを示している。ヒストグラムは点群データのｘ軸における分布である。図１２において、ｘ軸座標の点群データは、大凡－４．５と３．３においてピークを有している。すなわち、測定空間においてｘ軸に２つの面が存在していることを示している。

【0042】

＜曲線当てはめの算出＞
図１３は、図１２のヒストグラムの正の値に対して曲線当てはめを行った場合の算出例である。ヒストグラムに対して曲線当てはめを行うことにより、そのピークをその座標軸における壁として算出することができる。図１３は、大凡３．３においてピークを有しており、この点がｘ座標軸における１つの面（壁）であることが算出される。図１３においては、曲線当てはめとして平滑化スプラインの手法を用いている。平滑化スプラインとは、ノイズを含んで観測した観測値から、２階微分に基づく平滑度とのバランスを取りながらスプライン曲線を使用して関数を推定する手法である。図１３は、３次元スプライン曲線を用いて算出している。なお、図１３は、曲線当てはめとして平滑化スプラインの手法を用いたが、例えば、曲線当てはめとしてガウス関数を使用した手法を用いてもよい。

【0043】

座標情報算出部２２は、上述した方法により、それぞれの座標軸において２つの面を算出して、６面における箱形の座標情報を算出することができる。座標情報には、座標情報算出部２２において算出された測定空間における座標情報に対する、コンテンツの提供を受ける利用者の位置と、後述するアンカー検出部３２において検出されたアンカーの位置情報とが含まれていてもよい。図１４は、測定空間に対して利用者の位置（Ｌｉｓｔｅｎｅｒ）とアンカーの位置（Ｓｏｕｎｄ）をプロットしたものを例示している。

【0044】

なお、図１１～図１４においては６面で構成される測定空間における座標情報を算出する場合を説明したが、測定空間はいり複雑な形状であってもよい。例えば、測定空間は、部屋の中に柱や梁を有する形状であってもよい。また、測定空間はドーム型天井等、曲面を有するものであってもよい。

【0045】

座標情報提供部２３は、座標情報算出部２２において算出された座標情報を情報処理装置３０に対して提供する。後述する情報処理装置３０は、座標情報提供部２３から提供された対象物の座標情報からアンカーを検出することができる。

【0046】

コンテンツ実行部２４は、ジオフェンスの中に、取得部２１を含む情報処理端末２０が入ったときに、利用者に対するコンテンツの提供を実行する。コンテンツ実行部２４は、例えば、情報処理端末２０の図示しないスピーカにおいて音源を再生する。

【0047】

なお、本実施形態では、音源の提供において、ＯＳＣ（Ｏｐｅｎ Ｓｏｕｎｄ Ｃｏｎｔｒｏｌ）のプロトコルを用いるようにしてもよい。コンテンツ実行部２４においてＯＳＣのプロトコルを用いることにより、音源の提供をリアルタイムで実行することが可能となる。例えば、音源がライブ音源である場合、ＯＳＣのプロトコルを用いることにより、複数の情報処理端末２０においてライブ音源をリアルタイムで共有することが可能となる。また、本実施形態では、音源の提供において、立体音響を実現するための音源フォーマット（例えば、Ａｍｂｉｓｏｎｉｃｓ）を用いてもよい。コンテンツ実行部２４において立体音響を実現するための音源フォーマットを用いることにより、容易に立体音響の音源を提供することが可能となる。また、本実施形態では、音源の提供において、ゲーム開発用のプラットフォーム（例えば、Ｗｗｉｓｅ等）を用いてもよい。コンテンツ実行部２４においてゲーム開発用のプラットフォームを用いることにより、ゲームにおけるイベントの提供を容易にすることができる。また、本実施形態では、音源の提供において、頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いた音源の再生を行ってもよい。頭部伝達関数とは、耳殻、人頭および肩までふくめた周辺物によって生じる音の変化を伝達関数として表現したものである。コンテンツ実行部２４において、頭部伝達関数を用いて音源から両耳までの音の変化の特性を数値化することにより、音源の方向感や音源までの距離感を認識することが可能となる。音源の調整においては、調整結果を上述したＯＳＣ等として表現することができる。

【0048】

アンカー情報記憶部３１は、アンカー配置部１３において配置されたアンカーに係るアンカー情報を読み出し可能に記憶する。アンカー情報には、上述の通り、アンカーの位置情報等を含めることができる。また、アンカー情報記憶部３１は、複数のアンカー情報を記憶することができる。アンカー情報記憶部３１に記憶された複数のアンカー情報は、アンカー検出部３２から読み出されて、空間に配置された複数のアンカーの検出に利用される。なお、アンカー情報記憶部３１に記憶されたアンカー情報は、情報処理端末２０に提供されてもよい。本実施形態においては、アンカーの検出はアンカー検出部３２において行う場合を例示するが、アンカーの検出は情報処理端末２０で行うようにしてもよい。

【0049】

アンカー検出部３２は、座標情報提供部２３から提供された座標情報と、アンカー情報記憶部３１に記憶されて予め空間に仮想的に配置されたアンカーの位置情報とに基づき、空間に仮想的に配置されたアンカーを検出する。ここで、座標情報および位置情報は、空間において３次元または２次元で表される点の座標である。また、座標情報および位置情報は、上述した空間の特徴量であってもよい。空間の特徴量は、空間に存在する色データの分布（ヒストグラム）、物体の形状または色データのベクトルデータ等である。アンカー検出部３２は、空間のスキャンデータに基づき空間に仮想的に配置されたアンカーを検出することができるため、測位衛星による測位が困難な状況においても空間に配置されたアンカーを検出することができる。これにより、空間に配置されたコンテンツの提供条件の精度を向上させるとともに、３次元で設定されるジオフェンスを用いたコンテンツの提供が可能となる。

【0050】

＜座標距離によるアンカーの検出＞
例えば、アンカー検出部３２は、アンカー情報記憶部３１に記憶されたアンカーの位置情報と座標情報提供部２３から提供された座標情報とを比較して、座標情報に含まれる１点と位置情報とが予め定められた距離以内であるか否かでアンカーを検出するようにしてもよい。

【0051】

＜特徴量によるアンカーの検出＞
また、アンカー検出部３２は、座標情報提供部２３から提供された座標情報から特徴量を算出し、アンカー情報記憶部３１に記憶されたアンカー配置時における特徴量と近似するか否かでアンカーを検出するようにしてもよい。

【0052】

アンカー検出部３２は、アンカー情報記憶部３１に記憶された複数のアンカー情報を逐次参照してアンカーを検出するようにしてもよい。アンカー検出部３２が複数のアンカー情報を参照することにより、配置するアンカーの追加または削除を容易にすることができる。

【0053】

また、アンカー検出部３２は、予め想定されるアンカーの検出順序に基づいてアンカーを検出するようにしてもよい。例えば、アンカーＡの次にアンカーＢの検出が予想される場合、アンカー検出部３２は、アンカーＡを検出した後に、アンカーＢの検出を優先的に行うことにより、アンカー検出の負荷を軽減し、検出時間の短縮を図ることができる。

【0054】

また、アンカー検出部３２は、１人の利用者において既に検出されたアンカーであって、当該アンカーに対応したコンテンツが既に提供されている場合、既に検出されたアンカーを検出対象から外すようにしてもよい。既に検出されたアンカーを検出対象から外すことにより、アンカーに対応付けられたコンテンツの重複提供の防止することが可能となる。

【0055】

また、アンカー検出部３２は、１つのアンカーが１人の利用者または異なる利用者によって複数回検出された場合、検出回数を計数するようにしてもよい。検出回数を計数することにより、検出回数に応じて提供されるコンテンツを替えることが可能となる。なお、コンテンツの提供は、後述するコンテンツ制御部３６において制御することができる。

【0056】

また、アンカー検出部３２は、図示しないＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）センサまたは加速度センサから取得された計測値にさらに基づきアンカーを検出するようにしてもよい。これらのセンサの計測値との組合せでアンカーを検出することにより、アンカーの検出精度を向上させることができる。例えば、屋外においては、ＧＮＳＳセンサにおいて正確な現在位置を測位することが出来る場合がある。また、加速度センサを用いることにより、情報処理端末２０の移動を記録して、移動前との比較によって正確な現在位置を検出することが出来る場合がある。

【0057】

音響特性記憶部３３は、空間に存在する対象物の表面に係る音響特性を予め記憶する。対象物の表面に係る音響特性とは、音源から発せられた音が対象物の表面で反射するときの音響特性（反射特性という場合がある）である。音響特性記憶部３３において記憶される音響特性とは、例えば、音の反射率（吸音率または減衰率ともいう場合がある）である。例えば、金属等の硬い材料の表面においては材料の内部に透過する音が小さいため反射率が高く、多孔質等の材料の表面においては内部に透過する音が大きいため反射率が低い。また、音響特性記憶部３３において記憶される音響特性には、対象物の表面形状が含まれていてもよい。凹凸のある表面形状においては反射した音同士が干渉して特定の周波数の反射特性が変化する場合がある。また、音響特性記憶部３３において記憶される音響特性には、周波数毎の音響特性が含まれていてもよい。対象物表面における音の反射率は、音の周波数ごとに異なる。例えば、周波数が高い音は多孔質の材料において反射率が低く、周波数が低い音は反射率が高い。音響特性記憶部３３において、空間に存在する対象物の表面に係る音響特性を予め記憶しておくことにより、音源から発せられた音が対象物の表面において反射して利用者の位置に届くまでの音の変化を算出することが可能となる。

【0058】

残響特性算出部３４は、座標情報算出部２２において算出された座標情報に基づき、空間における残響特性を算出する。残響特性とは、音源から発せられて、空間に存在する対象物の表面において反射して時間差をもって利用者に到達する音の特性である。残響特性算出部３４において算出される残響特性を以下に例示する。なお、以下に示す残響特性は、一定の音量から所定時刻に音量が０に変化するインパルス音源に対して利用者の位置において聴覚することができる音の変化（インパルス応答）を例示するが、残響特性算出部３４において算出される残響特性はこれに限定されるものではない。

【0059】

＜残響時間＞
残響時間とは、空間における音の響きの長さを示す特性である。残響時間とは、音源を再生して空間に音を放射させ、音量が定常状態に達した後音源を停止させ（インパルス音源）、観測地点（利用者の位置）において音の強さが６０ｄＢ減衰するまでの時間（インパルス応答）である。残響時間は次式により算出することができる。

【0060】

【数1】

ただし、ｐ（ｔ）はｔ＝０において停止するインパルス音源によって利用者に到達する時間ｔにおける音圧である（以下同じ）。上記式はインパルス応答をＳｃｈｒｏｅｄｅｒの式で積分することで平均残響減衰波形を得るものであり、その波形の減衰傾斜から残響時間を算出することができる。音圧は例えば音圧形において測定することができる。

【0061】

＜初期残響時間＞
初期残響時間とは、残響減衰の初期の１０ｄＢ部分の減衰傾斜から求めた残響時間である。初期残響時間は、人間が感じる残響感を表す特性である。初期残響時間に用いる減衰波形は残響時間と同様である。

【0062】

＜時間重心＞
次式によって表される特性である。

【0063】

【数2】

時間重心は、直接残響時間を算出するものであり、人間の感覚に近い特性といわれている。

【0064】

＜Ｃｌａｒｉｔｙ＞
ここで、図７を用いて、Ｃｌａｒｉｔｙの算出方法を説明する。図７は、実施形態における、（Ａ）インパルス音源、（Ｂ）インパルス音源による音の減衰、および（Ｃ）インパルス応答の一例を説明する図である。

【0065】

図７（Ａ）において、ｘ軸は時間の経過（ｔ）、およびｙ軸は音源における音圧（ｐ）を表す。インパルス音源は、定常状態の音圧ｐ１から時刻ｔ０において音圧０（再生停止）に変化する。図７（Ｂ）において、ｙ軸は利用者の位置（測定位置）における音圧（Ｅ）を表す。音圧Ｅは時刻ｔ０から測定が開始される。音圧Ｅは時間の経過とともに減衰していく。

【0066】

図７（Ｃ）において、ｙ軸は、次式において算出される、音源から直接測定位置に到達する直接音と、対象物において反射してから測定位置に到達する残響音との比（対数）であり、Ｃ８０と呼ばれる特性である。

【0067】

【数3】

図７（Ｃ）においては、定常状態における比を０ｄＢとしている。Ｃｌａｒｉｔｙは、音楽が明瞭に聞こえるか否かの特性（明瞭度）として用いられている。

【0068】

＜直接音全エネルギー比＞
直接音全エネルギー比は、次式において算出される、直接音と全体（直接音＋残響音）のエネルギー比である。直接音全エネルギー比は、主に人の声における明瞭度として用いられる。

【0069】

【数4】

【0070】

なお、上述した残響特性は、音源が再生される空間において実測されたものであってもよく、空間における座標情報が類似している他の空間における残響特性を記憶しておき、対象物の空間における形状と音響特性記憶部３３に記憶された音響特性から類推して算出するようにしてもよい。例えば、空間の種類（例えば、コンサートホール、教会、コンクリートに囲まれた部屋、廊下等）における残響特性を予め記憶しておき、座標情報算出部で算出された座標情報に基づき記憶された残響特性を修正することにより、空間における残響特性を算出するようにしてもよい。

【0071】

次に、残響特性算出部３４における残響特性算出の一例を説明する。残響特性の算出算出は、例えば、Ａｌｌｅｎ ａｎｄ ＢｅｒｋｌｅｙによるＭｉｒｒｏｒ ｉｍａｇｅ ｍｅｔｈｏｄ（以下、「ＭＩ法」と省略する場合がある）を用いることができる。ＭＩ法においては、以下のパラメータが用いられる。
音速［ｍ／ｓ］
サンプリングレート［Ｈｚ］
アンカー位置の座標（ｘ，ｙ，ｚ）［ｍ］
利用者位置の座標（ｘ，ｙ，ｚ）［ｍ］
部屋の寸法（ｘ，ｙ，ｚ）［ｍ］
部屋の残響時間［ｍ］、もしくは各壁における反射係数

【0072】

ここで、音速は計測した部屋の温度によって算出することができる。
音速＝３３１．５＋０．６ｔ［ｍ／ｓ］（ｔ：摂氏、１気圧）
また、サンプリングレートは実際のデバイス内で使用されているサンプリングレートを使用する。
また、アンカー位置、利用者位置、および部屋の寸法は、上述した方法において算出される。

【0073】

部屋の残響時間［ｍ］、もしくは各壁における反射係数は、ある一点のアンカー位置、利用者位置から算出された残響時間から算出することができる。残響時間の算出は、インパルス応答の計測と、計測されたインパルス応答に基づく残響時間の算出によって行うことができる。

【0074】

＜インパルス応答の計測＞
座標情報の算出により形状を推定した部屋内（測定空間）でインパルス応答の計測を行う。 インパルス応答の測定は、上述したインパルス応答を測定するものであり、具体的にはＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）信号を使った測定、ピンクノイズを用いた測定、バルーンを用いた測定、または手拍子を用いた測定等で行うことができる。

【0075】

＜残響時間の算出＞
インパルス応答の計測において得られたインパルス応答から、残響時間を算出する。 残響時間の算出には、例えば、ＩＳＯ３３８２－２：２００８において規定された算出方法を用いることができる。

【0076】

残響特性算出部３４は、上述の方法によって得られたパラメータに基づきＭＩ法において残響特性を算出する。なお、残響特性算出部３４は、ＭＩ法以外の方法において残響特性を算出するようにしてもよい。例えば、残響特性算出部３４は、取得部２１によって得られるセンサ情報も用いて、各壁の材質をディープラーニングによる画像認識技術を用いて推定し、その材質などの情報を用いて反射係数を計算するようにしてもよい。建築材料はその形状等の外見によって材質等が特定できる場合がある。残響特性算出部３４は、センサ情報と反射係数との対応をディープラーニングにより学習することにより、残響特性を推測することができる。

【0077】

音源調整部３５は、残響特性算出部３４において算出部された残響特性に基づき、音源を調整する。音源の調整とは、上述の通り、音量調整、周波数特性調整、または残響特性調整等である。音源調整部３５は、音源を調整することにより、音源が再生される空間の形状等により異なる残響特性等に応じて、提供する音源を容易に調整することが可能となる。なお、音源調整部３５による音源の調整は、実行するか否か（有効化／無効化）の設定をできるようにしてもよい。例えば、音源調整部３５は、有効化の設定がされている場合は、残響特性が算出されたときに自動的に音源を調整し、一方、無効化の設定がされている場合は手動で音源の調整を実行できるようにしてもよい。

【0078】

音源を調整することにより、例えば、コンテンツを提供する提供者が意図した残響感または音量において音源を再生することが可能となる。また、音源を調整することにより、例えば、イベントホールにおける音源の再生において、あたかも教会にいると思わせる残響感を利用者に与えることができる。

【0079】

コンテンツ制御部３６は、配置情報または開始条件に従い、開始条件が満たされたときにコンテンツの提供を制御する。コンテンツ制御部３６は、予め設定された開始条件に応じて、予め定められたコンテンツの実行態様においてコンテンツの提供を制御するようにしてもよい。例えば、コンテンツ制御部３６は、情報処理端末２０の識別情報（予め登録されている利用者の性別、年齢、使用言語、国籍もしくは宗教等の属性情報、または情報処理端末２０から取得される機器情報等）に応じて音源の再生態様等のコンテンツの実行態様を変更してコンテンツを提供するようにしてもよい。識別情報は、例えば利用者のアカウント情報に紐付けられて取得されてもよい。コンテンツ実行部２４は、識別情報に応じて変更されたコンテンツを実行することにより、多様なコンテンツを実行することが可能となる。

【0080】

コンテンツ実行装置４０は、利用者に対してコンテンツを提供する情報処理端末２０とは異なる装置であって、例えば、音源の再生、またはアクチュエータの動作等を行う装置である。コンテンツ実行部４１は、コンテンツ制御部３６からの指示により、コンテンツの実行を制御する。コンテンツ実行部４１は、例えば、コンテンツ実行部２４と連携してコンテンツの提供を制御するものであってもよい。

【0081】

なお、情報処理システム１が有する上述した各機能部は、機能の一例を示したものであり、情報処理システム１が有する機能を限定したものではない。例えば、情報処理端末１０，情報処理端末２０または情報処理装置３０は、上記全ての機能部を有している必要はなく、一部の機能部を有するものであってもよい。また、情報処理システム１は、上記以外の他の機能を有していてもよい。

【0082】

例えば、情報処理端末１０が有する機能部は、情報処理装置３０において実現されてもよい。同様に、情報処理端末２０が有する機能部は、情報処理装置３０において実現されてもよい。また、情報処理装置３０が有する機能部は、情報処理端末１０または情報処理端末２０において実現されてもよい。例えば、アンカー検出部３２の機能は、情報処理端末２０において実現されるものであってもよい。

【0083】

また、上記各機能部は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし上記機能部の中で少なくとも１つ以上の機能部は、ハードウェアによって実現されるものであってもよい。

【0084】

また、上記何れかの機能部は、１つの機能部を複数の機能部に分割して実施してもよい。また、上記何れか２つ以上の機能部を１つの機能部に集約して実施してもよい。図１は、情報処理システム１が有する機能を機能ブロックで表現したものであり、例えば、各機能部がそれぞれ別個のプログラムファイル等で構成されていることを示すものではない。

【0085】

また、情報処理端末１０，情報処理端末２０または情報処理装置３０は、１つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。例えば、情報処理端末１０，情報処理端末２０または情報処理装置３０は、その機能の一部または全部をクラウドコンピューティングシステムによって提供されるクラウドサービス等、他の仮想的な装置によって実現するものであってもよい。すなわち、情報処理端末１０，情報処理端末２０または情報処理装置３０は、上記各機能部のうち、少なくとも１以上の機能部を他の装置において実現するようにしてもよい。

【0086】

次に、図２～図５を用いて、アンカーの設置方法を説明する。図２～図５は、実施形態におけるアンカーの設置方法を説明する図である。

【0087】

図２において、表示画面１０００は、表示部１２において表示される。表示画面１０００は、アンカー設定画面を示すアイコン１００１、アンカー設置ボタン１００２、退出ボタン１００３、セーブボタン１００４、プレイリストに名前を付ける命名ボタン１００５を有する。

【0088】

表示画面１０００は、情報処理端末１０に表示される表示画面であり、情報処理端末１０のカメラで撮影された撮影画像が表示されている。アンカー設置ボタン１００２は、表示画面１０００で表示されている撮影範囲のいずれかにアンカーを設置するためのボタンである。例えば、アンカー設置ボタン１００２を操作することにより、表示画面１０００の中心位置、あるいは表示画面１０００の中で図示しないカーソル位置等にアンカーを設置することができる。利用者は、アンカー設置ボタン１００２を操作することにより、図３で説明するアンカーを配置のための画面に遷移させることができる。

【0089】

退出ボタン１００３は、表示画面１０００で示す設定を終了するボタンであり、セーブボタン１００４は、現在の設定を保存するボタンである。また、命名ボタン１００５は、プレイリストに名前を付けるためのボタンである。利用者は、命名ボタン１００５を操作することにより、テキストボックス等から名前を入力することが可能となる。

【0090】

図３において、表示画面２０００は、表示部１２において表示される。表示画面２０００は、試し置ボタン２００１を有する。表示画面２０００は、表示画面１０００に表示されている撮影範囲を移動させて、拡大した撮影画像である。試し置ボタン２００１は、アンカーを試し置きするためのボタンである。利用者は、試し置ボタン２００１を操作することにより、表示画面２０００の略中央にアンカーを設置することができる。なお、試し置とは、設置位置を確定する前のアンカーの設置を意味し、利用者は、自身で設置したアンカーとアンカーに設定した音源を試行的に体験することができる。

【0091】

図４は、実施形態における情報処理端末において用いられる表示装置の第３の表示例を示す図である。

【0092】

図４において、表示画面１０００は、表示部１２において表示される。表示画面３０００は、アンカー位置修正ボタン３００１、アンカー位置決定ボタン３００２およびアンカー３００３を有する。アンカー位置修正ボタン３００１は、試し置ボタン２００１で設置したアンカー３００３の位置を修正するためボタンである。利用者は、アンカー位置修正ボタン３００１を操作することにより、設置されたアンカー３００３の位置を、奥側または手前側に修正することができる。アンカー３００３の位置を奥側に修正した場合、アンカー３００３の大きさが小さくなって表示され、一方、アンカー３００３の位置を手前側に修正した場合、アンカー３００３の大きさが大きくなって表示される。なお、アンカー３００３の表示サイズは図示しない設定操作によって変更できるようにしてもよい。

【0093】

アンカー位置決定ボタン３００２は、アンカー３００３の設置位置を決定するためのボタンである。利用者は、アンカー位置決定ボタン３００２を操作することにより、図５で説明するアンカーの設置を終了するための画面に遷移させることができる。

【0094】

図５において、表示画面１０００は、表示部１２において表示される。表示画面４０００は、終了ボタン４００１およびアンカー４００２を有する。利用者は、終了ボタン４００１を操作することにより、アンカーの設置を終了する。

【0095】

次に、図６を用いて、空間における音の反射を説明する。図６は、実施形態における空間における音の反射の一例を説明する図である。

【0096】

図６において、音源は部屋Ｒの内部においてアンカー位置Ｏに配置されているものとする。アンカー位置Ｏは、は上述した手順において設置したアンカーの空間における位置である。情報処理端末２０の取得部２１は、空間をスキャンして空間に存在する対象物までの距離を取得する。利用者位置Ｓは利用者が音源を聴覚する位置であり、アンカー位置Ｏにおけるジオフェンスの内部である。

【0097】

アンカー位置Ｏの音源から発せられた音は、利用者位置Ｓに直接到達する直接音と、部屋Ｒの壁面に反射して利用者位置Ｓに到達する反射音（残響音）とに別れる。図６においては反射点Ｆにおいて１回反射して利用者位置Ｓに到達する残響音を例示しているが、残響音の到達経路は音源からの音の拡散方向に応じて複数存在する。

【0098】

直接音は、Ｌ１の距離において利用者位置Ｓに到達する。一方、残響音は、Ｌ２＋Ｌ３の距離において利用者位置Ｓに到達する。したがって、利用者位置Ｓに到達するまでの時間差は、到達するまでの距離に応じて変化する。また、利用者位置Ｓに到達する残響音は、部屋Ｒの内側の音響特性に応じて変化する。アンカー位置Ｏにおいてパルス音源を再生させて利用者位置Ｓにおいて音の変化（音圧等）をアコースティックアナライザ等により測定することにより、部屋Ｒにおける残響特性を測定することができる。なお、残響特性の測定においては、人型ダミーの耳の位置にマイクを配置したダミーヘッドを用いることができる。ダミーヘッドを用いることにより、例えば、測定空間において人間が知覚する音響特性を測定することができる。

【0099】

次に、図８を用いて、情報処理端末１０のハードウェア構成を説明する。図８は、実施形態における情報処理端末１０のハードウェア構成の一例を示すブロック図である。なお、情報処理端末２０および情報処理装置３０のハードウェア構成は、情報処理端末１０に準ずるものとして、説明を省略する。

【0100】

情報処理端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、Ｉ／Ｏ機器１０４、および通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５を有する。情報処理端末１０は、図１で説明した情報処理プログラムを実行する装置である。

【0101】

ＣＰＵ１０１は、ＲＡＭ１０２またはＲＯＭ１０３に記憶された情報処理プログラムを実行することにより、利用者端末の制御を行う。情報処理プログラムは、例えば、プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ＲＯＭ１０３にインストールされ、ＣＰＵ１０１から読出されて実行される。

【0102】

Ｉ／Ｏ機器１０４は、操作入力機能と表示機能（操作表示機能）を有する。Ｉ／Ｏ機器１０４は、例えばタッチパネルである。タッチパネルは、情報処理端末１０の利用者に対して指先又はタッチペン等を用いた操作入力を可能にする。本実施形態におけるＩ／Ｏ機器１０４は、操作表示機能を有するタッチパネルを用いる場合を説明するが、Ｉ／Ｏ機器１０４は、表示機能を有する表示装置と操作入力機能を有する操作入力装置とを別個有するものであってもよい。その場合、タッチパネルの表示画面は表示装置の表示画面、タッチパネルの操作は操作入力装置の操作として実施することができる。なお、Ｉ／Ｏ機器１０４は、ヘッドマウント型、メガネ型、腕時計型のディスプレイ等の種々の形態によって実現されてもよい。

【0103】

通信Ｉ／Ｆ１０５は、通信用のＩ／Ｆである。通信Ｉ／Ｆ１０５は、例えば、無線ＬＡＮ、有線ＬＡＮ、赤外線等の近距離無線通信を実行する。図は通信用のＩ／Ｆとして通信Ｉ／Ｆ１０５のみを図示するが、情報処理端末１０は複数の通信方式においてそれぞれの通信用のＩ／Ｆを有するものであってもよい。

【0104】

次に、図９～図１０を用いて、情報処理システム１の動作を説明する。

【0105】

図９は、実施形態における情報処理システムの動作の第１の例を示すフローチャートである。第１の例で示すフローチャートは、アンカーおよび音源の配置に係る動作を説明している。

【0106】

図９において、情報処理システム１は、音源設定のためのＵＩを情報処理端末１０の表示画面から提供する（ステップＳ１１）。ステップＳ１１の処理を実行した後、情報処理システム１は、空間をスキャンするセンサにおいてスキャンデータを取得する（ステップＳ１２）。

【0107】

ステップＳ１２の処理を実行した後、情報処理システム１は、アンカーを配置するか否かを判断する（ステップＳ１３）。アンカーを配置するか否かの判断は、例えば、利用者がアンカー設置の操作を完了したか否かで判断することができる。アンカーを配置しないと判断した場合（ステップＳ１３：ＮＯ）、情報処理システム１は、ステップＳ１２～ステップＳ１３の処理を繰り返して、アンカーが配置されるのを待機する。

【0108】

アンカーを配置したと判断した場合（ステップＳ１３：ＹＥＳ）、情報処理システム１は、アンカーの位置を修正するか否かを判断する（ステップＳ１４）。アンカーの位置を修正すると判断した場合（ステップＳ１４：ＹＥＳ）、情報処理システム１は、アンカーの位置を修正する（ステップＳ１５）。

【0109】

ステップＳ１５の処理を実行した後、またはアンカーの位置を修正しないと判断した場合（ステップＳ１４：ＮＯ）、情報処理システム１は、コンテンツリストが選択されたか否かを判断する（ステップＳ１６）。コンテンツリストの選択には、選択されたコンテンツリストの保存も含まれる。なお、所望するコンテンツがコンテンツリストが存在しない場合、情報処理システム１は、新たにコンテンツを取得してコンテンツリストを制作するためのＵＩを提供するようにしてもよい。コンテンツリストが選択されていないと判断した場合（ステップＳ１６：ＮＯ）、情報処理システム１は、ステップＳ１６の処理を繰り返してコンテンツリストが選択されるのを待機する。

【0110】

一方、コンテンツリストが選択されたと判断した場合（ステップＳ１６：ＹＥＳ）、情報処理システム１は、コンテンツを実行するための実行条件を入力するためのＵＩを情報処理端末１０の表示画面から提供する（ステップＳ１７）。

【0111】

ステップＳ１７の処理を実行した後、情報処理システム１は、再生条件の入力が完了したか否かを判断する（ステップＳ１８）。入力が完了していないと判断した場合（ステップＳ１８：ＮＯ）、情報処理システム１は、ステップＳ１８の処理を繰り返して、入力が完了するのを待機する。

【0112】

一方、再生条件の入力が完了したと判断した場合（ステップＳ１８：ＹＥＳ）、情報処理システム１は、ステップＳステップＳ１３～ステップＳ１５において入力されたアンカー情報を情報処理端末１０から情報処理装置３０に提供する（ステップＳ１９）。

【0113】

ステップＳ１９の処理を実行した後、情報処理システム１は、ステップＳ１６～ステップＳ１８において入力された音源に係る情報を情報処理端末１０から情報処理装置３０に提供する（ステップＳ２０）。

【0114】

ステップＳ２０の処理が終了したら、情報処理システム１は、ステップＳ１９において提供されたアンカー情報を情報処理装置３０に記憶させる（ステップＳ２１）。ステップＳ２１の処理が終了した後、情報処理システム１は、ステップＳ２０において提供された音源情報を情報処理装置３０に記憶して（ステップＳ２２）、フローチャートで示す処理を終了する。

【0115】

図１０は、実施形態における情報処理システム１の動作の第２の例を示すフローチャートである。第２の例で示すフローチャートは、コンテンツの提供として音源の再生に係る動作を説明している。

【0116】

図１０において、情報処理システム１は、音源を再生するためのＵＩを、情報処理端末２０の表示画面から提供する（ステップＳ３１）。音源を再生するためのＵＩとは、例えば、空間に配置された音源の再生を楽しむＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）アプリケーションプログラムである。

【0117】

ステップＳ３２の処理を実行した後、情報処理システム１は、空間をスキャンするセンサにおいてスキャンデータを取得する（ステップＳ３２）。

【0118】

ステップＳ３２の処理を実行した後、情報処理システム１は、アンカーが検出されたか否かを判断する（ステップＳ３３）。アンカーが検出されていないと判断した場合（ステップＳ３３：ＮＯ）、情報処理システム１は、ステップＳ３２～ステップＳ３３の処理を繰り返して、アンカーが検出されるのを待機する。

【0119】

一方、アンカーが検出されたと判断した場合（ステップＳ３３：ＹＥＳ）、情報処理システム１は、検出したアンカーを情報処理端末２０の表示画面に表示させる（ステップＳ３４）。

【0120】

ステップＳ３４の処理を実行した後、情報処理システム１は、再生条件が満足されたか否かを判断する（ステップＳ３５）。再生条件が満足されたか否かは、例えば、情報処理端末２０が再生条件情報を情報処理装置３０から取得したか否かで判断することができる。再生条件には、情報処理端末２０がジオフェンスの中にあるか否かを含めることができる。情報処理システム１は、ジオフェンスの中に情報処理端末２０が入ったときに、再生条件が満足されたと判断することができる。

【0121】

再生条件が満足されていないと判断した場合（ステップＳ３５：ＮＯ）、情報処理システム１は、ステップＳ３２～ステップＳ３５の処理を繰り返して、再生条件が満足されるのを待機する。

【0122】

一方、再生条件が満足されたと判断した場合（ステップＳ３５：ＹＥＳ）、情報処理システム１は、音源の再生を開始する（ステップＳ３６）。音源の再生は、例えば、インパルス音源の再生である。

【0123】

ステップＳ３６の処理を実行した後、情報処理システム１は、残響特性を算出する（ステップＳ３７）。残響特性の算出は、上述の通り、対象物の空間におけるインパルス応答の測定等に基づき行うことができる。ステップＳ３６の処理を実行した後、情報処理システム１は、音源を調整して、調整した内容を保存する（ステップＳ３８）。残響特性を算出して音源を調整することにより、空間に応じた音源の調整を容易にして音源の提供コストの低減を図ることができる。

【0124】

ステップＳ３８の処理を実行した後、情報処理システム１は、再生を終了するか否かを判断する（ステップＳ３９）。再生を終了するか否かは、例えば、端末状態が再生条件を満足しなくなった場合、予め用意された音源の再生が終了した場合、または利用者による明示的な再生停止操作等である。再生を終了しないと判断した場合（ステップＳ３９：ＮＯ）、情報処理システム１は、ステップＳ３７～ステップＳ３９の処理を繰り返して、再生が終了するのを待機する。一方、再生を終了すると判断した場合（ステップＳ３９：ＹＥＳ）、情報処理システム１は、フローチャートに示した動作を終了する。

【0125】

なお、図示したフローチャートは、動作の一例を示したものであり、動作を限定するものではない。

【0126】

なお、本実施形態で説明した装置を構成する機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0127】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【0128】

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

【符号の説明】

【0129】

１ 情報処理システム
１０ 情報処理端末
１１ 取得部
１２ 表示部
１３ アンカー配置部
１４ アンカー情報提供部
１５ コンテンツ設定部
１６ コンテンツ情報提供部
２０ 情報処理端末
２１ 取得部
２２ 座標情報算出部
２３ 座標情報提供部
２４ コンテンツ実行部
３０ 情報処理装置
３１ アンカー情報記憶部
３２ アンカー検出部
３３ 音響特性記憶部
３４ 残響特性算出部
３５ 音源調整部
４０ コンテンツ実行装置
４１ コンテンツ実行部
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ Ｉ／Ｏ機器
１０５ 通信Ｉ／Ｆ
１０００ 表示画面
１００１ アイコン
１００２ アンカー設置ボタン
１００３ 退出ボタン
１００４ セーブボタン
１００５ 命名ボタン１００５
２０００ 表示画面
２００１ 試し置ボタン
３０００ 表示画面
３００１ アンカー位置修正ボタン
３００２ アンカー位置決定ボタン
３００３ アンカー
４０００ 表示画面
４００１ 終了ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】