(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】情報処理装置、制御方法、制御プログラム、及び情報処理システム
(51)【国際特許分類】
G01C 21/26 20060101AFI20240611BHJP
H04R 3/00 20060101ALI20240611BHJP
【FI】
G01C21/26 C
G01C21/26 P
H04R3/00 310
(21)【出願番号】P 2022553331
(86)(22)【出願日】2020-09-30
(86)【国際出願番号】 JP2020037232
(87)【国際公開番号】W WO2022070337
(87)【国際公開日】2022-04-07
【審査請求日】2023-03-17
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【氏名又は名称】家入 健
(72)【発明者】
【氏名】中島 悠志
(72)【発明者】
【氏名】丸山 俊一
(72)【発明者】
【氏名】鐘ヶ江 紫水子
(72)【発明者】
【氏名】村岸 健臣
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開2015-191355(JP,A)
【文献】特開2010-276364(JP,A)
【文献】国際公開第2018/180024(WO,A1)
【文献】特開2019-121192(JP,A)
【文献】特表2019-536131(JP,A)
【文献】特開2013-088906(JP,A)
【文献】中国特許出願公開第111161101(CN,A)
【文献】特開2011-179917(JP,A)
【文献】特開2016-021169(JP,A)
【文献】国際公開第2014/129042(WO,A1)
【文献】特開2019-057216(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/00 - 21/36
G01C 23/00 - 25/00
G08G 1/00 - 99/00
G09B 29/00 - 29/14
G06Q 10/00 - 10/30
G06Q 30/00 - 30/08
G06Q 50/00 - 50/20
G06Q 50/26 - 99/00
G16Z 99/00
H04R 3/00 - 3/14
H04S 1/00 - 7/00
(57)【特許請求の範囲】
【請求項1】
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信する受信手段と、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似するか否かを判定し、前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する出力手段と、を備える情報処理装置。
【請求項2】
前記第1位置を基準とする領域を指定する領域情報を生成する生成手段をさらに備え、
前記出力手段は、前記領域情報が前記第2位置情報を含み、かつ前記第1方向情報が示す方向と、前記第2方向情報が示す方向とのなす角度が角度閾値以下である場合、前記音声情報を出力する、請求項1に記載の情報処理装置。
【請求項3】
前記出力手段は、前記第1位置情報、前記第2位置情報、及び前記第2方向情報に基づいて、前記第1位置を音像定位位置とする音像定位用情報を生成し、前記音像定位用情報をさらに出力する、請求項2に記載の情報処理装置。
【請求項4】
前記受信手段は、前記音声情報に関連する対象物に前記音声情報が仮想的に設置される場合
に前記第1ユーザ端末から送信され前記対象物の位置情報を示す対象物位置情報を前記第1ユーザ端末から受信し、
前記出力手段は、前記対象物位置情報が受信された場合であって、前記領域情報が前記第2位置情報を含み、前記第2位置情報を基準とする前記第2方向情報が示す方向に、前記対象物位置情報が示す位置が存在する場合、前記音声情報を出力する、請求項2又は3に記載の情報処理装置。
【請求項5】
前記出力手段は、前記対象物位置情報が受信された場合であって、前記領域情報が前記第2位置情報を含み、前記第2位置情報を基準とする前記第2方向情報が示す方向に、前記対象物位置情報が示す位置が存在する場合、前記対象物の位置を音像定位位置とする音像定位用情報を生成する、請求項4に記載の情報処理装置。
【請求項6】
前記受信手段は、前記音声情報に関連する対象物に前記音声情報が仮想的に設置される場合
に前記第1ユーザ端末から送信され前記対象物の位置情報を示す対象物位置情報を前記第1ユーザ端末から受信し、
前記出力手段は、前記対象物位置情報が受信された場合、前記対象物位置情報、前記第2位置情報、及び前記第2方向情報に基づいて、前記対象物の位置を音像定位位置とする音像定位用情報を生成する、請求項2~5のいずれか1項に記載の情報処理装置。
【請求項7】
前記出力手段は、前記音声情報と、前記音像定位用情報とを前記第2ユーザ端末に送信する、請求項3、5又は6に記載の情報処理装置。
【請求項8】
前記音声情報と、前記音像定位用情報とに基づいて、前記音声情報に対して音像定位処理を実行し、前記音像定位処理が実行された音声情報を前記第2ユーザ端末に送信する制御手段をさらに備える、請求項3、5又は6に記載の情報処理装置。
【請求項9】
前記受信手段は、前記音声情報に関連する対象物に前記音声情報が仮想的に設置される場合
に前記第1ユーザ端末から送信され前記対象物の対象物位置情報を前記第1ユーザ端末から受信し、前記音声情報が仮想的に設置された設置位置情報の閲覧要求を前記第2ユーザ端末から受信し、
前記対象物位置情報が受信された場合、前記対象物位置情報を前記設置位置情報として記憶手段に登録し、前記対象物位置情報が受信されない場合、前記第1位置情報を前記設置位置情報として前記記憶手段に登録する生成手段をさらに備え、
前記制御手段は、前記記憶手段に登録された設置位置情報を前記第2ユーザ端末に送信する、請求項8に記載の情報処理装置。
【請求項10】
前記出力手段は、前記音声情報に関連する対象物があるか否かに応じて、前記角度閾値を設定する、請求項2~9のいずれか1項に記載の情報処理装置。
【請求項11】
前記出力手段は、前記対象物がある場合、前記角度閾値を第1角度閾値に設定し、前記対象物がない場合、前記角度閾値を前記第1角度閾値よりも大きい第2角度閾値に設定する、請求項10に記載の情報処理装置。
【請求項12】
前記出力手段は、
前記第1位置情報の変化量が第1所定値以下である場合、及び前記第1方向情報の変化量が第2所定値以下である場合の少なくとも1つを満たす場合、対象物があると判定し、前記第1位置情報の変化量が前記第1所定値より大きい場合、及び前記第1方向情報の変化量が前記第2所定値より大きい場合の両方を満たす場合、対象物がないと判定する、請求項10又は11に記載の情報処理装置。
【請求項13】
複数のユーザから受信された第3位置情報と、前記複数のユーザから受信された第3方向情報と、前記第3位置情報及び前記第3方向情報に対応付けた対象物に関する情報とが関連付けて登録された履歴情報を記憶する記憶手段をさらに備え、
前記出力手段は、前記第1位置情報、前記第1方向情報、及び前記履歴情報に基づいて、前記対象物があるか否かを判定する、請求項10~12のいずれか1項に記載の情報処理装置。
【請求項14】
前記生成手段は、前記第1位置情報の変化量に基づいて、前記第1ユーザ端末の移動状態を決定し、前記決定された移動状態に基づいて、前記生成された領域情報を調整する、請求項2~13のいずれか1項に記載の情報処理装置。
【請求項15】
前記受信手段は、前記第1ユーザ端末の速度情報を受信し、
前記生成手段は、前記速度情報に基づいて、前記第1ユーザ端末の移動状態を決定し、前記決定された移動状態に基づいて、前記生成された領域情報を調整する、請求項2~14のいずれか1項に記載の情報処理装置。
【請求項16】
前記移動状態は、静止状態を含み、
前記生成手段は、前記決定された移動状態が前記静止状態である場合、前記生成された領域情報を、前記第1位置に基づく領域を指定する領域情報に変更する、請求項14又は15に記載の情報処理装置。
【請求項17】
前記移動状態は、歩行状態及び走行状態を含み、
前記生成手段は、前記決定された移動状態が前記歩行状態又は前記走行状態である場合、前記生成された領域情報を、前記音声情報の生成開始時の第1位置情報と、前記音声情報の生成終了時の第1位置情報とに基づく領域を指定する領域情報に変更する、請求項14~16のいずれか1項に記載の情報処理装置。
【請求項18】
前記受信手段は、前記第2ユーザ端末の移動方向情報をさらに受信し、
前記出力手段は、前記移動方向情報に基づいて、前記第2ユーザ端末の前記領域への進入方向を決定し、前記進入方向と、前記第1方向情報が示す方向とのなす角度が所定の角度範囲以内である場合、前記音声情報を出力する、請求項2~17のいずれか1項に記載の情報処理装置。
【請求項19】
前記出力手段は、前記第2位置情報に基づいて、前記第2ユーザ端末の前記領域への進入方向を決定し、前記進入方向と、前記第1方向情報が示す方向とのなす角度が所定の角度範囲以内である場合、前記音声情報を出力する、請求項2~18のいずれか1項に記載の情報処理装置。
【請求項20】
前記出力手段は、前記第1ユーザ端末を利用する第1ユーザの第1属性情報及び前記第2ユーザ端末を利用する第2ユーザの第2属性情報に基づいて、前記音声情報を出力するか否かを判定する、請求項1~19のいずれか1項に記載の情報処理装置。
【請求項21】
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、
第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似するか否かを判定し、前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記第1位置情報、前記第2位置情報、及び前記第2方向情報に基づいて、前記音声情報を出力する、制御方法。
【請求項22】
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、
第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似するか否かを判定し、前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する、処理をコンピュータに実行させる制御プログラム。
【請求項23】
第1ユーザ端末と、第2ユーザ端末と、前記第1ユーザ端末及び前記第2ユーザ端末と通信するサーバ装置とを備え、
前記第1ユーザ端末は、
音声情報、前記第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を取得し、
前記第2ユーザ端末は、
前記第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を取得し、
前記サーバ装置は、
前記音声情報、前記第1位置情報及び前記第1方向情報を前記第1ユーザ端末から受信し、
前記第2位置情報及び前記第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似するか否かを判定し、前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する、情報処理システム。
【請求項24】
前記サーバ装置は、
前記第1位置情報を基準とする領域を指定する領域情報を生成し、
前記領域情報が前記第2位置情報を含み、かつ前記第1方向情報が示す方向と、前記第2方向情報が示す方向とのなす角度が角度閾値以内である場合、前記音声情報を出力する、請求項
23に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、ユーザ端末、制御方法、非一時的なコンピュータ可読媒体、及び情報処理システムに関する。
【背景技術】
【0002】
特許文献1には、ユーザの位置情報と、当該ユーザの頭部の方向と、目的地の位置情報とに基づいて、目的地の方角から音声情報が聞こえる音声データを生成し、ユーザに対して生成された音声データを出力することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、情報通信サービスの高度化に伴い、第1ユーザが、指定した位置に音声情報を仮想的に設置し、第2ユーザが当該位置に行くと、設置された音声情報が、第2ユーザに出力される音声サービスが検討されている。第1ユーザは、他のユーザと情報を共有したいと考え、例えば、町並み、風景、店舗、展示品、建築物、人気スポット等に関するコメントを音声情報として残す。そして、第2ユーザは、第1ユーザの音声情報を聞くことで、第1ユーザのコメントに共感を得たり、第1ユーザのコメントから新たな情報を得ることができる。
【0005】
しかし、第1ユーザが音声情報を生成したときの状況と、第2ユーザが音声情報を聞くときの状況とが異なる場合、音声情報を第2ユーザに出力してしまうと、第2ユーザは、第1ユーザの音声情報の内容が何を示しているのかを把握できない場合があり得る。そのため、第1ユーザが音声情報を生成したときの状況と、第2ユーザが音声情報を聞くときの状況とを考慮しなければ、第2ユーザは、第1ユーザの音声情報に共感を得たり、新たな情報を取得できない可能性があり、有効な音声サービスが実現されない虞がある。
【0006】
本開示の目的の1つは、ユーザの状況に応じて最適な位置、タイミングで音を聞くことが可能となるように音声情報を登録することが可能な情報処理装置、ユーザ端末、制御方法、非一時的なコンピュータ可読媒体、及び情報処理システムを提供することにある。
【課題を解決するための手段】
【0007】
本開示にかかる情報処理装置は、
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信する受信手段と、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する出力手段と、を備える。
【0008】
本開示にかかるユーザ端末は、
音声情報、前記ユーザ端末の位置情報を取得し、
前記音声情報の登録指示を受け付けた場合、前記取得した音声情報と、前記取得した位置情報と、前記取得した方向情報とを情報処理装置に送信する。
【0009】
本開示にかかる制御方法は、
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、
第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記第1位置情報、前記第2位置情報、及び前記第2方向情報に基づいて、前記音声情報を出力する、制御方法である。
【0010】
本開示にかかる非一時的なコンピュータ可読媒体は、
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、
第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する、処理をコンピュータに実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体である。
【0011】
本開示にかかる情報処理システムは、
第1ユーザ端末と、第2ユーザ端末と、前記第1ユーザ端末及び前記第2ユーザ端末と通信するサーバ装置とを備え、
前記第1ユーザ端末は、
音声情報、前記第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を取得し、
前記第2ユーザ端末は、
前記第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を取得し、
前記サーバ装置は、
前記音声情報、前記第1位置情報及び前記第1方向情報を前記第1ユーザ端末から受信し、
前記第2位置情報及び前記第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する、情報処理システムである。
【発明の効果】
【0012】
本開示によれば、ユーザの状況に応じて最適な位置、タイミングで音を聞くことが可能となるように音声情報を登録することが可能な情報処理装置、ユーザ端末、制御方法、非一時的なコンピュータ可読媒体、及び情報処理システムを提供できる。
【図面の簡単な説明】
【0013】
【
図1】実施の形態1にかかる情報処理装置の構成例を示す図である。
【
図2】実施の形態1にかかる情報処理装置の動作例を示すフローチャートである。
【
図3】実施の形態2の概要を説明するための図である。
【
図4】実施の形態2にかかる情報処理システムの構成例を示す図である。
【
図5】出力部が行う判定処理を説明するための図である。
【
図6】実施の形態2にかかるサーバ装置の動作例を示すフローチャートである。
【
図7】実施の形態3にかかる情報処理システムの構成例を示す図である。
【
図8】実施の形態3にかかるサーバ装置の動作例を示すフローチャートである。
【
図9】実施の形態4にかかる情報処理システムの構成例を示す図である。
【
図10】実施の形態5にかかる情報処理システムの構成例を示す図である。
【
図11】実施の形態5にかかるサーバ装置の動作例を示すフローチャートである。
【
図12】実施の形態5にかかるサーバ装置の動作例を示すフローチャートである。
【
図15】実施の形態6の概要を説明するための図である。
【
図16】実施の形態6にかかる情報処理システムの構成例を示す図である。
【
図17】実施の形態6にかかるサーバ装置の動作例を示すフローチャートである。
【
図18】実施の形態にかかる情報処理装置等のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本開示の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、以下の各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0015】
(実施の形態1)
図1を用いて、実施の形態1にかかる情報処理装置1の構成例について説明する。
図1は、実施の形態1にかかる情報処理装置の構成例を示す図である。情報処理装置1は、例えば、サーバ装置であり、第1ユーザが利用する第1ユーザ端末(不図示)、及び第2ユーザが利用する第2ユーザ端末(不図示)と通信を行う。なお、第1ユーザ端末及び第2ユーザ端末は、それぞれ、少なくとも1つの通信端末を含むように構成されてもよい。
【0016】
情報処理装置1は、受信部2と、出力部3とを備える。
受信部2は、音声情報、第1ユーザ端末の第1位置情報及び第1ユーザ端末の第1方向情報を第1ユーザ端末から受信する。受信部2は、第2ユーザ端末の第2位置情報及び第2ユーザ端末の第2方向情報を第2ユーザ端末から受信する。
【0017】
音声情報は、例えば、第1ユーザが録音した音声コンテンツであり、第1位置情報が示す位置に仮想的に設置される音声コンテンツである。第1位置情報は、第1ユーザの位置情報として用いられてもよく、第2位置情報は、第2ユーザの位置情報として用いられてもよい。第1方向情報は、第1ユーザの方向情報として用いられてもよく、第2方向情報は、第2ユーザの方向情報として用いられてもよい。第1方向情報及び第2方向情報は、それぞれ、第1ユーザ及び第2ユーザの顔が向いている顔方向を示す情報でもよい。なお、第1方向情報及び第2方向情報は、それぞれ第1ユーザ及び第2ユーザの姿勢情報を含むように構成されてもよい。
【0018】
出力部3は、第1位置情報が示す第1位置と、第2位置情報が示す第2位置とが所定の距離以内であり、第2方向情報が第1方向情報と類似する場合、受信部2が受信した音声情報を出力する。出力部3は、受信部2が受信した音声情報を、情報処理装置1が備える制御部(不図示)、及び第2ユーザ端末(不図示)の少なくとも一方に出力する。所定の距離は、例えば、0m~10mのうち任意の距離でもよい。また、第1方向情報が示す方向と、第2方向情報が示す方向とのなす角度が、例えば、30°以内である場合、第2方向情報が第1方向情報と類似するとされてもよい。もしくは、第1方向情報が示す方向と、第2方向情報が示す方向とのなす角度が、例えば、60°以内である場合、第2方向情報が第1方向情報と類似するとされてもよい。
【0019】
次に、
図2を用いて、実施の形態1にかかる情報処理装置1の動作例について説明する。
図2は、実施の形態1にかかる情報処理装置の動作例を示すフローチャートである。
【0020】
受信部2は、音声情報、第1ユーザ端末の第1位置情報、及び第1ユーザ端末の第1方向情報を第1ユーザ端末から受信する(ステップS1)。
受信部2は、第2ユーザ端末の第2位置情報、及び第2ユーザ端末の第2方向情報を第2ユーザ端末から受信する(ステップS2)。
【0021】
出力部3は、第1位置情報が示す第1位置と、第2位置情報が示す第2位置とが所定の距離以内であるか否かを判定する(ステップS3)。
第1位置と、第2位置とが所定の距離以内である場合(ステップS3のYES)、出力部3は、第2方向情報が第1方向情報と類似するか否かを判定する(ステップS4)。
【0022】
第2方向情報が第1方向情報と類似する場合(ステップS4のYES)、出力部3は、受信部2が受信した音声情報を、情報処理装置1が備える制御部(不図示)、及び第2ユーザ端末(不図示)の少なくとも一方に出力する(ステップS5)。
【0023】
一方、第1位置と、第2位置とが所定の距離以内ではない場合(ステップS3のNO)、又は第2方向情報が第1方向情報と類似しない場合(ステップS4のNO)、情報処理装置1は、ステップS2に戻り、ステップS2以降を実行する。
【0024】
以上説明したように、受信部2は、第1位置情報、第1方向情報、第2位置情報、及び第2方向情報を受信する。出力部3は、第1位置情報が示す第1位置と、第2位置情報が示す第2位置とが所定の距離以内であり、第2方向情報が第1方向情報と類似する場合、音声情報を出力する。換言すると、出力部3は、第1ユーザ端末の位置及び方向と、第2ユーザ端末の位置及び方向とに基づいて、第1ユーザ端末を利用する第1ユーザが音声情報を登録したときの状況と、第2ユーザ端末を利用する第2ユーザの状況とが同様であるかを判定する。出力部3は、第1ユーザ及び第2ユーザの状況が同様であると判定した場合、音声情報を出力する。すなわち、情報処理装置1は、第1ユーザ及び第2ユーザの状況が同様であると判定した場合、第2ユーザ端末に音声情報を出力可能とする。したがって、実施の形態1にかかる情報処理装置1によれば、ユーザの状況に応じて最適な位置、タイミングで音を聞くことが可能となるように音声情報を登録できる。
【0025】
(実施の形態2)
続いて、実施の形態2について説明する。実施の形態2は、実施の形態1を具体的にした実施の形態である。まず、実施の形態2の詳細を説明する前に、実施の形態2の概要を説明する。
【0026】
<概要>
図3は、実施の形態2の概要を説明するための図である。
図3は、ユーザU1が、音声情報を、ユーザU1の位置を中心とした領域内に入った場合に聞けるように設置し、ユーザU2が、ユーザU1の位置の周辺に行くと、ユーザU1が設置した音声情報がユーザU2に出力される音声サービスを概略的に示す概略図である。このような音声サービスでは、ユーザU1は、位置P1から、例えば、建築物等の対象物Oを向いて、対象物Oについての感想、意見、補足情報等を録音する。そして、ユーザU1が録音した音声情報(音A)が、位置P1近傍に到達したときに聞くことが可能となるように設置される。ユーザU2が、位置P1の位置の周辺位置である位置P2に到達した場合、音声情報(音A)が、ユーザU2に対して出力される。ユーザU2は、対象物Oについて、ユーザU1が録音した音声情報(音A)を聞くことができるため、対象物Oについて、ユーザU1の感想及び意見に対して共感を得たり、対象物Oについての新たな情報を得ることができる。
【0027】
ここで、
図3では、ユーザU2は、ユーザU1と同様に、対象物Oに向かう方向を向いている。そのため、ユーザU1の音声情報が対象物Oに関する音声情報である場合、ユーザU2は、当該音声情報を聞くことで、音声情報が対象物Oについての内容であることを把握できる。しかし、ユーザU2が、例えば、位置P1から遠い位置にいる場合、又はユーザU1と異なる方向を向いている場合も想定される。この場合、ユーザU2の方向に対象物Oがないため、ユーザU2は、ユーザU1が録音した音声情報を聞いても、音声情報が何を示す情報であるのかを把握できない可能性がある。このように、ユーザU1及びU2の状況を考慮しないと、ユーザU2が聴取した音声情報が、ユーザU2に対して有効な音声情報ではなくなってしまい、有効な音声サービスがユーザに対して提供できなくなってしまう。
【0028】
そこで、本実施の形態では、ユーザU1及びユーザU2の状況を考慮して、ユーザU2に対して有効な音声情報を出力可能な構成を実現する。具体的には、本実施の形態では、ユーザU1及びユーザU2の位置、及び向いている方向を考慮して、例えば、ユーザU2が、ユーザU1と同じものを見ていると想定される場合に、音声情報が出力されるような構成を実現する。
【0029】
詳細は後述するが、本実施の形態では、ユーザU1は、例えば、左耳に装着される左ユニット20Lと、右耳に装着される右ユニット20Rとを含む、例えば、ヒアラブルデバイスである通信端末20を装着する。そして、情報処理システムが、ユーザU1の指示に応じて、ユーザU1の方向情報を用いて、ユーザU1の位置P1に音声情報を仮想的に設置する。ユーザU2も、例えば、左耳に装着される左ユニット40Lと、右耳に装着される右ユニット40Rとを含む、例えば、ヒアラブルデバイスである通信端末40を装着する。そして、ユーザU2が、位置P1の周辺位置である位置P2に到達し、ユーザU2が向いている方向と、ユーザU1が録音したときの方向とが類似する場合、情報処理システムが、音声情報をユーザU2に出力するように制御する。なお、
図3では、ユーザU1及びU2は、例えば、ヒアラブルデバイスを装着していることとしている。しかしながら、通信端末20及び40は、それぞれ、ユーザU1及びU2が向いている方向を把握できればよいため、通信端末20及び40は、ヒアラブルデバイスでなくてもよい。
【0030】
<情報処理システムの構成例>
図4を用いて、情報処理システム100の構成例について説明する。
図4は、実施の形態2にかかる情報処理システムの構成例を示す図である。
【0031】
情報処理システム100は、サーバ装置60と、ユーザU1が利用するユーザ端末110と、ユーザU2が利用するユーザ端末120とを備える。ユーザU1及びユーザU2は、異なるユーザでもよく、同一ユーザでもよい。ユーザU1及びユーザU2が同一ユーザである場合、ユーザ端末110は、ユーザ端末120が備える機能を含むように構成される。なお、
図4では、サーバ装置60は、ユーザ端末120と異なる装置として図示されているが、サーバ装置60がユーザ端末120に組み込まれてもよく、サーバ装置60が備える構成を、ユーザ端末120が備えるようにしてもよい。
【0032】
ユーザ端末110は、ユーザU1が利用する通信端末であり、通信端末20及び30を含む。ユーザ端末120は、ユーザU2が利用する通信端末であり、通信端末40及び50を含む。通信端末20及び40は、
図3の通信端末20及び40に対応し、例えば、ヒアラブルデバイスである。通信端末30及び50は、例えば、スマートフォン端末、タブレット端末、携帯電話、パーソナルコンピュータ装置である。
【0033】
本実施の形態では、ユーザ端末110及び120は、それぞれ2つの通信端末を備える構成としているが、ユーザ端末110及び120、1つの通信端末により構成されてもよい。この場合、ユーザ端末110及び120は、例えば、ヘッドマウントディスプレイ等の2つの通信端末が一体型となった通信端末でもよい。もしくは、通信端末30が、通信端末20の構成を備え、通信端末50が、通信端末40の構成を備えてもよく、通信端末20が、通信端末30の構成を備え、通信端末40が、通信端末50の構成を備えてもよい。なお、通信端末30が、通信端末20の構成を備える場合、通信端末30は、通信端末30の方向情報を取得できればよいため、9軸センサを備えない構成でもよい。同様に、通信端末50が、通信端末40の構成を備える場合も、通信端末50は、9軸センサを備えない構成でもよい。
【0034】
通信端末20は、ユーザU1が利用する通信端末であって、ユーザU1に装着される通信端末である。通信端末20は、ユーザU1の両耳の各々に装着される通信端末であり、ユーザU1の左耳に装着される左ユニット20Lと、ユーザU1の右耳に装着される右ユニット20Rとを含む。なお、通信端末20は、左ユニット20L及び右ユニット20Rが一体型となった通信端末であってもよい。
【0035】
通信端末20は、例えば、通信事業者が提供する無線通信が可能な通信端末であり、通信事業者が提供するネットワークを介してサーバ装置60と通信を行う。通信端末20は、ユーザU1が音声情報を、ユーザU1の位置に仮想的に設置する場合、音声情報を取得する。音声情報は、ユーザU1が録音した音声コンテンツであってもよく、通信端末20に保持された音声コンテンツでもよい。通信端末20は、取得した音声情報をサーバ装置60に送信する。なお、通信端末20(左ユニット20L及び右ユニット20R)は、サーバ装置60と直接通信を行うこととして説明するが、通信端末30を介してサーバ装置60と通信する構成でもよい。
【0036】
通信端末20は、ユーザU1が音声情報を仮想的に設置する場合、通信端末20の方向情報を取得し、取得した方向情報をサーバ装置60に送信する。通信端末20の方向情報は、サーバ装置60により、ユーザ端末110の方向情報として扱われる。通信端末20は、通信端末20の方向情報をユーザU1の方向情報としてもよい。
【0037】
通信端末30は、ユーザU1が利用する通信端末である。通信端末30は、例えば、Bluetooth(登録商標)、WiFi等の無線通信により、通信端末20と接続及び通信を行う。また、通信端末30は、例えば、通信事業者が提供するネットワークを介してサーバ装置60と通信を行う。
【0038】
通信端末30は、ユーザU1が音声情報を仮想的に設置する場合、通信端末30の位置情報を取得し、取得した位置情報をサーバ装置60に送信する。通信端末30の位置情報は、サーバ装置60により、ユーザ端末110の位置情報として扱われる。通信端末30は、通信端末30の位置情報をユーザU1の位置情報としてもよい。なお、通信端末30は、通信端末30の位置情報と、左ユニット20L及び右ユニット20Rまでの距離と基づいて、左ユニット20L及び右ユニット20Rの位置情報を取得してもよい。
【0039】
通信端末40は、ユーザU2が利用する通信端末であって、ユーザU2に装着される通信端末である。通信端末40は、ユーザU2の両耳の各々に装着される通信端末であり、ユーザU2の左耳に装着される左ユニット40Lと、ユーザU2の右耳に装着される右ユニット40Rとを含む。なお、通信端末40は、左ユニット40L及び右ユニット40Rが一体型となった通信端末であってもよい。
【0040】
通信端末40は、例えば、通信事業者が提供する無線通信が可能な通信端末であり、通信事業者が提供するネットワークを介してサーバ装置60と通信を行う。通信端末40は、通信端末40の方向情報を取得し、取得した方向情報をサーバ装置60に送信する。通信端末40の方向情報は、サーバ装置60により、ユーザ端末120の方向情報として扱われる。通信端末40は、通信端末40の方向情報を、ユーザU2の方向情報としてもよい。
【0041】
通信端末40は、サーバ装置60が出力する音声情報を、ユーザの両耳の各々に出力する。なお、通信端末40(左ユニット40L及び右ユニット40R)は、サーバ装置60と直接通信を行うこととして説明するが、通信端末50を介してサーバ装置60と通信を行う構成でもよい。
【0042】
通信端末50は、ユーザU2が利用する通信端末である。通信端末50は、例えば、Bluetooth、WiFi等の無線通信により、通信端末40と接続及び通信を行う。また、通信端末50は、例えば、通信事業者が提供するネットワークを介してサーバ装置60と通信を行う。
【0043】
通信端末50は、通信端末50の位置情報を取得し、取得した位置情報をサーバ装置60に送信する。通信端末50の位置情報は、サーバ装置60により、ユーザ端末120位置情報として扱われる。通信端末50は、通信端末50の位置情報を、ユーザU2の位置情報としてもよい。なお、通信端末50は、通信端末50の位置情報と、左ユニット40L及び右ユニット40Rまでの距離と基づいて、左ユニット40L及び右ユニット40Rの位置情報を取得してもよい。
【0044】
サーバ装置60は、実施の形態1における情報処理装置1に対応する。サーバ装置60は、例えば、通信事業者が提供するネットワークを介して、通信端末20、30、40及び50と通信を行う。
【0045】
サーバ装置60は、ユーザ端末110の位置情報、及びユーザ端末110の方向情報をユーザ端末110から受信する。サーバ装置60は、音声情報、及び通信端末20の方向情報を通信端末20から受信する。サーバ装置60は、通信端末30の位置情報を通信端末30から受信する。
【0046】
サーバ装置60は、ユーザ端末110の位置情報が示す位置を基準とする領域を指定する領域情報を生成する。サーバ装置60は、ユーザ端末110から受信した音声情報と、ユーザ端末110の位置情報と、領域情報とを対応付けてサーバ装置60に登録する。領域は、ユーザ端末110の位置情報を基準として仮想的に設定される領域であり、ジオフェンスと称されてもよい。なお、サーバ装置60は、ユーザ端末110の位置情報と、音声情報と、領域情報とを外部又は内部に設けられた記憶装置に登録してもよい。以降の説明では、領域をジオフェンスとして記載することがある。
【0047】
サーバ装置60は、ユーザ端末120の位置情報、及びユーザ端末120の方向情報をユーザ端末120から受信する。サーバ装置60は、通信端末40の方向情報を通信端末40から受信する。サーバ装置60は、通信端末50の位置情報を通信端末50から受信する。
【0048】
サーバ装置60は、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似する場合、通信端末20から受信した音声情報を出力する。サーバ装置60は、通信端末20から受信した音声情報を、通信端末40の左ユニット40L及び右ユニット40Rに出力するように制御する。
【0049】
<通信端末の構成例>
次に、通信端末20の構成例について説明する。通信端末20は、音声情報取得部21と、方向情報取得部22とを備える。通信端末20は、左ユニット20Lと、右ユニット20Rとを含むため、左ユニット20L及び右ユニット20Rの両方が、音声情報取得部21、及び方向情報取得部22を備える。なお、ユーザU1が発する音声情報、及びユーザU1が向いている方向は、左右の耳で略同一であることが想定されるため、左ユニット20L及び右ユニット20Rのうちのいずれかが、音声情報取得部21、及び方向情報取得部22を備える構成としてもよい。
【0050】
音声情報取得部21は、例えば、マイク等の入力部としても機能し、音声認識可能に構成される。音声情報取得部21は、ユーザU1から音声情報の登録指示を入力する。音声情報の登録指示は、ユーザU1の位置に音声情報を仮想的に設置するように音声情報を登録する指示である。音声情報取得部21は、ユーザU1が音声を録音する場合、ユーザU1が発声した内容を記録し、記録した内容を音声情報として生成する。音声情報取得部21は、例えば、ユーザU1が音声情報の登録指示を示す音声が入力された場合、生成した音声情報をサーバ装置60に送信する。換言すると、音声情報取得部21は、音声情報の登録指示を受け付けた場合、音声情報をサーバ装置60に送信する。なお、ユーザU1から音声情報の登録指示に音声情報を指定する情報が含まれている場合、音声情報取得部21は、通信端末20に記憶された音声情報から指定された音声情報を取得し、取得した音声情報をサーバ装置60に送信してもよい。
【0051】
方向情報取得部22は、例えば、9軸センサ(3軸加速度センサ、3軸ジャイロセンサ、3軸コンパスセンサ)等を含むように構成される。方向情報取得部22は、9軸センサにより、通信端末20の方向情報を取得する。方向情報取得部22は、通信端末20が向いている方位を取得する。通信端末20が向いている方位は、ユーザの顔が向いている顔方向を示す情報とも言える。方向情報取得部22は、取得した方位を含む通信端末20の方向情報を生成する。方向情報取得部22は、通信端末20の方向情報をユーザU1の方向情報としてもよい。方向情報取得部22は、例えば、ユーザU1から音声情報の登録指示が入力された場合、通信端末20の方向情報を取得し、取得した通信端末20の方向情報をサーバ装置60に送信する。換言すると、方向情報取得部22は、音声情報の登録指示を受け付けた場合、方向情報をサーバ装置60に送信する。
【0052】
なお、方向情報取得部22は、音声情報の登録指示を受け付けた場合、ユーザU1の姿勢を測定することで得られた取得結果に基づいて、通信端末20の方向情報を取得し、測定結果を、音声情報とともにサーバ装置60に送信してもよい。具体的には、方向情報取得部22は、9軸センサを用いて、3軸全方向の向きを測定し、3軸全方向の測定結果に基づいて、通信端末20の方向情報を取得してもよい。そして、方向情報取得部22は、取得した方向情報を含む3軸全方向の測定結果を音声情報とともにサーバ装置60に送信してもよい。
【0053】
方向情報取得部22は、9軸センサを含むため、ユーザU1の姿勢についても取得できる。そのため、方向情報は、ユーザU1の姿勢についての姿勢情報を含んでもよい。また、方向情報は、9軸センサにより取得されたデータであるため、センシングデータと称されてもよい。
【0054】
次に、通信端末30の構成例について説明する。通信端末30は、位置情報取得部31を備える。
位置情報取得部31は、例えば、GPS(Global Positioning System)受信機を含むように構成される。位置情報取得部31は、GPS信号を受信し、GPS信号に基づいて通信端末30の緯度経度情報を取得し、取得した緯度経度情報を通信端末30の位置情報とする。位置情報取得部31は、通信端末30の位置情報をユーザU1の位置情報としてもよい。位置情報取得部31は、ユーザU1から音声情報の登録指示が入力された場合、通信端末20から当該指示を受信し、通信端末30の位置情報を取得し、通信端末30の位置情報をサーバ装置60に送信する。
【0055】
位置情報取得部31は、ユーザU1から音声情報の登録指示が入力された後、定期的に通信端末30の位置情報を取得し、通信端末30の位置情報をサーバ装置60に送信してもよい。位置情報取得部31は、ユーザU1が音声を録音し、音声情報取得部21が音声情報を生成する場合、音声情報の生成開始時の位置情報と、音声情報の生成終了時の位置情報を取得し、取得した位置情報をサーバ装置60に送信する。位置情報取得部31は、音声情報の登録指示を受け付けた場合、当該登録指示を受け付けた前の通信端末30の位置情報、又は登録指示を受け付ける前後の通信端末30の位置情報をサーバ装置60に送信してもよい。
【0056】
次に、通信端末40の構成例について説明する。通信端末40は、方向情報取得部41と、出力部42とを備える。通信端末40は、左ユニット40Lと、右ユニット40Rとを含むため、左ユニット40L及び右ユニット40Rの両方が、方向情報取得部41と、出力部42とを備えてもよい。なお、ユーザU2が向いている方向は、左右の耳で略同一であることが想定されるため、左ユニット40L及び右ユニット40Rのうちのいずれかが、方向情報取得部41を備える構成としてもよい。
【0057】
方向情報取得部41は、例えば、9軸センサ(3軸加速度センサ、3軸ジャイロセンサ、3軸コンパスセンサ)等を含むように構成される。方向情報取得部41は、9軸センサにより、通信端末40の方向情報を取得する。方向情報取得部41は、通信端末40が向いている方位を取得する。通信端末40は、ユーザU2の両耳に装着されるため、通信端末40が向いている方位は、ユーザU2の顔が向いている顔方向を示す情報とも言える。方向情報取得部41は、取得した方位を含む方向情報を生成する。方向情報取得部41は、通信端末40の方向情報をユーザU2の方向情報としてもよい。方向情報取得部41は、周期的又は非周期的に通信端末40の方向情報を取得する。方向情報取得部41は、通信端末40の方向情報を取得した場合、取得した方向情報をサーバ装置60に送信する。
【0058】
方向情報取得部41は、9軸センサを含むため、ユーザU2の姿勢についても取得できる。そのため、方向情報は、ユーザU2の姿勢についての姿勢情報が含まれてもよい。また、方向情報は、9軸センサにより取得されたデータであるため、センシングデータと称されてもよい。
【0059】
出力部42は、例えば、ステレオスピーカ等を含むように構成される。出力部42は、通信部としても機能し、サーバ装置60から送信された音声情報を受信し、受信した音声情報をユーザの耳に出力する。
【0060】
次に、通信端末50の構成例について説明する。通信端末50は、位置情報取得部51を備える。
位置情報取得部51は、例えば、GPS受信機を含むように構成される。位置情報取得部51は、GPS信号を受信し、GPS信号に基づいて通信端末50の緯度経度情報を取得し、取得した緯度経度情報を通信端末50の位置情報とする。位置情報取得部51は、通信端末50の位置情報を取得した場合、通信端末50の位置情報をサーバ装置60に送信する。位置情報取得部51は、周期的に又は非周期的に通信端末50の位置情報を取得する。位置情報取得部51は、取得した位置情報をサーバ装置60に送信する。位置情報取得部51は、通信端末50の緯度経度情報をユーザU2の位置情報として取得してもよい。
【0061】
<サーバ装置の構成例>
次に、サーバ装置60の構成例について説明する。サーバ装置60は、受信部61と、生成部62と、出力部63と、制御部64と、記憶部65とを備える。
【0062】
受信部61は、実施の形態1における受信部2に対応する。受信部61は、音声情報、ユーザ端末110の位置情報、及びユーザ端末110の方向情報をユーザ端末110から受信する。具体的には、受信部61は、音声情報、及び通信端末20の方向情報を通信端末20から受信し、通信端末30の位置情報を通信端末30から受信する。受信部61は、通信端末20の方向情報を、ユーザ端末110の方向情報として生成部62及び出力部63に出力する。受信部61は、通信端末30の位置情報を、ユーザ端末110の位置情報として生成部62及び出力部63に出力する。受信部61は、音声情報の登録指示を通信端末20からさらに受信する。
【0063】
受信部61は、ユーザ端末120の位置情報、及びユーザ端末120の方向情報をユーザ端末120から受信する。具体的には、受信部61は、通信端末40の方向情報を通信端末40から受信し、通信端末50の位置情報を通信端末50から受信する。受信部61は、通信端末40の方向情報を、ユーザ端末120の方向情報として生成部62に出力する。受信部61は、通信端末50の位置情報を、ユーザ端末120の位置情報として出力部63に出力する。
【0064】
生成部62は、ユーザ端末110の位置情報が示す位置を基準とする領域を指定する領域情報を生成する。生成部62は、音声情報の登録指示を通信端末20から受信した場合、ユーザ端末110の位置情報が示す位置を中心とするジオフェンスを指定する領域情報を生成する。生成部62は、生成した領域情報を、ユーザ端末110の位置情報及び音声情報と対応付けて記憶部65に登録する。
【0065】
ジオフェンスは、円形、球形、矩形、多角形等、任意の形状とすることができ、領域情報に基づいて指定される。領域情報は、例えば、ジオフェンスが円形又は球形である場合、ジオフェンスの半径を含んでもよい。また、領域情報は、例えば、ジオフェンスが矩形を含む多角形である場合、多角形の中心(ユーザ端末110の位置情報が示す位置)から、多角形を構成する各頂点までの距離を含んでもよい。なお、以降の説明では、ジオフェンスは、ユーザ端末110の位置情報が示す位置を中心として設定される円であり、領域情報は、当該円の半径であるとして説明する。領域情報は、ジオフェンスの大きさを指定する情報であるため、大きさ情報と称されてもよく、ジオフェンスを指定する長さ情報と称されてもよく、ジオフェンスを指定する領域距離情報と称されてもよい。
【0066】
生成部62は、予め定められた半径の円形のジオフェンスを生成する。なお、ジオフェンスの半径は、ユーザU1が任意に設定可能としてもよい。また、生成部62は、音声情報の登録指示を通信端末20から受信した場合、ユーザ端末110の位置情報の変化量に基づいて、ユーザ端末110の移動状態を決定し、移動状態に基づいて、生成した領域情報を調整してもよい。なお、生成部62は、移動状態に基づいて、生成した領域情報を調整しない構成であってもよい。
【0067】
生成部62は、受信部61が定期的に受信した、ユーザ端末110の位置情報の単位時間当たりの変化量を算出する。生成部62は、算出した変化量に基づいて、例えば、移動状態判定閾値と比較することにより、ユーザ端末110の移動状態を決定する。
【0068】
移動状態は、静止状態、歩行情報及び走行状態を含む。生成部62は、ユーザ端末110の移動状態を静止状態と決定した場合、生成した領域情報を、ユーザ端末110の位置情報が示す位置に基づくジオフェンスを指定する領域情報に変更してもよい。この場合、ジオフェンスは、ユーザ端末110の位置情報が示す位置でもよく、ユーザU1の幅を考慮して、ユーザ端末110の位置情報が示す位置を基準として半径1mの円でもよい。
【0069】
また、生成部62は、移動状態を歩行状態と決定した場合、生成した領域情報を、音声情報の生成開始時のユーザ端末110の位置情報と、音声情報の生成終了時のユーザ端末110の位置情報とに基づくジオフェンスを指定する領域情報に変更してもよい。生成部62は、移動状態を走行状態と決定した場合も、生成した領域情報を、音声情報の生成開始時のユーザ端末110の位置情報と、音声情報の生成終了時のユーザ端末110の位置情報とに基づくジオフェンスを指定する領域情報に変更してもよい。生成部62は、生成した領域情報を変更した場合、記憶部65に記憶した領域情報を、変更後の領域情報に更新する。
【0070】
出力部63は、実施の形態1における出力部3に対応する。出力部63は、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似するか否かを判定する。
【0071】
ここで、
図5を用いて、出力部63が行う判定処理について説明する。
図5は、出力部が行う判定処理を説明するための図である。
図5のうち、点線は、生成部62が生成した領域情報により指定されるジオフェンスGFを表している。ユーザ端末110の位置情報が示す位置にユーザU1が位置し、ユーザ端末120の位置情報が示す位置にユーザU2が位置している。
【0072】
出力部63は、ユーザ端末120の位置情報が示す位置(ユーザU2の位置)が、ジオフェンスGFに含まれる場合、ユーザ端末110の位置情報が示す位置(ユーザU1の位置)と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であると判定する。
【0073】
出力部63は、ユーザ端末120の位置情報が領域情報に含まれる場合、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であると判定する。このように、出力部63は、領域情報により指定されるジオフェンスGFを用いて、ユーザ端末110の位置情報が示す位置(ユーザU1の位置)と、ユーザ端末120の位置情報が示す位置(ユーザU2の位置)とが所定の距離以内であるか否かを判定する。
【0074】
また、出力部63は、ユーザ端末110の方向情報が示す方向と、ユーザ端末120の方向情報が示す方向とのなす角度が角度閾値以内である場合、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似すると判定する。出力部63は、例えば、東を基準方向として、基準方向と、ユーザ端末110の方向情報が示す方向とのなす角度を示す角度θ1を算出する。出力部63は、上記基準方向と、ユーザ端末120の方向情報が示す方向とのなす角度を示す角度θ2を算出する。そして、出力部63は、角度θ1と、角度θ2との差分が角度閾値以下である場合、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似すると判定する。角度閾値は、予め定められた閾値であり、例えば、30°、60°等とすることができる。なお、角度閾値は、任意に調整可能であってもよい。このように、出力部63は、ユーザ端末110の方向情報、ユーザ端末120の方向情報、及び角度閾値を用いることで、ユーザU1と、ユーザU2とが、同じものを見ているかを判定する。
【0075】
図4に戻り、出力部63の説明を続ける。出力部63は、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似する場合、受信部61が受信した音声情報を制御部64に出力する。
【0076】
制御部64は、通信部としても機能し、出力部63から出力された音声情報を、それぞれ通信端末40の左ユニット40L及び右ユニット40Rに送信する。
【0077】
記憶部65は、生成部62の制御に応じて、音声情報、ユーザ端末110の位置情報及び領域情報を対応付けて記憶する。また、記憶部65は、生成部62の制御に応じて、領域情報が変更された場合、当該領域情報を変更後の領域情報に更新する。
【0078】
<サーバ装置の動作例>
次に、
図6を用いて、実施の形態2にかかるサーバ装置60の動作例を説明する。
図6は、実施の形態2にかかるサーバ装置の動作例を示すフローチャートである。
図6に示すフローチャートは、大きく分けると、ステップS11~S13において実行される音声情報登録処理と、ステップS14~ステップS19において実行される音声情報出力処理とを含む。音声情報登録処理は、音声情報の登録指示をユーザ端末110から受信した場合に実行される。音声情報出力処理は、サーバ装置60が、ユーザ端末120の位置情報及び方向情報を取得するたびに繰り返し実行される。
【0079】
なお、説明を便宜的に行うために、ユーザ端末110の位置情報を第1位置情報とし、ユーザ端末110の方向情報を第1方向情報として記載する。また、ユーザ端末120の位置情報を第2位置情報とし、ユーザ端末120の方向情報を第2方向情報として記載する。
【0080】
受信部61は、音声情報、第1位置情報及び第1方向情報をユーザU1のユーザ端末110から受信する(ステップS11)。受信部61は、音声情報、及び通信端末20の方向情報を通信端末20から受信し、通信端末30の位置情報を通信端末30から受信する。受信部61は、通信端末20の方向情報を、ユーザ端末110の方向情報として生成部62及び出力部63に出力する。受信部61は、通信端末30の位置情報を、ユーザ端末110の位置情報として生成部62及び出力部63に出力する。
【0081】
生成部62は、第1位置情報が示す位置を基準とするジオフェンスを指定する領域情報の生成を行う(ステップS12)。
生成部62は、音声情報と、第1位置情報と、領域情報とを対応付けて記憶部65に登録する(ステップS13)。生成部62は、通信端末20から受信した音声情報と、ユーザ端末110の位置情報と、生成した領域情報とを対応付けて記憶部65に登録する。
【0082】
生成部62は、領域情報の調整及び更新を行う(ステップS14)。生成部62は、ユーザ端末110の位置情報の変化量に基づいて、ユーザ端末110の移動状態を決定し、移動状態に基づいて、生成した領域情報を調整する。生成部62は、受信部61が定期的に受信した、ユーザ端末110の位置情報の単位時間当たりの変化量を算出する。生成部62は、算出した変化量に基づいて、例えば、移動状態判定閾値と比較することにより、ユーザ端末110の移動状態を決定する。生成部62は、決定した移動状態に応じて領域情報を変更し、生成した領域情報を変更後の領域情報に更新する。
【0083】
受信部61は、第2位置情報及び第2方向情報をユーザU2のユーザ端末120から受信する(ステップS15)。受信部61は、通信端末40の方向情報を通信端末40から受信し、通信端末50の位置情報を通信端末50から受信する。受信部61は、通信端末40の方向情報を、ユーザ端末120の方向情報として出力部63に出力する。受信部61は、通信端末50の位置情報を、ユーザ端末120の位置情報として出力部63に出力する。
【0084】
出力部63は、第1位置情報が示す位置と、第2位置情報が示す位置とが所定の距離以内であるか判定する(ステップS16)。出力部63は、第2位置情報が領域情報に含まれるか否かを判定する。出力部63は、第2位置情報が領域情報に含まれる場合、第1位置情報が示す位置と、第2位置情報が示す位置とが所定の距離以内であると判定する。
【0085】
第1位置情報が示す位置と、第2位置情報が示す位置とが所定の距離以内であると判定される場合(ステップS16のYES)、出力部63は、第2方向情報が第1方向情報と類似するか否かを判定する(ステップS17)。出力部63は、第1方向情報が示す方向と、第2方向情報が示す方向とのなす角度が角度閾値以内である場合、第2方向情報が第1方向情報と類似すると判定する。出力部63は、基準方向と、第1方向情報が示す方向とのなす角度を示す角度θ1を算出する。出力部63は、基準方向と、第2方向情報が示す方向とのなす角度を示す角度θ2を算出する。出力部63は、角度θ1と、角度θ2との差分が角度閾値以下である場合、第2方向情報が第1方向情報と類似すると判定する。
【0086】
第2方向情報が第1方向情報と類似すると判定される場合(ステップS17のYES)、出力部63は、受信部61が受信した音声情報を制御部64に出力する(ステップS18)。
【0087】
一方、第1位置情報が示す位置と、第2位置情報が示す位置とが所定の距離以内であると判定されない場合(ステップS16のNO)、サーバ装置60は、ステップS15まで戻り、ステップS15以降を実行する。また、第2方向情報が第1方向情報と類似すると判定されない場合(ステップS17のNO)、サーバ装置60は、ステップS15まで戻り、ステップS15以降を実行する。
【0088】
ステップS19において、制御部64は、音声情報をユーザ端末120に送信する(ステップS19)。制御部64は、通信部としても機能し、音声情報を、それぞれ通信端末40の左ユニット40L及び右ユニット40Rに送信する。
【0089】
以上説明したように、受信部61は、ユーザ端末110の位置情報、ユーザ端末110の方向情報、ユーザ端末120の位置情報、及びユーザ端末120の方向情報を受信する。出力部63は、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似する場合、音声情報を出力する。制御部64は、出力された音声情報を、ユーザ端末120を介してユーザU2の両耳に出力する。すなわち、出力部63は、ユーザ端末110及びユーザ端末120の位置情報及び方向情報を用いた判定処理を行うことで、ユーザU1が音声情報を生成したときの状況と、ユーザU2が音声情報を聴取するときの状況とが類似しているか否かを判定する。出力部63及び制御部64は、ユーザU1が音声情報を生成したときの状況と、ユーザU2が音声情報を聴取するときの状況とが類似している場合、音声情報をユーザU2に出力するように制御する。したがって、実施の形態2にかかる情報処理システム100によれば、ユーザの状況に応じて最適な位置、タイミングで音を聞くことが可能となるように音声情報を登録し、出力できる。これにより、ユーザU2は、ユーザU1が登録した音声情報に共感することができ、さらには、ユーザU1が共有した音声情報から新たな情報を取得できる。
【0090】
(変形例1)
実施の形態2では、生成部62は、ユーザ端末110の位置情報に基づいて、ユーザ端末110の移動状態を決定したが、サーバ装置60は、ユーザ端末110から速度情報を受信し、受信した速度情報に基づいてユーザ端末110の移動状態を決定してもよい。
【0091】
通信端末20は、9軸センサ(3軸加速度センサ、3軸ジャイロセンサ、3軸コンパスセンサ)等を含む構成である。そのため、通信端末20は、9軸センサにより、通信端末20の速度情報が取得可能である。通信端末20は、通信端末20の速度情報を取得し、取得した速度情報をサーバ装置60に送信する。受信部61は、通信端末20から速度情報を受信し、受信した速度情報を、ユーザ端末110の速度情報として生成部62に出力する。生成部62は、速度情報に基づいて、ユーザ端末110の移動状態を決定してもよい。なお、生成部62は、実施の形態2と同様に、決定した移動状態に基づいて、領域情報を調整してもよい。このように、実施の形態2を、変形例1のようにしても、実施の形態2と同様の効果を得ることができる。なお、実施の形態2と、変形例1とを組み合わせてもよい。
【0092】
(変形例2)
実施の形態2にかかるサーバ装置60が、ユーザU1及びユーザU2の属性情報を用いて、ユーザU2に音声情報を出力させるか否かを判定するように変形を施してもよい。
【0093】
この場合、記憶部65が、ユーザ端末110を利用するユーザU1の属性情報、及びユーザ端末120を利用するユーザU2の属性情報を記憶する。属性情報は、例えば、性別、趣味、嗜好等を含み得る。
【0094】
出力部63は、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似するか否かを判定する。出力部63は、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似する場合、ユーザU1及びU2の属性情報を用いた判定処理を行う。
【0095】
出力部63は、ユーザU1及びU2の属性情報を記憶部65から取得する。属性情報が、例えば、性別、趣味、及び嗜好を含む場合、出力部63は、ユーザU1の属性情報が、ユーザU2の属性情報と全て一致する場合、音声情報を出力してもよい。もしくは、出力部63は、ユーザU1の属性情報の少なくとも1つが、ユーザU2の属性情報と一致している場合、音声情報を出力してもよい。このようにすれば、ユーザU2は、ユーザU1が登録した音声情報により共感することができ、ユーザU1が共有した音声情報から自身に合った有効な情報を取得できる。
【0096】
(実施の形態3)
続いて、実施の形態3について説明する。実施の形態3は、実施の形態2の改良例である。
<情報処理システムの構成例>
図7を用いて、実施の形態3にかかる情報処理システム1000の構成例について説明する。
図7は、実施の形態3にかかる情報処理システムの構成例を示す図である。情報処理システム1000は、ユーザ端末110と、ユーザ端末120と、サーバ装置600とを備える。ユーザ端末110は、通信端末20及び30を備える。ユーザ端末120は、通信端末40及び50を備える。
【0097】
情報処理システム1000は、実施の形態2にかかるサーバ装置60がサーバ装置600に置き換わった構成である。通信端末20、30、40及び50の構成例及び動作例については、実施の形態2と基本的に同様であるため、適宜説明を割愛しながら説明する。
【0098】
<サーバ装置の構成例>
サーバ装置600の構成例について説明する。サーバ装置600は、受信部61と、生成部62と、出力部631と、制御部641と、記憶部65とを備える。サーバ装置600は、実施の形態2における出力部63が出力部631に置き換わり、実施の形態2における制御部64が制御部641に置き換わった構成である。受信部61、生成部62及び記憶部65は、実施の形態2と基本的に同様であるため適宜説明を割愛する。
【0099】
出力部631は、実施の形態2と同様に、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似するか否かを判定する。
【0100】
出力部631は、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似する場合、音像定位用情報を生成する。出力部631は、ユーザ端末110の位置情報が示す位置を音像定位位置とする音像定位用情報を生成する。
【0101】
出力部631は、ユーザ端末110の位置情報、ユーザ端末120の位置情報、及びユーザ端末120の方向情報に基づいて、ユーザ端末110の位置情報が示す位置を音像定位位置とする音像定位用情報を生成する。
【0102】
音像定位用情報は、音声情報に対して音像定位処理を実行するために用いられるパラメータである。換言すると、音像定位用情報は、音声情報が、音像定位位置であるユーザ端末110の位置情報が示す位置からの音として聴取できるように補正するためのパラメータである。換言すると、出力部631は、ユーザU1の位置からの音として聴取できるように補正するためのパラメータである音像定位用情報を生成する。
【0103】
出力部631は、ユーザ端末120の位置情報と、ユーザ端末120の方向情報及びユーザ端末110の位置情報とに基づいて、左ユニット40L用の左耳用音像定位用情報及び右ユニット40R用の右耳用音像定位用情報を生成する。出力部631は、左耳用音像定位用情報と、右耳用音像定位用情報とを含む音像定位用情報、及び受信部61が受信した音声情報を制御部641に出力する。
【0104】
制御部641は、出力された音声情報を、出力部631が生成した音像定位用情報に基づいて音像定位処理を実行する。換言すると、制御部641は、取得した音声情報を、音像定位用情報に基づいて補正する。制御部641は、左耳用音像定位用情報に基づいて、音声情報を補正して、左耳用音声情報を生成する。制御部641は、右耳用音像定位用情報に基づいて、音声情報を補正して、右耳用音声情報を生成する。
【0105】
制御部641は、通信部としても機能し、左耳用音声情報及び右耳用音声情報を、それぞれ通信端末40の左ユニット40L及び右ユニット40Rに送信する。制御部641は、出力部631が音像定位用情報を生成するごとに、最新の音像定位用情報に基づいて、左耳用音声情報及び右耳用音声情報を生成し、左ユニット40L及び右ユニット40Rに送信する。制御部641は、通信端末40の左ユニット40L及び右ユニット40Rの出力部42に、左耳用音声情報及び右耳用音声情報を出力するように制御する。
【0106】
<通信端末の構成例>
次に、通信端末40の構成例について実施の形態2との差分を説明する。
出力部42は、通信部としても機能し、音像定位処理が実行された音声情報をサーバ装置600から受信し、受信した音声情報をユーザの耳に出力する。出力部42は、音像定位処理が実行された音声情報をサーバ装置600から受信した場合、所定のタイミングで、出力されている音声情報から、受信した音声情報に切り替えて出力する。音像定位処理が実行された音声情報は、左ユニット40Lのための左耳用音声情報と、右ユニット40Rのための右耳用音声情報とを含む。左ユニット40Lの出力部42は、左耳用音声情報を出力し、右ユニット40Rの出力部42は、右耳用音声情報を出力する。
【0107】
<サーバ装置の動作例>
次に、
図8を用いて、実施の形態3にかかるサーバ装置600の動作例を説明する。
図8は、実施の形態3にかかるサーバ装置の動作例を示すフローチャートである。
図8は、
図6に対応し、
図6におけるステップS18以降が異なる。ステップS17までは、
図6に示すフローチャートと同様であるため説明を適宜割愛する。
【0108】
第2方向情報が第1方向情報と類似すると判定される場合(ステップS17のYES)、出力部631は、第1位置情報、第2位置情報、及び第2方向情報に基づいて、第1位置情報が示す位置を音像定位位置とする音像定位用情報を生成する(ステップS601)。出力部631は、第2位置情報と、第2方向情報及び第1位置情報とに基づいて、左ユニット40L用の左耳用音像定位用情報及び右ユニット40R用の右耳用音像定位用情報を生成する。
【0109】
ステップS602において、出力部631は、左耳用音像定位用情報と、右耳用音像定位用情報とを含む音像定位用情報、及び受信部61が受信した音声情報を制御部641に出力する(ステップS602)。
【0110】
制御部641は、音声情報を補正し、補正された音声情報をユーザ端末120に送信する(ステップS603)。制御部641は、出力された音声情報を、出力部631が生成した音像定位用情報に基づいて音像定位処理を実行する。制御部641は、左耳用音像定位用情報に基づいて、音声情報を補正して、左耳用音声情報を生成する。制御部641は、右耳用音像定位用情報に基づいて、音声情報を補正して、右耳用音声情報を生成する。制御部641は、通信部としても機能し、左耳用音声情報及び右耳用音声情報を、それぞれ通信端末40の左ユニット40L及び右ユニット40Rに送信する。
【0111】
以上説明したように、実施の形態2を、実施の形態3のように構成しても、実施の形態2と同様の効果を有することができる。また、本実施の形態では、出力部631は、ユーザ端末110の位置情報が示す位置を音像定位位置とする音像定位用情報を生成する。出力部631が生成する音像定位用情報は、ユーザU1の位置を音像定位位置とする音像定位用情報である。そのため、ユーザU2は、ユーザU1が登録した音声情報を、ユーザU1が話しているかのように聴取することができる。したがって、実施の形態3にかかる情報処理システム1000によれば、ユーザU1が語りかけてくるかのような音声情報をユーザU2に出力できるため、現実空間に近い体感をユーザに提供可能となる。
【0112】
(実施の形態4)
続いて、実施の形態4について説明する。実施の形態4は、実施の形態2の改良例であり、実施の形態3の変形例である。実施の形態4は、実施の形態3を用いて説明される。実施の形態3では、サーバ装置60が、音声情報に対する音像定位処理を実行していたが、実施の形態4では、ユーザ端末120が、音声情報に対する音像定位処理を実行する。なお、実施の形態4は、実施の形態3と同様の構成及び動作を含むため、同様の構成及び動作については適宜説明を割愛する。
【0113】
<情報処理システムの構成例>
図9を用いて、実施の形態4にかかる情報処理システム200について説明する。
図9は、実施の形態4にかかる情報処理システムの構成例を示す図である。情報処理システム200は、ユーザ端末110と、ユーザ端末120と、サーバ装置80とを備える。ユーザ端末110は、通信端末20及び30を備える。ユーザ端末120は、通信端末50及び70を備える。
【0114】
情報処理システム200は、実施の形態3にかかる通信端末40が通信端末70に置き換わり、サーバ装置60がサーバ装置80に置き換わった構成である。通信端末20、30及び50の構成例及び動作例については、実施の形態3と同様であるため、適宜説明を割愛する。
【0115】
<通信端末の構成例>
次に、通信端末70の構成例について説明する。通信端末70は、方向情報取得部41と、制御部71と、出力部42とを備える。通信端末70は、実施の形態3にかかる通信端末40の構成に、制御部71が追加された構成である。方向情報取得部41及び出力部42の構成は、実施の形態3と基本的に同様であるため、適宜説明を割愛する。なお、本実施の形態では、通信端末70が制御部71を備える構成としているが、通信端末50が制御部71を備え、通信端末70が制御部71を備えない構成としてもよい。
【0116】
制御部71は、サーバ装置80と通信を行う。制御部71は、サーバ装置80の出力部81から音声情報及び音像定位用情報を受信する。制御部71は、音像定位用情報に基づいて、音声情報に対して音像定位処理を実行する。換言すると、制御部71は、音像定位用情報に基づいて音声情報を補正する。
【0117】
音像定位用情報は、実施の形態3と同様に、左耳用音像定位用情報と、右耳用音像定位用情報とを含む。制御部71は、左耳用音像定位用情報に基づいて音声情報を補正して、左耳用音声情報を生成し、右耳用音像定位用情報に基づいて音声情報を補正して、右耳用音声情報を生成する。
【0118】
制御部71は、左耳用音声情報及び右耳用音声情報を出力部42に出力する。制御部71は、出力部81から音像定位用情報を生成するごとに、最新の音像定位用情報に基づいて、左耳用音声情報及び右耳用音声情報を生成し、左耳用音声情報及び右耳用音声情報を出力部42に出力する。
【0119】
出力部42は、制御部71により音像定位処理が実行された音声情報を入力し、入力した音声情報をユーザの耳に出力する。左ユニット40Lの出力部42は、左耳用音声情報を出力し、右ユニット40Rの出力部42は、右耳用音声情報を出力する。出力部42は、音像定位処理が実行された音声情報を制御部71から受信した場合、所定のタイミングで、出力されている音声情報から、受信した音声情報に切り替えて出力する。
【0120】
<サーバ装置の構成例>
次に、サーバ装置80の構成例について説明する。サーバ装置80は、受信部61と、生成部62と、出力部81と、記憶部65を備える。サーバ装置80は、実施の形態3にかかる制御部641を備えず、出力部631が出力部81に置き換わった構成である。受信部61、生成部62及び記憶部65の構成は、実施の形態3と基本的に同様であるため、適宜説明を割愛する。
【0121】
出力部81は、通信部としても機能し、出力部81が生成した、左耳用音像定位用情報と、右耳用音像定位用情報とを含む音像定位用情報を制御部71に送信(出力)する。出力部81は、音像定位用情報を生成するごとに音像定位用情報を制御部71に送信する。出力部81は、最新の音像定位用情報で音像定位処理を行うように制御部71を制御する。
【0122】
また、出力部81は、音像定位用情報の生成に使用した音像定位位置情報に対応付けられた音声情報を記憶部65から取得する。出力部81は、取得した音声情報を制御部71に送信(出力)する。なお、出力部81は、音像定位用情報を生成した場合、制御部71に音声情報を既に送信している場合、制御部71に音声情報を再度送信しない。
【0123】
<情報処理システムの動作例>
次に、実施の形態4にかかる情報処理システム200の動作例について説明する。情報処理システム200の動作例については、
図8に示した動作例と基本的に同様であるため、
図8を参照して説明を行う。
【0124】
ステップS11~S17及びS601までの動作は、
図8と同様であるため、説明を割愛する。
出力部81は、音像定位用情報を制御部71に出力(送信)する(ステップS602)。出力部81は、生成した音像定位用情報を制御部71に送信する。また、出力部81は、音像定位用情報の生成に使用した音像定位位置情報に対応付けられた音声情報を記憶部65から取得する。出力部81は、取得した音声情報を制御部71に送信(出力)する。
【0125】
制御部71は、音声情報を補正し、補正された音声情報を出力部42に送信(出力)する(ステップS603)。制御部71は、音声情報及び音像定位用情報を出力部81から受信する。制御部71は、音声情報を、音像定位用情報に基づいて補正し、補正された音声情報を出力部42に送信(出力)する。
【0126】
このように、実施の形態3の構成を実施の形態4のように構成しても、実施の形態3と同様の効果を有することができる。また、実施の形態4は、音声情報に対する音像定位処理を通信端末70が実行する構成である。実施の形態3のようにサーバ装置80が、全ての通信端末に出力する音声情報に対して音像定位処理を行うと、通信端末の数が増えるにつれて、サーバ装置80の処理負荷が増大してしまう。そのため、通信端末の数に応じて、サーバ装置を増設する必要性が生じる。これに対して、実施の形態4では、サーバ装置80は、音声情報に対する音像定位処理を実行せず、通信端末70が実行するため、サーバ装置80の処理負荷を軽減させることができ、サーバ増設に伴う設備費用を抑制することができる。
【0127】
さらに、実施の形態4のように構成すれば、ネットワーク負荷を抑制することができる。実施の形態3では、音像定位用情報が更新されるたびに、補正された音声情報を送信しなければならない。これに対して、実施の形態4では、出力部81は、制御部71に音声情報を既に送信した場合、音声情報を再度送信せず、音像定位用情報のみを送信すればよい。したがって、実施の形態4のように構成すれば、ネットワーク負荷を抑制することができる。
【0128】
(実施の形態5)
実施の形態5は、実施の形態3及び4の改良例である。そのため、実施の形態5では、実施の形態3を用いて、実施の形態3との差分を説明する。実施の形態3及び4では、ユーザU1は、音声情報をユーザU1の位置に仮想的に設置し、ユーザU1が音声情報の内容を発するように補正された音声情報をユーザU2に出力する実施の形態であった。近年、擬人化されたオブジェクトから発せられた音をユーザに提供する音声サービスが検討されている。
図3に示した一例を用いると、ユーザU1は、ユーザU1の位置ではなく、対象物Oに音声情報を仮想的に設置し、対象物OがユーザU2に話しかけているかのように音声情報をユーザU2に聴取させたいという要望もあり得る。このように、擬人化されたオブジェクトから音声情報が出力されることで、ユーザに対して現実空間では味わうことができない仮想体験を提供できる。本実施の形態では、ユーザU1が、対象物Oに音声情報を仮想的に設置し、対象物Oから音声情報が出力されるような構成を実現する。
【0129】
<情報処理システムの構成例>
図10を用いて、実施の形態5にかかる情報処理システム300について説明する。
図10は、実施の形態5にかかる情報処理システムの構成例を示す図である。情報処理システム300は、ユーザ端末110と、ユーザ端末120と、サーバ装置130とを備える。ユーザ端末110は、通信端末20及び90を備える。ユーザ端末120は、通信端末40及び50を備える。
【0130】
情報処理システム300は、実施の形態3にかかる通信端末30が通信端末90に置き換わり、サーバ装置60がサーバ装置130に置き換わった構成である。通信端末20、40及び50の構成例及び動作例については、実施の形態3と基本的に同様であるため適宜説明を割愛する。
【0131】
<通信端末の構成例>
次に、通信端末20の構成例について説明する。音声情報取得部21は、ユーザU1から音声情報の登録指示を入力する。本実施の形態では、音声情報の登録指示は、音声情報をユーザU1が指定した位置に仮想的に設置するように音声情報を登録する指示である。音声情報が仮想的に設置される位置は、音声情報に関連する対象物があり、当該対象物の位置情報を示す対象物位置情報が取得されるか否かに応じて決定される。
【0132】
具体的には、音声情報が仮想的に設置される位置は、対象物位置情報が取得されない場合、ユーザU1の位置に決定され、対象物位置情報が取得される場合、対象物位置情報に基づいて決定される。なお、音声情報が仮想的に設置される位置は、ユーザU1の位置とするか、又は音声情報に関連する対象物の位置がある場合、当該位置とするかをユーザU1が選択できるようにしてもよい。
【0133】
次に、通信端末90の構成例について説明する。通信端末90は、位置情報取得部31と、対象物関連情報生成部91とを備える。通信端末90は、実施の形態3における通信端末30の構成に、対象物関連情報生成部91が追加された構成である。位置情報取得部31の構成は、実施の形態3と基本的に同様であるため適宜説明を割愛する。なお、本実施の形態では、通信端末90が対象物関連情報生成部91を備える構成としているが、通信端末20が対象物関連情報生成部91を備え、通信端末90が対象物関連情報生成部91を備えない構成としてもよい。
【0134】
対象物関連情報生成部91は、音声情報に関連する対象物があるか否かを示す対象物情報を生成する。対象物は、音像を定位させる物体であり、例えば、建物や施設、店舗に限らず、標識、看板、マネキン、マスコット人形、動物等、種々の物体を含むことができる。
【0135】
対象物関連情報生成部91は、例えば、タッチパネル等の入力部としても機能する。対象物関連情報生成部91は、ユーザU1から音声情報の登録指示が入力され、通信端末20から当該登録指示を受信した場合、音声情報に関連する対象物の有無をユーザU1に入力させ、入力された情報に基づいて対象物情報を生成する。ユーザU1が、対象物があることを入力した場合、対象物関連情報生成部91は、音声情報に関連する対象物があることを示す対象物情報を生成する。ユーザU1が、対象物がないことを入力した場合、対象物関連情報生成部91は、音声情報に関連する対象物がないことを示す対象物情報を生成する。
【0136】
もしくは、対象物関連情報生成部91は、音声情報が対象物に関連するのか、独り言であるのかをユーザU1に入力させ、入力された情報に基づいて対象物情報を生成してもよい。ユーザU1が、音声情報が、対象物に関連することを入力した場合、対象物関連情報生成部91は、音声情報に関連する対象物があることを示す対象物情報を生成する。ユーザU1が、音声情報が、独り言であることを入力した場合、対象物関連情報生成部91は、音声情報に関連する対象物がないことを示す対象物情報を生成する。
【0137】
もしくは、対象物関連情報生成部91は、例えば、マイクを含み音声認識可能に構成され、ユーザU1の音声に基づいて対象物情報を生成してもよい。対象物関連情報生成部91は、通信端末20から音声情報の登録指示を受信した場合、ユーザU1からの音声を入力可能な状態になる。ユーザU1が、例えば、「対象物あり」又は「対象物は対象物Oです」のような対象物があることを発した場合、対象物関連情報生成部91は、音声情報に関連する対象物があることを示す対象物情報を生成してもよい。ユーザU1が、例えば、「対象物なし」のような対象物がないことを発した場合、又は一定時間内に、対象物があることを発しない場合、対象物関連情報生成部91は、音声情報に関連する対象物がないことを示す対象物情報を生成してもよい。
【0138】
また、対象物関連情報生成部91は、音声情報に関連する対象物がある場合であって、当該対象物に音声情報が仮想的に設置される場合、音声情報が仮想的に設置される対象物の位置情報を示す対象物位置情報を生成する。なお、対象物関連情報生成部91は、対象物情報が、音声情報に関連する対象物がないことを示す場合、対象物位置情報を生成しない。
【0139】
対象物関連情報生成部91は、例えば、タッチパネル等の入力部としても機能する。ユーザU1が、音声情報に関連する対象物があることを入力した場合、対象物関連情報生成部91は、音声情報を仮想的に設置する対象物の位置情報を示す対象物位置情報をユーザU1に入力させる。対象物関連情報生成部91は、例えば、緯度経度をユーザU1に入力させてもよく、タッチパネル上に表示させた地図から位置をユーザU1に選択させてもよい。対象物関連情報生成部91は、入力された緯度経度又は選択された地図上の位置に基づいて、対象物位置情報を生成する。ユーザU1が、緯度経度を入力しない場合、又は地図上の位置を選択しない場合、対象物関連情報生成部91は、対象物位置情報を生成しない。
【0140】
もしくは、対象物関連情報生成部91は、音声情報に関連する対象物があることが入力された場合、ユーザU1が発した音声を音声認識可能に構成される。ユーザU1が、対象物の位置を特定可能な音声を発した場合、対象物関連情報生成部91は、ユーザU1が発した音声に基づいて、対象物位置情報を生成してもよい。もしくは、対象物関連情報生成部91は、対象物名と、対象物位置情報とを対応付けて記憶し、ユーザU1が発した対象物名に基づいて、対象物位置情報を特定し、特定した対象物位置情報を対象物位置情報として生成してもよい。ユーザU1が、一定時間内に、対象物の位置を特定可能な音声を発しない場合、対象物関連情報生成部91は、対象物位置情報を生成しない。
【0141】
もしくは、対象物関連情報生成部91は、例えば、カメラを含むように構成され、ユーザU1が撮像した画像を画像解析し、対象物を特定するとともに、対象物の位置情報を特定し、特定した位置情報に基づいて対象物位置情報を生成してもよい。ユーザU1が、撮像しない場合、対象物関連情報生成部91は、対象物位置情報を生成しない。なお、通信端末30が、例えば、ユーザU1の顔に装着される通信端末である場合、対象物関連情報生成部91は、ユーザU1の視線方向を推定可能に構成されてもよい。この場合、対象物関連情報生成部91は、ユーザU1が撮像した画像と、ユーザU1の視線方向とに基づいて、対象物及び対象物の位置の特定し、特定した位置に基づいて、対象物位置情報を生成してもよい。
【0142】
もしくは、対象物関連情報生成部91は、複数の対象物の位置情報を記憶し、通信端末20の方向情報及び通信端末30の位置情報に基づき、記憶された対象物の位置情報から特定された対象物位置情報を対象物位置情報として生成してもよい。もしくは、対象物関連情報生成部91は、対象物の位置情報を記憶し、かつユーザの視線方向を特定可能に構成され、通信端末20の方向情報、通信端末30の位置情報及びユーザU1の視線方向を用いて、対象物位置情報を特定してもよい。そして、対象物関連情報生成部91は、特定した位置情報を対象物位置情報として生成してもよい。対象物関連情報生成部91は、ユーザU1が、対象物位置情報を設定しないことを入力した場合、生成した対象物位置情報を破棄する。
【0143】
対象物関連情報生成部91は、対象物情報をサーバ装置60に送信する。対象物関連情報生成部91は、対象物位置情報を生成した場合、対象物位置情報をサーバ装置60に送信する。
【0144】
<サーバ装置の構成例>
次に、サーバ装置130の構成例について説明する。サーバ装置130は、受信部131と、生成部132と、出力部133と、制御部64と、記憶部134を備える。サーバ装置130は、実施の形態3にかかる受信部61、生成部62、出力部63及び記憶部65が、それぞれ受信部131、生成部132、出力部133及び記憶部134に置き換わった構成である。制御部64の構成は、実施の形態3と基本的に同様であるため適宜説明を割愛する。
【0145】
受信部131は、対象物情報を対象物関連情報生成部91から受信する。受信部131は、対象物関連情報生成部91が対象物位置情報を送信した場合、対象物位置情報を対象物関連情報生成部91から受信する。
【0146】
生成部132は、生成した領域情報を、ユーザ端末110の位置情報、対象物情報、対象物位置情報及び音声情報と対応付けて記憶部134に登録する。生成部132は、対象物位置情報が受信されない場合、対象物位置情報を記憶部134に登録しない。
【0147】
出力部133は、実施の形態3と同様に、基準方向と、ユーザ端末110の方向情報が示す方向とのなす角度を示す角度θ1と、上記基準方向と、ユーザ端末120の方向情報が示す方向とのなす角度を示す角度θ2とを用いた判定を行う。
【0148】
出力部133は、受信部131が受信した対象物情報を用いて、音声情報に関連する対象物があるか否かに応じて、角度θ1及び角度θ2を用いた判定で使用する角度閾値を設定する。出力部133は、対象物情報が、音声情報に関連する対象物があることを示す場合、角度閾値を第1角度閾値に設定し、対象物情報が、音声情報に関連する対象物がないことを示す場合、角度閾値を第1角度閾値よりも大きい第2角度閾値に設定する。出力部133は、第1角度閾値を、例えば、30°に設定し、第2角度閾値を、例えば、60°~180°のうちの任意の角度に設定してもよい。
【0149】
音声情報に関連する対象物がある場合、ユーザU2が当該対象物の方向を向いていなければ、ユーザU2は、対象物に関連する音声情報の内容を把握できない可能性がある。そのため、音声情報に関連する対象物がある場合、出力部133は、角度閾値を比較的小さい値に設定する。一方、例えば、ユーザU1が、風景に関する感想を音声情報として生成する場合もあるため、出力部133は、音声情報に関連する対象物がない場合、対象物がある場合と比較して角度閾値を大きい値に設定する。このように、出力部133が、音声情報に関連する対象物があるか否かに応じて角度閾値を設定するため、ユーザU2は、出力された音声情報の内容を把握し易くなる。
【0150】
出力部133は、ユーザ端末110の位置情報が示す位置と、ユーザ端末120の位置情報が示す位置とが所定の距離以内であり、ユーザ端末120の方向情報がユーザ端末110の方向情報と類似する場合、音像定位用情報を生成する。
【0151】
出力部133は、対象物位置情報が受信されたか否かに応じて、音像定位位置を設定して音像定位用情報を生成する。出力部133は、対象物位置情報が受信された場合、対象物位置情報、ユーザ端末120の位置情報、及びユーザ端末120の方向情報に基づいて、対象物位置情報が示す位置を音像定位位置とする音像定位用情報を生成する。また、出力部133は、対象物位置情報が受信されない場合、ユーザ端末110の位置情報、ユーザ端末120の位置情報、及びユーザ端末120の方向情報に基づいて、ユーザ端末110の位置情報が示す位置を音像定位位置とする音像定位用情報を生成する。
【0152】
記憶部134は、生成部132の制御に応じて、音声情報、通信端末90の位置情報、対象物位置情報及び領域情報を対応付けて記憶する。また、記憶部134は、生成部132の制御に応じて、領域情報が変更された場合、当該領域情報を変更後の領域情報に更新する。
【0153】
<サーバ装置の動作例>
次に、
図11及び
図12を用いて、実施の形態5にかかるサーバ装置130の動作例について説明する。
図11及び
図12は、実施の形態5にかかるサーバ装置の動作例を示すフローチャートである。
図11及び
図12は、
図8に対応しており、
図8に示した動作に加えて、ステップS31~S35が追加されている。
図9及び
図10のステップS11~S17及びS601~S603は、
図8と基本的に同様であるため適宜割愛しながら説明する。
【0154】
図11及び
図12に示すフローチャートのうち、ステップS14までが音声情報登録処理として実行され、ステップS15以降が音声情報出力処理として実行される。
図8と同様に、音声情報登録処理は、音声情報の登録指示をユーザ端末110から受信した場合に実行され、音声情報出力処理は、サーバ装置130が、ユーザ端末120の位置情報及び方向情報を取得するたびに繰り返し実行される。
【0155】
なお、説明を便宜的に行うために、
図11及び
図12においても、ユーザ端末110の位置情報を第1位置情報とし、ユーザ端末110の方向情報を第1方向情報として記載する。また、ユーザ端末120の位置情報を第2位置情報とし、ユーザ端末120の方向情報を第2方向情報として記載する。
【0156】
受信部131は、対象物情報及び対象物位置情報をユーザU1のユーザ端末110から受信する(ステップS31)。なお、対象物関連情報生成部91が対象物位置情報を生成しない場合、受信部131は、対象物位置情報を受信しない。
【0157】
生成部132は、第1位置情報が示す位置を基準とする領域情報を生成し(ステップS12)、生成した領域情報を、ユーザ端末110の位置情報、対象物情報、対象物位置情報及び音声情報と対応付けて記憶部134に登録する(ステップS32)。
【0158】
受信部131は、第2位置情報及び第2方向情報をユーザU2のユーザ端末120から受信し(ステップS15)、出力部133は、第1位置情報が示す位置と、第2位置情報が示す位置とが所定の距離以内であるか判定する(ステップS16)。
【0159】
第1位置情報が示す位置と、第2位置情報が示す位置とが所定の距離以内である場合(ステップS16のYES)、出力部133は、対象物情報に基づいて角度閾値を設定する(ステップS33)。出力部133は、対象物情報が、音声情報に関連する対象物があることを示す場合、角度閾値を第1角度閾値に設定し、対象物情報が、音声情報に関連する対象物がないことを示す場合、角度閾値を第1角度閾値よりも大きい第2角度閾値に設定する。
【0160】
出力部133は、第2方向情報が第1方向情報と類似するか否かを、ステップS33において設定した角度閾値を用いて判定する(ステップS17)。
第2方向情報が第1方向情報と類似する場合(ステップS17のYES)、出力部133は、対象物位置情報が受信されたか否かを判定する(ステップ34)。
【0161】
対象物位置情報が受信された場合(ステップ34のYES)、出力部133は、対象物位置情報に基づく音像定位用情報を生成する(ステップS35)。出力部133は、対象物位置情報が受信された場合、対象物位置情報、第2位置情報、及び第2方向情報に基づいて、対象物位置情報が示す位置を音像定位位置とする音像定位用情報を生成する。
【0162】
一方、対象物位置情報が受信されない場合(ステップ34のNO)、出力部133は、第1位置情報に基づく音像定位用情報を生成する(ステップS601)。出力部133は、対象物位置情報が受信されない場合、第1位置情報、第2位置情報、及び第2方向情報に基づいて、第1位置情報が示す位置を音像定位位置とする音像定位用情報を生成する。
【0163】
出力部133は、音像定位用情報、及びユーザ端末110の位置情報を制御部64に出力し(ステップS602)、制御部64は、音声情報を補正し、補正された音声情報をユーザ端末120(通信端末40)に送信する(ステップS603)。
【0164】
以上のように、実施の形態3及び4を、実施の形態5のようにしても、実施の形態3及び4と同様の効果を得ることができる。また、実施の形態5では、ユーザU1は、音声情報を仮想的に対象物に設置でき、ユーザU2は、対象物が話しかけてくるような音声情報を聴取できる。したがって、実施の形態5によれば、ユーザに対して現実空間では味わうことができない仮想体験を提供できる。
【0165】
(変形例1)
実施の形態5では、出力部133は、対象物情報に基づいて、音声情報に関連する対象物があるか否かを判定したが、出力部133は、ユーザ端末110の位置情報、及びユーザ端末110の方向情報に基づいて、対象物があるか否かを判定してもよい。
【0166】
この場合、対象物関連情報生成部91は、対象物情報を生成せず、音声情報が対象物に仮想的に設置される場合に対象物位置情報を生成する。出力部133は、ユーザ端末110の位置情報の変化量、及びユーザ端末110の方向情報の変化量に基づいて、対象物があるか否かを判定してもよい。出力部133は、ユーザ端末110の位置情報の変化量が所定値以下である場合、及びユーザ端末110の方向情報の変化量が所定値以下である場合の少なくとも1つを満たす場合、対象物があると判定してもよい。
【0167】
ユーザU1は、対象物に向かって、対象物に関する感想等を録音する場合、対象物を見ながら、録音することが想定される。そのため、出力部133は、ユーザ端末110の位置情報、及びユーザ端末110の方向情報を用いて、ユーザU1が、違う位置に移動せず、同じ方向を継続して向いているかを判定する。そして、出力部133は、ユーザU1が、違う位置に移動せず、同じ方向を継続して向いている場合、対象物に向かって、対象物に関する感想等を録音していると判定する。なお、ユーザ端末110の位置情報の変化量及び方向情報の変化量は、ユーザ端末110が音声情報の生成を開始したときから終了したときの変化量でもよく、音声情報を生成開始直前から生成終了までの間の変化量でもよい。
【0168】
(変形例2)
実施の形態5において、出力部133は、ユーザ端末110の位置情報、ユーザ端末110の方向情報及び過去の履歴情報に基づいて、対象物があるか否かを判定するようにしてもよい。履歴情報は、複数のユーザから過去に受信された位置情報と、複数のユーザから過去に受信された方向情報と、当該位置情報及び当該方向情報に対応付けた対象物に関する情報とが関連付けて登録されたデータベースでもよく、記憶部134に記憶される。出力部133は、ユーザ端末110の位置情報、ユーザ端末110の方向情報及び履歴情報に基づいて、音声情報に関連する対象物があるか否かを判定してもよい。
【0169】
出力部133は、ユーザ端末110の位置情報、及びユーザ端末110の方向情報と、履歴情報に含まれる位置情報及び方向情報との類似度を算出し、類似度が高いレコードの対象物情報に基づいて対象物があるか否かを判定してもよい。出力部133は、類似度が最も高いレコードの対象物情報が、対象物があることを示す場合、対象物があると判定してもよい。もしくは、出力部133は、類似度が所定値以上のレコードのうち、対象物があることを示す対象物情報の数が所定数以上である場合、対象物があると判定してもよい。
【0170】
(変形例3)
実施の形態5において、出力部133は、対象物位置情報が受信された場合であって、ユーザU2が当該対象物の方向を向いている場合、音声情報を出力するようにしてもよく、対象物位置情報が示す位置を音像定位位置とする音像定位用情報を生成してもよい。出力部133は、ユーザ端末110の位置情報、ユーザ端末120の位置情報、ユーザ端末120の方向情報、及びユーザ端末110の方向情報に基づく判定に加えて、以下のようにしてもよい。
【0171】
出力部133は、対象物位置情報が受信され、領域情報がユーザ端末120の位置情報を含み、ユーザ端末120の方向情報が示す方向に対象物位置情報が示す位置が存在する場合、対象物の位置を音像定位位置とする音像定位用情報を生成してもよい。そして、出力部133は、対象物の位置を音像定位位置とする音像定位用情報と、音声情報とを制御部64に出力し、制御部64は、音像定位用情報に基づき補正された音声情報を、通信端末40に送信してもよい。
【0172】
もしくは、出力部133は、対象物位置情報が受信され、領域情報がユーザ端末120の位置情報を含み、ユーザ端末120の方向情報が示す方向に対象物位置情報が示す位置が存在する場合、音声情報のみを制御部64に出力してもよい。そして、制御部64は、音像定位処理がされていない音声情報を通信端末40に送信してもよい。
【0173】
このようにすれば、ユーザU1の音声情報に関連する対象物を、ユーザU2が見ている場合に、音声情報を出力できるため、ユーザU2は、音声情報の内容をさらに把握できる。
【0174】
(変形例4)
実施の形態5において、制御部64は、ユーザU1が、音声情報を仮想的に設置した設置位置を示す設置位置情報を、ユーザU2が閲覧可能にしてもよい。この場合、受信部131は、ユーザ端末120から設置位置情報の閲覧要求を受信する。記憶部134は、設置位置情報テーブルを記憶する。生成部132は、ユーザ端末110から対象物位置情報が受信された場合、対象物位置情報を設置位置情報として設置位置情報テーブルに記憶する。生成部132は、ユーザ端末110から対象物位置情報が受信されない場合、ユーザ端末110の位置情報を設置位置情報として設置位置情報テーブルに記憶する。制御部64は、設置位置情報テーブルに設定された設置位置情報をユーザ端末120に送信する。
【0175】
制御部64は、設置位置情報をリスト化し、リスト化したリスト情報を、ユーザ端末120に送信してもよい。なお、記憶部134が、例えば、観光地等のスポット名と、位置情報とが対応付けられたデータベースを記憶し、制御部64は、当該データベースから対象物位置情報に対応するスポット名が取得できた場合、スポット名もリストに含めてもよい。
【0176】
また、制御部64は、設置位置情報を地図情報に重畳させて、設置位置情報が重畳された地図情報を、ユーザ端末120に送信してもよい。ユーザ端末120は、ディスプレイを含むように構成され、ユーザ端末120は、設置位置情報をディスプレイに表示する。
【0177】
図13及び
図14は、設置位置情報の表示例を示す図である。
図13は、設置位置情報がリスト化されたリスト情報の表示例である。リスト情報は、例えば、住所、スポット名を含み、ユーザ端末120は、リスト情報に含まれる住所及びスポット名を、ユーザ端末120の位置情報が示す位置から近い順に表示する。
【0178】
図14は、設置位置情報が重畳された地図情報の表示例である。ユーザ端末120は、例えば、設置位置情報が三角印でプロットされた地図情報を、ユーザ端末120の位置情報が示す位置を中心位置として表示する。実施の形態5を変形例5のようにすれば、ユーザU2は、ユーザU1が音声情報を仮想的に設置した設置位置を巡り、ユーザU1と情報を共有できる。また、ユーザU1が、音声情報に、次の地点を示す情報を含ませておくことで、ユーザU2を誘導できる。
【0179】
なお、生成部62は、設置位置情報に加えて、設置位置情報が登録された登録日時又は登録順を含めるようにし、制御部64は、設置位置情報に加えて、登録日時又は登録順をユーザ端末120に送信してもよい。このようにすれば、登録日時又は登録順に基づいて、ユーザU1が訪れた順序で、ユーザU2を、音声情報が仮想的に設置された位置に誘導できる。
【0180】
(変形例5)
実施の形態5において、対象物位置情報は、音声情報に関連する対象物がある場合に取得されることとして記載をしたが、実際に対象物があるかどうかと対象物位置情報があるかどうかは一意ではない。そのため、例えば、対象物に向かってユーザU1が音声情報の登録指示を行い、かつ対象物情報位置情報を取得しないことも想定される。したがって、サーバ装置130は、ユーザU2が、ユーザU1の向いている方向を向いていると判別した場合、通信端末40に対してモノラル音声を出力する構成としてもよい。
【0181】
具体的には、出力部133は、ユーザ端末120の位置情報が領域情報に含まれ、ユーザ端末110の方向情報が示す方向と、ユーザ端末120の方向情報が示す方向とのなす角度が角度閾値以下であるかを判定する。出力部133は、判定条件を満たす場合、音像定位用情報を生成せずに、受信部61が受信した音声情報を、制御部64を介して通信端末40に送信する構成としてもよい。
【0182】
(実施の形態6)
実施の形態6は、実施の形態3~5の改良例である。そのため、実施の形態6では、実施の形態3を用いて、実施の形態3との差分を説明する。実施の形態6の詳細を説明する前に、実施の形態6の概要を説明する。
【0183】
図15は、実施の形態6の概要を説明するための図である。
図15において、点線は、ジオフェンスGFを表しており、実線の矢印は、ユーザU1及びU2の方向情報が示す方向を表しており、斜線でハッチングがされた矢印は、ユーザU2の移動方向を表している。ユーザU1は、例えば、建築物等の対象物Oの方向を向いて音声情報を生成し、音声情報の登録指示を行ったとする。そして、ユーザU2は、対象物Oの方から矢印が示す方向に移動し、ジオフェンスGFに入ったとする。ユーザU2がジオフェンスGFに入ったときに、一瞬だけユーザU1の方向と同じ方向を見ることも想定される。この場合、ユーザU2は、ユーザU1の方向と同じ方向を向いているが、移動方向から考えると、直ぐに移動方向と同じ方向を向くことが想定される。したがって、本実施の形態では、ユーザU2が、ジオフェンスGFに入ったときの移動方向を考慮して、ユーザU2に対して音声情報を出力することを実現する。
【0184】
<情報処理システムの構成例>
図16を用いて、実施の形態6にかかる情報処理システム400について説明する。
図16は、実施の形態6にかかる情報処理システムの構成例を示す図である。情報処理システム400は、ユーザ端末110と、ユーザ端末120と、サーバ装置150とを備える。ユーザ端末110は、通信端末20及び30を備える。ユーザ端末120は、通信端末140及び50を備える。
【0185】
情報処理システム400は、実施の形態3にかかる通信端末40が通信端末140に置き換わり、サーバ装置60がサーバ装置150に置き換わった構成である。通信端末20、30及び50の構成例及び動作例については、実施の形態3と基本的に同様であるため、適宜説明を割愛する。
【0186】
<通信端末の構成例>
次に、通信端末140の構成例について説明する。通信端末140は、方向情報取得部141と、出力部42とを備える。通信端末140は、実施の形態3における方向情報取得部41が、方向情報取得部141に置き換わった構成である。出力部42の構成は、実施の形態2と基本的に同様であるため適宜説明を割愛する。
【0187】
方向情報取得部141は、通信端末140の方向情報に加えて、通信端末140の移動方向についての移動方向情報を取得する。方向情報取得部141は、9軸センサを備えるため、通信端末140の移動方向情報も取得できる。方向情報取得部141は、周期的に又は非周期的に移動方向情報を取得する。方向情報取得部141は、取得した移動方向情報をサーバ装置150に送信する。
【0188】
<サーバ装置の構成例>
次に、サーバ装置150の構成例について説明する。サーバ装置150は、受信部151と、生成部62と、出力部152と、制御部64と、記憶部65とを備える。サーバ装置150は、実施の形態3における受信部61及び出力部63が、それぞれ受信部151及び出力部152に置き換わった構成である。生成部62、制御部64及び記憶部65の構成は、実施の形態3と基本的に同様であるため説明を適宜割愛する。
【0189】
受信部151は、実施の形態3における受信部61が受信する情報に加えて、ユーザ端末120の移動方向情報をユーザ端末120から受信する。具体的には、受信部151は、通信端末140の移動方向情報を通信端末140から受信する。受信部151は、通信端末140の移動方向情報をユーザ端末120の移動方向情報として出力部152に出力する。
【0190】
出力部152は、ユーザ端末120の移動方向情報に基づいて、ユーザ端末120のジオフェンスへの進入方向を決定する。出力部152は、決定した進入方向と、ユーザ端末110の方向情報が示す方向とのなす角度が所定の角度範囲以内、進入角度閾値以内であるか判定する。所定の角度範囲は、例えば、0°~90°のうち任意の角度としてもよい。また、進入角度閾値とは、例えば、音声情報の登録指示直前のユーザ端末110の移動方向が、真東方向である場合、その南北45°を含む90°であってもよい。つまり、進入角度閾値は、ユーザ端末110の移動方向を0°と仮定したときの-45°~+45°を含む角度であってもよい。
【0191】
出力部152は、ユーザ端末120の位置情報が領域情報に含まれたときのユーザ端末120の移動方向情報が示す方向を、ユーザ端末120のジオフェンスへの進入方向として決定する。出力部152は、進入方向と、ユーザ端末110の方向情報が示す方向とのなす角度を算出する。出力部152は、算出した角度が、所定の角度範囲以内である場合、ユーザ端末110の位置情報が示す位置を音像定位位置とする音像定位用情報を出力する。なお、出力部152は、基準方向と、移動方向情報が示す方向とのなす角度を算出し、角度θ1との差分が所定の角度範囲以内であるかを判定してもよい。通信端末140のジオフェンスへの進入方向を決定することは、ジオフェンスへの進入角度を決定しているともいえる。そのため、出力部152は、通信端末140のジオフェンスへの進入角度と、角度θ1との差分が所定の角度範囲以内であるかを判定しているとも言える。
【0192】
<サーバ装置の動作例>
次に、
図17を用いて、実施の形態6にかかるサーバ装置150の動作例について説明する。
図17は、実施の形態6にかかるサーバ装置の動作例を示すフローチャートである。
図17は、
図8に対応しており、
図8のステップS15が、ステップS41に置き換わり、ステップS42及びS43が追加されたフローチャートである。ステップS11~S14及びS16、S17、及びS601~S603は、
図8と基本的に同様であるため適宜説明を割愛する。
【0193】
受信部151は、第2位置情報、第2方向情報及び移動方向情報をユーザU2のユーザ端末120から受信する(ステップS41)。受信部151は、通信端末140の方向情報及び移動方向情報を通信端末140から受信し、通信端末50の位置情報を通信端末50から受信する。受信部151は、通信端末140の方向情報及び移動方向情報を、ユーザ端末120の方向情報及び移動方向情報として出力部152に出力する。受信部151は、通信端末50の位置情報を、ユーザ端末120の位置情報として出力部152に出力する。
【0194】
ステップS17において、第2方向情報が第1方向情報と類似すると判定される場合(ステップS17のYES)、出力部152は、ユーザ端末120のジオフェンスへの進入方向を決定する(ステップS42)。出力部152は、ユーザ端末120の位置情報が領域情報に含まれたときのユーザ端末120の移動方向情報が示す方向を、ユーザ端末120のジオフェンスへの進入方向として決定する。
【0195】
出力部152は、進入方向と、第2方向情報が示す方向とのなす角度が所定の角度範囲以内かを判定する(ステップS43)。出力部152は、決定した進入方向と、通信端末20の方向情報が示す方向とのなす角度を算出する。出力部152は、算出した角度が、所定の角度範囲以内であるか否かを判定する。
【0196】
進入方向と、第2方向情報が示す方向とのなす角度が所定の角度範囲以内である場合(ステップS43のYES)、出力部152は、ユーザ端末110の位置情報が示す位置を音像定位位置とする音像定位用情報を出力する(ステップS601)。
【0197】
一方、進入方向と、第2方向情報が示す方向とのなす角度が所定の角度範囲以内ではない場合(ステップS43のNO)、サーバ装置150は、ステップS41に戻りステップS41以降を実行する。なお、ステップS42及びS43は、ユーザ端末120が、ジオフェンスに入り、ジオフェンスから退出していない場合、再度実行されなくてもよい。
【0198】
以上説明したように、実施の形態3~5の構成を実施の形態6のように構成しても、実施の形態3~5と同様の効果を有することができる。さらに、実施の形態6のように構成すれば、ユーザU2が、ジオフェンスGFに入ったときの移動方向を考慮して、ユーザU2に対して音声情報を出力できる。そのため、実施の形態6にかかる情報処理システム400によれば、ユーザU2がユーザU1と同じ方向を継続して向いている場合、ユーザU2に音声情報を聴取させられる。したがって、実施の形態6にかかる情報処理システム400によれば、ユーザU2に対して、適切なタイミングで音声情報を出力できる。これにより、ユーザU2は、ユーザU1が登録した音声情報に共感することができ、さらには、ユーザU1が共有した音声情報から新たな情報を取得できる。
【0199】
(変形例1)
実施の形態6では、出力部152は、ユーザ端末120の移動方向情報を用いて、ユーザ端末120のジオフェンスへの進入方向を決定したが、ユーザ端末120の位置情報を用いて、進入方向を決定してもよい。出力部152は、ユーザ端末120の位置情報が領域情報に含まれる直前の位置情報と、ユーザ端末120の位置情報が領域情報に含まれた直後の位置情報とに基づいて、ユーザ端末120のジオフェンスへの進入方向を決定してもよい。実施の形態6を、変形例のように変形しても、実施の形態5と同様の効果を得ることができる。なお、実施の形態6と、本変形例とを組み合わせてもよい。出力部152は、例えば、ユーザ端末120の移動方向情報に基づく進入方向と、ユーザ端末120の位置情報に基づく進入方向との間の任意の方向を、最終的な進入方向として決定してもよい。
【0200】
(変形例2)
実施の形態6において、移動方向は、位置情報取得部31が、ユーザU1から音声情報の登録指示が入力される前後、又はその後、定期的に通信端末30の位置情報を取得し、通信端末30の位置情報をサーバ装置60に送信したものに基づくものであってもよい。すなわち、位置情報取得部31は、ユーザU1が音声を録音し、音声情報取得部21が音声情報を生成する場合、音声情報の生成開始時直前に得られた複数の位置情報、又は直前直後にまたがって得られた複数の位置情報を取得する。位置情報取得部31は、取得した位置情報をサーバ装置60に送信し、サーバ装置60は、これら位置情報に基づいて移動方向を算出する。
【0201】
あるいは、ユーザ端末110が、これら複数の位置情報に基づいて、移動方向を算出し、通信端末30の位置情報に基づいて生成されたジオフェンス領域に対する進入角度を設定してサーバ装置60に送信してもよい。
【0202】
このように、ユーザU1のユーザ端末110は、音声登録処理時に、ユーザU1の位置、顔が向いている方向、及び移動方向を求める処理を行い、サーバ装置130がジオフェンス設定時に必要となる情報を同時的に取得可能となる。したがって、ユーザU1は、より簡易に音声情報を置く(仮想的に設置する)ことが可能となる。
【0203】
(変形例3)
実施の形態6では、出力部152は、進入方向と、ユーザ端末110の方向情報が示す方向とのなす角度が所定の角度範囲以内である場合、音像定位用情報を生成したが、音像定位用情報を生成せず、制御部64を介して、モノラル音声を送信する構成としてもよい。具体的には、出力部152は、進入方向と、ユーザ端末110の方向情報が示す方向とのなす角度が所定の角度範囲以内である場合、音像定位用情報を生成せずに、受信部61が受信した音声情報を、制御部64を介して通信端末40に送信する構成としてもよい。
【0204】
(他の実施の形態)
図18は、上述した実施の形態において説明した情報処理装置1、通信端末20、30、40、50、70、90、140及びサーバ装置60、80、130、150、600(以下、情報処理装置1等と称する)のハードウェア構成例を示す図である。
図18を参照すると、情報処理装置1等は、ネットワーク・インターフェース1201、プロセッサ1202、及びメモリ1203を含む。ネットワーク・インターフェース1201は、情報処理システムに含まれる他の装置と通信するために使用される。
【0205】
プロセッサ1202は、メモリ1203からソフトウェア(コンピュータプログラム)を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された情報処理装置1等の処理を行う。プロセッサ1202は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ1202は、複数のプロセッサを含んでもよい。
【0206】
メモリ1203は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ1203は、プロセッサ1202から離れて配置されたストレージを含んでもよい。この場合、プロセッサ1202は、図示されていないI/Oインタフェースを介してメモリ1203にアクセスしてもよい。
【0207】
図18の例では、メモリ1203は、ソフトウェアモジュール群を格納するために使用される。プロセッサ1202は、これらのソフトウェアモジュール群をメモリ1203から読み出して実行することで、上述の実施形態において説明された情報処理装置1等の処理を行うことができる。
【0208】
図18を用いて説明したように、情報処理装置1等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1または複数のプログラムを実行する。
【0209】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。さらに、非一時的なコンピュータ可読媒体の例は、CD-ROM(Read Only Memory)、CD-R、CD-R/Wを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0210】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。
【0211】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信する受信手段と、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する出力手段と、を備える情報処理装置。
(付記2)
前記第1位置を基準とする領域を指定する領域情報を生成する生成手段をさらに備え、
前記出力手段は、前記領域情報が前記第2位置情報を含み、かつ前記第1方向情報が示す方向と、前記第2方向情報が示す方向とのなす角度が角度閾値以下である場合、前記音声情報を出力する、付記1に記載の情報処理装置。
(付記3)
前記出力手段は、前記第1位置情報、前記第2位置情報、及び前記第2方向情報に基づいて、前記第1位置を音像定位位置とする音像定位用情報を生成し、前記音像定位用情報をさらに出力する、付記2に記載の情報処理装置。
(付記4)
前記受信手段は、前記音声情報に関連する対象物に前記音声情報が仮想的に設置される場合、前記対象物の位置情報を示す対象物位置情報を前記第1ユーザ端末から受信し、
前記出力手段は、前記対象物位置情報が受信された場合であって、前記領域情報が前記第2位置情報を含み、前記第2位置情報を基準とする前記第2方向情報が示す方向に、前記対象物位置情報が示す位置が存在する場合、前記音声情報を出力する、付記2又は3に記載の情報処理装置。
(付記5)
前記出力手段は、前記対象物位置情報が受信された場合であって、前記領域情報が前記第2位置情報を含み、前記第2位置情報を基準とする前記第2方向情報が示す方向に、前記対象物位置情報が示す位置が存在する場合、前記対象物の位置を音像定位位置とする音像定位用情報を生成する、付記4に記載の情報処理装置。
(付記6)
前記受信手段は、前記音声情報に関連する対象物に前記音声情報が仮想的に設置される場合、前記対象物の位置情報を示す対象物位置情報を前記第1ユーザ端末から受信し、
前記出力手段は、前記対象物位置情報が受信された場合、前記対象物位置情報、前記第2位置情報、及び前記第2方向情報に基づいて、前記対象物の位置を音像定位位置とする音像定位用情報を生成する、付記2~5のいずれか1項に記載の情報処理装置。
(付記7)
前記出力手段は、前記音声情報と、前記音像定位用情報とを前記第2ユーザ端末に送信する、付記3、5又は6に記載の情報処理装置。
(付記8)
前記音声情報と、前記音像定位用情報とに基づいて、前記音声情報に対して音像定位処理を実行し、前記音像定位処理が実行された音声情報を前記第2ユーザ端末に送信する制御手段をさらに備える、付記3、5又は6に記載の情報処理装置。
(付記9)
前記受信手段は、前記音声情報に関連する対象物に前記音声情報が仮想的に設置される場合、前記対象物の対象物位置情報を前記第1ユーザ端末から受信し、前記音声情報が仮想的に設置された設置位置情報の閲覧要求を前記第2ユーザ端末から受信し、
前記対象物位置情報が受信された場合、前記対象物位置情報を前記設置位置情報として記憶手段に登録し、前記対象物位置情報が受信されない場合、前記第1位置情報を前記設置位置情報として前記記憶手段に登録する生成手段をさらに備え、
前記制御手段は、前記記憶手段に登録された設置位置情報を前記第2ユーザ端末に送信する、付記8に記載の情報処理装置。
(付記10)
前記出力手段は、前記音声情報に関連する対象物があるか否かに応じて、前記角度閾値を設定する、付記2~9のいずれか1項に記載の情報処理装置。
(付記11)
前記出力手段は、前記対象物がある場合、前記角度閾値を第1角度閾値に設定し、前記対象物がない場合、前記角度閾値を前記第1角度閾値よりも大きい第2角度閾値に設定する、付記10に記載の情報処理装置。
(付記12)
前記出力手段は、前記第1位置情報の変化量、及び前記第1方向情報の変化量の少なくとも1つに基づいて、前記対象物があるか否かを判定する、付記10又は11に記載の情報処理装置。
(付記13)
複数のユーザから受信された第3位置情報と、前記複数のユーザから受信された第3方向情報と、前記第3位置情報及び前記第3方向情報に対応付けた対象物に関する情報とが関連付けて登録された履歴情報を記憶する記憶手段をさらに備え、
前記出力手段は、前記第1位置情報、前記第1方向情報、及び前記履歴情報に基づいて、前記対象物があるか否かを判定する、付記10~12のいずれか1項に記載の情報処理装置。
(付記14)
前記生成手段は、前記第1位置情報の変化量に基づいて、前記第1ユーザ端末の移動状態を決定し、前記決定された移動状態に基づいて、前記生成された領域情報を調整する、付記2~13のいずれか1項に記載の情報処理装置。
(付記15)
前記受信手段は、前記第1ユーザ端末の速度情報を受信し、
前記生成手段は、前記速度情報に基づいて、前記第1ユーザ端末の移動状態を決定し、前記決定された移動状態に基づいて、前記生成された領域情報を調整する、付記2~14のいずれか1項に記載の情報処理装置。
(付記16)
前記移動状態は、静止状態を含み、
前記生成手段は、前記決定された移動状態が前記静止状態である場合、前記生成された領域情報を、前記第1位置に基づく領域を指定する領域情報に変更する、付記14又は15に記載の情報処理装置。
(付記17)
前記移動状態は、歩行状態及び走行状態を含み、
前記生成手段は、前記決定された移動状態が前記歩行状態又は前記走行状態である場合、前記生成された領域情報を、前記音声情報の生成開始時の第1位置情報と、前記音声情報の生成終了時の第1位置情報とに基づく領域を指定する領域情報に変更する、付記14~16のいずれか1項に記載の情報処理装置。
(付記18)
前記受信手段は、前記第2ユーザ端末の移動方向情報をさらに受信し、
前記出力手段は、前記移動方向情報に基づいて、前記第2ユーザ端末の前記領域への進入方向を決定し、前記進入方向と、前記第1方向情報が示す方向とのなす角度が所定の角度範囲以内である場合、前記音声情報を出力する、付記2~17のいずれか1項に記載の情報処理装置。
(付記19)
前記出力手段は、前記第2位置情報に基づいて、前記第2ユーザ端末の前記領域への進入方向を決定し、前記進入方向と、前記第1方向情報が示す方向とのなす角度が所定の角度範囲以内である場合、前記音声情報を出力する、付記2~18のいずれか1項に記載の情報処理装置。
(付記20)
前記出力手段は、前記第1ユーザ端末を利用する第1ユーザの第1属性情報及び前記第2ユーザ端末を利用する第2ユーザの第2属性情報に基づいて、前記音声情報を出力するか否かを判定する、付記1~19のいずれか1項に記載の情報処理装置。
(付記21)
ユーザ端末であって、
音声情報、前記ユーザ端末の位置情報を取得し、
前記音声情報の登録指示を受け付けた場合、前記取得した音声情報と、前記取得した位置情報と、前記取得した方向情報とを情報処理装置に送信する、ユーザ端末。
(付記22)
前記登録指示を受け付けた場合、前記ユーザ端末を利用するユーザの姿勢を測定することで得られた取得結果に基づいて、ユーザ端末の方向情報を取得し、前記測定の結果を前記音声情報とともに前記情報処理装置にさらに送信する、付記21に記載のユーザ端末。
(付記23)
前記登録指示を受け付けた場合、前記登録指示を受け付ける前の前記ユーザ端末の位置情報、又は前記登録指示を受け付ける前後の前記ユーザ端末の位置情報を前記情報処理装置にさらに送信する、付記21又は22に記載のユーザ端末。
(付記24)
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、
第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記第1位置情報、前記第2位置情報、及び前記第2方向情報に基づいて、前記音声情報を出力する、制御方法。
(付記25)
音声情報、第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を前記第1ユーザ端末から受信し、
第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する、処理をコンピュータに実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
(付記26)
第1ユーザ端末と、第2ユーザ端末と、前記第1ユーザ端末及び前記第2ユーザ端末と通信するサーバ装置とを備え、
前記第1ユーザ端末は、
音声情報、前記第1ユーザ端末の第1位置情報及び前記第1ユーザ端末の第1方向情報を取得し、
前記第2ユーザ端末は、
前記第2ユーザ端末の第2位置情報及び前記第2ユーザ端末の第2方向情報を取得し、
前記サーバ装置は、
前記音声情報、前記第1位置情報及び前記第1方向情報を前記第1ユーザ端末から受信し、
前記第2位置情報及び前記第2方向情報を前記第2ユーザ端末から受信し、
前記第1位置情報が示す第1位置と、前記第2位置情報が示す第2位置とが所定の距離以内であり、前記第2方向情報が前記第1方向情報と類似する場合、前記音声情報を出力する、情報処理システム。
(付記27)
前記サーバ装置は、
前記第1位置情報を基準とする領域を指定する領域情報を生成し、
前記領域情報が前記第2位置情報を含み、かつ前記第1方向情報が示す方向と、前記第2方向情報が示す方向とのなす角度が角度閾値以内である場合、前記音声情報を出力する、付記26に記載の情報処理システム。
【符号の説明】
【0212】
1 情報処理装置
2、61、131、151 受信部
3、42、63、81、133、152、631 出力部
20、30、40、50、70、90、140 通信端末
21 音声情報取得部
22、41、141 方向情報取得部
31、51 位置情報取得部
60、80、130、150、600 サーバ装置
62、132 生成部
64、71、641 制御部
65、134 記憶部
91 対象物関連情報生成部
100、200、300、400、1000 情報処理システム
110、120 ユーザ端末