(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-07-19
(45)【発行日】2024-07-29
(54)【発明の名称】情報処理装置、情報処理端末、情報処理方法、情報処理プログラム
(51)【国際特許分類】
G10L 15/00 20130101AFI20240722BHJP
G10L 15/28 20130101ALI20240722BHJP
【FI】
G10L15/00 200A
G10L15/28 500
(21)【出願番号】P 2023180856
(22)【出願日】2023-10-20
【審査請求日】2023-10-20
【早期審査対象出願】
(73)【特許権者】
【識別番号】513046294
【氏名又は名称】ビーサイズ株式会社
(74)【代理人】
【識別番号】100158850
【氏名又は名称】明坂 正博
(72)【発明者】
【氏名】八木 啓太
【審査官】山下 剛史
(56)【参考文献】
【文献】国際公開第2023/002556(WO,A1)
【文献】特開2018-5364(JP,A)
【文献】米国特許出願公開第2023/0289126(US,A1)
【文献】特開2023-130837(JP,A)
【文献】国際公開第2020/203605(WO,A1)
【文献】特開2023-59602(JP,A)
【文献】葛城一繁他,高齢者を対象としたやさしいソーシャルメディア仲介システム,第23回マルチメディア通信と分散処理ワークショップ論文集,一般社団法人情報処理学会,2015年10月,Vol.2015, No.2,pp.107-112
(58)【調査した分野】(Int.Cl.,DB名)
G10L 13/00-99/00
G06Q 50/00
(57)【特許請求の範囲】
【請求項1】
第1端末又は第2端末から送信される音声データを受信する受信部と、
前記受信部が受信した前記音声データをテキストデータに変換するテキスト変換部と、
前記変換部が変換した前記テキストデータを前記第2端末又は前記第1端末へ送信する送信部と、
前記音声データと、前記第1端末又は前記第2端末の位置を特定するための情報とを関連付ける関連付部を備え、
前記受信部は、
前記第1端末又は前記第2端末から送信される位置を特定するための情報を受信し、
前記関連付部は、
前記受信部が受信した前記音声データと、前記位置を特定するための情報とを関連付け、
前記送信部は、
前記音声データと、前記音声データに関連付けられた前記位置を特定するための情報とを前記第2端末又は前記第1端末へ送信し、
前記関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記第1端末又は前記第2端末の位置を特定するための情報を関連付ける、
ことを特徴とする情報処理装置。
【請求項2】
関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記第1端末又は前記第2端末の位置を特定するための情報を、前記関連付部により関連付けられた状態で記憶部に記憶させる、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記音声データのファイル形式を変換する形式変換部、
を備えることを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記音声データのうち可聴領域外、音声帯域外若しくはノイズとなる帯域のデータを除去若しくは低減、又は、音声帯域のみを強調する除去部を備え、
前記送信部は、
前記除去部により前記可聴領域外、前記音声帯域外若しくはノイズとなる帯域のデータを除去若しくは低減、又は、音声帯域のみを強調された音声データを前記第2端末又は前記第1端末へ送信する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記送信部が前記第2端末又は前記第1端末へ送信する前記音声データの再生音量を調整する音量調整部、
を備えることを特徴とする請求項1に記載の情報処理装置。
【請求項6】
音声データを受信する受信部と、
前記受信部が受信した前記音声データをテキストデータに変換するテキスト変換部と、
前記変換部が変換した前記テキストデータを出力する出力部と、
前記音声データと、位置を特定するための情報とを関連付ける関連付部と、を備え、
前記受信部は、
前記位置を特定するための情報を受信し、
前記関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記受信部が受信した前記音声データに前記音声データに前記音声データを送信した他の情報処理端末の位置を特定するための情報を関連付ける、
ことを特徴とする情報処理端末。
【請求項7】
関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記
他の情報処理端末の位置を特定するための情報を、前記関連付部により関連付けられた状態で記憶部に記憶させる、
ことを特徴とする請求項6に記載の情報処理端末。
【請求項8】
前記位置を特定するための情報と、前記音声データ又は前記テキストデータの存在とを対応付けて画面表示させる表示制御部、
を備えることを特徴とする請求項6に記載の情報処理端末。
【請求項9】
音声データの入力を受け付ける受付部と、
前記受付部が受け付けた前記音声データをテキストデータに変換するテキスト変換部と、
前記変換部が変換した前記テキストデータを送信する送信部と、
を備えることを特徴とする請求項6に記載の情報処理端末。
【請求項10】
前記送信部が送信する前記音声データの再生音量を調整する音量調整部、
を備えることを特徴とする請求項9に記載の情報処理端末。
【請求項11】
前記音声データのファイル形式を変換する形式変換部、
を備えることを特徴とする請求項6に記載の情報処理端末。
【請求項12】
前記音声データのうち可聴領域外又は音声帯域外又はノイズとなる帯域のデータを除去もしくは低減、ないし、音声帯域のみを強調する除去部を備え、
前記送信部は、
前記除去部により前記可聴領域外又は前記音声帯域外のデータを除去もしくは低減、ないし、音声帯域のみを強調された音声データを他の情報処理端末へ送信する、
ことを特徴とする請求項9に記載の情報処理端末。
【請求項13】
前記送信部が他の情報処理端末へ送信する前記音声データの再生音量を調整する音量調整部、
を備えることを特徴とする請求項9に記載の情報処理端末。
【請求項14】
受信部が、第1端末又は第2端末から送信される音声データを受信する工程と、
テキスト変換部が、前記受信部が受信した前記音声データをテキストデータに変換する工程と、
送信部が、前記変換部が変換した前記テキストデータを前記第2端末又は前記第1端末へ送信する工程と、
関連付部が、前記音声データと、前記第1端末又は前記第2端末の位置を特定するための情報とを関連付ける工程とを有し、
前記受信部は、
前記第1端末又は前記第2端末から送信される位置を特定するための情報を受信し、
前記関連付部は、
前記受信部が受信した前記音声データと、前記位置を特定するための情報とを関連付け、
前記送信部は、
前記音声データと、前記音声データに関連付けられた前記位置を特定するための情報とを前記第2端末又は前記第1端末へ送信し、
前記関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記第1端末又は前記第2端末の位置を特定するための情報を関連付ける、
ことを特徴とする情報処理方法。
【請求項15】
関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記第1端末又は前記第2端末の位置を特定するための情報を、前記関連付部により関連付けられた状態で記憶部に記憶させる、
ことを特徴とする請求項14に記載の情報処理方法。
【請求項16】
受信部が、音声データを受信する工程と、
テキスト変換部が、前記受信部が受信した前記音声データをテキストデータに変換する工程と、
出力部が、前記変換部が変換した前記テキストデータを出力する工程と、
関連付部が、前記音声データと、位置を特定するための情報とを関連付ける工程と、を有し、
前記受信部は、
前記位置を特定するための情報を受信し、
前記関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記受信部が受信した前記音声データに前記音声データに前記音声データを送信した他の情報処理端末の位置を特定するための情報を関連付ける、
ことを特徴とする情報処理方法。
【請求項17】
関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記
他の情報処理端末の位置を特定するための情報を、前記関連付部により関連付けられた状態で記憶部に記憶させる、
ことを特徴とする請求項16に記載の情報処理方法。
【請求項18】
表示制御部が、前記位置を特定するための情報と、前記音声データ又は前記テキストデータの存在とを対応付けて画面表示させる工程、
を有することを特徴とする請求項16に記載の情報処理方法。
【請求項19】
コンピュータを、
第1端末又は第2端末から送信される音声データを受信する受信部、
前記受信部が受信した前記音声データをテキストデータに変換するテキスト変換部、
前記変換部が変換した前記テキストデータを前記第2端末又は前記第1端末へ送信する送信部、
前記音声データと、前記第1端末又は前記第2端末の位置を特定するための情報とを関連付ける関連付部、として機能させ、
前記受信部は、
前記第1端末又は前記第2端末から送信される位置を特定するための情報を受信し、
前記関連付部は、
前記受信部が受信した前記音声データと、前記位置を特定するための情報とを関連付け、
前記送信部は、
前記音声データと、前記音声データに関連付けられた前記位置を特定するための情報とを前記第2端末又は前記第1端末へ送信し、
前記関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記第1端末又は前記第2端末の位置を特定するための情報を関連付ける、
ことを特徴とする情報処理プログラム。
【請求項20】
関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記第1端末又は前記第2端末の位置を特定するための情報を、前記関連付部により関連付けられた状態で記憶部に記憶させる、
ことを特徴とする請求項19に記載の情報処理プログラム。
【請求項21】
コンピュータを、
音声データを受信する受信部、
前記受信部が受信した前記音声データをテキストデータに変換するテキスト変換部、
前記変換部が変換した前記テキストデータを出力する出力部、
前記音声データと、位置を特定するための情報とを関連付ける関連付部、として機能させ、
前記受信部は、
前記位置を特定するための情報を受信し、
前記関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記受信部が受信した前記音声データに前記音声データに前記音声データを送信した他の情報処理端末の位置を特定するための情報を関連付ける、
ことを特徴とする情報処理プログラム。
【請求項22】
関連付部は、
前記位置を特定するための情報と、前記位置を特定するための情報の測位日時、送信日時及び受信日時のいずれか1以上と、前記音声データの録音日時、送信日時及び受信日時のいずれか1以上とに基づいて、前記音声データに前記
他の情報処理端末の位置を特定するための情報を、前記関連付部により関連付けられた状態で記憶部に記憶させる、
ことを特徴とする請求項21に記載の情報処理プログラム。
【請求項23】
前記位置を特定するための情報と、前記音声データ又は前記テキストデータの存在とを対応付けて画面表示させる表示制御部、
を備えることを特徴とする請求項21に記載の情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声データを送受信するシステムで利用可能な情報処理装置、情報処理端末、情報処理方法、情報処理プログラムに関する。
【背景技術】
【0002】
従来から子供の見守り用途に、音声データをやり取りできるGPS端末が提案されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のGPS端末では、位置情報と音声情報などを単にユーザに提示するだけであり、利便性に向上の余地がある。
【0005】
本発明は、上記課題を鑑みてなされたものであり、より利便性の高い情報処理装置、情報処理端末、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決すべく、本発明に係る情報処理装置は、第1端末又は第2端末から送信される音声データを受信する受信部と、前記受信部が受信した前記音声データをテキストデータに変換するテキスト変換部と、前記変換部が変換した前記テキストデータを前記第2端末又は前記第1端末へ送信する送信部と、を備える。
【発明の効果】
【0007】
本発明によれば、より利便性の高い情報処理装置、情報処理端末、情報処理方法及び情報処理プログラムを提供することができる。
【図面の簡単な説明】
【0008】
【
図1】実施形態に係る情報処理システムの配置の一例を示す図である。
【
図2】実施形態に係る情報処理サーバ(情報処理装置)の構成の一例を示す図である。
【
図3】実施形態に係る情報処理サーバの構成の一例を示す図である。
【
図4】実施形態に係る第1端末(情報処理端末)の構成の一例を示す図である。
【
図5】実施形態に係る第1端末の構成の一例を示す図である。
【
図6】実施形態に係る第2端末(情報処理端末)の構成の一例を示す図である。
【
図7】実施形態に係る第2端末の構成の一例を示す図である。
【
図8】実施形態に係る第1端末の表示装置に表示される画面の一例を示す図である。
【
図9】実施形態に係る第1端末の表示装置に表示される画面の一例を示す図である。
【
図10】実施形態に係る第1端末の表示装置に表示される画面の一例を示す図である。
【
図11】実施形態に係る第1端末の表示装置に表示される画面の一例を示す図である。
【
図12】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【
図13】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【
図14】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【
図15】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【
図16】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【
図17】実施形態に係る情報処理システムによる処理の一例を示すフローチャートである。
【
図18】実施形態の変形例に係る第1端末の表示装置に表示される画面の一例を示す図である。
【
図19】実施形態の変形例に係る第1端末の表示装置に表示される画面の一例を示す図である。
【
図20】実施形態の変形例に係る第1端末の表示装置に表示される画面の一例を示す図である。
【
図21】実施形態の変形例に係る第1端末の表示装置に表示される画面の一例を示す図である。
【発明を実施するための形態】
【0009】
[実施形態]
以下、図面を参照して実施形態に係る情報処理システム1について説明する。
実施形態に係る情報処理システム1は、いわゆるモニタリングシステムであり、被見守り者(例えば、子供)によって携帯された、持ち運びながら使用可能な第2端末4から、例えば1.5分毎のような所定のインタバル毎にサーバ2へアップロードされたデータから第2端末4の位置が決定され、決定された位置が、サーバ2から見守り者(例えば、親や祖父母などの家族や親族)の携帯する、または用いる第1端末3へ通知される。また、本実施形態に係る情報処理システム1では、第1端末3及び第2端末4にマイクロフォン、スピーカなどを備えており、互いにボイスメッセージ(以下、音声ともいう)を送受信することができるように構成されている。つまり、見守り者と被見守り者との間で音声によるメッセージのやり取りを行うことができるように構成されている。また、第1端末3は、表示装置を備えており、音声をテキストに変換して表示装置に表示できるように構成されている。なお、以下の説明では、見守り者のことを第1ユーザともいう。また、被見守り者のことを第2ユーザともいう。
【0010】
図1に示すように、情報処理システム1は、サーバ2(情報処理装置)と、該サーバ2にネットワーク5を介して接続された1以上の第1端末3(情報処理端末)及び第2端末4(情報処理端末)とを備える。
図1に示す例では、情報処理システム1は、サーバ2、第1端末3及び第2端末4を各々1つずつ備える構成となっているが、情報処理システム1が備えるサーバ2、第1端末3及び第2端末4の数はそれぞれ任意である。
【0011】
(サーバ2)
図2及び
図3は、サーバ2の構成図である。
図2は、サーバ2の主なハード構成を示しており、サーバ2は、通信IF200A、記憶装置200B(記憶部)、CPU200Cなどを備える。なお、
図2では図示していないが、サーバ2は、入力装置(例えば、マウス、キーボード、タッチパネルなど)や表示装置(CRT(Cathode Ray Tube)、液晶ディスプレイ、有機ELディスプレイなど)などを備えていてもよい。
【0012】
通信IF200Aは、他の装置(例えば、第1端末3、第2端末4など)と通信するためのインターフェースである。
【0013】
記憶装置200Bは、例えば、HDD(Hard Disk Drive)や半導体記憶装置(SSD(Solid State Drive))である。記憶装置200Bには、各種データや情報処理プログラムが記憶されている。なお、記憶装置200Bに記憶された各種データの一部又は全部は、USB(Universal Serial Bus)メモリや外付けHDDなどの外部記憶装置やネットワーク5を介して接続された他の情報処理装置の記憶装置に記憶されてもよい。この場合、サーバ2は、外部記憶装置や他の情報処理装置の記憶装置に記憶された各種データを参照又は取得する。
【0014】
記憶装置200Bには、第1端末3のアカウント情報、例えば、第1端末3の識別番号(端末ID)、氏名、連絡先(メールアドレス、電話番号)、第2ユーザ(例えば、自分の子供)などが所持する第2端末4の識別番号(端末ID)が記憶されている。
また、記憶装置200Bには、第2端末4のアカウント情報、例えば、第2端末4の端末ID、氏名、第1ユーザ(例えば、自分の親や祖父母などの家族)が所持する第1端末3の端末IDが記憶されている。
また、記憶装置200Bには、第1端末3及び第2端末4が送受信した各種のデータ(データに付加されたメタデータを含む)がログとして日時データとともに端末IDに対応付けて記憶される。なお、当該各種のデータをログとして日時データとともにアカウントIDに対応付けて記憶してもよい。
ここで、上記各種のデータには、例えば、下記のデータが含まれる。
(1)位置を特定するためのデータ(例えば、第2端末4から送信される位置情報など)
(2)音声データ(テキストデータを変換した音声データを含む)
(3)テキストデータ(音声データを変換したものを含む)
また、上記各種のデータには、取得日時(録音日時、変換日時でもよい)、送信日時、受信日時、送信した第1端末又は第2端末の端末ID、受信した第1端末又は第2端末の端末IDなどのメタデータが含まれる。また位置を特定するためのデータのことを位置情報ともいう。
【0015】
CPU200Cは、本実施形態に係るサーバ2を制御し、図示しないROM及びRAMなどを備える。
【0016】
図3は、サーバ2の機能ブロック図である。
図3に示すように、サーバ2は、受信部201、送信部202、記憶装置制御部203(関連付部)、テキスト変換部204、音声変換部205、ファイル形式変換部206、除去部207、音量調整部208、抽出部209などの機能を備える。なお、
図3に示す機能は、CPU200Cが、記憶装置200Bに記憶されている情報処理プログラムを実行することで実現される。
【0017】
受信部201は、第1端末3及び第2端末4から送信されるデータ(メタデータを含む)を受信する。受信部201が受信するデータには、例えば、位置を特定するためのデータ、音声データ、テキストデータなどが含まれる。なお、先に記載したデータは一例であり、受信部201が他のデータを受信することを妨げない。
【0018】
送信部202は、第1端末3及び第2端末4へデータ(メタデータを含む)を送信する。送信部202が送信するデータには、例えば、位置を特定するためのデータ、音声データ、テキストデータなどが含まれる。なお、先に記載したデータは一例であり、送信部202が他のデータを送信することを妨げない。
【0019】
記憶装置制御部203は、第1端末3及び第2端末4が送受信したデータ(メタデータを含む)を、データを送受信した端末の端末IDに対応付けて記憶装置200Bに記憶する。また、記憶装置制御部203は、各種のデータを、端末IDに関連付けて記憶装置200Bに記憶する。
【0020】
テキスト変換部204は、受信部201が受信した音声データをテキストデータに変換する。これにより、音声データを再生することが好ましくない状況、例えば、電車やバスなどの公共交通機関内、図書館などの公共施設内などにおいてテキストでメッセージを確認することができ利便性が高い。
【0021】
音声変換部205は、受信部201が受信したテキストデータを音声データに変換する。これにより、テキストデータを視認することが好ましくない状況、例えば、車両(自転車含む)の運転中、歩行中、ランニング中の他、運動中、料理中などにおいて音声でメッセージを確認することができ利便性が高い。また、第2端末4が表示装置を備えていない、表示装置がテキストを表示できない、といった場合にも音声でメッセージを確認することができ利便性が高い。
【0022】
ファイル形式変換部206は、音声データのファイル形式を変換する。ファイル形式変換部206は、例えば、音声データを第2端末4が備える記憶装置の記憶容量やスピーカに合わせてファイル形式を変換する。ファイル形式変換部206は、例えば、データ量が少なくなるようにファイルを圧縮したりする。これにより、第2端末4へ音声データを送信する際のデータ量を削減することができ通信料を低減することができる。また、第2端末4が備える記憶装置の記憶容量を削減することができ、第2端末4のコストを低減することができる。さらに、記憶装置200Bに、第2端末4の種別を端末IDに対応付けたデータ、及び、ファイル形式と種別とを対応付けたデータとを記憶し、ファイル形式変換部206は、端末IDから第2端末4の種別を特定し、この特定した種別に対応付けされたファイル形式に音声データの変換するように構成してもよい。加えて、ファイル形式変換部206は、音声データを第1端末3が備える記憶装置の記憶容量やスピーカに合わせてファイル形式を変換してもよい。これにより、第1端末3へ音声データを送信する際のデータ量を削減することができ通信料を低減することができる。また、第1端末3が備える記憶装置の記憶容量を削減することができる。なお、記憶装置200Bに、第1端末3の種別を端末IDに対応付けたデータ、及び、ファイル形式と種別とを対応付けたデータとを記憶し、ファイル形式変換部206は、端末IDから第1端末3の種別を特定し、この特定した種別に対応付けされたファイル形式に音声データの変換するように構成してもよい。
【0023】
除去部207は、音声データのうち可聴領域外又は音声帯域外又はノイズとなる帯域のデータを除去もしくは低減、ないし、音声帯域のみを強調するよう音声データを加工処理する。これにより、第2端末4へ音声データを送信する際のデータ量を削減することができ通信料を低減することができる。なお、除去部207は、第2端末4へ送信する音声データのうち可聴領域外又は音声帯域外又はノイズとなる帯域のデータを除去もしくは低減、ないし、音声帯域のみを強調するよう音声データを加工処理してもよい。これにより、第2端末4へ音声データを送信する際のデータ量を削減することができ通信料を低減することができる。
【0024】
音量調整部208は、音声データが第2端末4で再生される際の再生音量を調整する。これにより、第2端末4が備えるスピーカなどの音声出力装置のグレードに合わせて音声データを再生することができ音割れ等を抑制することができる。なお、記憶装置200Bに、第2端末4の種別を端末IDに対応付けたデータ、及び、再生音量と種別とを対応付けたデータとを記憶し、音量調整部208は、端末IDから第2端末4の種別を特定し、この特定した種別に対応付けされた再生音量に音声データの音量を調整するように構成してもよい。なお、音量調整部208は、音声データが第1端末3で再生される際の再生音量を調整してもよい。これにより、第1端末3が備えるスピーカなどの音声出力装置のグレードに合わせて音声データを再生することができる。なお、記憶装置200Bに、第1端末3の種別を端末IDに対応付けたデータ、及び、再生音量と種別とを対応付けたデータとを記憶し、音量調整部208は、端末IDから第1端末3の種別を特定し、この特定した種別に対応付けされた再生音量に音声データの音量を調整するように構成してもよい。
【0025】
抽出部209は、ソート条件に基づいて記憶装置200Bからデータを抽出する。例えば、抽出部209は、ソート条件で指定されたデータを抽出する。
また、抽出部209は、位置情報の履歴に(端末IDを介して)関連付けされたデータ、例えば、音声データを抽出する。
【0026】
(第1端末3)
第1端末3は、第1ユーザが所持する端末であり、例えば、第1端末3を本実施形態で示される各機能を備えた端末として機能させるためのアプリケーションソフトウェアをインストールしたスマートフォンなどである。第1ユーザは、第1端末3を利用して登録した第2端末4と音声データやテキストデータを送受信することで、第2ユーザ(例えば、自分の子供)と音声やテキストによるやり取りをすることができる。
図4は、第1端末3の主なハード構成を示しており、通信IF300A、記憶装置300B、入力装置300C、表示装置300D、CPU300E、マイクロフォン300F、スピーカ300Gなどを備える。
【0027】
通信IF300Aは、他の装置(本実施形態では、サーバ2)と通信するためのインターフェースである。
【0028】
記憶装置300Bは、例えば、HDD(Hard Disk Drive)や半導体記憶装置(SSD(Solid State Drive))である。記憶装置300Bには、端末IDや情報処理プログラム(アプリケーションソフトウェア)などが記憶される。端末IDは、第1端末3を識別するための番号である。第1端末3から送信するデータに端末IDを付与することで、サーバ2は、受信したデータがどの第1端末3から送信されたものであるかを判定することができる。なお、端末IDは、IP(Internet Protocol)アドレス、MAC(Media Access Control)アドレスなどを利用してもよく、サーバ2が第1端末3に対して付与するようにしてもよい。
また、記憶装置300Bには、第1端末3と第2端末4との間で送受信したデータが記憶されていてもよい。記憶装置300Bには、例えば、送受信したデータ(例えば、音声データやテキストデータ)が対応付けて記憶されていてもよい。
【0029】
入力装置300Cは、例えば、キーボード、マウス、タッチパネルなどの入力デバイスであるが、入力可能であれば、他の装置や機器であってもよい。また、音声入力装置であってもよい。
【0030】
表示装置300Dは、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどであるが、表示可能であれば他の装置や機器(例えば、CRT:Cathode Ray Tube)であってもよい。
【0031】
CPU300Eは、本実施形態に係る第1端末3を制御し、図示しないROM及びRAMを備える。
【0032】
マイクロフォン300Fは、音を電気信号に変換する音響機器である。第1端末3のユーザは、マイクロフォン300Fを利用して音声を入力することができる。入力された音声は、後述の送信部302によりサーバ2へ送信される。
【0033】
スピーカ300Gは、電気信号を音に変える音響機器である。スピーカ300Gは、例えば、サーバ2を介して第2端末4から送信され、記憶装置300Bに記憶された音声データを再生する。
【0034】
なお、後述の第2端末4と同様に、GNSS衛星からの信号に基づいて現在位置を特定する位置センサを備え、該位置センサが特定した現在位置を出力するようにしてもよい。なお、第1端末3の位置を特定できればよく位置センサ以外の方法により現在位置を出力するようにしてもよい。位置センサ以外の方法としては、例えば、ワイヤレス アクセス ポイント情報の利用、携帯ネットワークタワー情報の利用、加速度センサ及び磁気センサを利用して第1端末3の移動量と進行方向を利用する、などが考えられる。なお、例示した以外の方法でも構わないのはもちろんである。
【0035】
図5は、第1端末3の機能ブロック図を示しており、第1端末3は、受信部301、送信部302、記憶装置制御部303、入力受付部304(受付部)、表示装置制御部305(表示制御部)、音声出力制御部306などの機能を有する。なお、
図5に示す機能は、CPU300Eが、記憶装置300Bに記憶されている情報処理プログラムを実行することで実現される。
【0036】
受信部301は、例えば、サーバ2から送信されるデータを受信する。
【0037】
送信部302は、例えば、入力受付部304で受け付けた入力操作に応じてデータをサーバ2へ送信する。
【0038】
記憶装置制御部303は、記憶装置300Bを制御する。記憶装置制御部303は、例えば、第1端末3及び第2端末4が送受信したデータなどを、データを送受信した端末IDに対応付けて記憶装置300Bに記憶する。また、記憶装置制御部303は、例えば、送受信した音声データやテキストデータを記憶装置300Bへ記憶する。
【0039】
入力受付部304は、入力装置300Cからの入力操作を受け付ける。入力受付部304は、例えば、メッセージの入力を受け付ける。
【0040】
表示装置制御部305は、表示装置300Dを制御し、受信部301で受信したデータなどを表示装置300Dに表示する。表示装置制御部305は、例えば、報知制御部として機能し、受信部301で音声データを受信すると表示装置300Dに音声データが受信された旨を表示させるPUSH通知機能を有する。
【0041】
音声出力制御部306は、スピーカ300Gを制御する。スピーカ300Gは、音声出力制御部306の制御に基づいて音声を出力する。音声出力制御部406は、例えば、報知制御部として機能し、受信部301で音声データの少なくとも一部を再生させることで、音声データが受信された旨を報知させる。なお、音声出力制御部406は、受信部301で音声データを受信すると所定のパタンで音を発生させることで音声を受信したことを報知するようにしてもよい。
【0042】
(第2端末4)
第2端末4は、本情報処理システム1の第2ユーザが利用する端末である。第2ユーザは、第2端末4を利用して登録した第1端末3と音声データやテキストデータを送受信することで、第1ユーザ(例えば、自分の家族)と音声によるやりとりをすることができる。
図6は、第2端末4の主なハード構成を示しており、第2端末4は、通信IF400A、記憶装置400B、入力装置400C、表示装置400D、CPU400E、マイクロフォン400F、スピーカ400G、位置センサ400Hなどを備える。
【0043】
通信IF400Aは、他の装置(本実施形態では、サーバ2)と通信するためのインターフェースである。
【0044】
記憶装置400Bは、例えば、HDD(Hard Disk Drive)や半導体記憶装置(SSD(Solid State Drive))である。記憶装置400Bには、端末IDや情報処理プログラム、第1端末3から送信された音声データなどが記憶される。端末IDは、第2端末4を識別するための番号である。第2端末4から送信するデータに端末IDを付与することで、サーバ2は、受信したデータがどの第2端末4から送信されたものであるかを判定することができる。なお、端末IDは、IP(Internet Protocol)アドレス、MAC(Media Access Control)アドレスなどを利用してもよく、サーバ2が第2端末4に対して付与するようにしてもよい。
また、記憶装置400Bには、送受信したデータ(例えば、音声データ)が記憶されていてもよい。
【0045】
入力装置400Cは、例えば、操作ボタンなどの入力デバイスであるが、入力可能であれば、他の装置や機器、例えば、キーボード、マウス、タッチパネルなどであってもよい。また、音声入力装置であってもよい。第2ユーザは、入力装置400Cを操作して、音声を入力してサーバ2へ送信したり、サーバ2から送信された音声データを再生することができる。
【0046】
表示装置400Dは、例えば、LEDである。表示装置400Dは、所定のパタンで点灯又は点滅することにより音声を受信したことを報知する。
【0047】
CPU400Eは、本実施形態に係る第2端末4を制御し、図示しないROM及びRAMを備える。
【0048】
マイクロフォン400Fは、音を電気信号に変換する音響機器である。第2端末4のユーザは、マイクロフォン400Fを利用して音声を入力することができる。入力された音声は、後述の送信部402によりサーバ2へ送信される。
【0049】
スピーカ400Gは、電気信号を音に変える音響機器である。スピーカ400Gは、例えば、サーバ2を介して第1端末3から送信され、記憶装置400Bに記憶された音声データを再生する。また、スピーカ400Gは、所定のパタンで音を発生させることで音声を受信したことを報知する。
【0050】
位置センサ400Hは、GNSS衛星からの信号に基づいて現在位置を特定する。また、位置センサ400Hは、特定した現在位置を出力する。なお、第2端末4の位置を特定できればよく位置センサ400H以外の方法により現在位置を出力するようにしてもよい。位置センサ400H以外の方法としては、例えば、ワイヤレス アクセス ポイント情報の利用、携帯ネットワークタワー情報の利用、加速度センサ及び磁気センサを利用して第2端末4の移動量と進行方向を利用する、などが考えられる。なお、例示した以外の方法でも構わないのはもちろんである。
【0051】
図7は、第2端末4の機能ブロック図を示しており、第2端末4は、受信部401、送信部402、記憶装置制御部403、入力受付部404、表示装置制御部405(表示制御部)、音声出力制御部406などの機能を有する。なお、
図7に示す機能は、CPU400Eが、記憶装置400Bに記憶されている情報処理プログラムを実行することで実現される。
【0052】
受信部401は、例えば、サーバ2から送信されるデータ、例えば音声データを受信する。
【0053】
送信部402は、例えば、入力受付部304で受け付けた入力操作に応じてデータ、例えば音声データをサーバ2へ送信する。
【0054】
記憶装置制御部403は、記憶装置400Bを制御する。記憶装置制御部403は、例えば、記憶装置400Bを制御してデータの書き込みや読み出しを行う。記憶装置制御部403は、例えば、受信部401が受信したデータを記憶装置400Bへ記憶する。
【0055】
入力受付部404は、入力装置400Cからの入力操作を受け付ける。入力受付部404は、例えば、記憶装置400Bに記憶された音声データの再生操作を受け付ける。
【0056】
表示装置制御部405は、表示装置400Dを制御する。表示装置制御部405は、例えば、報知制御部として機能し、受信部401で音声データを受信すると表示装置400D(LED)を所定のパタンなどで点灯又は点滅させる。
【0057】
音声出力制御部406は、スピーカ400Gを制御する。スピーカ400Gは、音声出力制御部406の制御に基づいて音声を出力する。音声出力制御部406は、例えば、報知制御部として機能し、受信部401で音声データを受信すると所定のパタンで音を発生させることで音声を受信したことを報知する。なお、音声出力制御部406は、受信部401で音声データの少なくとも一部を再生させることで、音声データが受信された旨を報知させるようにしてもよい。
【0058】
(表示画面)
図8~
図11は、第1端末3の表示装置300Dに表示される画面G1の一例を示す図である。以下、
図8~
図11を参照して、第1端末3の表示装置300Dに表示される画面G1の一例について説明する。なお、
図1~
図7を参照して説明した構成と同一の構成には同一の符号を付して重複する説明を省略する。
【0059】
(
図8の画面説明)
図8に示すように、表示装置300Dには、第1端末3と第2端末4との間で送受信された音声データを文字に変換したテキストデータが音声データのファイル単位で時系列順に表示される(以下、タイムライン表示ともいう)。
【0060】
図8に示す例では、画面G1の上部に第2ユーザの名前11(ハンドルネームでもよい)が表示される。また、画面G1の左側には、第2端末4から送信された音声データ(第2ユーザの音声ファイル)を変換したテキストデータ12Bが送信された日時12D(タイムスタンプの情報を利用)及びアイコン12Aとともに表示される。また、再生ボタン12Cを選択すると表示されたテキストデータ12Bに対応する音声データ(音声ファイル)が再生され音声を聴くことができる。また、画面G1の右側には、第1端末3から送信された音声データ(第1ユーザの音声ファイル)を変換したテキストデータ13Aが送信された日時13C(タイムスタンプの情報を利用)とともに表示される。また、第1端末3から送信された各テキストデータにはステータス13D(例えば、第2端末4で音声データを再生したか否かなど)が併記される。また、再生ボタン13Bを選択すると表示されたテキストデータ13Aに対応する音声データ(音声ファイル)が再生され音声を聴くことができる。
【0061】
なお、
図8に示す例では、音声データを変換したテキストデータが音声データのファイル単位で時系列順に表示されているが、音声データを変換したテキストデータ12Bを表示しない構成とされていてもよい。この場合、例えば、テキストデータ12Bの代わりに音声データの再生時間が表示されているようにしてもよいが、必ずしもこの例に限られない。
また、
図8に示す例では、音声データを変換した文字すべてを表示画面に表示させているが、必ずしも全ての文字を表示させる必要はなく、例えば、初めの複数文字(例えば、10文字)を表示させるようにしてもよい。
【0062】
(
図9の画面説明)
図9に示す画面G2は、
図8を参照して説明したアイコン15を選択(タップ操作)すると遷移する画面である。
図9に示すように、
図8においてアイコン15を選択すると、第2端末4へメッセージを送信するための表示枠16が画面G2の下側からせりあがるようにして現れる。第1ユーザは、タッチパネル等の入力装置300Cを操作して画面G2の表示枠16内に表示されたマイクアイコン16Aを選択することで音声を録音して第2端末4へ送信することができる。なお、マイクアイコン16Aを選択するとマイクアイコン16Aの表示形態(例えば、アイコンの色)が変化して録音が始まったことが示される。第1ユーザがメッセージ(例えば、「今から迎えにいくよ」など)を話し終わり、再度マイクアイコン16Aを再選択するとマイクアイコン16Aの表示形態(例えば、アイコンの色)が元に戻り録音が終了したことが示される。
また、マイクアイコン16Aの下部には記憶装置300Bにプリセットされていたメッセージ16B、第1ユーザが入力したメッセージ16B、サーバ2からダウンロードしたメッセージ16Bなどが複数表示され、第1ユーザは、タッチパネル等の入力装置300Cを操作して表示された複数のメッセージ16Bのいずれかを選択することで、この選択したメッセージ16Bを第2端末4へ送信することができる。
【0063】
また、
図9の画面G2に表示されるメッセージ16Bは、第1ユーザによるメッセージ利用頻度又は第1ユーザによる設定に応じた順序で表示されることが好ましい。例えば、利用頻度に応じて表示される場合、利用頻度の高い順にメッセージが表示されることが好ましい。また、
図9の画面G2に表示されるメッセージ16Bは、第1ユーザによる設定に応じた順序で表示されるようにしてもよい。この場合、後述の
図10で説明するのと同様に、第1ユーザが入力装置300Cを操作して手動でメッセージ16Bの表示順序を並べ替えて設定できるようにしてもよい。また、プリセットされたメッセージ16Bが利用頻度の高い順に表示される設定としてもよく、第1ユーザが入力したメッセージ16Bが利用頻度の高い順に表示される設定としてもよい。なお、利用頻度の高い順位表示する場合、メッセージの表記ゆれ(例えばメッセージの類似性など)を考慮してメッセージの利用頻度を算出することが好ましい。
【0064】
(
図10の画面説明)
なお、第1ユーザが入力したメッセージには、既に述べたように第1ユーザがマイクロフォン300Fを利用して吹き込んだ音声メッセージと、第1ユーザが入力装置300Cを操作してテキストにより入力した文字メッセージとが含まれる。ここで、音声メッセージは文字起こし(テキスト化)されて、音声ファイルのタイトルとして表示される。
図10は、音声メッセージを文字起こし(テキスト化)して音声ファイルのタイトルとして表示した画面G3の例である。
図10に例示するように、画面G3には、音声メッセージを文字起こし(テキスト化)した音声ファイルのメッセージがタイトル16Bとして表示される。また、第1端末3はサーバ2にアクセスし、後述するスタンプストアでの第1ユーザの購入情報を照会し、購入履歴があった場合には、後述する音声スタンプと音声スタンプのタイトルも画面G3に表示する。なお、音声スタンプのタイトルは第1ユーザが入力したメッセージとは異なる表示(例えばフォントの変更や、タイトルの前に星印などの記号を付加等)をさせてもよい。第1ユーザは、タッチパネル等の入力装置300Cを操作して画面G3のボイススタンプストア17Aを選択することで、図示しないスタンプストア画面に遷移またスタンプストアが出現し、第1ユーザが入力した音声メッセージとは異なる音声スタンプ(音声ファイル)を購入または無償でダウンロードすることができる。例えばスタンプストア画面で音声スタンプの購入手続き等を行うと、サーバ2は第1ユーザの購入情報を記録し、サーバ2に格納されている、購入した音声スタンプに対応する音声ファイル(例えば、声優、俳優、アイドルなどの人が吹き込んだメッセージの音声ファイル、ボーカロイド(登録商標)などの音声合成エンジンによるメッセージの音声ファイルなど)を利用することができる。
また、第1ユーザは、タッチパネル等の入力装置300Cを操作してタイトル16Bの左側に配置された入替ボタン17Bを選択(長押し又はタップ操作など)することでタイトル16Bの表示順序を入れ替えることができる。
また 、第1ユーザは、タッチパネル等の入力装置300Cを操作してタイトル16Bの右側に配置された編集ボタン17Cを選択(長押し又はタップ操作など)することでタイトル16Bの元となる音声ファイルについて、音量の大小、再生速度の変更、音程の変更、再生開始時間、再生終了時間等を編集することができる。ただし、音声ファイルが音声スタンプだった場合は編集ボタン17Cを表示させないこともできる。
また、第1ユーザは、タッチパネル等の入力装置300Cを操作してタイトル16Bの右側に配置された再生ボタン17Dを選択(長押し又はタップ操作など)することでタイトル16Bの元となる音声ファイルを再生(試聴)することができる。
また、第1ユーザは、タッチパネル等の入力装置300Cを操作してタイトル16Bの右側に配置された録音ボタン17Eを選択(長押し又はタップ操作など)することでタイトル16Bの元となる音声ファイルを録音しなおすことができる。
なお、音声ファイルのタイトル16Bは、利用頻度の高い順に表示される設定としてもよい。なお、利用頻度の高い順位表示する場合、メッセージの表記ゆれ(例えばメッセージの類似性など)を考慮してメッセージの利用頻度を算出することが好ましい。
【0065】
(
図11の画面説明)
図11に示すように、本実施形態では、第1端末3の表示装置300Dに、第2端末4の位置Pの履歴を地図に重畳させて表示させることができる。また、表示画面300Dの上部には、現在時刻Tと第2端末4のユーザ名Uが表示される。さらに、表示画面300Dの下部には、カレンダーCとスライダーSとが表示される。第1ユーザは、カレンダーCをクリックして日付を選択することにより、選択した日付の第2端末4の位置Pの履歴を表示させることができる。また、第1ユーザは、スライダーSを左又は右に動かすことにより、地図を拡大表示又は縮小表示させることができる。なお、位置Pに関連付けされたデータ、例えば、音声データが存在する場合、対応する位置Pに吹き出しFが表示され、関連付けされたデータ(例えば、音声データ)が存在することが示される。また、本実施形態では、関連付けされたデータのステータス(確認済みであるか否かなど)が示される。例えば、関連付けされたデータが音声データである場合、該音声データが第1端末3にて再生済みであれば「既読」となる。このように、位置の履歴だけでなく、どの位置でどのような情報が関連付けされたかを確認することができるので利便性が高い。
【0066】
なお、第2端末4に、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの表示装置を備え、
図8~
図11に例示する画面を第1端末3に表示可能に構成してもよい。この場合、第1端末3と第2端末4との関係が
図8~
図11に例示する画面において反対となる。
【0067】
(情報処理)
図12~
図17は、情報処理システム1の情報処理の一例を示すフローチャートである。以下、
図12~
図17を参照して、情報処理システム1の情報処理について説明する。なお、
図1~
図11を参照して説明した構成と同一の構成には同一の符号を付して重複する説明を省略する。
【0068】
(位置情報送信処理)
図12は、情報処理システム1の位置情報送信処理の一例を示すフローチャートである。以下、
図12を参照して、情報処理システム1の位置情報送信処理の一例について説明する。
【0069】
(ステップS101)
第2端末4の送信部402は、所定のインターンバル(例えば1.5分毎)となったか否かを判定する。所定のインタバルとなった場合(YES)、サーバ2は、ステップS102の処理を実行する。所定のインタバルとなっていない場合(NO)、サーバ2は、処理を終了する。
【0070】
(ステップS102)
第2端末4の送信部402は、位置センサ400Hから出力される位置情報をサーバ2へ送信する。なお、第2端末4から送信されるデータには、第2端末4の端末ID、タイムスタンプ(送信日時、位置情報の測位日時)などのデータが付与されている。
【0071】
(ステップS103)
サーバ2の受信部201は、第2端末4から送信される位置情報を受信する。
【0072】
(ステップS104)
サーバ2の記憶装置制御部203は、第2端末4が送受信した位置情報(メタデータを含む)を、データを送受信した端末の端末IDに対応付けて記憶装置200Bに記憶する。
【0073】
(メッセージ送信処理1)
図13は、情報処理システム1のメッセージ送信処理1の一例を示すフローチャートである。以下、
図13を参照して、情報処理システム1のメッセージ送信処理1の一例について説明する。なお、
図13では第1端末3から第2端末4へメッセージを送信する場合について説明する。
【0074】
(ステップS201)
第1ユーザは、第1端末3の入力装置400Cを操作して音声又はテキストでメッセージを入力する。
【0075】
(ステップS202)
音声が入力された場合、マイクロフォン400Fにより電気信号に変換し、図示しないA/Dコンバータでデジタルデータに変換されたのち音声データとして送信部302からサーバ2へ送信される。また、テキストが入力された場合、テキストデータとして送信部302からサーバ2へ送信される。なお、第1端末3から送信されるデータには、第1端末3の端末ID、タイムスタンプなどのデータが付与されている。
【0076】
(ステップS203)
サーバ2の受信部201は、第1端末3から送信されたデータを受信する。サーバ2の音声変換部205は、受信部201が音声データを受信したか否かを判定する。音声データを受信した場合(YES)、サーバ2は、ステップS205の処理を実行する。音声データを受信していない場合(NO)、サーバ2は、ステップS204の処理を実行する。
【0077】
(ステップS204)
サーバ2の音声変換部205は、受信したテキストデータを音声データに変換する。なお、受信したテキストデータを音声に変換する際に、図示しない言語変換部によって元の言語を別の言語に変更した音声データや、元の言語と1または複数の別の言語に変更したすべての音声を再生することができるような音声データにすることもできる。その際はあらかじめ第1端末3により設定しておく。
【0078】
(ステップS205)
サーバ2の記憶装置制御部203は、音声データを受信した場合、第1端末3が送信した音声データを、データを送受信した端末IDに対応付けて記憶装置200Bに記憶する。また、記憶装置制御部203は、テキストデータを受信した場合、第1端末3が送信したテキストデータと、このテキストデータを変換した音声データとを、データを送受信した端末IDに対応付けて記憶装置200Bに記憶する。
【0079】
(ステップS206)
サーバ2は、音声データ変換処理を実行する。なお、音声データ変換処理の詳細は、
図15を参照して後述する。
【0080】
(ステップS207)
サーバ2の送信部202は、記憶装置200Bを参照し、受信部201が受信した音声データに付与された端末IDに対応付けされた第2端末4の端末IDを特定し、特定した第2端末4へ第1端末3から送信された音声データ又は音声変換部205が変換した音声データを送信する。
【0081】
(ステップS208)
第2端末4の受信部401は、サーバ2から送信された音声データを受信する。第2端末4は、メッセージを受信したことを報知する。この報知は、例えば、表示装置制御部405が表示装置400Dを制御して、例えばLEDの点灯や音によりメッセージを受信したことを報知してもよいし、音声出力制御部406がスピーカ400Gを制御して音や音声を出力することでメッセージを受信したことを報知してもよい。
【0082】
(メッセージ送信処理2)
図14は、情報処理システム1のメッセージ送信処理2の一例を示すフローチャートである。以下、
図14を参照して、情報処理システム1のメッセージ送信処理2の一例について説明する。なお、
図14では第2端末4から第1端末3へメッセージを送信する場合について説明する。
【0083】
(ステップS301)
第2ユーザは、第2端末4の入力装置400Cを操作して音声を入力する。入力された音声は、マイクロフォン400Fにより電気信号に変換される。
【0084】
(ステップS302)
第2端末4の送信部402は、入力された音声データをサーバ2へ送信する。なお、第2端末4から送信されるデータには、第2端末4の端末ID、タイムスタンプなどのデータが付与されている。
【0085】
(ステップS303)
サーバ2の受信部201は、第2端末4から送信された音声データを受信する。
【0086】
(ステップS304)
サーバ2のテキスト変換部204は、受信した音声データをテキストデータに変換する。なお、受信した音声データをテキストデータに変換する際に、図示しない言語変換部によって元の言語を別の言語に変更したテキストデータや、元の言語と1または複数の別の言語に変更したすべてのテキストを同時に表示することができるようなテキストデータにすることもできる。その際はあらかじめ第1端末3により設定しておく。
【0087】
(ステップS305)
サーバ2の記憶装置制御部203は、第2端末4が送信した音声データ及びテキスト変換部204が変換したテキストデータを、データを送受信した端末IDに対応付けて記憶装置200Bに記憶する。
【0088】
(ステップS306)
サーバ2の送信部202は、記憶装置200Bを参照し、受信部201が受信した音声データに付与された端末IDに対応付けされた第1端末3の端末IDを特定し、特定した第1端末3へ第2端末4から送信された音声データ及びテキスト変換部204が変換したテキストデータを送信する。
【0089】
(ステップS307)
第1端末3の受信部301は、サーバ2から送信された音声データ及びテキストデータを受信する。
【0090】
(ステップS308)
第1端末3の受信部301は、サーバ2から送信された音声データ及びテキストデータを受信する。第1端末3は、メッセージを受信したことを報知する。この報知は、例えば、表示装置制御部305が表示装置300Dを制御して、例えばPUSH通知などによりメッセージを受信したことを報知してもよいし、音声出力制御部306がスピーカ300Gを制御して音や音声を出力することでメッセージを受信したことを報知してもよい。
【0091】
(音声データ変換処理)
図15は、情報処理システム1の音声データ変換処理の一例を示すフローチャートである。以下、
図15を参照して、情報処理システム1の音声データ変換処理の一例について説明する。
【0092】
(ステップS401)
サーバ2の除去部207は、受信部201が受信した音声データのうち可聴領域外又は音声帯域外又はノイズとなる帯域のデータを除去もしくは低減、ないし、音声帯域のみを強調するよう音声データを加工処理する。
【0093】
(ステップS402)
サーバ2の音量調整部208は、音声データが第2端末4で再生される際の再生音量を調整する。
【0094】
(ステップS403)
サーバ2のファイル形式変換部206は、音声データのファイル形式を変換する。
【0095】
なお、
図15を参照して説明した音声データ変換処理の各ステップは、必ずしもステップS401~S403の順に処理する必要なく、順序を入れ替えて処理してもよく、またステップS401~S403のいずれか1以上のステップを任意の順に処理するようにしてもよい。
【0096】
なお、上述したように、第2端末4から第1端末3へ音声データを送信する際に、
図15を参照して説明した音声データ変換処理を実行するようにしてもよい。
【0097】
(TL表示処理)
図16は、情報処理システム1のTL表示処理の一例を示すフローチャートである。以下、
図16を参照して、情報処理システム1のTL表示処理の一例について説明する。
【0098】
(ステップS501)
第1ユーザは、第1端末3の入力装置300Cを操作して、表示したいデータのソート条件を入力する。第1端末3の入力受付部304は、入力されたソート条件を受け付け、送信部302は、入力受付部304が受け付けたソート条件をサーバ2へ送信する。サーバ2の受信部201は、第1端末3から送信されたソート条件を受信する。
【0099】
(ステップS502)
サーバ2の抽出部209は、ソート条件に基づいて記憶装置200Bからデータを抽出する。例えば、抽出部209は、ソート条件で指定されたデータ(例えば、位置情報の履歴と音声データなど)を抽出する。
【0100】
(ステップS503)
サーバ2の送信部202は、記憶装置200Bを参照し、受信部201が受信したデータに付与された端末IDに対応付けされた第1端末3の端末IDを特定し、特定した第1端末3へ抽出部209が抽出したデータを第1端末3へ送信する。第1端末3の受信部301は、サーバ2から送信されたデータを受信する。第1端末3の表示装置制御部305は、受信部301が受信したデータを表示装置300Dに表示させる。
【0101】
なお、上述したように、第2端末4に、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの表示装置を備え、
図16を参照して説明したTL表示処理を実行するようにしてもよい。
【0102】
(地図表示処理)
図17は、情報処理システム1の地図表示処理の一例を示すフローチャートである。以下、
図17を参照して、情報処理システム1の地図表示処理の一例について説明する。
【0103】
(ステップS601)
第1ユーザは、第1端末3の入力装置300Cを操作して地図表示を指示する。第1端末3の入力受付部304は、地図表示の指示を受け付ける。第1端末3の送信部302は、地図表示の指示をサーバ2へ送信する。サーバ2の受信部201は、第1端末3から送信された地図表示の指示を受信する。
【0104】
(ステップS602)
サーバ2の抽出部209は、記憶装置200Bを参照し、地図表示の指示に付与された端末IDに対応付けされた第2端末4の端末IDを特定し、特定した第2端末4の位置情報の履歴を抽出する。
【0105】
(ステップS603)
また、サーバ2の抽出部209は、位置情報の履歴に(端末IDを介して)関連付けされたデータ、例えば、音声データを抽出する。
【0106】
(ステップS604)
サーバ2の送信部202は、記憶装置200Bを参照し、受信部201が受信したデータに付与された端末IDに対応付けされた第1端末3の端末IDを特定し、特定した第1端末3へ、抽出部209が抽出した位置情報の履歴及び該位置情報の履歴に関連付けされたデータ、例えば、音声データを送信する。
【0107】
(ステップS605)
第1端末3の受信部301は、サーバ2から送信された位置情報の履歴及び該位置情報の履歴に関連付けされたデータを受信する。
【0108】
(ステップS606)
第1端末3の表示装置制御部305は、受信部301が受信した位置情報の履歴を地図上に表示装置300Dに表示させる(例えば、
図11参照)。また、第1端末3の表示装置制御部305は、地図上に表示された位置情報に履歴上又は近傍に該履歴に関連付けされたデータの存在を表示装置300Dに表示させる。
【0109】
なお、
図17に例示する地図表示処理では、サーバ2は、抽出した位置情報の履歴と、この位置情報の履歴に(端末IDを介して)関連付けされた音声データとを第1端末3へ送信しているが、抽出した位置情報の履歴と、この位置情報の履歴に(端末IDを介して)関連付けされた音声データが存在することを示すデータ(例えば、フラグ情報など)とを第1端末3へ送信し、ユーザが音声データの再生を指示すると指示された音声データをサーバ2からダウンロードして再生する構成としてもよい。
【0110】
なお、上述したように、第2端末4に、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの表示装置を備え、
図17を参照して説明した地図表示処理を実行するようにしてもよい。
【0111】
本実施形態に係る情報処理システム1によれば、音声データをテキストデータに変換して送信又は受信したり、テキストデータを音声データに変換して送信又は受信したりすることができる。このため、第1ユーザ及び第2ユーザの一方(両者でも良い)が、テキスト入力又は音声入力などが困難なユーザ(例えば、端末の複雑な操作に難がある子供や老人、発声機能に障害があるユーザなど)、テキスト入力又は音声入力が困難な端末(例えば、キーボードを付けることが困難な小型なデバイスやコストなどの制約上の理由によりディスプレイ等をつけるのが困難な場合)、手が塞がっているなどでテキスト入力が困難なシーンや公共空間などで音声の録音や再生が困難なシーンなど、種々の属性のユーザ、端末、及び、シーンにおいて、両者(第1ユーザ及び第2ユーザ)のコミュニケーションが可能となる。
【0112】
[実施形態の変形例]
なお、上記実施形態において、第2端末4の表示装置400Dが備えるLEDでテキストを表示可能に構成してもよい。また、第2端末4の表示装置400Dとして液晶パネルや有機ELパネルを採用し、テキストを表示可能に構成してもよい。このように構成することで、第1端末3やサーバ2から送信される音声データをテキストデータに変換してテキストでも確認することができる。また、第1端末3やサーバ2から送信されるテキストデータも確認することができる。
【0113】
なお、上記実施形態において、
図3に示すサーバ2が有する機能の一部又は全部を第1端末3及び第2端末4の少なくとも一方が有するようにしてもよい。例えば、
図3に示すサーバ2が有する機能のうち記憶装置制御部203(関連付部)、テキスト変換部204、音声変換部205、ファイル形式変換部206、除去部207、音量調整部208の少なくとも1以上の機能を第1端末3及び第2端末4の少なくとも一方が有するようにしてもよい。なお、この場合、記憶装置200Bに記憶されている情報を第1端末3及び第2端末4の少なくとも一方が取得又は参照してもよいし、記憶装置200Bに記憶されている情報を記憶装置300B及び記憶装置400Bの少なくとも一方に記憶するようにしてもよい。
また、上記実施形態において、第1端末3が有する機能の少なくとも1以上を第2端末4が有するようにしてもよいし、第2端末4が有する機能の少なくとも1以上を第1端末3が有するようにしてもよい。
【0114】
また、
図8を参照して説明した画面G1を
図18に示す画面G4としてもよい。
図18に示す画面G4では、テキストメッセージを入力するための入力枠18Aと、音声メッセージを入力するためのマイクアイコン18Bとが用意されており、第1ユーザはテキスト又は音声のいずれでメッセージを入力するかを選択することができる構成となっている。
なお、入力されたテキストメッセージにおいて、音(称呼)を持たない文字(例えば記号等)やその組み合わせ(例えば音を持つ文字を前述の記号等で囲む等)を用いて、音源(音声の声色や楽器の音色)を変更したり、音量、音程等を細かく指定するようにもできる。
【0115】
また、
図19に示す画面G5は、音声メッセージ又はテキストメッセージを入力した後に遷移する画面である。
図19に示すように、第1ユーザは、タッチパネル等の入力装置300Cを操作して画面G5のアイコン19Aを選択することで入力した音声メッセージ又はテキストメッセージを試聴して確認することができる。また、第1ユーザは、タッチパネル等の入力装置300Cを操作して画面G5のアイコン19Bを選択することで、音声メッセージ又はテキストメッセージを再度入力しなおすことができる。
また、第1ユーザは、第2ユーザ端末4が第1ユーザ端末3からのメッセージを受信したことを報知する際の報知パタンを設定することができる。
図19に示す例では、第1ユーザは、「着信音ON」20A、「着信音OFF」20B、「この音声を着信音として鳴らす」20Cから報知パタンを選択することができる。なお、
図19に示す例では報知パタンは3つから選択するが、報知パタンは、
図19に示す例に限られない。
また、画面G5では、音声メッセージを再生する際の声色や感情を指定することもできる。第1ユーザが、声色の選択肢21から声色を選択し、感情の選択肢22から感情を選択すると、音声メッセージを送信した相手方の第2端末4において選択された声色及び感情で音声メッセージが再生される。なお、声色や感情の表現は、AIの機械学習などにより人間の声を学習させて音声合成を行うことで実現することができる。
【0116】
図20及び
図21は、PUSH通知機能により表示装置300Dに音声データ又はテキストデータが受信された旨を例示する図である。
図20に示すように、メッセージが受信された旨と、メッセージを送信したユーザ名だけをPUSH通知するようにしてもよいし、
図21に示すように、受信されたメッセージの内容(メッセージが長い場合、例えば、所定文字数以上ある場合、メッセージ内容の最初の所定数文字だけを表示させてもよいし、内容を要約したものを表示させてもよい)と、メッセージを送信したユーザ名をPUSH通知するようにしてもよい。なお、
図21に示す例では、PUSH通知されたメッセージの再生方法(「ハンズフリーで再生」、「耳に当てて再生」、「アプリを開く」など)やメッセージへの応答(予め登録されたメッセージ(プリセットされたメッセージやユーザが登録したメッセージなど)などを選択して送信)などをアプリを開くことなく実行できるようになっており利便性が高い。
【0117】
(第2端末4で受信した音声を聞く前に新たな音声を受信したときの処理)
サーバ2から送信された音声データを第2端末4で受信した後、第2端末4で音声データを再生する前にサーバ2から新たな音声データが送信される場合がある。その場合、音声データの保持については、第2端末4は、例えば以下(1)から(3)に例示するいずれかの処理を実行する。なお、以下の処理は第2端末4の記憶装置400Bの記憶容量が少ないことに起因して、第2端末4で実行される処理である。
(1)新たな音声データを受信した場合、それ以前に受信した音声データを記憶装置400Bから消去する。
(2)任意のデータ数または記憶容量のデータを保存できる音声データバッファ(例えば、記憶装置400Bに設けられた所定領域)に音声データを格納し、音声データバッファがあふれそうになったときは古いデータをFIFO(first in first out)方式で消去する。
(3)任意のデータ数または記憶容量のデータを保存できる音声データバッファ(例えば、記憶装置400Bに設けられた所定領域)に音声データを格納し、音声データバッファがあふれそうになったときはサーバ2を通して第1端末3にバッファフル情報(第2端末4にこれ以上音声データを記憶することができないことを示す情報)を送信し、第1端末3上にメッセージ送信不可である旨の表示をする。
また、第2端末4で音声データの再生操作がされたとき、第2端末4はバッファ上の音声データを格納された順または新しい音声データ順で再生するが、その後は音声データバッファ上の音声データを消去してもよいし、最後に受信した音声データ以外を消去してもよいし、消去せずに常に上記(2)の処理を行ってもよい。
なお、これらの設定は第1端末3から変更設定することができる。
【0118】
(トークグループ)
上記実施形態及び変形例では第1端末3と第2端末4の各々1台を対にして説明をしたが、第1端末3または/および第2端末4を複数台にして、それらをひとつのトークグループとすることもできる。トークグループはサーバ2において固有のID(トークグループID)で管理され、さらに同一のトークグループに属するすべての第1端末3と第2端末4の識別番号(端末ID)を紐づける。なお、各端末にはトークグループに属しているユーザにとってわかりやすいように名称を設定することもでき、その際には端末IDと端末の名称も紐づける。
そして同一トークグループ内の端末間では、一斉にメッセージを送信することができるが、特定の端末にのみにメッセージを送信することもできる。例えば、第1端末3から送信する場合はテキストまたは音声メッセージの送信画面にメッセージを送信する端末を1つまたは複数選択して送信することで行える。また、第2端末4から音声メッセージを送信する場合は、音声メッセージ中にメッセージを送信したい端末の名称を言ったり、第2端末4に送信する音声メッセージを送信するために操作するボタンを任意の時間中に任意の回数を押下することで送信する端末を選択したり、音声メッセージを送信するために操作するボタンを任意の時間中に任意の回数を押下することにより第2端末4のスピーカ400Gより「どなたに送信しますか?」という案内をし、第2ユーザより1または複数の送信したい端末の名称を音声により入力されたら、第2ユーザに対して送信する相手の端末の名称を確認した後、第2ユーザに送信するメッセージを受け付け、サーバ2を介して同一トークグループ内の目当ての端末に送信したりすることができる。
【0119】
その他、上記実施形態及び変形例は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0120】
1 情報処理システム
2 サーバ(情報処理装置)
200A 通信IF
200B 記憶装置
200C CPU
201 受信部
202 送信部
203 記憶装置制御部(関連付部)
204 テキスト変換部
205 音声変換部
206 ファイル形式変換部
207 除去部
208 音量調整部
209 抽出部
3 第1端末(情報処理端末)
300A 通信IF
300B 記憶装置
300C 入力装置
300D 表示装置
300E CPU
300F マイクロフォン
300G スピーカ
301 受信部
302 送信部
303 記憶装置制御部
304 入力受付部(受付部)
305 表示装置制御部(表示制御部)
306 音声出力制御部
4 第2端末
400A 通信IF
400B 記憶装置
400C 入力装置
400D 表示装置(LED)
400E CPU
400F マイクロフォン
400G スピーカ
400H 位置センサ
401 受信部
402 送信部
403 記憶装置制御部
404 入力受付部
405 表示装置制御部(表示制御部)
406 音声出力制御部
5 ネットワーク
【要約】
【課題】より利便性の高い情報処理装置、情報処理端末、情報処理方法及び情報処理プログラムを提供すること。
【解決手段】本発明に係る情報処理装置は、第1端末又は第2端末から送信される音声データを受信する受信部と、前記受信部が受信した前記音声データをテキストデータに変換するテキスト変換部と、前記変換部が変換した前記テキストデータを前記第2端末又は前記第1端末へ送信する送信部と、を備える。
【選択図】
図1